本篇先考慮二分類問題，記錄常用到的評估指標。
假設在訓練之前和預測之後，壹個樣本的標記是確定的兩個類別，壹個是真實的1/0，壹個是預測的1/0，其中1表示正例、0表示負例。
其中：TP（實際為正預測也為正）、FP（實際為負但預測為正）、TN（實際為負預測也為負）、FN（實際為正但預測為負）
通過混淆矩陣，可以給出以下各指標的值：
查準率和查全率是壹對矛盾的度量，壹般來說，壹個高的時候，另壹個就低。
F1值 --- 查準率與查全率的加權調和平均數
（1）當認為查準率與查全率壹樣重要時，即權重相同時：
（2）當查準率和查全率的重要性不壹樣時，即權重不同時：
壹般對於不同的問題，查準率與查全率的側重不同。因此，F1值的壹般形式為：
其中β表示查全率與查準率的權重。下面對該這個壹般形式的公式進行推導：
兩個指標的設置及其關系如下，因為只考慮這兩個指標，故二者權重之和為1，即：
由上式可得到
因此，可得帶權重的調和平均數公式可變為
進壹步推導，可得
總結
在介紹ROC曲線前，先明確以下幾個概念，在混淆矩陣中
真陽性率 (True Positive Rate, TPR )，靈敏度( Sensitivity )，召回率( Recall )：
Sensitivity=Recall=TPR= TP/(TP+FN)
真陰性率 (True Negative Rate, TNR )，特異度( Specificity )：
Specificity=TNR=TN/(FP+TN)
假陰性率 (False Negative Rate, FNR )，漏診率(=1-靈敏度)：
FNR=FN/(TP+FN)
假陽性率 (False Positive Rate, FPR )，誤診率(=1-特異度)：
FPR=FP/(FP+TN)
ROC曲線 ：接收者操作特征曲線(receiver operating characteristic curve)，是反映敏感性和特異性連續變量的綜合指標，ROC曲線上每個點反映著對同壹信號刺激的感受性。
下圖是壹個ROC曲線示例：
在壹個二分類模型中，例如邏輯回歸學習器，針對其輸出的每個樣本為正例的概率，那麽通過設定壹個閾值如0.6，概率大於等於0.6的為正類，小於0.6的為負類，對應的就可以算出壹個組（FPR,TPR），在平面中就得到對應的坐標點。隨著閾值的逐漸減小，越來越多的樣本被歸為正類，但是這些正類中也會夾雜著真正的負例，即TPR和FPR會同時增大。閾值最大時為，對應的坐標為(0,0)，閾值最小時，對應的坐標為(1,1)。
理想目標 ：TPR=1，FPR=0，即圖中的(0,1)點，所以ROC曲線越靠攏(0,1)點，即越偏離45度的直線越好。
AUC值
AUC（Area Under Curve）被定義為ROC曲線下的面積。使用AUC值作為衡量模型準確性的評價標準是因為ROC曲線很多時候不能清晰的說明哪個分類模型的效果更好，而作為壹個數值，對應AUC更大的模型效果更好，AUC值越接近1模型的效果越好。
從AUC值判斷模型的好壞：
在評價模型時還會用到KS(Kolmogorov-Smirnov)值，KS=max(TPR-FPR)，即為TPR與FPR的差的最大值，KS值可以反映出模型的最優區分效果，此時所取的閾值壹般作為定義好壞用戶的最優閾值。壹般KS>0.2認為模型有比較好的預測準確性。
KS曲線的最高點(最大值)為KS值，KS值越大，模型的區分度越好，KS值為0代表是沒有區分度的隨機模型。準確的來說，KS是用來度量正樣本與負樣本區分程度的。但是KS值所代表的僅僅是模型的區分能力，並不代表區分的樣本是準確的。如果正負樣本完全分錯，但KS值可以依舊很高。
Lift提升圖是不同閾值下Lift和Depth的軌跡。
Lift指標衡量的是，與不利用模型相比，模型的預測能力“變好”了多少。不利用模型，我們只能利用“正例的比例是(TP+FN)/(TP+FP+FN+TN)”這個樣本信息來估計正例的比例（baseline model）,而利用模型之後，我們不需要從整個樣本中來挑選正例，只需要從我們預測為正例的樣本子集TP+FP中挑選正例，這時預測的準確率為TP/(TP+FP)。
顯然，lift（提升指數）越大，模型的運行效果越好。如果這個模型的預測能力和baseline model壹樣，那麽TP/(TP+FP)就等於(TP+FN)/(TP+FP+FN+TN)，這個模型的效果就沒有任何“提升”了。
作圖步驟：
上圖的縱坐標是lift值，橫坐標是預測成正例的比例，隨著閾值的減小，更多的觀測值會被歸為正例，也就是depth（預測成正例的比例）變大。當閾值設的夠大，只有壹部分觀測值會被歸為正例，但這壹小部分壹定是最具有正例特征的觀測值集合，此時這個depth對應的lift值最大。同樣地，當閾值設定的足夠小的，那麽幾乎所有的觀測值都會被歸為正例(占比幾乎為100%)，這時分類的效果就和baseline model差不多了，相對應的lift值就接近於1。
壹個好的分類模型，就是要偏離baseline model足夠遠。在Lift圖中，表現就是，在depth為1之前，lift值壹直保持較高的（大於1的）數值，也即曲線足夠的陡峭。
ROC曲線和Lift曲線都能評價邏輯回歸模型的效果：
Gains（增益）與Lift（提升）類似：Lift圖是不同閾值下Lift和Depth的軌跡，Gains圖是不同閾值下Precision和Depth的軌跡，而Precision=TP/TP+FP，顯而易見地，它們的區別就是縱坐標不壹樣。
Gain增益圖是描述整體精準率的指標。按照模型預測出的概率從高到低排序，將每壹個百分位數內的精準率指標標註在圖形區域內，就形成了非累積的增益圖。如果對每壹個百分位及其之前的精準率求和並標註在圖形區域內，則形成累積的增益圖。累積圖通常可以更好的表現模型性能，而非累計圖則更有利於指出模型中可能存在問題的地方。
https://www.deeplearn.me/1522.html
https://cosx.org/2009/02/measure-classification-model-performance-lift-gain/