那么針對(duì)以上的混淆矩陣，我們怎樣取計(jì)算召回率以及假正率值呢？
針對(duì)類1：共有150個(gè)測試樣本，類1為50個(gè)，那類2和類3就屬于其他樣本共為100個(gè)，此時(shí)

混淆矩陣的缺點(diǎn)：
一些positive事件發(fā)生概率極小的不平衡數(shù)據(jù)集(imbalanced data)，混淆矩陣可能效果不好。比如對(duì)信用卡交易是否異常做分類的情形，很可能1萬筆交易中只有1筆交易是異常的。一個(gè)將所有交易都判定為正常的分類器，準(zhǔn)確率是99.99%。這個(gè)數(shù)字雖然很高，但是沒有任何現(xiàn)實(shí)意義。

2、ROC

ROC曲線指受試者工作特征曲線 / 接收器操作特性曲線(receiver operating characteristic curve)，是反映敏感性和特異性連續(xù)變量的綜合指標(biāo),是用構(gòu)圖法揭示敏感性和特異性的相互關(guān)系，它通過將連續(xù)變量設(shè)定出多個(gè)不同的臨界值，從而計(jì)算出一系列敏感性和特異性，再以敏感性為縱坐標(biāo)、（1-特異性）為橫坐標(biāo)繪制成曲線，曲線下面積越大，診斷準(zhǔn)確性越高。

ROC曲線的縱軸是真正例率TPR，橫軸是假正例率FPR。

給定m+個(gè)正例，m-個(gè)反例，根據(jù)學(xué)習(xí)器預(yù)測的概率將樣本從大到小排列。先把閥值設(shè)到最大，使得所有的樣本都被預(yù)測為負(fù)，此時(shí)TPR,FPR都為0，在坐標(biāo)（0,0)處標(biāo)記一個(gè)點(diǎn)。接著將閥值依次設(shè)置為每個(gè)樣例的概率值，計(jì)算TPR,FPR兩個(gè)值作為坐標(biāo)點(diǎn)，將所有點(diǎn)連接起來即得到ROC曲線

我們可以看出,左上角的點(diǎn)(TPR=1,FPR=0),為完美分類,也就是這個(gè)醫(yī)生醫(yī)術(shù)高明,診斷全對(duì)。

點(diǎn)A(TPR > FPR),醫(yī)生A的判斷大體是正確的。中線上的點(diǎn)B(TPR=FPR),也就是醫(yī)生B全都是蒙的,蒙對(duì)一半,蒙錯(cuò)一半;下半平面的點(diǎn)C(TPR < FPR),這個(gè)醫(yī)生說你有病,那么你很可能沒有病,醫(yī)生C的話我們要反著聽,為真庸醫(yī)。

上圖中一個(gè)閾值,得到一個(gè)點(diǎn)?，F(xiàn)在我們需要一個(gè)獨(dú)立于閾值的評(píng)價(jià)指標(biāo)來衡量這個(gè)醫(yī)生的醫(yī)術(shù)如何,也就是遍歷所有的閾值,得到ROC曲線。

還是一開始的那幅圖,假設(shè)如下就是某個(gè)醫(yī)生的診斷統(tǒng)計(jì)圖,直線代表閾值。我們遍歷所有的閾值,能夠在ROC平面上得到如下的ROC曲線。

曲線距離左上角越近,證明分類器效果越好。

如上,是三條ROC曲線,在0.23處取一條直線。那么,在同樣的低FPR=0.23的情況下,紅色分類器得到更高的TPR。也就表明,ROC曲線越往上,分類器效果越好。
（2）根據(jù)ROC曲線評(píng)估模型
a.若一個(gè)學(xué)習(xí)器的ROC曲線被另一個(gè)學(xué)習(xí)器的曲線完全包住，則后者優(yōu)于前者。
b.若兩個(gè)學(xué)習(xí)器的ROC曲線發(fā)生交叉，則可根據(jù)曲線下方的面積大小來比較，ROC曲線下方的面積為AUC（Area Under ROC Curve).

3、AUC

曲線下面積(AUC，Area Under the Curve)

ROC曲線下面積經(jīng)常用作衡量分類模型質(zhì)量的指標(biāo)。隨機(jī)分類的AUC為0.5，而完美分類的AUC等于1。在實(shí)踐中，大多數(shù)分類模型的AUC在0.5和1之間。

AUC值為ROC曲線所覆蓋的區(qū)域面積,顯然,AUC越大,分類器分類效果越好。

AUC = 1，是完美分類器，采用這個(gè)預(yù)測模型時(shí)，不管設(shè)定什么閾值都能得出完美預(yù)測。絕大多數(shù)預(yù)測的場合，不存在完美分類器。

0.5 < AUC < 1，優(yōu)于隨機(jī)猜測。這個(gè)分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測價(jià)值。

AUC = 0.5，跟隨機(jī)猜測一樣（例：丟銅板），模型沒有預(yù)測價(jià)值。

AUC < 0.5，比隨機(jī)猜測還差；但只要總是反預(yù)測而行，就優(yōu)于隨機(jī)猜測。

AUC的物理意義

假設(shè)分類器的輸出是樣本屬于正類的score（置信度），則AUC的物理意義為，任取一對(duì)（正、負(fù)）樣本，正樣本的score大于負(fù)樣本的score的概率。

計(jì)算AUC：

第一種方法：AUC為ROC曲線下的面積,那我們直接計(jì)算面積可得。面積為一個(gè)個(gè)小的梯形面積之和。計(jì)算的精度與閾值的精度有關(guān)。