1.ROC曲線

ROC曲線全稱為受試者工作特征曲線（Receiver Operating Characteristic）。提到ROC曲線就要先說明一下兩個概念：FPR（偽正類率），TPR（真正類率），它們都是分類任務(wù)的評測指標(biāo)。

1.1 TPR 、FPR

對于一個二分類任務(wù)（假定為1表示正類， 0表示負(fù)類），對于一個樣本，分類的結(jié)果總共有四種：

類別實(shí)際為1，被預(yù)測為0，F(xiàn)N（False Negative）

類別實(shí)際為1，被預(yù)測為1，TP（True Positive）

類別實(shí)際為0，被預(yù)測為1，F(xiàn)P（False Positive）

類別實(shí)際為0，被預(yù)測為0，TN（True Negative）

FPR（False Positive Rate）= FP /（FP + TN），即負(fù)類數(shù)據(jù)被預(yù)測為正類的比例；

TPR（True Positive Rate）= TP /（TP + FN），即正類數(shù)據(jù)被預(yù)測為正類的比例。

1.2 ROC曲線

那什么是ROC曲線呢？我們看一下ROC曲線的圖示：

對于樣本數(shù)據(jù)，我們使用分類器對其進(jìn)行分類，分類器會給出每個數(shù)據(jù)為正例的概率。我們可以針對此來設(shè)定一個閾值，當(dāng)某個樣本被預(yù)測為正例的概率大于這個閾值時，認(rèn)為該樣本為正例，小于則為負(fù)例。

通過計算我們就可以得到一個(TPR , FPR)對，即圖像上的一個點(diǎn)。通過不斷調(diào)整這個閾值，就得到若干個點(diǎn)，從而畫出一條曲線。

可以看出，當(dāng)這個閾值越大時，會有越多的樣本被預(yù)測為負(fù)例，而這些樣本中其實(shí)也有正例的存在。這樣一來，TPR下降（正例數(shù)據(jù)被預(yù)測為負(fù)例了），F(xiàn)PR下降（負(fù)類數(shù)據(jù)更不會被預(yù)測為正例，但是影響要比TPR小，所以斜率呈上升趨勢）。

當(dāng)閾值越小時，越多的樣本被預(yù)測為正例，而這些樣本中可能包含是正例，卻被預(yù)測為負(fù)例的樣本以及是負(fù)例卻被預(yù)測為正例的樣本，這樣一來TPR上升（更多的正例樣本被預(yù)測為正例），F(xiàn)PR上升（更多的負(fù)例樣本預(yù)測為正例，影響更大，所以斜率呈下降趨勢）。

1.3 閾值調(diào)整

那么該如何調(diào)整這個閾值呢？一般來說，分類器會對一批數(shù)據(jù)的每個樣本給出一個是正例的概率，如下圖示，共20個樣本，class為實(shí)際標(biāo)簽，score為分類器判斷樣本為正例的概率：

對給出的分?jǐn)?shù)進(jìn)行排序，然后依次使用score作為閾值，這樣就得到了20組（FPR， TPR），做出ROC曲線如下：

當(dāng)閾值為1時就可以到達(dá)ROC曲線上（0， 0）點(diǎn)，當(dāng)閾值為0時就可以到達(dá)ROC曲線上（1， 1） 點(diǎn)。當(dāng)然也不一定就必須使用概率值，也可以使用未經(jīng)過softmax（或其他類似處理）的結(jié)果，使用方法相同，畢竟我們只需要一個次序。

2.AUC

說完ROC，再來說一下AUC。AUC被定義為ROC曲線下的面積（Area Under Curve），顯然這個面積小于1。又因?yàn)镽OC曲線一般都處于y=x這條直線的上方，所以AUC一般在0.5到1之間。

2.1 AUC優(yōu)點(diǎn)與含義

使用AUC值作為評價標(biāo)準(zhǔn)是因?yàn)楹芏鄷r候ROC曲線并不能清晰的說明哪個分類器的效果更好，而作為一個數(shù)值，對應(yīng)AUC更大的分類器效果更好。

AUC的含義為，當(dāng)隨機(jī)挑選一個正樣本和一個負(fù)樣本，根據(jù)當(dāng)前的分類器計算得到的score將這個正樣本排在負(fù)樣本前面的概率。

2.2AUC與分類器優(yōu)劣

從AUC判斷分類器（預(yù)測模型）優(yōu)劣的標(biāo)準(zhǔn)：

AUC = 1，是完美分類器，采用這個預(yù)測模型時，存在至少一個閾值能得出完美預(yù)測。絕大多數(shù)預(yù)測的場合，不存在完美分類器。

0.5 < AUC < 1，優(yōu)于隨機(jī)猜測。這個分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測價值。

AUC = 0.5，跟隨機(jī)猜測一樣（例：丟銅板），模型沒有預(yù)測價值。

AUC < 0.5，比隨機(jī)猜測還差；但只要總是反預(yù)測而行，就優(yōu)于隨機(jī)猜測。

3. 為什么使用ROC曲線？

既然已經(jīng)這么多評價標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線有個很好的特性：當(dāng)測試集中的正負(fù)樣本的分布變化的時候，ROC曲線能夠保持不變。

在實(shí)際的數(shù)據(jù)集中經(jīng)常會出現(xiàn)類不平衡(class imbalance)現(xiàn)象，即負(fù)樣本比正樣本多很多(或者相反），而且測試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時間變化。

下圖中，(a)和(c)為ROC曲線，(b)和(d)為Precision-Recal[1]曲線。(a)和(b)展示的是分類其在原始測試集(正負(fù)樣本分布平衡)的結(jié)果，(c)和(d)是將測試集中負(fù)樣本的數(shù)量增加到原來的10倍后，分類器的結(jié)果。

可以明顯的看出，ROC曲線基本保持原貌，而Precision-Recall曲線則變化較大。

審核編輯 ：李倩