在機(jī)器學(xué)習(xí)算法中，在模型訓(xùn)練出來(lái)之后，總會(huì)去尋找衡量模型性能的指標(biāo)。評(píng)價(jià)指標(biāo)是針對(duì)將相同的數(shù)據(jù)，使用不同的算法模型，或者輸入不同參數(shù)的同一種算法模型，而給出這個(gè)算法或者參數(shù)好壞的定量指標(biāo)。在模型評(píng)估過(guò)程中，往往需要使用多種不同的指標(biāo)協(xié)作評(píng)估一個(gè)模型的好壞，因?yàn)楸姸嗟脑u(píng)價(jià)指標(biāo)中，大部分指標(biāo)只能片面的反應(yīng)模型的一部分特點(diǎn)，那么對(duì)模型的評(píng)估就會(huì)比較片面，在算法落地后也會(huì)出現(xiàn)很多問(wèn)題。根據(jù)評(píng)估指標(biāo)的反饋進(jìn)行模型調(diào)整，這些都是機(jī)器學(xué)習(xí)在模型評(píng)估階段的關(guān)鍵問(wèn)題，也是一名合格的算法工程師應(yīng)當(dāng)具備的基本功[文獻(xiàn)1]。

本文參考文獻(xiàn)1, 2，詳細(xì)介紹機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-Recall Curve）、F1 Score、混淆矩陣（Confuse Matrix）、ROC、AUC。

1 準(zhǔn)確率（Accuracy）

準(zhǔn)確率定義如下：

也就是被正確分類的樣本個(gè)數(shù)與總樣本的個(gè)數(shù)之比，對(duì)于二分類來(lái)說(shuō)可以這樣看：

其中（正、負(fù)樣本代表兩個(gè)不同類別）：

真正例(True Positive, TP)：標(biāo)注的數(shù)據(jù)為正樣本，被模型預(yù)測(cè)為正的正樣本；

假正例(False Positive, FP)：標(biāo)注的數(shù)據(jù)為負(fù)樣本，被模型預(yù)測(cè)為正的負(fù)樣本；

假負(fù)例(False Negative, FN)：標(biāo)注的數(shù)據(jù)為負(fù)樣本，被模型預(yù)測(cè)為負(fù)的正樣本；

真負(fù)例(True Negative, TN)：標(biāo)注的數(shù)據(jù)為正樣本，被模型預(yù)測(cè)為負(fù)的負(fù)樣本；

準(zhǔn)確率是分類問(wèn)題中最簡(jiǎn)單也是最直觀的評(píng)價(jià)指標(biāo)，但存在明顯的缺陷，就是在數(shù)據(jù)的類別不均衡，特別是一種類別數(shù)據(jù)特別多另一種類別數(shù)據(jù)特別少的情況下，準(zhǔn)確率就不能客觀評(píng)價(jià)算法的優(yōu)劣了。舉個(gè)例子：當(dāng)負(fù)樣本占99%時(shí)，分類器把所有樣本都預(yù)測(cè)為負(fù)樣本，那么對(duì)于這個(gè)模型來(lái)說(shuō)可以獲得99%的準(zhǔn)確率，所以在樣本數(shù)據(jù)極度不均衡的時(shí)候，選用這種方式去評(píng)價(jià)一個(gè)模型是不可取的。

2 精確率（Precision）

精準(zhǔn)率又叫查準(zhǔn)率，容易與準(zhǔn)確率弄混，請(qǐng)記住這個(gè)“精”字，「它是針對(duì)一個(gè)類別預(yù)測(cè)結(jié)果而言的」，含義是在所有被預(yù)測(cè)為正的樣本中實(shí)際為正的樣本的概率，在預(yù)測(cè)為正樣本的結(jié)果中，有多少把握可以預(yù)測(cè)正確，因?yàn)槠渌悇e的數(shù)據(jù)也可能被預(yù)測(cè)成為該類別。以二分類（以下不特殊說(shuō)明，都以二分類為例介紹）來(lái)說(shuō)其公式如下：

精準(zhǔn)率代表對(duì)正樣本「結(jié)果」中的預(yù)測(cè)準(zhǔn)確程度，而準(zhǔn)確率則代表整體的預(yù)測(cè)準(zhǔn)確程度，既包括正樣本，也包括負(fù)樣本。

3 召回率（Recall）

召回率又叫查全率，「它是針對(duì)原樣本而言的」，即在實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率，其公式如下：

精確率和召回率又是一對(duì)歡喜冤家（一個(gè)查準(zhǔn)率，一個(gè)查全率）。引用wiki上的圖，來(lái)理解一下：

實(shí)際中該如何選擇這兩個(gè)指標(biāo)呢？因?yàn)榫_率和召回率有不同的側(cè)重點(diǎn)，并且精確率和召回率是一對(duì)此消彼長(zhǎng)的度量，精確率高可能原因是原始樣本中正樣本預(yù)測(cè)為正樣本比較少，負(fù)樣本預(yù)測(cè)為正樣本也比較多，那么這個(gè)時(shí)候召回率就低了，因?yàn)檎倩芈适钦龢颖绢A(yù)測(cè)為正樣本的比率。例如，在預(yù)測(cè)股票的時(shí)候，更關(guān)心精準(zhǔn)率，假如你買的股票現(xiàn)在有漲有跌，預(yù)測(cè)這些股票漲的多，那么這就是對(duì)我們有用的，因?yàn)樗A(yù)測(cè)漲的股票都是你投錢的。而在預(yù)測(cè)病患的場(chǎng)景下，則更關(guān)注召回率，即真的患病的那些人中預(yù)測(cè)對(duì)了情況應(yīng)該越多越好，即召回率越高越好。

因?yàn)閮煞N精準(zhǔn)率和召回率是此消彼長(zhǎng)的參數(shù)，而在實(shí)際情況中，例如推薦系統(tǒng)中有這樣的情形。在給用戶推薦的N個(gè)數(shù)據(jù)中，我們都認(rèn)為是預(yù)測(cè)為正的值，那么其中有用戶喜歡的就是預(yù)測(cè)正樣本預(yù)測(cè)為正樣本的情形，即TP，其中用戶不喜歡的就是預(yù)測(cè)負(fù)樣本為正樣本的情形，即FP。當(dāng)準(zhǔn)確率比較高的時(shí)候，那么類別就比較多，而用戶實(shí)際喜歡的并沒(méi)有那么多，而當(dāng)召回率比較高，那么推送的類別少，用戶可能想看更多的類別，推送的又沒(méi)有。所以，在實(shí)際工程中，往往需要結(jié)合兩個(gè)指標(biāo)的結(jié)果，去尋找一個(gè)平衡點(diǎn)，使綜合性能最大化。

4 P-R曲線

P-R曲線（Precision Recall Curve）是描述精確率/召回率變化的曲線，如下圖所示，橫軸為召回率，縱軸為精確率：

對(duì)于一個(gè)模型來(lái)說(shuō)，其P-R曲線上的一個(gè)點(diǎn)代表著：在某一閾值下，模型將大于該閾值的結(jié)果判定為正樣本，小于該閾值的結(jié)果判定為負(fù)樣本，此時(shí)就可以計(jì)算出對(duì)應(yīng)的召回率和精確率。改變這個(gè)閾值就可以得到一條P-R曲線。那么如何去看一個(gè)P-R曲線呢？若一個(gè)學(xué)習(xí)器A的P-R曲線被另一個(gè)學(xué)習(xí)器B的P-R曲線完全包住，則稱：B的性能優(yōu)于A。若A和B的曲線發(fā)生了交叉，則誰(shuí)的曲線下的面積大，誰(shuí)的性能更優(yōu)。但一般來(lái)說(shuō)，曲線下的面積是很難進(jìn)行估算的，所以衍生出了“平衡點(diǎn)”（Break-Event Point，簡(jiǎn)稱BEP），即當(dāng)P=R時(shí)的取值，平衡點(diǎn)的取值越高，性能更優(yōu)。

5 F1-Score

除了使用P-R曲線去兼顧精準(zhǔn)率和召回率一個(gè)模型之外，最常見(jiàn)的方法就是F-Measure，又稱F-Score。F-Measure是P和R的加權(quán)調(diào)和平均，使用最多也就是F1值了，即：

當(dāng)F1較高時(shí)，模型的性能越好。

6 ROC曲線

介紹了這么多指標(biāo)為什么還要介紹ROC（Receiver Operating Characteristic Curve，又稱接受者操作特征曲線）曲線呢，因?yàn)镽OC曲線有很多優(yōu)點(diǎn)，經(jīng)常作為評(píng)估二值分類器最重要的指標(biāo)之一。如：「當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線能夠保持不變」。在輸出為概率分布的分類模型中，如果僅使用準(zhǔn)確率、精確率、召回率作為評(píng)價(jià)指標(biāo)進(jìn)行模型對(duì)比時(shí)，都必須是基于某一個(gè)給定閾值的，對(duì)于不同的閾值，各模型的Metrics結(jié)果也會(huì)有所不同，這樣就很難得出一個(gè)很置信的結(jié)果。需要注意的是P-R曲線是不依賴閾值的，但是在繪制P-R曲線的時(shí)候需要閾值。

ROC曲線的橫坐標(biāo)為假陽(yáng)性率（False Positive Rate，F(xiàn)PR）；縱坐標(biāo)為真陽(yáng)性率（True Positive Rate，TPR）。FPR和TPR的計(jì)算方法分別為：

其中，F(xiàn)P是所有負(fù)樣本中預(yù)測(cè)為正樣本那些負(fù)樣本數(shù)目，N是真實(shí)負(fù)樣本數(shù)目。

其中，TP是所有正樣本中預(yù)測(cè)為正樣本那些正樣本數(shù)目，P是真是正樣本數(shù)目。

上面定義有點(diǎn)繞，舉個(gè)例子：假設(shè)有10位疑似癌癥患者，其中有3位很不幸確實(shí)患了癌癥（P=3），另外7位不是癌癥患者（N=7）。醫(yī)院對(duì)這10位疑似患者做了診斷，診斷出3位癌癥患者，其中有2位確實(shí)是真正的患者（TP=2）。那么真陽(yáng)性率TPR=TP/P=2/3。對(duì)于7位非癌癥患者來(lái)說(shuō)，有一位很不幸被誤診為癌癥患者（FP=1），那么假陽(yáng)性率FPR=FP/N=1/7。對(duì)于“該醫(yī)院”這個(gè)分類器來(lái)說(shuō)，這組分類結(jié)果就對(duì)應(yīng)ROC曲線上的一個(gè)點(diǎn)（1/7，2/3）。（還是有點(diǎn)繞？那就沉下心理一下）。下面就有一個(gè)ROC曲線，來(lái)欣賞一下。

「那么為什么ROC曲線衡量效果可以不用在意數(shù)據(jù)的分布呢？」舉個(gè)例子：假設(shè)總樣本中，90%是正樣本，10%是負(fù)樣本。因?yàn)門PR只關(guān)注90%正樣本中有多少是被預(yù)測(cè)正確的，而與那10%負(fù)樣本毫無(wú)關(guān)系，同理，F(xiàn)PR只關(guān)注10%負(fù)樣本中有多少是被預(yù)測(cè)錯(cuò)誤的，也與那90%正樣本毫無(wú)關(guān)系。這樣就避免了樣本不平衡的問(wèn)題。那么兩者協(xié)作起來(lái)就能夠很好地衡量一個(gè)模型了。

「那么如何繪制ROC曲線呢？」這里也需要我們通過(guò)閾值來(lái)繪制（「與之前一樣，遍歷所有閾值來(lái)繪制整條曲線的」）。當(dāng)改變閾值時(shí)，那么預(yù)測(cè)出正樣本和負(fù)樣本的數(shù)目也隨之變化，如下圖：

「知道了如何繪制ROC曲線了，那么怎么去看ROC曲線呢，也就是說(shuō)如何根據(jù)ROC曲線確定一個(gè)模型的好壞？即如何根據(jù)ROC曲線判斷模型性能？」 FPR（假陽(yáng)率）表示模型對(duì)于負(fù)樣本誤判的程度，而TPR（真陽(yáng)率）表示模型對(duì)正樣本召回的程度?？上攵贺?fù)樣本誤判的越少越好，正樣本召回的越多越好。所以總結(jié)一下就是TPR越高，同時(shí)FPR越低（即ROC曲線越陡），那么模型的性能就越好。可參考如下動(dòng)態(tài)圖進(jìn)行理解：

也就是說(shuō)：在進(jìn)行模型的性能比較時(shí)，若一個(gè)模型A的ROC曲線被另一個(gè)模型B的ROC曲線完全包住，則稱B的性能優(yōu)于A。若A和B的曲線發(fā)生了交叉，則誰(shuí)的曲線下的面積大，誰(shuí)的性能更優(yōu)。下面再次借用文獻(xiàn)2中的圖片演示ROC曲線不隨樣本數(shù)目的變化而變化的動(dòng)圖，如下：

當(dāng)然，我們也不可能總是通過(guò)看圖去比較幾個(gè)模型的性能，那么問(wèn)題就來(lái)了，如何將圖形進(jìn)行量化呢？

7 AUC值

AUC(Area Under Curve)指的是ROC曲線下的面積大小，該值能夠量化地反映基于ROC曲線衡量出的模型性能。計(jì)算AUC值只需要沿著ROC橫軸做積分就可以了。由于ROC曲線一般都處于y=x這條直線的上方（如果不是的話，只要把模型預(yù)測(cè)的概率反轉(zhuǎn)成1?p就可以得到一個(gè)更好的分類器），所以AUC的取值一般在0.5～1之間。AUC越大，說(shuō)明分類器越可能把真正的正樣本排在前面，分類性能越好。具體計(jì)算方法可參考文獻(xiàn)[3]。

8 混淆矩陣

混淆矩陣（Confusion Matrix）也稱錯(cuò)誤矩陣，通過(guò)它可以直觀地觀察到算法的效果。它的每一列是樣本的預(yù)測(cè)分類，每一行是樣本的真實(shí)分類（反過(guò)來(lái)也可以），顧名思義，它反映了分類結(jié)果的混淆程度。混淆矩陣i行j列的原始是原本是類別i卻被分為類別j的樣本個(gè)數(shù)，計(jì)算完之后還可以對(duì)之進(jìn)行可視化，可看看文獻(xiàn)[2]中的混淆矩陣圖片演示：

9 多分類

最基本的內(nèi)容是二分類，多分類也可以拆分為多個(gè)二分類進(jìn)行。在了解二分類的基礎(chǔ)上，我們來(lái)看看如何衡量一個(gè)多分類模型的性能了，畢竟實(shí)際的問(wèn)題屬于多分類的概率是比較大的。

估算模型全局性能的方法有兩種：宏平均（macro-average）和微平均（micro-average）。綜合來(lái)看宏平均會(huì)比微平均更可靠一些，因?yàn)槲⑵骄芟∮蓄悇e影響更大。宏平均平等對(duì)待每一個(gè)類別，所以它的值主要受到稀有類別的影響，而微平均平等考慮數(shù)據(jù)集中的每一個(gè)樣本，所以它的值受到常見(jiàn)類別的影響比較大。

簡(jiǎn)單來(lái)說(shuō)，宏平均就是先算出每個(gè)混淆矩陣的P值和R值，然后取得平均P值macro-P和平均R值macro-R，再算出F1值。微平均則是計(jì)算出混淆矩陣的平均TP、FP、TN、FN，接著進(jìn)行計(jì)算P、R，進(jìn)而求出F1值。同理可以使用這兩種方式計(jì)算出其他的衡量指標(biāo)。這兩種計(jì)算公式如下：

原文標(biāo)題：機(jī)器學(xué)習(xí)分類器性能標(biāo)準(zhǔn)（Accuracy、Precision、Recall、P-R曲線、F1等）你是否真的懂了？

文章出處：【微信公眾號(hào)：自然語(yǔ)言處理愛(ài)好者】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq