在機器學(xué)習(xí)算法中，在模型訓(xùn)練出來之后，總會去尋找衡量模型性能的指標(biāo)。評價指標(biāo)是針對將相同的數(shù)據(jù)，使用不同的算法模型，或者輸入不同參數(shù)的同一種算法模型，而給出這個算法或者參數(shù)好壞的定量指標(biāo)。在模型評估過程中，往往需要使用多種不同的指標(biāo)協(xié)作評估一個模型的好壞，因為眾多的評價指標(biāo)中，大部分指標(biāo)只能片面的反應(yīng)模型的一部分特點，那么對模型的評估就會比較片面，在算法落地后也會出現(xiàn)很多問題。根據(jù)評估指標(biāo)的反饋進行模型調(diào)整，這些都是機器學(xué)習(xí)在模型評估階段的關(guān)鍵問題，也是一名合格的算法工程師應(yīng)當(dāng)具備的基本功[文獻1]。

本文參考文獻1, 2，詳細介紹機器學(xué)習(xí)分類任務(wù)的常用評價指標(biāo)：準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-Recall Curve）、F1 Score、混淆矩陣（Confuse Matrix）、ROC、AUC。

1 準(zhǔn)確率（Accuracy）

準(zhǔn)確率定義如下：

也就是被正確分類的樣本個數(shù)與總樣本的個數(shù)之比，對于二分類來說可以這樣看：

其中（正、負樣本代表兩個不同類別）：

真正例(True Positive, TP)：標(biāo)注的數(shù)據(jù)為正樣本，被模型預(yù)測為正的正樣本；

假正例(False Positive, FP)：標(biāo)注的數(shù)據(jù)為負樣本，被模型預(yù)測為正的負樣本；

假負例(False Negative, FN)：標(biāo)注的數(shù)據(jù)為負樣本，被模型預(yù)測為負的正樣本；

真負例(True Negative, TN)：標(biāo)注的數(shù)據(jù)為正樣本，被模型預(yù)測為負的負樣本；

準(zhǔn)確率是分類問題中最簡單也是最直觀的評價指標(biāo)，但存在明顯的缺陷，就是在數(shù)據(jù)的類別不均衡，特別是一種類別數(shù)據(jù)特別多另一種類別數(shù)據(jù)特別少的情況下，準(zhǔn)確率就不能客觀評價算法的優(yōu)劣了。舉個例子：當(dāng)負樣本占99%時，分類器把所有樣本都預(yù)測為負樣本，那么對于這個模型來說可以獲得99%的準(zhǔn)確率，所以在樣本數(shù)據(jù)極度不均衡的時候，選用這種方式去評價一個模型是不可取的。

2 精確率（Precision）

精準(zhǔn)率又叫查準(zhǔn)率，容易與準(zhǔn)確率弄混，請記住這個“精”字，「它是針對一個類別預(yù)測結(jié)果而言的」，含義是在所有被預(yù)測為正的樣本中實際為正的樣本的概率，在預(yù)測為正樣本的結(jié)果中，有多少把握可以預(yù)測正確，因為其他類別的數(shù)據(jù)也可能被預(yù)測成為該類別。以二分類（以下不特殊說明，都以二分類為例介紹）來說其公式如下：

精準(zhǔn)率代表對正樣本「結(jié)果」中的預(yù)測準(zhǔn)確程度，而準(zhǔn)確率則代表整體的預(yù)測準(zhǔn)確程度，既包括正樣本，也包括負樣本。

3 召回率（Recall）

召回率又叫查全率，「它是針對原樣本而言的」，即在實際為正的樣本中被預(yù)測為正樣本的概率，其公式如下：

精確率和召回率又是一對歡喜冤家（一個查準(zhǔn)率，一個查全率）。引用wiki上的圖，來理解一下：

實際中該如何選擇這兩個指標(biāo)呢？因為精確率和召回率有不同的側(cè)重點，并且精確率和召回率是一對此消彼長的度量，精確率高可能原因是原始樣本中正樣本預(yù)測為正樣本比較少，負樣本預(yù)測為正樣本也比較多，那么這個時候召回率就低了，因為召回率是正樣本預(yù)測為正樣本的比率。例如，在預(yù)測股票的時候，更關(guān)心精準(zhǔn)率，假如你買的股票現(xiàn)在有漲有跌，預(yù)測這些股票漲的多，那么這就是對我們有用的，因為所預(yù)測漲的股票都是你投錢的。而在預(yù)測病患的場景下，則更關(guān)注召回率，即真的患病的那些人中預(yù)測對了情況應(yīng)該越多越好，即召回率越高越好。

因為兩種精準(zhǔn)率和召回率是此消彼長的參數(shù)，而在實際情況中，例如推薦系統(tǒng)中有這樣的情形。在給用戶推薦的N個數(shù)據(jù)中，我們都認(rèn)為是預(yù)測為正的值，那么其中有用戶喜歡的就是預(yù)測正樣本預(yù)測為正樣本的情形，即TP，其中用戶不喜歡的就是預(yù)測負樣本為正樣本的情形，即FP。當(dāng)準(zhǔn)確率比較高的時候，那么類別就比較多，而用戶實際喜歡的并沒有那么多，而當(dāng)召回率比較高，那么推送的類別少，用戶可能想看更多的類別，推送的又沒有。所以，在實際工程中，往往需要結(jié)合兩個指標(biāo)的結(jié)果，去尋找一個平衡點，使綜合性能最大化。

4 P-R曲線

P-R曲線（Precision Recall Curve）是描述精確率/召回率變化的曲線，如下圖所示，橫軸為召回率，縱軸為精確率：

對于一個模型來說，其P-R曲線上的一個點代表著：在某一閾值下，模型將大于該閾值的結(jié)果判定為正樣本，小于該閾值的結(jié)果判定為負樣本，此時就可以計算出對應(yīng)的召回率和精確率。改變這個閾值就可以得到一條P-R曲線。那么如何去看一個P-R曲線呢？若一個學(xué)習(xí)器A的P-R曲線被另一個學(xué)習(xí)器B的P-R曲線完全包住，則稱：B的性能優(yōu)于A。若A和B的曲線發(fā)生了交叉，則誰的曲線下的面積大，誰的性能更優(yōu)。但一般來說，曲線下的面積是很難進行估算的，所以衍生出了“平衡點”（Break-Event Point，簡稱BEP），即當(dāng)P=R時的取值，平衡點的取值越高，性能更優(yōu)。

5 F1-Score

除了使用P-R曲線去兼顧精準(zhǔn)率和召回率一個模型之外，最常見的方法就是F-Measure，又稱F-Score。F-Measure是P和R的加權(quán)調(diào)和平均，使用最多也就是F1值了，即：

當(dāng)F1較高時，模型的性能越好。

6 ROC曲線

介紹了這么多指標(biāo)為什么還要介紹ROC（Receiver Operating Characteristic Curve，又稱接受者操作特征曲線）曲線呢，因為ROC曲線有很多優(yōu)點，經(jīng)常作為評估二值分類器最重要的指標(biāo)之一。如：「當(dāng)測試集中的正負樣本的分布變化的時候，ROC曲線能夠保持不變」。在輸出為概率分布的分類模型中，如果僅使用準(zhǔn)確率、精確率、召回率作為評價指標(biāo)進行模型對比時，都必須是基于某一個給定閾值的，對于不同的閾值，各模型的Metrics結(jié)果也會有所不同，這樣就很難得出一個很置信的結(jié)果。需要注意的是P-R曲線是不依賴閾值的，但是在繪制P-R曲線的時候需要閾值。

ROC曲線的橫坐標(biāo)為假陽性率（False Positive Rate，F(xiàn)PR）；縱坐標(biāo)為真陽性率（True Positive Rate，TPR）。FPR和TPR的計算方法分別為：

其中，F(xiàn)P是所有負樣本中預(yù)測為正樣本那些負樣本數(shù)目，N是真實負樣本數(shù)目。

其中，TP是所有正樣本中預(yù)測為正樣本那些正樣本數(shù)目，P是真是正樣本數(shù)目。

上面定義有點繞，舉個例子：假設(shè)有10位疑似癌癥患者，其中有3位很不幸確實患了癌癥（P=3），另外7位不是癌癥患者（N=7）。醫(yī)院對這10位疑似患者做了診斷，診斷出3位癌癥患者，其中有2位確實是真正的患者（TP=2）。那么真陽性率TPR=TP/P=2/3。對于7位非癌癥患者來說，有一位很不幸被誤診為癌癥患者（FP=1），那么假陽性率FPR=FP/N=1/7。對于“該醫(yī)院”這個分類器來說，這組分類結(jié)果就對應(yīng)ROC曲線上的一個點（1/7，2/3）。（還是有點繞？那就沉下心理一下）。下面就有一個ROC曲線，來欣賞一下。

「那么為什么ROC曲線衡量效果可以不用在意數(shù)據(jù)的分布呢？」舉個例子：假設(shè)總樣本中，90%是正樣本，10%是負樣本。因為TPR只關(guān)注90%正樣本中有多少是被預(yù)測正確的，而與那10%負樣本毫無關(guān)系，同理，F(xiàn)PR只關(guān)注10%負樣本中有多少是被預(yù)測錯誤的，也與那90%正樣本毫無關(guān)系。這樣就避免了樣本不平衡的問題。那么兩者協(xié)作起來就能夠很好地衡量一個模型了。

「那么如何繪制ROC曲線呢？」這里也需要我們通過閾值來繪制（「與之前一樣，遍歷所有閾值來繪制整條曲線的」）。當(dāng)改變閾值時，那么預(yù)測出正樣本和負樣本的數(shù)目也隨之變化，如下圖：

「知道了如何繪制ROC曲線了，那么怎么去看ROC曲線呢，也就是說如何根據(jù)ROC曲線確定一個模型的好壞？即如何根據(jù)ROC曲線判斷模型性能？」 FPR（假陽率）表示模型對于負樣本誤判的程度，而TPR（真陽率）表示模型對正樣本召回的程度。可想而知：負樣本誤判的越少越好，正樣本召回的越多越好。所以總結(jié)一下就是TPR越高，同時FPR越低（即ROC曲線越陡），那么模型的性能就越好。可參考如下動態(tài)圖進行理解：

也就是說：在進行模型的性能比較時，若一個模型A的ROC曲線被另一個模型B的ROC曲線完全包住，則稱B的性能優(yōu)于A。若A和B的曲線發(fā)生了交叉，則誰的曲線下的面積大，誰的性能更優(yōu)。下面再次借用文獻2中的圖片演示ROC曲線不隨樣本數(shù)目的變化而變化的動圖，如下：

當(dāng)然，我們也不可能總是通過看圖去比較幾個模型的性能，那么問題就來了，如何將圖形進行量化呢？

7 AUC值

AUC(Area Under Curve)指的是ROC曲線下的面積大小，該值能夠量化地反映基于ROC曲線衡量出的模型性能。計算AUC值只需要沿著ROC橫軸做積分就可以了。由于ROC曲線一般都處于y=x這條直線的上方（如果不是的話，只要把模型預(yù)測的概率反轉(zhuǎn)成1?p就可以得到一個更好的分類器），所以AUC的取值一般在0.5～1之間。AUC越大，說明分類器越可能把真正的正樣本排在前面，分類性能越好。具體計算方法可參考文獻[3]。

8 混淆矩陣

混淆矩陣（Confusion Matrix）也稱錯誤矩陣，通過它可以直觀地觀察到算法的效果。它的每一列是樣本的預(yù)測分類，每一行是樣本的真實分類（反過來也可以），顧名思義，它反映了分類結(jié)果的混淆程度?；煜仃噄行j列的原始是原本是類別i卻被分為類別j的樣本個數(shù)，計算完之后還可以對之進行可視化，可看看文獻[2]中的混淆矩陣圖片演示：

9 多分類

最基本的內(nèi)容是二分類，多分類也可以拆分為多個二分類進行。在了解二分類的基礎(chǔ)上，我們來看看如何衡量一個多分類模型的性能了，畢竟實際的問題屬于多分類的概率是比較大的。

估算模型全局性能的方法有兩種：宏平均（macro-average）和微平均（micro-average）。綜合來看宏平均會比微平均更可靠一些，因為微平均受稀有類別影響更大。宏平均平等對待每一個類別，所以它的值主要受到稀有類別的影響，而微平均平等考慮數(shù)據(jù)集中的每一個樣本，所以它的值受到常見類別的影響比較大。

簡單來說，宏平均就是先算出每個混淆矩陣的P值和R值，然后取得平均P值macro-P和平均R值macro-R，再算出F1值。微平均則是計算出混淆矩陣的平均TP、FP、TN、FN，接著進行計算P、R，進而求出F1值。同理可以使用這兩種方式計算出其他的衡量指標(biāo)。這兩種計算公式如下：

原文標(biāo)題：機器學(xué)習(xí)分類器性能標(biāo)準(zhǔn)（Accuracy、Precision、Recall、P-R曲線、F1等）你是否真的懂了？

文章出處：【微信公眾號：自然語言處理愛好者】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq