人工智能正在改變幾乎所有行業(yè)和應(yīng)用領(lǐng)域的工程。隨之而來的是對高 AI 模型準(zhǔn)確性的需求。事實上，AI 模型在取代傳統(tǒng)方法時往往更準(zhǔn)確，但這有時也會付出代價：復(fù)雜的 AI 模型是如何做出決策的;作為工程師，我們?nèi)绾悟炞C結(jié)果是否如預(yù)期那樣有效?

進入可解釋 AI —— 它是一套工具和技術(shù)，可幫助我們理解模型決策，并發(fā)現(xiàn)黑盒模型的問題，如偏差或?qū)构粢赘行??？山忉屝钥梢詭椭鶤I模型的使用者理解機器學(xué)習(xí)模型是如何得出預(yù)測，這就像理解哪些特征驅(qū)動模型決策那樣簡單，但在試圖解釋復(fù)雜模型時會變得困難。

AI 模型的演變

為什么要大力推動可解釋 AI 技術(shù)?模型并不總是那么復(fù)雜。其實，我們不妨先看一個冬季恒溫器的簡單示例?；谝?guī)則的模型如下所示：

低于 65 華氏度開啟加熱器

高于 68 華氏度關(guān)閉加熱器

恒溫器是否正常工作?變量包括當(dāng)前室溫和加熱器是否工作，所以根據(jù)室內(nèi)溫度很容易進行驗證。

由于問題的簡單性或?qū)ξ锢黻P(guān)系的固有“常識性”理解，某些模型(如溫度控制)本質(zhì)上是可以解釋的。一般來說，對于不能接受黑盒模型的應(yīng)用，使用本身具有可解釋性的簡單模型是可行的，只要模型足夠準(zhǔn)確，就可接受并視為有效。

但是，轉(zhuǎn)向更高級的模型可以帶來以下優(yōu)勢：

準(zhǔn)確度：

在許多情況下，復(fù)雜的模型會帶來更準(zhǔn)確的結(jié)果。有時結(jié)果可能不會立即顯現(xiàn)出來，但可以更快地找到答案。

處理更復(fù)雜的數(shù)據(jù)：

工程師可能需要處理復(fù)雜的數(shù)據(jù)，如流信號和圖像，這些數(shù)據(jù)可以直接用于 AI 模型，從而節(jié)省大量的建模時間。

復(fù)雜應(yīng)用領(lǐng)域：

應(yīng)用的復(fù)雜性不斷增加，新的研究正在探索深度學(xué)習(xí)技術(shù)可以替代像特征提取等傳統(tǒng)技術(shù)的更多領(lǐng)域。

圖 1：AI 模型的演變。簡單模型可能具有更高的透明度，復(fù)雜的模型則可以提高性能。

為什么尋求可解釋性?

AI 模型通常被稱為“黑盒”，你無法看到模型在訓(xùn)練過程中學(xué)習(xí)了什么，也無法確定模型在未知條件下是否能按預(yù)期工作。對可解釋模型的關(guān)注旨在提出有關(guān)模型的問題，以發(fā)現(xiàn)任何未知數(shù)并解釋它們的預(yù)測、決策和行動。

復(fù)雜性與可解釋性

在轉(zhuǎn)向更復(fù)雜模型的過程中，理解模型內(nèi)部運行情況的能力變得越來越具有挑戰(zhàn)性。因此，隨著預(yù)測能力的提升，工程師們需要找到新的方法來確保他們能夠保持對模型的信心。

圖 2：可解釋性和預(yù)測能力之間的權(quán)衡。一般來說，更強大的模型往往不太容易解釋，工程師將需要新的方法來實現(xiàn)可解釋性，以確保隨著預(yù)測能力的提升，他們能夠保持對模型的信心。

使用可解釋的模型可以提供最深入的見解，而無需為流程添加額外步驟。例如，使用決策樹或線性權(quán)重可以為模型選擇特定結(jié)果的原因提供確切的證據(jù)。

工程師需要更深入地了解他們的數(shù)據(jù)和模型，并出于以下原因推動可解釋性研究： 1. 對模型的信心：

基于其角色以及與應(yīng)用的交互，許多相關(guān)人員都很關(guān)注解釋模型的能力。例如：

決策者希望信任并理解 AI 模型的工作方式。

客戶希望確信應(yīng)用在所有場景中都能按預(yù)期工作，并且系統(tǒng)的行為是合理和可理解的。

模型開發(fā)人員希望深入了解模型行為，并且可以通過了解模型做出特定決策的原因來提高準(zhǔn)確性。

2. 監(jiān)管要求：

人們越來越希望在具有內(nèi)部和外部監(jiān)管要求的安全關(guān)鍵領(lǐng)域和治理及合規(guī)應(yīng)用中使用 AI 模型。盡管每個行業(yè)都有特定的要求，但提供訓(xùn)練穩(wěn)健性、公平性和可信度的證據(jù)會很重要。

3. 識別偏差：

當(dāng)模型在有偏差或采樣不均勻的數(shù)據(jù)上進行訓(xùn)練時，就會引入偏差。對于應(yīng)用于人的模型，偏差尤其令人擔(dān)憂。模型開發(fā)人員務(wù)必要了解偏差會如何隱式地影響結(jié)果，并將這種影響納入考慮，以便 AI 模型進行“泛化”，即提供準(zhǔn)確的預(yù)測，而不會隱式地偏向于組和子集。

4. 調(diào)試模型：

對于處理模型的工程師來說，可解釋性可以幫助分析不正確的模型預(yù)測。這可能包括調(diào)查模型或數(shù)據(jù)中的問題。下面一節(jié)將介紹一些有助于調(diào)試的具體可解釋性技術(shù)。

當(dāng)前的可解釋性方法

可解釋性方法分為兩類：

全局方法：

根據(jù)輸入數(shù)據(jù)和預(yù)測輸出，提供模型中最具影響力的變量的概覽。

局部方法：

提供對單個預(yù)測結(jié)果的解釋。

圖 3：全局方法和局部方法的區(qū)別。局部方法側(cè)重于單項預(yù)測，而全局方法側(cè)重于多項預(yù)測。

了解特征影響

全局方法包括特征排序，它根據(jù)特征對模型預(yù)測的影響程度對特征進行排序;還包括部分依賴圖，它聚焦于一個特定特征，并指出其在整個值范圍內(nèi)對模型預(yù)測的影響。

最常用的局部方法包括：

1. 用于機器和深度學(xué)習(xí)的 LIME：

與模型無關(guān)的局部可解釋性方法 (LIME) 可用于傳統(tǒng)機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的解釋。其主要機理是在關(guān)注點附近用一個簡單、可解釋的模型來逼近一個復(fù)雜模型，從而確定哪個預(yù)測變量對決策影響最大。

2. Shapely 值：

某個數(shù)據(jù)點 (也叫查詢點)的特征的 Shapley 值解釋了該特征導(dǎo)致的預(yù)測與平均預(yù)測的偏差。使用 Shapley 值解釋各個特征對指定查詢點處預(yù)測的影響。

可視化

在為圖像處理或計算機視覺應(yīng)用構(gòu)建模型時，可視化是評估模型可解釋性的最佳方法之一。

模型可視化：Grad-CAM 和遮擋敏感度等局部方法可以識別圖像和文本中對模型預(yù)測影響最大的位置。

圖 4：可視化提供對網(wǎng)絡(luò)錯誤預(yù)測的深入見解。

特征比較和分組：全局方法 T-SNE 是使用特征分組來理解類別之間關(guān)系的一個示例。T-SNE 在用簡單的二維圖顯示高維數(shù)據(jù)方面表現(xiàn)出色。

這些只是目前可用于幫助模型開發(fā)人員實現(xiàn)可解釋性的眾多技術(shù)中的一小部分。無論算法的細節(jié)如何，目標(biāo)都是相同的：幫助工程師更深入地了解數(shù)據(jù)和模型。在 AI 建模和測試期間使用時，這些技術(shù)可以為 AI 預(yù)測提供更多洞察力和信心。

可解釋性之外

可解釋性有助于克服許多高級 AI 模型的黑盒性質(zhì)。但消除相關(guān)人員或監(jiān)管機構(gòu)對黑盒模型的抵制，只是在工程系統(tǒng)中自信地使用 AI 的一步。在實踐中應(yīng)用 AI 需要使用能夠被理解的模型，這些模型應(yīng)遵循嚴(yán)格的構(gòu)建流程，并且能夠在符合安全關(guān)鍵性和敏感型應(yīng)用要求的水平上運行。

持續(xù)關(guān)注和改進的領(lǐng)域包括：

驗證和確認：

驗證和確認是正在進行的一個研究領(lǐng)域。它對可解釋性進行了拓展，從確信和證明模型在特定條件下有效，擴展到重點關(guān)注在安全關(guān)鍵型應(yīng)用中使用的必須滿足最低標(biāo)準(zhǔn)的模型。

安全認證：

汽車和航空航天等行業(yè)正在定義針對其應(yīng)用的 AI 安全認證。用 AI 取代或增強的傳統(tǒng)方法必須符合相同的標(biāo)準(zhǔn)，并且只有證明結(jié)果并顯示可解釋的結(jié)果，才能取得成功。

更透明的模型：

系統(tǒng)的輸出必須符合角色的期望。這是工程師從一開始就必須考慮的問題：將如何與最終用戶分享結(jié)果?

可解釋性是否適合您的應(yīng)用?

未來的 AI 將非常強調(diào)可解釋性。隨著 AI 被應(yīng)用于安全至關(guān)重要的日常應(yīng)用中，來自內(nèi)部相關(guān)人員和外部用戶的審查可能會增加。將可解釋性視為每個人可以獲得的基本益處。工程師可以使用更準(zhǔn)確的信息來調(diào)試他們的模型，以確保輸出與他們的直覺相匹配。他們將獲得更多洞察信息來滿足各種要求和標(biāo)準(zhǔn)，并且能夠?qū)Ｗ⒂谔岣呷遮厪?fù)雜的系統(tǒng)的透明度。

| 關(guān)于作者

Johanna Pingel

Johanna Pingel，MathWorks 產(chǎn)品經(jīng)理，主要負責(zé)機器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用，致力于讓 AI 更實用、更有趣、更可行。她于 2013 年加入公司，擅長 MATLAB 圖像處理和計算機視覺應(yīng)用。

審核編輯：湯梓紅

?