2020年8月18日美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）發(fā)布聯(lián)合報告《可解釋人工智能四項(xiàng)原則草案》（以下簡稱“草案”），介紹了可解釋人工智能（AI）的四項(xiàng)原則，它們構(gòu)成了可解釋AI系統(tǒng)的基本屬性，涵蓋了可解釋AI的多學(xué)科性質(zhì)，包括計(jì)算機(jī)科學(xué)、工程學(xué)和心理學(xué)領(lǐng)域?？山忉屝允强尚臕I的主要特征之一，不同的AI用戶需要不同類型的解釋，因此并不存在唯一的解釋?！安莅浮碧岢隽宋孱惤忉?，總結(jié)了可解釋AI理論并對可解釋算法進(jìn)行了概述?！安莅浮睂⑷祟愖陨頉Q策判斷作為參照來評估可解釋AI四項(xiàng)原則，為設(shè)計(jì)可解釋AI系統(tǒng)提供了參考。

一、四項(xiàng)原則

1.解釋原則（Explanation）

解釋原則要求AI系統(tǒng)為所有輸出提供相應(yīng)證據(jù)和理由，但不要求證據(jù)是正確的、信息豐富的或可理解的，只要表明AI系統(tǒng)能夠提供解釋即可。解釋原則不強(qiáng)加任何的質(zhì)量評價指標(biāo)。

2.有意義原則（Meaningful）

有意義原則要求AI系統(tǒng)提供單個用戶可理解的解釋。也就說，只要一個用戶可以理解AI系統(tǒng)所提供的解釋即符合該原則，不要求解釋為所有用戶所理解。有意義原則允許基于不同用戶群體或個人的定制化和動態(tài)解釋。不同用戶群體對AI系統(tǒng)的解釋需求不同，如系統(tǒng)開發(fā)者與系統(tǒng)使用者需求不同，律師和陪審團(tuán)需求不同。此外，每個人知識、經(jīng)驗(yàn)、心理等方面存在差異導(dǎo)致其對AI解釋的理解不同。

3.解釋準(zhǔn)確性原則（Explanation Accuracy）

解釋準(zhǔn)確性原則要求相應(yīng)解釋正確反映AI系統(tǒng)產(chǎn)生輸出的過程，不要求AI系統(tǒng)做出的判斷準(zhǔn)確。與有意義原則類似，解釋準(zhǔn)確性原則也允許用戶差異性。有的用戶（如專家）需要解釋產(chǎn)生輸出的算法細(xì)節(jié)，有的用戶可能僅需要關(guān)鍵問題的解釋。對算法細(xì)節(jié)要求的差異性恰恰反映了解釋準(zhǔn)確性原則與有意義原則的不同，詳細(xì)解釋可以加強(qiáng)準(zhǔn)確性但卻犧牲了部分用戶的理解性?；诓煌挠脩羧后w定制化解釋準(zhǔn)確性測量指標(biāo)。AI系統(tǒng)可以提供多類型、多層次的解釋，因此解釋準(zhǔn)確性測量指標(biāo)不是通用或絕對的。

4.知識局限性原則（Knowledge Limits）

知識局限性原則要求AI系統(tǒng)僅可以在其所設(shè)定的條件下運(yùn)行，以保證系統(tǒng)輸出。知識局限性原則要求AI系統(tǒng)能識別出未經(jīng)設(shè)計(jì)或批準(zhǔn)以及響應(yīng)錯誤的情況。知識局限性原則可以防止錯誤、危險、不公正的決策和輸出，從而增加AI系統(tǒng)的可信度。AI系統(tǒng)有兩類知識局限性，一是所需判斷不屬于AI系統(tǒng)本身設(shè)定，如鳥分類AI系統(tǒng)無法分類蘋果，二是所需判斷超越內(nèi)部置信度閾值，如鳥分類AI系統(tǒng)無法對模糊圖像上的鳥類進(jìn)行歸類。

二、五類解釋

1.用戶利益（User benefit）：這類解釋用來通知用戶相關(guān)AI系統(tǒng)的輸出信息。例如，為貸款申請者提供貸款獲批或者被拒的原因。

2.社會接受度（Societal acceptance）：這類解釋用來提高社會對AI系統(tǒng)的信任和接受程度。例如，如果AI系統(tǒng)提供了意想不到的輸出，需向用戶說明出現(xiàn)結(jié)果偏差的原因。

3.監(jiān)管合規(guī)（Regulatory and compliance）：這類解釋用來協(xié)助審核AI系統(tǒng)是否符合相關(guān)的法規(guī)和安全標(biāo)準(zhǔn)等。例如，為自動駕駛的開發(fā)人員和審核人員提供相關(guān)輔助，對飛機(jī)失事后的司法鑒定進(jìn)行評估等。

4.系統(tǒng)開發(fā)（System development）：這類解釋用來幫助和提升AI算法和系統(tǒng)的開發(fā)、改進(jìn)、調(diào)試和維護(hù)。此類解釋面向技術(shù)人員、產(chǎn)品經(jīng)理和執(zhí)行人員，同時面向需要系統(tǒng)細(xì)節(jié)的用戶以及與系統(tǒng)交互的用戶。

5.所有者利益（Owner benefit）：這類解釋用于使AI系統(tǒng)運(yùn)營者獲益。例如，影視推薦系統(tǒng)根據(jù)用戶以往觀看歷史為其推薦影視產(chǎn)品，如果用戶接受推薦將繼續(xù)使用該服務(wù)，那么使用推薦系統(tǒng)的服務(wù)運(yùn)營者也將獲利。

三、可解釋算法

目前研究人員已經(jīng)開發(fā)了各種算法來解釋AI系統(tǒng)。自解釋模型算法，算法本身提供解釋，如決策樹模型、線性和邏輯回歸模型。全局解釋算法，將AI算法視為黑盒進(jìn)行全局解釋，如用Shapley值判斷特征重要性。單個決策解釋算法，在黑盒模型基礎(chǔ)上為每個決策提供獨(dú)立的解釋，如用LIME值解釋單個預(yù)測。解釋的對抗性攻擊算法，主要應(yīng)對解釋準(zhǔn)確性不能達(dá)到100%時的系統(tǒng)安全問題。