提高機器學習模型的可解釋性和透明度，將有助于模型的除錯、引導未來的數(shù)據收集方向、為特征構建和人類決策提供真正可靠的信息，最終在人與模型之間建立信任。

過去幾年來，人工智能研究人員在圖像識別、自然語言理解和棋類等領域取得了重大突破。但由于缺乏對復雜機器學習模型的真正理解，導致模型在傳播時出現(xiàn)了偏見，這種偏見在零售、面部識別和語言理解等領域的應用中出現(xiàn)了多次。

說到底，機器學習模型大多數(shù)時候仍然是“黑盒子”，很多時候可以拿來用，但具體原理并不十分清楚，即缺乏足夠的“可解釋性”。

什么是模型的”可解釋性“？不同人群定義不一樣

所謂模型的可解釋性，是指人類能夠在何種程度上一致地估計、理解并遵循模型的預測，以及在模型出錯時，在何種程度上能夠成功檢測到。

可解釋性對不同的人群有著不同的含義：

對于數(shù)據科學家來說，意味著更好地理解模型，掌握模型性能好壞情況以及原因。這些信息有助于數(shù)據科學家構建性能更強大的模型。

對于業(yè)務利益相關者而言，模型具備可解釋性有助于深入了解為什么人工智能系統(tǒng)做出特定決定以確保公平性，維護用戶和品牌。

對于用戶來說，這意味著要理解模型做出決策的原因，并在模型出錯時允許進行有意義的挑戰(zhàn)。

對于專家或監(jiān)管機構來說，它意味著審核AI系統(tǒng)并遵循決策流程，尤其是在系統(tǒng)出現(xiàn)問題時。

微軟的團隊數(shù)據科學流程（TDSP），其中一個重要環(huán)節(jié)就是對模型的理解

機器學習模型的可解釋性可以展示模型正在學習什么內容，而洞悉模型的內部，要比大多數(shù)人預想的更加有用。

在過去的10年里，我采訪了許多數(shù)據科學家，其中模型可解釋性技術是我最喜歡的主題，在這一問題上，甚至可以將最優(yōu)秀的數(shù)據科學家與普通科學家區(qū)分開來。

有些人認為機器學習模型是黑盒子，可以做出預測，但卻無法理解。但最好的數(shù)據科學家知道如何從任何模型中提取出關于真實世界的見解。對于任何給定的模型，優(yōu)秀的數(shù)據科學家可以輕松回答類似下面的問題：

模型認為哪些特征最重要？

對于來自模型的任何預測來說，數(shù)據的每個特征會對預測結果產生哪些影響？

不同特征之間的哪些相互作用對模型的預測結果影響最大？

回答這些問題比許多人意識到的更為廣泛。無論你是從Kaggle學習技術還是從統(tǒng)計學習元素這樣的綜合資源中學習，這些技術都將徹底改變構建，驗證和部署機器學習模型的方式。

提高模型可解釋性有什么用？

關于模型的可解釋性技術，以下是五個最重要的應用方式：

調試

為模型特征構建提供信息

指導未來的數(shù)據收集方向

為人類決策提供建議

在人與模型間建立信任

調試

世界上存在很多可靠性不高，雜亂無章、數(shù)量眾多的數(shù)據。在編寫預處理代碼時，這些數(shù)據可能會成為潛在的錯誤源頭，增加目標泄漏的可能性，在實際數(shù)據科學項目中的某些時候出現(xiàn)錯誤可以說是一種常態(tài)，而不是例外。

由于錯誤出現(xiàn)的頻率和潛在的災難性后果，除錯是數(shù)據科學中最有價值的技能之一。了解模型發(fā)現(xiàn)的模式將幫助你確定，模型對現(xiàn)實世界的理解與你自己的觀點出現(xiàn)了不一致，而這通常是查找錯誤的第一步。

為模型的特征構建提供信息

特征構建通常是提高模型精度的最有效的方法。這個過程通常涉及使用原始數(shù)據或先前創(chuàng)建的特征的轉換重復創(chuàng)建新特征。

有時你可以只憑借關于底層主題的直覺來完成這個過程。但是，當模型有100個原始特征或缺乏有關您正在處理的主題的背景知識時，就需要更多指引了。這時候，如果模型仍是黑盒子，不可解釋的，完成這一過程可能會非常困難，甚至是不可能的。

未來，隨著越來越多的數(shù)據集的原始特征數(shù)量達到成百上千的級別，這種方式無疑會變得越來越重要。

指導未來的數(shù)據收集方向

對于從網上下載的數(shù)據集，你并沒有控制能力。但是，許多利用數(shù)據科學的企業(yè)和組織都有機會擴展其收集的數(shù)據類型。收集新類型的數(shù)據可能成本高昂，又不方便，因此只有在知道某類數(shù)據值得收集，他們才會去這樣做。

如果模型是可解釋的，就可以很好地理解當前特征的價值，進而更有可能推斷出哪些新型數(shù)據是最有用的，從而指導未來數(shù)據的收集方向。

為人類決策提供建議

有些決策行為是由模型自動完成的。比如，當你訪問亞馬遜的網站時，你所看到的網頁內容并不是由真人匆忙決定的。不過，確實許多重要的決定都是由人做出的。對于這些決策，觀點洞察可能比預測結果更有價值。

在人與模型間建立信任

在沒有驗證一些基本事實的情況下，許多人認為他們無法信任模型來進行重要決策?？紤]到數(shù)據出現(xiàn)錯誤的幾率，這是一個明智的預防措施。

在實際應用中，如果模型顯示的結果符合他們對問題的一般見解，將有助于在人與模型間建立一種信任，即使對數(shù)據科學知之甚少的人而言也是如此。

不過，在Adrian Weller的一篇有趣的論文中，提出AI透明度應該是實現(xiàn)目標的手段，而不是目標本身。Weller認為，更高的模型透明度可能產生對所有人不利的結果，并可能使AI被惡意者濫用。

毫無疑問，AI系統(tǒng)必須足夠安全，并且能夠防范對抗性攻擊，這樣，討論模型的可解釋性和透明度才是有積極意義的。