人工智能經(jīng)常被提及的挑戰(zhàn)之一是無法獲得關(guān)于人工智能系統(tǒng)如何做出決策的充分理解的解釋。盡管這對于機器學(xué)習(xí)應(yīng)用程序（例如產(chǎn)品推薦或個性化方案）而言可能不是挑戰(zhàn)，但在需要理解決策的關(guān)鍵應(yīng)用程序中使用AI都會面臨透明性和可解釋性問題。

在最近的AI Today播客中，斯坦福大學(xué)計算機科學(xué)系戰(zhàn)略研究計劃主任Steve Eglash分享了有關(guān)透明和負責(zé)任的AI演變的見解和研究。Eglash教授是計算機科學(xué)系的一名工作人員，他與一小群人一起開展研究計劃，與大學(xué)以外的公司合作。這個小組幫助公司與學(xué)生共享觀點和技術(shù)，學(xué)生與公司共享技術(shù)。在加入斯坦福大學(xué)之前，史蒂夫是一名電氣工程師。在這個職位上，他介于技術(shù)和科學(xué)之間。在他最終進入學(xué)術(shù)界之前，他還從事過投資，政府，研究工作。

隨著AI在每個行業(yè)和政府中得到廣泛使用，深入了解AI使用的機會為斯坦福大學(xué)的學(xué)生提供了許多探索新領(lǐng)域的機會。充分了解人工智能的工作原理至關(guān)重要，因為我們越來越依賴人工智能來執(zhí)行各種任務(wù)，例如自動駕駛汽車。在這些情況下，錯誤可能是致命的或?qū)е聡乐氐膫騻?。因此，更深入地研究透明和可解釋的AI系統(tǒng)可以使這些系統(tǒng)更加值得信賴和可靠。確保自動駕駛汽車等AI技術(shù)的安全至關(guān)重要。我們需要確保AI能夠安全運行。因此，我們需要能夠理解計算機做出決策的方式和原因。與此同時，

許多現(xiàn)代的AI系統(tǒng)都在神經(jīng)網(wǎng)絡(luò)上運行，而我們僅了解其基礎(chǔ)知識，因為算法本身很少提供解釋方式。缺乏解釋性通常被稱為AI系統(tǒng)的“黑匣子”。研究人員將注意力集中在神經(jīng)網(wǎng)絡(luò)如何工作的細節(jié)上。由于神經(jīng)網(wǎng)絡(luò)的規(guī)模，很難檢查它們的錯誤。神經(jīng)元及其權(quán)重之間的每個連接都增加了復(fù)雜性，使事后檢查決策變得非常困難。

Reluplex-透明AI的一種方法

驗證是證明神經(jīng)網(wǎng)絡(luò)特性的過程。Reluplex是最近由許多人設(shè)計的一種程序，用于測試大型神經(jīng)網(wǎng)絡(luò)。Reluplex背后的技術(shù)使其能夠在大型神經(jīng)網(wǎng)絡(luò)中快速運行。Reluplex被用于測試自主無人機的機載碰撞檢測和回避系統(tǒng)。使用該程序時，該程序能夠證明網(wǎng)絡(luò)的某些部分可以正常工作。但是，它也能夠找到網(wǎng)絡(luò)中的錯誤，該錯誤可以在下一個實現(xiàn)中修復(fù)。

關(guān)于黑匣子的想法，可解釋性是史蒂夫提出的另一個領(lǐng)域。如果您有大型模型，是否可以了解模型如何進行預(yù)測？他以圖像識別系統(tǒng)為例，試圖了解海灘上狗的照片。它可以通過兩種方式識別狗。AI可以拍攝組成狗的像素并將其與狗關(guān)聯(lián)。另一方面，它可能需要圍繞狗的海灘和天空的像素來創(chuàng)建對狗在那里的了解。如果不了解系統(tǒng)是如何做出這些決定的，那么您將不知道網(wǎng)絡(luò)實際上正在接受什么培訓(xùn)。

如果AI使用第一種方法來了解存在的狗，那么它正在以一種可以模擬我們自己的大腦工作方式的理性方式進行思考。但是，替代方法可以視為弱關(guān)聯(lián)，因為它不依賴包含狗的圖片的實際部分。為了確認AI是否正確處理了圖像，我們需要知道它是如何做到的，并且有很大一部分研究正在進行此任務(wù)以及與之相似的任務(wù)。

探索數(shù)據(jù)偏差

人工智能系統(tǒng)的數(shù)據(jù)偏差也是斯坦福大學(xué)的重點。根據(jù)用于訓(xùn)練機器學(xué)習(xí)模型的數(shù)據(jù)，發(fā)現(xiàn)人工智能系統(tǒng)存在相當(dāng)大的偏差。AI用來做決定的數(shù)據(jù)通常會導(dǎo)致偏差，因為計算機沒有進行公正分析所需的信息。除了有偏見的數(shù)據(jù)問題之外，系統(tǒng)本身也可以通過僅考慮特定的組而使決策偏向偏見。當(dāng)您訓(xùn)練機器學(xué)習(xí)模型以傾向于較大的數(shù)據(jù)組時，它很可能會偏向那些較大的組。

我們需要消除AI系統(tǒng)與人之間的互動越來越多的偏見。人工智能現(xiàn)在正在為人類做出決策，例如保險資格，人員再次犯罪的可能性以及其他可能改變生活的決策。人工智能做出的決定具有現(xiàn)實世界的后果，我們不希望計算機使不平等和不公正現(xiàn)象長期存在。

為了消除AI的偏見，數(shù)據(jù)科學(xué)家需要分析AI并根據(jù)社會偏見做出決策。至此，Percy Liang教授正在與他的學(xué)生們一起創(chuàng)造強大的分布優(yōu)化，旨在擺脫人口統(tǒng)計學(xué)的影響，朝著機器的力量集中于所有人群的方向發(fā)展。其他研究人員正在致力于關(guān)注人工智能的公平與平等。

由于AI系統(tǒng)尚未證明其可解釋性和完全的可信賴性，因此Steve認為AI將主要以增強和輔助方式使用，而不是完全獨立。通過使人員處于循環(huán)中，我們可以更好地進行更改，以便在系統(tǒng)做出有問題的決策時保持警惕，并對AI輔助操作的最終結(jié)果施加更多控制。