從「2001: A Space Odyssey」（2001：太空漫游）中的 HAL9000，到「The Hitchhiker’sGuide to the Galaxy」中的 Eddie，科幻小說(shuō)中到處都是智能電腦的例子。這些虛擬機(jī)器的一個(gè)共同點(diǎn)是容易出錯(cuò)，對(duì)故事中的人物造成傷害。HAL 謀殺了木星登陸計(jì)劃中的三個(gè)宇航員。Eddie 沉迷于瑣事，使它控制的航天器面臨毀滅的危險(xiǎn)。這兩個(gè)例子，都是本想構(gòu)建一個(gè)有用的事物，結(jié)果創(chuàng)造出了一個(gè)怪物。

成功的科幻小說(shuō)必然會(huì)給人們帶來(lái)真正的希望和恐懼。在 20 世紀(jì) 60 年代和 70 年代，人們夢(mèng)想 HAL 和 Eddie 時(shí)，創(chuàng)造人工智能（ AI ）這一嘗試陷入了困境，所以希望和恐懼都是假設(shè)出來(lái)的。但后來(lái)變了。深度學(xué)習(xí)技術(shù)使用被稱為神經(jīng)網(wǎng)絡(luò)的特殊計(jì)算機(jī)程序，通過(guò)大量的數(shù)據(jù)尋找和記憶模式。因?yàn)楦斆鞫粡V泛地傳播。從語(yǔ)音轉(zhuǎn)文字到檢測(cè)早期的失明跡象都已應(yīng)用這一技術(shù)。如今，通過(guò) AI 可以在工廠中進(jìn)行質(zhì)量控制，并在數(shù)據(jù)中心的冷卻系統(tǒng)中發(fā)揮作用。政府希望用它來(lái)識(shí)別***的宣傳網(wǎng)站并將其從網(wǎng)絡(luò)上移除。在自動(dòng)駕駛汽車的開(kāi)發(fā)中，它也是重要的部分。在全球最有價(jià)值的十大公司中，有七家表示他們計(jì)劃將深度學(xué)習(xí)型人工智能作為其業(yè)務(wù)的核心。

真正的人工智能遠(yuǎn)不如通常小說(shuō)中那樣先進(jìn)。它明顯缺乏科幻事物的明顯意識(shí)動(dòng)機(jī)。但它確實(shí)使希望和恐懼發(fā)生在今天，而不是一個(gè)不確定的未來(lái)。許多人擔(dān)心即使是今天的「AI-lite」也可能會(huì)變身成怪物。不再服從指令的設(shè)備并不可怕，可怕的是按照自己的方式（至少試圖這么做），而不是被告知的方式來(lái)行事，而它們的方式往往還令人難以理解。

造成這種恐懼的原因是，深度學(xué)習(xí)程序通過(guò)重新安排數(shù)字內(nèi)部的數(shù)據(jù)以響應(yīng)他們處理數(shù)據(jù)中的模式進(jìn)行學(xué)習(xí)。具體來(lái)說(shuō)，它們通過(guò)改變自己內(nèi)部設(shè)計(jì)得和神經(jīng)元一樣效果的計(jì)算機(jī)代碼之間的聯(lián)系，模仿神經(jīng)學(xué)家認(rèn)為的真正大腦運(yùn)行的方式。這意味著一旦網(wǎng)絡(luò)被訓(xùn)練，即使是神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)者也不知道它是如何做到的。允許這些系統(tǒng)運(yùn)行關(guān)鍵設(shè)施或作出醫(yī)療決定意味著將人們的生命寄托在一個(gè)人們無(wú)法真正了解的設(shè)備上。

但是，如果 AI 系統(tǒng)可以以某種方式解釋它們所做的事情及其原因，就會(huì)增加彼此的信任，這些系統(tǒng)也會(huì)變得更有用。如果事情出現(xiàn)問(wèn)題，AI 系統(tǒng)可以對(duì)其行為作出解釋，使之后的調(diào)查變得更容易。即使它們出了問(wèn)題，HAL 和 Eddie 都能夠解釋它們的行為。事實(shí)上，這是它們故事情節(jié)的關(guān)鍵部分。更簡(jiǎn)單地說(shuō)，這種自我解釋的力量是軟件工程師想在真正 AI 中效仿的東西。

通過(guò)不同的方法，試圖打開(kāi)人工智能「黑匣子」

試圖打開(kāi)人工智能「黑匣子」的第一批正式研究項(xiàng)目之一是由美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）組織的可解釋人工智能（Explainable AI ：XAI）項(xiàng)目，許多美國(guó)的軍事研究都由該組織負(fù)責(zé)。特別是美國(guó)的軍隊(duì)希望用 AI 來(lái)幫助偵查。XAI 的負(fù)責(zé)人 Dave Gunning 注意到，通過(guò)間諜飛機(jī)或衛(wèi)星從高處監(jiān)控像朝鮮這樣的地方會(huì)產(chǎn)生大量的數(shù)據(jù)。如果這樣的 AI 技術(shù)可以解釋其決策，那么它也是有價(jià)值的，這樣被警告的人就能發(fā)現(xiàn)不可避免的誤報(bào)。Gunning 說(shuō)，美國(guó)間諜機(jī)構(gòu) NSA 的分析師已經(jīng)招架不住老式模式識(shí)別軟件的建議，被迫去檢查某些特定的信息。隨著人工智能洪流的擴(kuò)大，計(jì)算機(jī)程序應(yīng)該解釋它們?yōu)槭裁匆獑酒鸩僮魅藛T的注意，這比以往更加重要。

NSA 對(duì)此回應(yīng)說(shuō)這是個(gè)秘密，這也在情理之中。但民間計(jì)劃也試圖讓神經(jīng)網(wǎng)絡(luò)可以通過(guò)以人類可理解的方式傳達(dá)自己的內(nèi)部狀態(tài)來(lái)解釋自己。例如，加利福尼亞大學(xué)伯克利分校的 Trevor Darrell 的人工智能研究小組，正在研究可以識(shí)別照片中不同種類的鳥(niǎo)類的軟件。它不僅僅是在識(shí)別，拿北美鸊鷉（Western Grebe）來(lái)說(shuō)，這個(gè)軟件解釋了正在討論的圖片是北美鸊鷉的原因，因?yàn)樗锩娴镍B(niǎo)有長(zhǎng)長(zhǎng)的白色脖子，尖尖的黃色喙和紅色的眼睛。該程序借助第二個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，此神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為利用人們寫(xiě)下的句子通過(guò)匹配系統(tǒng)的內(nèi)部特征來(lái)進(jìn)行識(shí)別（即其「神經(jīng)元」之間的連接模式），描述從檢查圖片中看到的東西。因此，當(dāng)一個(gè) AI 系統(tǒng)學(xué)習(xí)對(duì)鳥(niǎo)類進(jìn)行分類時(shí)，另一個(gè)系統(tǒng)也在學(xué)習(xí)對(duì)第一個(gè)系統(tǒng)的行為進(jìn)行分類，來(lái)解釋該系統(tǒng)是如何作出此決定的。

由佐治亞理工學(xué)院的 Mark Riedl 領(lǐng)導(dǎo)的一個(gè)團(tuán)隊(duì)采用了類似的技術(shù)來(lái)鼓勵(lì)玩游戲的 AI 來(lái)解釋其動(dòng)作。該團(tuán)隊(duì)要求人們講述他們玩街機(jī)游戲「Frogger」的經(jīng)歷。然后他們訓(xùn)練了一個(gè) AI 系統(tǒng)將這些敘述與第二個(gè)系統(tǒng)的內(nèi)部特征相匹配。最后通過(guò)人類語(yǔ)言片段描述了第二個(gè)系統(tǒng)玩游戲的方式。

這種打開(kāi)人工智能黑匣子的方式發(fā)展到了一定程度。但人們并不需要，因?yàn)樗鼈儽举|(zhì)上是對(duì)人類的解釋。因?yàn)槿藗兛梢岳斫怿B(niǎo)類圖片和電子游戲的復(fù)雜性，并把它們轉(zhuǎn)化為文字，所以，可以復(fù)制人類模式的機(jī)器也是如此。但是，人們很難分析和描述大型數(shù)據(jù)中心的能量供應(yīng)或某人的健康狀況，人工智能在這些任務(wù)中已經(jīng)超越了人們，所以人類的解釋不能用作模型。

幸運(yùn)的是，還可以通過(guò)檢查和理解 AI 輸出結(jié)果的方式。例如，匹茲堡卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)科學(xué)家 Anupam Datta 并不打算與 Darrell 博士和 Riedl 博士采取一樣的方式，試圖直接窺視黑盒子的內(nèi)部，而是選擇繞道而行，通過(guò)對(duì)訓(xùn)練系統(tǒng)的輸出進(jìn)行「壓力測(cè)試」，例如，對(duì)求職者的評(píng)估。

Datta 博士給測(cè)試系統(tǒng)提供一系列輸入數(shù)據(jù)，并檢查其輸出是否存在不正確的、有害的或不公平的結(jié)果。他舉了一個(gè)通過(guò)自動(dòng)化系統(tǒng)招聘新員工的搬遷公司的例子。該系統(tǒng)輸入候選人的年齡、性別、舉重能力、婚姻狀況和受教育程度（如申請(qǐng)中所述），最終顯示為候選人成為優(yōu)秀員工的得分。

顯然，其中的一個(gè)信息——能夠舉起重物——既與要求相符又可能利于男性候選人。因此，這種情況下，為了測(cè)試系統(tǒng)是否對(duì)女性存在偏見(jiàn)，Datta 博士的程序?qū)呐灾须S機(jī)選擇的應(yīng)用程序變?yōu)楦駨哪行垣@得的，另外，又從男女申請(qǐng)人中隨機(jī)交換了女申請(qǐng)人的舉重能力。如果性別的隨機(jī)化不會(huì)使 AI 提供工作的女性人數(shù)變化，而舉重能力隨機(jī)化會(huì)（因?yàn)橛行┡袁F(xiàn)在似乎具有「男性」舉重能力），那很明顯，招聘只受舉重能力的影響，而不受申請(qǐng)人性別的影響。

Datta 博士的方法并沒(méi)有涉及到系統(tǒng)如何以及為什么做出決定的核心，但像壓力測(cè)試飛機(jī)一樣，它有助于阻止不良結(jié)果，使制作和操作 AI 的人確保他們對(duì)正確的輸入作出決策，而不是有害的虛假的決策。還有一些窺視機(jī)器思想的方法。例如，一些工程師正在轉(zhuǎn)向諸如人類用來(lái)理解自己想法認(rèn)知心理學(xué)之類的技術(shù)。他們認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)可以像大腦一樣運(yùn)作，因此使用人類心理學(xué)工具來(lái)調(diào)查它們是有意義的。

此方法的一個(gè)例子是 Google 的母公司 Alphabet 旗下的一家倫敦的 AI 公司 DeepMind 進(jìn)行的研究。這個(gè)項(xiàng)目對(duì)公司設(shè)計(jì)的一款圖像匹配軟件的行為產(chǎn)生了有趣的見(jiàn)解。由 David Barrett 領(lǐng)導(dǎo)的一組 DeepMind 的工程師展示了三幅圖像的軟件集，每個(gè)軟件集中的第一個(gè)是某種形狀和顏色的「探測(cè)」圖像，另外兩個(gè)，一個(gè)與形狀匹配，一個(gè)與顏色匹配。通過(guò)測(cè)量系統(tǒng)選擇形狀匹配而不是顏色匹配的頻率，Barrett 博士和他的團(tuán)隊(duì)能夠推斷出 DeepMind 的圖像匹配器等同于圖像之于人類，即根據(jù)形狀而不是顏色來(lái)推斷。在世界部署時(shí)通過(guò)這種方式闡釋特定 AI 如何作出決策的通用原則可能會(huì)有用。它也可能幫助事故調(diào)查人員，對(duì)發(fā)生事故的原因作出最佳解釋。

那些傾向于試圖打開(kāi)人工智能「思想」的人們現(xiàn)在有很多方法。然而，有些人認(rèn)為這些方法是錯(cuò)誤的。他們發(fā)現(xiàn) AI 最難做的決定通常很復(fù)雜，因此也可能是最有用的。對(duì)玩視頻游戲和對(duì)鳥(niǎo)命名這些任務(wù)價(jià)值有限。平衡電網(wǎng)或管理城市交通流量所做出的決策很難解釋，特別是其中許多決策超出了人類處理能力的水平。蒙特利爾大學(xué)的計(jì)算機(jī)科學(xué)家 Yoshua Bengio 稱這種處理為人工直覺(jué)（artificial intuition）。

Bengio 博士說(shuō)，這種人工直覺(jué)曾在深度學(xué)習(xí)最公開(kāi)的演示中展示出來(lái)。這是 2016 年舉行的一場(chǎng) AI 系統(tǒng)和世界上最優(yōu)秀的人類運(yùn)動(dòng)員 Lee Sedol 的比賽。在這里討論的 AlphaGo 是由 DeepMind 公司進(jìn)行訓(xùn)練的。它有時(shí)會(huì)做出人類專家無(wú)法解釋的意外舉動(dòng)，起初這些舉動(dòng)似乎是錯(cuò)的，但隨后 AlphaGo 選了令人驚訝的位置來(lái)掌控剩下的比賽。

有趣的是，這些動(dòng)作有時(shí)也是由人類的主人制造的。他們?cè)谌照Z(yǔ)中被稱作 kami no itte（「上帝的手」或「神的舉動(dòng)」）。顧名思義，像被神指導(dǎo)著的一個(gè)玩家通常無(wú)法說(shuō)出他是何或?yàn)槭裁催@么做。事實(shí)上，玩家無(wú)法解釋他們最佳行為背后的原因提供了一個(gè)暗示，就是為什么其于正式邏輯的舊式 Go-playing 計(jì)算機(jī)為什么從來(lái)都沒(méi)有這么好。神經(jīng)學(xué)習(xí)系統(tǒng)，包括已經(jīng)在大腦中演變和現(xiàn)在被存入電腦的系統(tǒng)，可以處理 playing Go 的任務(wù)，但人類語(yǔ)言無(wú)法描述它。

如同潘多拉盒子，人工智能「黑匣子」將面臨大量社會(huì)問(wèn)題

然而，人類對(duì)自己行為的解釋與機(jī)器提供的解釋之間存在著至關(guān)重要的差異。正如巴黎 Jean Nicod 研究所的認(rèn)知科學(xué)家 Dan Sperber 觀察到的，人們傾向于構(gòu)建他們行為的理由，這些理由與說(shuō)話人和聽(tīng)眾互相提供的信息與他們自己的興趣愛(ài)好相一致，而不是準(zhǔn)確地描述他們作決定時(shí)的準(zhǔn)確想法。正如他說(shuō)的：「給出理由的原因是其他人會(huì)評(píng)估你的行為和信念?！苟壳暗淖詣?dòng)機(jī)器沒(méi)有自己的興趣，它們的解釋是由人類制造的。

有人推測(cè)，如果人工智能的開(kāi)發(fā)與虛構(gòu)的一樣，有了自己的目的，而不只被人類控制，那未來(lái)可能會(huì)改變。國(guó)際法專家 Jacob Turner 建議，如果這些先進(jìn)的系統(tǒng)所傷害的人要求賠償和伸張正義，就必須賦予人工智能以人格權(quán)。

這可能發(fā)生在遙遠(yuǎn)的未來(lái)。但即使現(xiàn)在的人工智能也可能引發(fā)棘手的法律問(wèn)題。特別是，無(wú)法自我解釋的機(jī)器思維或其具體的行為超出了人類語(yǔ)言的領(lǐng)域，造成了刑法問(wèn)題。正如牛津大學(xué)的法律學(xué)者 Rebecca Williams 所說(shuō)，如果機(jī)器缺乏解釋其行為的能力，現(xiàn)行法律可能難以找出因他們作出的決定而產(chǎn)生犯罪行為的意圖。她說(shuō)：「在刑法中，有趣的是讓第三方打破非人類的因果關(guān)系鏈，這是件新鮮事」。

這不是 Turner 推測(cè)未來(lái)一天人工智能系統(tǒng)本身可能會(huì)做犯罪的事情的問(wèn)題。但如果因?yàn)闄C(jī)器及其制造者都無(wú)法解釋其行為，一臺(tái)機(jī)器作出決定的過(guò)程不會(huì)被收到盤(pán)問(wèn)，那就無(wú)法判定與此決定相關(guān)的人有罪還是無(wú)罪。

例如，如果一個(gè)授權(quán)貸款的神經(jīng)網(wǎng)絡(luò)無(wú)法解釋它為什么給某些人那樣看起來(lái)不公平的分?jǐn)?shù)，那將無(wú)法確定是其運(yùn)營(yíng)商有意安排這種情況（這在大多數(shù)情況下是違法的），還是其設(shè)計(jì)師編程時(shí)犯懶導(dǎo)致了這種情況（這可能是民事法庭而不是刑事案件的事）。同樣，如果運(yùn)行無(wú)人駕駛出租車的視覺(jué)系統(tǒng)的 AI 是一個(gè)不能被詢問(wèn)其選擇的黑匣子，那么可能很難知道該車造成的死亡是由制造商負(fù)責(zé)還是負(fù)責(zé)維護(hù)車輛的公司負(fù)責(zé)。

距離無(wú)人駕駛汽車的案件在法庭上出現(xiàn)還有幾年的時(shí)間。然而，即便現(xiàn)在，社會(huì)偏見(jiàn)的情況也可想而知。它不需要 HAL 和 Eddie 的發(fā)明人 Arthur C. Clarke 和 Douglas Adams 設(shè)想出的軟件優(yōu)點(diǎn)——既可以采取行動(dòng)，又可以解釋其行為背后的原因。