如今，深度學(xué)習(xí)已經(jīng)貫穿于我們的生活，無(wú)論是汽車自動(dòng)駕駛、AI 醫(yī)學(xué)診斷，還是面部、聲音識(shí)別技術(shù)，無(wú)一沒(méi)有 AI 的參與。然而，盡管人們?cè)缫衙髁松疃葘W(xué)習(xí)的輸入和輸出，卻對(duì)其具體的學(xué)習(xí)過(guò)程一無(wú)所知。

近日，針對(duì)這一問(wèn)題，奧本大學(xué)（Auburn university）計(jì)算機(jī)科學(xué)和軟件工程副教授 Anh Nguyen 對(duì)圖像識(shí)別的深度學(xué)習(xí)算法進(jìn)行了逐點(diǎn)剖析；無(wú)獨(dú)有偶，加州大學(xué)歐文分校（UC Irine） 計(jì)算機(jī)科學(xué)副教授 Sameer Singh 正在制作歸因圖（attribution maps），以幫助理解為何自然語(yǔ)言算法懂得與你交談，并說(shuō)出一些涉及種族主義的話。

機(jī)器學(xué)習(xí)（machine learning）是人工智能的一種形式，它使用大量的數(shù)據(jù)來(lái)訓(xùn)練自己對(duì)某些問(wèn)題形成算法。例如，向機(jī)器提供成千上萬(wàn)張標(biāo)有“貓”的照片，它就能學(xué)會(huì)識(shí)別“貓”這一生物。

Nguyen 說(shuō)，機(jī)器學(xué)習(xí)的想法可以追溯到 20 世紀(jì) 50 年代，但直到最近，計(jì)算機(jī)才能夠有效地處理大量數(shù)據(jù)，并得出精確結(jié)果。到 20 世紀(jì) 90 年代，機(jī)器學(xué)習(xí)算法僅使用簡(jiǎn)單的概念，但很明顯，現(xiàn)實(shí)生活中存在各種復(fù)雜的問(wèn)題，從而需要更復(fù)雜的算法，這就是深度學(xué)習(xí)的意義所在。

與機(jī)器學(xué)習(xí)不同，深度學(xué)習(xí)（deep learning）不需要結(jié)構(gòu)化數(shù)據(jù)作為基礎(chǔ)，利用人工神經(jīng)網(wǎng)絡(luò)（artificial neural net），即多個(gè)神經(jīng)元一起工作，通過(guò)這些“神經(jīng)元”來(lái)考慮數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行分類。

神經(jīng)網(wǎng)絡(luò)非常擅長(zhǎng)圖像識(shí)別，當(dāng)向它們提供足夠的數(shù)據(jù)后，他們可以挑出人眼看不見(jiàn)的圖案或差異。利用這一點(diǎn)，深度學(xué)習(xí)可以實(shí)現(xiàn)自動(dòng)駕駛汽車的行人偵查或腫瘤篩查。

但是， 當(dāng)出現(xiàn)超出其參數(shù)范圍的輸入時(shí)，神經(jīng)網(wǎng)絡(luò)也會(huì)崩潰。在特定的，狹窄定義的任務(wù)中，深度學(xué)習(xí)通常優(yōu)于人類，但是一旦神經(jīng)網(wǎng)絡(luò)失效時(shí)，往往會(huì)導(dǎo)致嚴(yán)重的后果。如果錯(cuò)誤識(shí)別的圖像發(fā)生在腫瘤患者身上或自動(dòng)駕駛車上時(shí)，后果可能是致命的。

但問(wèn)題是這些系統(tǒng)是如此的密集和復(fù)雜，人類無(wú)法理解它們，對(duì)人類來(lái)說(shuō)，深度學(xué)習(xí)如同一個(gè)科技黑箱。除了令人不安之外，我們無(wú)法理解的計(jì)算機(jī)程序還可以做出一些不可預(yù)測(cè)的事情，并且當(dāng)它們出錯(cuò)時(shí)，很難對(duì)其進(jìn)行反向工程或糾正。

正如 Nguyen 所說(shuō)， “歸根結(jié)底，我們要搞清楚為什么神經(jīng)網(wǎng)絡(luò)的行為是這樣，而不是相反。”

揭示神經(jīng)網(wǎng)絡(luò)的想法

能徹底搞亂人工智能的數(shù)據(jù)被稱為“對(duì)抗性數(shù)據(jù)”，它會(huì)導(dǎo)致一個(gè)通常可靠的神經(jīng)網(wǎng)絡(luò)犯下奇怪的錯(cuò)誤。靜態(tài)的、波浪狀的人字紋，以及五顏六色的條紋，可能被 AI 自信地識(shí)別為“蜈蚣”或“熊貓”。

不僅如此，一些常見(jiàn)的圖像也會(huì)讓深度學(xué)習(xí)人工智能崩潰。把消防車圖片倒過(guò)來(lái)，AI 就會(huì)看到一個(gè)大雪橇；放大一輛公共汽車的窗戶，它在 AI 眼中就變成了一個(gè)出氣筒。

“令人震驚的是，我們發(fā)現(xiàn)這些網(wǎng)絡(luò)會(huì)在某種程度上被這些奇怪的圖案所愚弄，這是我們從未想象過(guò)的?！盢guyen 表示。

為了找出原因，Nguyen 創(chuàng)建了一個(gè)叫做 DeepVis 的工具來(lái)分析神經(jīng)網(wǎng)絡(luò)算法。該工具能夠?qū)⑸钊雽W(xué)習(xí) AI 的完整程序分離開(kāi)來(lái)，并顯示出單個(gè)神經(jīng)元正在識(shí)別的內(nèi)容。從這里開(kāi)始，Nguyen 能夠打破深入學(xué)習(xí)AI的連續(xù)工作進(jìn)程，從而理解它是如何一步步達(dá)到最終檢測(cè)結(jié)果的。

將識(shí)別對(duì)象簡(jiǎn)單的隨機(jī)旋轉(zhuǎn)幾次，就足以將 AI 的分類精度從 77.5% 降到3%

由于神經(jīng)網(wǎng)絡(luò)這種復(fù)雜性，對(duì)其所做的“解剖”對(duì)于人工智能開(kāi)發(fā)人員最有用，提供的大量細(xì)節(jié)可以幫助科學(xué)家們更深入地理解破解黑箱所需的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，就好比醫(yī)生對(duì)于腫瘤的研究一樣。

但是，即使使用 DeepVis，黑箱的秘密可能也不會(huì)完全打開(kāi)。神經(jīng)元群的絕對(duì)復(fù)雜性可能讓人類難以理解，畢竟它是一個(gè)黑箱。

2016 年，來(lái)自波士頓大學(xué)和微軟研究院的研究人員為一種算法提供了 300 多萬(wàn)英文單詞的數(shù)據(jù)集，數(shù)據(jù)從谷歌新聞文章中提齲研究人員重點(diǎn)關(guān)注那些最常用的英文單詞，然后讓算法做完形填空。

“男人（Man）之于程序員（computer programmer），那么女人（woman）之于什么”，機(jī)器通過(guò)算法“思考”后，得出答案：“家庭主婦（homemaker）”。

很明顯， AI也會(huì)發(fā)出類似于人類社會(huì)的性別歧視和種族主義言論。為了找出其中的原因，專注于破解自然語(yǔ)言處理（NLP）算法黑箱并提出深度學(xué)習(xí)思維（deep learning thinking）這一概念的 Sameer Singh，使用了一種叫做歸因圖（attribution map）的工具：將語(yǔ)言插入到文本生成 NLP 算法中，歸因圖將突出顯示某些部分，展示什么在神經(jīng)網(wǎng)絡(luò)內(nèi)部“發(fā)光”也許是一個(gè)特定的字母組合。

Singh 的團(tuán)隊(duì)首先使用某些單詞，開(kāi)發(fā)出特殊的觸發(fā)器，然后，他們按照歸因圖所說(shuō)的算法最“感興趣”的模板來(lái)修改這些單詞，最終的結(jié)果是一連串的文字和半拼寫(xiě)錯(cuò)誤，從而引發(fā)了某些看起來(lái)像“種族主義”的言論。

“突出顯示的內(nèi)容對(duì)模型的預(yù)測(cè)或輸出有很大的影響，”Singh 說(shuō)，利用這些信息，可以使用故意的對(duì)抗觸發(fā)器來(lái)嘗試發(fā)現(xiàn)問(wèn)題，并理解深度學(xué)習(xí)算法中的聯(lián)系。這足以讓人們了解人工智能的想法。

雖然歸因圖也有缺點(diǎn)，不同的地圖生成器可能彼此不一致，但是大概的理解可能是我們所能獲得的最好的理解。

AI 黑箱 VS 人類黑箱

事實(shí)上，隨著算法變得更加復(fù)雜、更加強(qiáng)大和不透明化，圍繞黑箱的問(wèn)題也進(jìn)一步深入到哲學(xué)上：當(dāng)我們?nèi)祟愖约旱纳窠?jīng)網(wǎng)絡(luò)仍然神秘時(shí)，要求 AI 神經(jīng)網(wǎng)絡(luò)完全透明是公平的嗎？

不得不承認(rèn)，人類本身的神經(jīng)網(wǎng)絡(luò)也是一個(gè)黑箱。我們雖然知道一些物理結(jié)構(gòu)，知道它們是如何工作，但對(duì)“思想”和“意識(shí)”的確切含義仍不清楚。

接下來(lái)我們是否應(yīng)該思考，機(jī)器模仿人腦并繼承其精確、靈活等優(yōu)點(diǎn)的同時(shí)，是否也繼承了人性中的偏見(jiàn)？

當(dāng)然，隨著未來(lái)科學(xué)家們?cè)谏疃葘W(xué)習(xí)領(lǐng)域中不斷取得的突破，由人類創(chuàng)造的 AI 黑箱終將變成“灰色”。