五，深度學(xué)習(xí)依然不夠透明

關(guān)于深度學(xué)習(xí)的「黑箱」神經(jīng)網(wǎng)絡(luò)問題，在過去幾年來一直是被廣泛關(guān)注和討論的焦點(diǎn)。而在今天，深度學(xué)習(xí)系統(tǒng)動(dòng)輒擁有數(shù)以百萬甚至十億計(jì)的參數(shù)，開發(fā)人員難以用可解釋的方式 （「last_character_typed」） 對(duì)一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)進(jìn)行標(biāo)注 （e.g.， the activity value of the ith node in layer j in network module k）。盡管通過可視化工具，我們可以看到復(fù)雜網(wǎng)絡(luò)中的個(gè)體節(jié)點(diǎn)所產(chǎn)生的貢獻(xiàn)，但更多時(shí)候研究者會(huì)發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)依然是一個(gè)黑匣子一般的謎。

這對(duì)于我們會(huì)產(chǎn)生什么樣的影響?yīng)q未可知，如果系統(tǒng)的魯棒性足夠、自適應(yīng)性也做得夠好，那么可解釋與否并不成為問題。但如果它需要被用在一些更大的系統(tǒng)上，那么它所具備的可調(diào)試性就變得尤為重要。

深度學(xué)習(xí)的透明性問題尚未被解決，而對(duì)于以金融或是醫(yī)學(xué)診斷為代表的應(yīng)用領(lǐng)域，它將是一個(gè)繞不過的坑，畢竟，人們需要向機(jī)器的決策要一個(gè)可解釋的答案。就像 Catherine O』Neill （2016） 所指出的那樣，深度學(xué)習(xí)的不透明性將引致偏見的系列問題。

六，深度學(xué)習(xí)遠(yuǎn)未與先驗(yàn)知識(shí)緊密結(jié)合

深度學(xué)習(xí)的一個(gè)重要方向在于解釋學(xué)，即將它與其它的知識(shí)區(qū)隔開來。典型的深度學(xué)習(xí)方式往往是尋找一個(gè)數(shù)據(jù)集，通過調(diào)參等各種方式，學(xué)習(xí)輸入輸出的關(guān)聯(lián)，并掌握解決問題的方法。有少數(shù)研究會(huì)刻意地弱化先驗(yàn)知識(shí)，比如以 LeCun 為代表的神經(jīng)網(wǎng)絡(luò)連接約束等研究。

而以 Lerer et al 的研究為例，團(tuán)隊(duì)嘗試讓系統(tǒng)學(xué)習(xí)物體從高塔上掉落的物理特性，在這個(gè)研究中，除了卷積隱含內(nèi)容外，團(tuán)隊(duì)沒有加入物理學(xué)的先驗(yàn)知識(shí)。我即將發(fā)表的論文中也提及了這一點(diǎn)，即深度學(xué)習(xí)研究者看起來對(duì)先驗(yàn)知識(shí)偏見不小，即便這些知識(shí)都是眾所周知的。

此外，將先驗(yàn)知識(shí)整合到深度學(xué)習(xí)系統(tǒng)中也并非易事。主要原因在于，知識(shí)表征主要描述不是抽象的量化特征，而是特征間的關(guān)系；機(jī)器學(xué)習(xí)過于強(qiáng)調(diào)系統(tǒng)的獨(dú)立性，而把通用性知識(shí)排除在外。以 Kaggle 機(jī)器學(xué)習(xí)競(jìng)賽平臺(tái)為例，所給的數(shù)據(jù)集、所提出的問題，都是給定的，盡管在比賽的范式驅(qū)動(dòng)下，研究者已經(jīng)有了長(zhǎng)足的進(jìn)步，但與真實(shí)世界亟待解決的問題還有著很大差距。

生活并非一場(chǎng) Kaggle 競(jìng)賽。真實(shí)世界的數(shù)據(jù)并不會(huì)洗干凈打包好等著你，而問題也比競(jìng)賽所遇到的要復(fù)雜得多。在以語音識(shí)別為代表的，有大量標(biāo)記的問題上，深度學(xué)習(xí)可能表現(xiàn)不俗。但如果是開放性的問題呢？幾乎沒有人知道要怎么辦。被繩子卡住鏈條的自行車怎么修？我要主修數(shù)學(xué)還是神經(jīng)科學(xué)？沒有數(shù)據(jù)集可以告訴我如何解決。

與分類離得越遠(yuǎn)的問題、與常識(shí)靠得越近的問題，越難被機(jī)器學(xué)習(xí)所解決。而目前據(jù)我所知，也沒有人嘗試過解決這樣的問題。

七，深度學(xué)習(xí)無法區(qū)分因果性與相關(guān)性

如果因果性與相關(guān)性確實(shí)不同，那么兩者的區(qū)分會(huì)是深度學(xué)習(xí)的一個(gè)嚴(yán)峻問題。簡(jiǎn)單地說，深度學(xué)習(xí)習(xí)得的是輸入與輸出特征間的復(fù)雜關(guān)系，而非因果性的表征。深度學(xué)習(xí)系統(tǒng)可以把人類當(dāng)作整體，并學(xué)習(xí)到身高與詞匯量（height and vocabulary）的相關(guān)性，但并不能了解到長(zhǎng)大與發(fā)展間（growth and development）的關(guān)系。也就是說，孩子隨著長(zhǎng)大會(huì)學(xué)到更多單詞，但不代表學(xué)習(xí)更多單詞會(huì)讓孩子長(zhǎng)大。因果關(guān)系對(duì)于 AI 而言是一個(gè)核心問題，但可能因?yàn)樯疃葘W(xué)習(xí)的目標(biāo)并非解決這些問題，因此深度學(xué)習(xí)領(lǐng)域很少涉足這一研究。

八，深度學(xué)習(xí)對(duì)環(huán)境的穩(wěn)定性提出要求，這可能會(huì)存在問題

深度學(xué)習(xí)目前在高度穩(wěn)定的環(huán)境中工作得最好，比如圍棋，因?yàn)樗囊?guī)則不變，而一旦遇到政治和經(jīng)濟(jì)問題（這些問題會(huì)不斷變化），效果則不盡人意。

在一定程度上來說，深度學(xué)習(xí)可以應(yīng)用到諸如股票預(yù)測(cè)等任務(wù)上，但是有很大的可能最終會(huì)得到類似 Google Flu Trends 的結(jié)果，雖然一開始的疫情預(yù)測(cè)表現(xiàn)良好，但卻沒能提前預(yù)知 2013 年的流感高發(fā)季。

九，深度學(xué)習(xí)目前得出來的結(jié)果只是近似值，不能徹底相信

從前面提出的問題中可以看到，深度學(xué)習(xí)系統(tǒng)在某些給定領(lǐng)域的大部分情況下工作得很好，卻很容易被愚弄。

越來越多的論文表明深度學(xué)習(xí)容易受到攻擊，比如上面提到的 Robin Jia 和 Percy Liang 在語言方面的研究，以及計(jì)算機(jī)視覺領(lǐng)域的大規(guī)模的案例——將黃黑相間的條紋誤以為校車，將帶有貼紙的停車標(biāo)志誤以為裝滿食品的冰箱。最近還有一些現(xiàn)實(shí)世界中的例子，比如被輕微涂損過的停車標(biāo)志被深度學(xué)習(xí)系統(tǒng)誤認(rèn)為是限速標(biāo)志，3d 打印的烏龜被誤認(rèn)為是步槍。近期，還有新聞報(bào)道了英國警局系統(tǒng)不能正確區(qū)分裸體和沙丘。

深度學(xué)習(xí)系統(tǒng)易受欺騙（spoofability）的特性可能是由 Szegedy 等在 2013 年的一篇論文中首次被提出的，四年過去了，經(jīng)過了如此多的研究，研究人員還是沒能找到什么魯棒性的解決方法。

十，深度學(xué)習(xí)發(fā)展到現(xiàn)在還是很難工程化

從上面提到的所有問題中得出的另一個(gè)事實(shí)是，用深度學(xué)習(xí)來做魯棒性工程很難。谷歌團(tuán)隊(duì)發(fā)表的論文 Machine Learning： The High-Interest Credit Card of Technical Debt 中，他們的標(biāo)題將機(jī)器學(xué)習(xí)形容為「技術(shù)債務(wù)里高利息的信用卡」，這表明，系統(tǒng)在給定了限制的環(huán)境下會(huì)工作， 但是很難保證在添加了新的數(shù)據(jù)，并且這些數(shù)據(jù)與之前的訓(xùn)練數(shù)據(jù)存在差異的情況下能工作。在 ICML 2015 上，Leon Bottou 將機(jī)器學(xué)習(xí)與飛機(jī)引擎的發(fā)展作了對(duì)比，他表示，飛機(jī)的設(shè)計(jì)依賴于構(gòu)建復(fù)雜的系統(tǒng)，這可以保障可靠的性能，但機(jī)器學(xué)習(xí)系統(tǒng)的缺乏類似的保障。

正如谷歌的 Peter Norvig 在 2016 年所指出的那樣，機(jī)器學(xué)習(xí)與傳統(tǒng)項(xiàng)目相比，還缺乏增量性（incrementality）、透明性（transparency）和可調(diào)試性（debuggability），想要實(shí)現(xiàn)機(jī)器學(xué)習(xí)的魯棒性，這是一項(xiàng)挑戰(zhàn)。Henderson 和他的同事最近也提出了這一觀點(diǎn)，他們專注于深度強(qiáng)化學(xué)習(xí)，指出了這一領(lǐng)域在魯棒性和可復(fù)制性方面存在的一些嚴(yán)重問題。

盡管我們?cè)陂_發(fā)機(jī)器學(xué)習(xí)系統(tǒng)的過程中已經(jīng)取得了一些進(jìn)步，但還有很長(zhǎng)的路要走。

小結(jié)：誠然，深度學(xué)習(xí)在計(jì)算機(jī)視覺、強(qiáng)化學(xué)習(xí)、NLP 等領(lǐng)域都優(yōu)異地解決了不少疑難問題，但我們?cè)趯?duì)深度學(xué)習(xí)抱有熱情的同時(shí)也應(yīng)當(dāng)看到，深度學(xué)習(xí)并不能解決所有的問題，它高超的提取特征和非線性抽象的能力也遠(yuǎn)不足以構(gòu)成通用人工智能的基礎(chǔ)架構(gòu)。小編認(rèn)為，深度學(xué)習(xí)的研究當(dāng)然要持續(xù)，它的火熱也為整個(gè)機(jī)器學(xué)習(xí)、人工智能界帶來了大量關(guān)注和人才；但言必深度學(xué)習(xí)也并不是一個(gè)良好的發(fā)展?fàn)顩r，我們更希望各種技術(shù)和認(rèn)識(shí)方法可以齊頭并進(jìn)，合力構(gòu)建出人類理想中的「人工智能」。