與早期階段的所有技術(shù)一樣，深度學(xué)習(xí)必須克服許多嚴(yán)峻挑戰(zhàn)

深度學(xué)習(xí)和機器學(xué)習(xí)的進(jìn)步都起到了最近AI成就了的核心作用，讓計算機進(jìn)行練習(xí)，通過消化和分析大量的數(shù)據(jù)，而不用明確地編程，就可以達(dá)到目的。在過去的兩年里，谷歌以深度學(xué)習(xí)為基礎(chǔ)的AlphaGo擊敗了世界頂級的圍棋選手，令大多數(shù)人工智能專家感到驚訝，他們認(rèn)為需要5到10年才能實現(xiàn)這樣一個里程碑。同樣，當(dāng)谷歌在2016年底轉(zhuǎn)向其新的深度學(xué)習(xí)AI系統(tǒng)時，它大大地提高了機器翻譯的質(zhì)量。

在最近的一篇文章“ 深度學(xué)習(xí)：批判性評價”，作者和紐約大學(xué)教授加里·馬庫斯對深度學(xué)習(xí)進(jìn)行了認(rèn)真的評估。他認(rèn)為，盡管在過去五年取得了相當(dāng)大的成就，但深度學(xué)習(xí)可能正面臨瓶頸期，多倫多大學(xué)教授杰弗里·辛頓（Geoffrey Hinton），即深度學(xué)習(xí)之父父，也有這種觀點。

深度學(xué)習(xí)是一種強大的統(tǒng)計技術(shù)，用于使用大型訓(xùn)練數(shù)據(jù)集和多層AI神經(jīng)網(wǎng)絡(luò)對模式進(jìn)行分類。它本質(zhì)上是一種機器學(xué)習(xí)數(shù)據(jù)的方法，這些數(shù)據(jù)通過生物大腦學(xué)習(xí)解決問題的方式進(jìn)行了松散的建模。每個人工神經(jīng)單元連接到許多其他這樣的單元，并且可以基于用于訓(xùn)練系統(tǒng)的數(shù)據(jù)來統(tǒng)計地增強或減少鏈路。多層網(wǎng)絡(luò)中的每個連續(xù)層使用前一層的輸出作為輸入。

“原則上，給定無限數(shù)據(jù)，深度學(xué)習(xí)系統(tǒng)足以表示任何給定輸入集和一組相應(yīng)輸出之間的任何有限確定性”映射“，但在實踐中是否可以學(xué)習(xí)這樣的映射取決于許多因素。..。.. “馬庫斯寫道?！霸摷夹g(shù)擅長解決封閉式分類問題，其中必須將大量潛在信號映射到有限數(shù)量的類別，因為有足夠的數(shù)據(jù)可用且測試集非常類似于訓(xùn)練集。但偏離這些假設(shè)可能會導(dǎo)致問題; 深度學(xué)習(xí)只是一種統(tǒng)計技術(shù)，所有的統(tǒng)計技術(shù)都會偏離它們的假設(shè)。..。..在實踐中，大數(shù)據(jù)集的結(jié)果往往非常好，廣泛的潛在映射。

與早期階段的所有主要技術(shù)一樣，深度學(xué)習(xí)必須克服許多嚴(yán)峻挑戰(zhàn)。

馬庫斯的文章討論了當(dāng)前深度學(xué)習(xí)系統(tǒng)面臨的十大挑戰(zhàn)。我將重點討論這四個問題。

深度學(xué)習(xí)中的數(shù)據(jù)匱乏

深度學(xué)習(xí)的數(shù)據(jù)要求與許多維度中的其他分析方法的數(shù)據(jù)要求大不相同。隨著數(shù)據(jù)集大小的增加，傳統(tǒng)分析的性能趨于穩(wěn)定。然而，隨著數(shù)據(jù)集變大，正確訓(xùn)練的深度學(xué)習(xí)技術(shù)的性能將顯著提高。深度學(xué)習(xí)方法在從復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)（包括音頻，語音，圖像和視頻）中提取模式方面特別有價值。要做到這一點，他們需要成千上萬的數(shù)據(jù)記錄才能使模型在分類任務(wù)中變得更好，并且需要數(shù)百萬的數(shù)據(jù)才能在人類層面上發(fā)揮作用。

“人類可以在幾次試驗中學(xué)習(xí)抽象關(guān)系，。..。..”馬庫斯指出?！吧疃葘W(xué)習(xí)目前缺乏通過明確的口頭定義來學(xué)習(xí)抽象的機制，并且當(dāng)有數(shù)千，數(shù)百萬甚至數(shù)十億的訓(xùn)練樣例時效果最好?！碑?dāng)通過明確的定義學(xué)習(xí)時，“你不依賴數(shù)百或數(shù)千或數(shù)百萬訓(xùn)練樣例，但能夠表示代數(shù)變量之間的抽象關(guān)系。人類可以通過明確的定義和更隱含的手段來學(xué)習(xí)這種抽象。事實上，即使是七個月大的嬰兒也可以這樣做，只需兩分鐘即可從少量無標(biāo)簽的例子中獲得學(xué)習(xí)抽象語言的規(guī)則?！?/p>

在最近的人工智能會議上，麻省理工學(xué)院大腦和認(rèn)知科學(xué)教授Josh Tenenbaum解釋了他對我們目前的人工智能狀態(tài)與人類智力水平長期追求之間差異的看法。人類智能能夠超越數(shù)據(jù)和機器學(xué)習(xí)算法。人類能夠在他們感知世界時建立模型，包括實際的日常常識知識，然后使用這些模型來解釋他們的行為和決定。根據(jù)Tenenbaum的說法，三個月大的嬰兒對周圍世界的了解比任何人工智能應(yīng)用要多。在從分析的數(shù)據(jù)中學(xué)習(xí)模式之前，AI應(yīng)用程序從空白的平板開始，而嬰兒開始時具有遺傳頭部開始和大腦結(jié)構(gòu)，這使得他們可以學(xué)習(xí)比數(shù)據(jù)和模式更多的東西。

像麻省理工學(xué)院人類動力學(xué)實驗室和艾倫研究所這樣的研究工作，以及像Kyndi這樣的創(chuàng)業(yè)公司正試圖通過模仿人類常識推理和/或用基于邏輯的編程工具補充統(tǒng)計導(dǎo)向的AI方法來克服深度學(xué)習(xí)的局限性。這些研究工作仍處于早期階段。

深度學(xué)習(xí)實際上是很淺薄的

深度學(xué)習(xí)的“深度”是指其高度復(fù)雜的，多層次的統(tǒng)計特性。但是，雖然能夠取得一些驚人的成果，但在目前的化身中，深度學(xué)習(xí)實際上是非常淺薄和脆弱的?！巴ㄟ^深度學(xué)習(xí)提取的模式比最初出現(xiàn)時更膚淺?！?/p>

我們目前的AI應(yīng)用程序通過大量數(shù)據(jù)和深度學(xué)習(xí)算法的訓(xùn)練完成了一件事。每個應(yīng)用程序必須使用自己的數(shù)據(jù)集進(jìn)行單獨培訓(xùn)，即使對于與以前類似的用例也是如此。到目前為止，沒有好的辦法將培訓(xùn)從一種情況轉(zhuǎn)移到另一種情況。

AI最適合與訓(xùn)練集中使用的應(yīng)用程序和測試集非常相似的應(yīng)用程序和測試集，但在嘗試概括或推斷超出其訓(xùn)練數(shù)據(jù)集時，它的效果要差得多。

深度學(xué)習(xí)不夠透明

計算機為什么做出了某個決定？深度學(xué)習(xí)的另一個重要挑戰(zhàn)是其不透明性和黑盒子性質(zhì)。用人類術(shù)語解釋復(fù)雜深度學(xué)習(xí)應(yīng)用的結(jié)果是相當(dāng)困難的。典型的深度學(xué)習(xí)系統(tǒng)在其復(fù)雜的神經(jīng)網(wǎng)絡(luò)中具有大量參數(shù)。用人們理解的方式評估各個節(jié)點對決策的貢獻(xiàn)是非常困難的。

“透明度問題尚未解決，在對金融交易或醫(yī)療診斷等問題領(lǐng)域進(jìn)行深度學(xué)習(xí)時可能會產(chǎn)生責(zé)任，人類用戶可能希望了解特定系統(tǒng)如何做出決定。..。..這種不透明性也會導(dǎo)致嚴(yán)重的偏見問題。“

深度學(xué)習(xí)模型很難設(shè)計

前沿的IT系統(tǒng)都有工程風(fēng)險，特別是在醫(yī)療，汽車，飛機，金融和政府等高利益應(yīng)用中使用時。雖然這些風(fēng)險一般適用于人工智能系統(tǒng)日益增加的復(fù)雜性，但鑒于其統(tǒng)計性質(zhì)，不透明性以及難以將因果關(guān)系與相關(guān)性區(qū)分開來，它們在深度學(xué)習(xí)中的問題更大。

我們還必須確保我們復(fù)雜的AI系統(tǒng)完成我們希望他們做的事情，并按照我們希望他們的行為方式行事，這是深度學(xué)習(xí)算法的一個特別棘手的問題，這些算法在沒有明確編程的情況下接受數(shù)據(jù)訓(xùn)練和學(xué)習(xí)。

科研人員已經(jīng)做出了許多措施來解決這些以及其他主要人工智能和深度學(xué)習(xí)挑戰(zhàn)，包括斯坦福大學(xué)的人工智能百年研究和麻省理工學(xué)院的探索。希望與之前的強大技術(shù)一樣，這些努力將有助于確保妥善解決這些問題，讓我們?nèi)找鎻姶蟮娜斯ぶ悄芟到y(tǒng)將對經(jīng)濟，社會和個人生活產(chǎn)生重大的有益影響。