與早期階段的所有技術(shù)一樣，深度學(xué)習(xí)必須克服許多嚴(yán)峻挑戰(zhàn)

深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的進(jìn)步都起到了最近AI成就了的核心作用，讓計(jì)算機(jī)進(jìn)行練習(xí)，通過(guò)消化和分析大量的數(shù)據(jù)，而不用明確地編程，就可以達(dá)到目的。在過(guò)去的兩年里，谷歌以深度學(xué)習(xí)為基礎(chǔ)的AlphaGo擊敗了世界頂級(jí)的圍棋選手，令大多數(shù)人工智能專家感到驚訝，他們認(rèn)為需要5到10年才能實(shí)現(xiàn)這樣一個(gè)里程碑。同樣，當(dāng)谷歌在2016年底轉(zhuǎn)向其新的深度學(xué)習(xí)AI系統(tǒng)時(shí)，它大大地提高了機(jī)器翻譯的質(zhì)量。

在最近的一篇文章“ 深度學(xué)習(xí)：批判性評(píng)價(jià)”，作者和紐約大學(xué)教授加里·馬庫(kù)斯對(duì)深度學(xué)習(xí)進(jìn)行了認(rèn)真的評(píng)估。他認(rèn)為，盡管在過(guò)去五年取得了相當(dāng)大的成就，但深度學(xué)習(xí)可能正面臨瓶頸期，多倫多大學(xué)教授杰弗里·辛頓（Geoffrey Hinton），即深度學(xué)習(xí)之父父，也有這種觀點(diǎn)。

深度學(xué)習(xí)是一種強(qiáng)大的統(tǒng)計(jì)技術(shù)，用于使用大型訓(xùn)練數(shù)據(jù)集和多層AI神經(jīng)網(wǎng)絡(luò)對(duì)模式進(jìn)行分類。它本質(zhì)上是一種機(jī)器學(xué)習(xí)數(shù)據(jù)的方法，這些數(shù)據(jù)通過(guò)生物大腦學(xué)習(xí)解決問(wèn)題的方式進(jìn)行了松散的建模。每個(gè)人工神經(jīng)單元連接到許多其他這樣的單元，并且可以基于用于訓(xùn)練系統(tǒng)的數(shù)據(jù)來(lái)統(tǒng)計(jì)地增強(qiáng)或減少鏈路。多層網(wǎng)絡(luò)中的每個(gè)連續(xù)層使用前一層的輸出作為輸入。

“原則上，給定無(wú)限數(shù)據(jù)，深度學(xué)習(xí)系統(tǒng)足以表示任何給定輸入集和一組相應(yīng)輸出之間的任何有限確定性”映射“，但在實(shí)踐中是否可以學(xué)習(xí)這樣的映射取決于許多因素。..。.. “馬庫(kù)斯寫道?！霸摷夹g(shù)擅長(zhǎng)解決封閉式分類問(wèn)題，其中必須將大量潛在信號(hào)映射到有限數(shù)量的類別，因?yàn)橛凶銐虻臄?shù)據(jù)可用且測(cè)試集非常類似于訓(xùn)練集。但偏離這些假設(shè)可能會(huì)導(dǎo)致問(wèn)題; 深度學(xué)習(xí)只是一種統(tǒng)計(jì)技術(shù)，所有的統(tǒng)計(jì)技術(shù)都會(huì)偏離它們的假設(shè)。..。..在實(shí)踐中，大數(shù)據(jù)集的結(jié)果往往非常好，廣泛的潛在映射。

與早期階段的所有主要技術(shù)一樣，深度學(xué)習(xí)必須克服許多嚴(yán)峻挑戰(zhàn)。

馬庫(kù)斯的文章討論了當(dāng)前深度學(xué)習(xí)系統(tǒng)面臨的十大挑戰(zhàn)。我將重點(diǎn)討論這四個(gè)問(wèn)題。

深度學(xué)習(xí)中的數(shù)據(jù)匱乏

深度學(xué)習(xí)的數(shù)據(jù)要求與許多維度中的其他分析方法的數(shù)據(jù)要求大不相同。隨著數(shù)據(jù)集大小的增加，傳統(tǒng)分析的性能趨于穩(wěn)定。然而，隨著數(shù)據(jù)集變大，正確訓(xùn)練的深度學(xué)習(xí)技術(shù)的性能將顯著提高。深度學(xué)習(xí)方法在從復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)（包括音頻，語(yǔ)音，圖像和視頻）中提取模式方面特別有價(jià)值。要做到這一點(diǎn)，他們需要成千上萬(wàn)的數(shù)據(jù)記錄才能使模型在分類任務(wù)中變得更好，并且需要數(shù)百萬(wàn)的數(shù)據(jù)才能在人類層面上發(fā)揮作用。

“人類可以在幾次試驗(yàn)中學(xué)習(xí)抽象關(guān)系，。..。..”馬庫(kù)斯指出。“深度學(xué)習(xí)目前缺乏通過(guò)明確的口頭定義來(lái)學(xué)習(xí)抽象的機(jī)制，并且當(dāng)有數(shù)千，數(shù)百萬(wàn)甚至數(shù)十億的訓(xùn)練樣例時(shí)效果最好。”當(dāng)通過(guò)明確的定義學(xué)習(xí)時(shí)，“你不依賴數(shù)百或數(shù)千或數(shù)百萬(wàn)訓(xùn)練樣例，但能夠表示代數(shù)變量之間的抽象關(guān)系。人類可以通過(guò)明確的定義和更隱含的手段來(lái)學(xué)習(xí)這種抽象。事實(shí)上，即使是七個(gè)月大的嬰兒也可以這樣做，只需兩分鐘即可從少量無(wú)標(biāo)簽的例子中獲得學(xué)習(xí)抽象語(yǔ)言的規(guī)則。“

在最近的人工智能會(huì)議上，麻省理工學(xué)院大腦和認(rèn)知科學(xué)教授Josh Tenenbaum解釋了他對(duì)我們目前的人工智能狀態(tài)與人類智力水平長(zhǎng)期追求之間差異的看法。人類智能能夠超越數(shù)據(jù)和機(jī)器學(xué)習(xí)算法。人類能夠在他們感知世界時(shí)建立模型，包括實(shí)際的日常常識(shí)知識(shí)，然后使用這些模型來(lái)解釋他們的行為和決定。根據(jù)Tenenbaum的說(shuō)法，三個(gè)月大的嬰兒對(duì)周圍世界的了解比任何人工智能應(yīng)用要多。在從分析的數(shù)據(jù)中學(xué)習(xí)模式之前，AI應(yīng)用程序從空白的平板開(kāi)始，而嬰兒開(kāi)始時(shí)具有遺傳頭部開(kāi)始和大腦結(jié)構(gòu)，這使得他們可以學(xué)習(xí)比數(shù)據(jù)和模式更多的東西。

像麻省理工學(xué)院人類動(dòng)力學(xué)實(shí)驗(yàn)室和艾倫研究所這樣的研究工作，以及像Kyndi這樣的創(chuàng)業(yè)公司正試圖通過(guò)模仿人類常識(shí)推理和/或用基于邏輯的編程工具補(bǔ)充統(tǒng)計(jì)導(dǎo)向的AI方法來(lái)克服深度學(xué)習(xí)的局限性。這些研究工作仍處于早期階段。

深度學(xué)習(xí)實(shí)際上是很淺薄的

深度學(xué)習(xí)的“深度”是指其高度復(fù)雜的，多層次的統(tǒng)計(jì)特性。但是，雖然能夠取得一些驚人的成果，但在目前的化身中，深度學(xué)習(xí)實(shí)際上是非常淺薄和脆弱的?！巴ㄟ^(guò)深度學(xué)習(xí)提取的模式比最初出現(xiàn)時(shí)更膚淺。”

我們目前的AI應(yīng)用程序通過(guò)大量數(shù)據(jù)和深度學(xué)習(xí)算法的訓(xùn)練完成了一件事。每個(gè)應(yīng)用程序必須使用自己的數(shù)據(jù)集進(jìn)行單獨(dú)培訓(xùn)，即使對(duì)于與以前類似的用例也是如此。到目前為止，沒(méi)有好的辦法將培訓(xùn)從一種情況轉(zhuǎn)移到另一種情況。

AI最適合與訓(xùn)練集中使用的應(yīng)用程序和測(cè)試集非常相似的應(yīng)用程序和測(cè)試集，但在嘗試概括或推斷超出其訓(xùn)練數(shù)據(jù)集時(shí)，它的效果要差得多。

深度學(xué)習(xí)不夠透明

計(jì)算機(jī)為什么做出了某個(gè)決定？深度學(xué)習(xí)的另一個(gè)重要挑戰(zhàn)是其不透明性和黑盒子性質(zhì)。用人類術(shù)語(yǔ)解釋復(fù)雜深度學(xué)習(xí)應(yīng)用的結(jié)果是相當(dāng)困難的。典型的深度學(xué)習(xí)系統(tǒng)在其復(fù)雜的神經(jīng)網(wǎng)絡(luò)中具有大量參數(shù)。用人們理解的方式評(píng)估各個(gè)節(jié)點(diǎn)對(duì)決策的貢獻(xiàn)是非常困難的。

“透明度問(wèn)題尚未解決，在對(duì)金融交易或醫(yī)療診斷等問(wèn)題領(lǐng)域進(jìn)行深度學(xué)習(xí)時(shí)可能會(huì)產(chǎn)生責(zé)任，人類用戶可能希望了解特定系統(tǒng)如何做出決定。..。..這種不透明性也會(huì)導(dǎo)致嚴(yán)重的偏見(jiàn)問(wèn)題?！?/p>

深度學(xué)習(xí)模型很難設(shè)計(jì)

前沿的IT系統(tǒng)都有工程風(fēng)險(xiǎn)，特別是在醫(yī)療，汽車，飛機(jī)，金融和政府等高利益應(yīng)用中使用時(shí)。雖然這些風(fēng)險(xiǎn)一般適用于人工智能系統(tǒng)日益增加的復(fù)雜性，但鑒于其統(tǒng)計(jì)性質(zhì)，不透明性以及難以將因果關(guān)系與相關(guān)性區(qū)分開(kāi)來(lái)，它們?cè)谏疃葘W(xué)習(xí)中的問(wèn)題更大。

我們還必須確保我們復(fù)雜的AI系統(tǒng)完成我們希望他們做的事情，并按照我們希望他們的行為方式行事，這是深度學(xué)習(xí)算法的一個(gè)特別棘手的問(wèn)題，這些算法在沒(méi)有明確編程的情況下接受數(shù)據(jù)訓(xùn)練和學(xué)習(xí)。

科研人員已經(jīng)做出了許多措施來(lái)解決這些以及其他主要人工智能和深度學(xué)習(xí)挑戰(zhàn)，包括斯坦福大學(xué)的人工智能百年研究和麻省理工學(xué)院的探索。希望與之前的強(qiáng)大技術(shù)一樣，這些努力將有助于確保妥善解決這些問(wèn)題，讓我們?nèi)找鎻?qiáng)大的人工智能系統(tǒng)將對(duì)經(jīng)濟(jì)，社會(huì)和個(gè)人生活產(chǎn)生重大的有益影響。