約翰霍普金斯大學教授、計算機視覺的奠基人之一Alan Yuille撰文詳述深度網(wǎng)絡(luò)的三大局限及如何破解，提出這一領(lǐng)域最嚴峻的挑戰(zhàn)是如何開發(fā)能夠應對組合爆炸的算法。

自2011年AlexNet在ImageNet競賽中“封神”以來，計算機視覺領(lǐng)域的所有突破幾乎都來自深度神經(jīng)網(wǎng)絡(luò)。

深度網(wǎng)絡(luò)的成功是非凡的，它們讓視覺研究變得非常受歡迎，戲劇性地增加了學術(shù)界和工業(yè)界之間的互動，讓視覺技術(shù)得以應用于許多廣泛的學科，并產(chǎn)生了許多重要的成果。

但與此同時，深度網(wǎng)絡(luò)的局限性也愈加凸顯，它的不可解釋性、容易受到欺騙、過于依賴注釋數(shù)據(jù)等特性，甚至讓許多研究人員發(fā)出“深度學習已死”的呼聲，呼吁關(guān)注深度學習之外的其他方法。

本文作者由計算機視覺的奠基人之一、約翰霍普金斯大學教授Alan Yuille和他的學生劉晨曦(Chenxi Liu)撰寫，詳述了深度網(wǎng)絡(luò)的局限性和組合爆炸問題對于現(xiàn)實世界應用的重要性。

他們認為該領(lǐng)域最嚴峻的挑戰(zhàn)是開發(fā)能夠應對組合爆炸的算法，如果研究人員追求更多樣性的方法和技術(shù)，而不僅僅是追逐當前的流行趨勢，這一領(lǐng)域?qū)玫礁斓陌l(fā)展。

Alan Yuille教授

深度學習的歷史

我們正在見證深度學習的第三次崛起。前兩次浪潮——1950 - 1960年代和1980 - 1990年代——引起了相當大的轟動，但卻慢慢失去了動力，因為這些神經(jīng)網(wǎng)絡(luò)既沒有實現(xiàn)它們承諾的性能提升，也沒有幫助我們理解生物視覺系統(tǒng)。

第三次浪潮——2000年至今——則有所不同，因為深度學習在大量基準測試和現(xiàn)實世界應用中已經(jīng)遠遠超越了其他競爭技術(shù)。雖然深度學習的大多數(shù)基本想法在第二次浪潮中已經(jīng)發(fā)展起來，但直到大型數(shù)據(jù)集和強大的計算機(GPU)可用之后，它們的力量才得以釋放。

深度學習的興衰反映了學習算法在學術(shù)時髦和流行程度上的變化。第二次浪潮看到了古典人工智能(classical AI)的局限性，其表現(xiàn)是相對于巨大的承諾，AI的表現(xiàn)相當平庸。于是，1980年代中期，AI冬天開始了。

第二次AI浪潮的衰落轉(zhuǎn)變?yōu)橹С窒蛄繖C、kernel methods及相關(guān)方法的興起。這時候，我們應當為神經(jīng)網(wǎng)絡(luò)的研究人員鼓掌，盡管也遭遇沮喪，他們?nèi)岳^續(xù)研究。但是請注意，風水輪流轉(zhuǎn)?，F(xiàn)在論文如果不和神經(jīng)網(wǎng)絡(luò)沾點關(guān)系，似乎已經(jīng)很難發(fā)表。這不是一個好現(xiàn)象。我們認為，如果研究人員追求更多樣性的方法和技術(shù)，而不僅僅是追逐當前的流行趨勢，這一領(lǐng)域?qū)玫礁斓陌l(fā)展。令人倍感擔憂的是，學生們的AI課程中往往傾向于追逐當前的趨勢，而完全忽略了舊技術(shù)。

深度學習三大局限

在2011年AlexNet在Imagenet競賽中擊敗所有競爭對手之前，計算機視覺社區(qū)對深度學習持相當懷疑的態(tài)度。那時大家還不知道，在接下來的幾年，視覺研究人員將提出各種各樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，這些架構(gòu)在物體分類方面的表現(xiàn)會越來越好。深度學習也很快適應了其他視覺任務(wù)，如對象檢測，其中圖像包含一個或多個對象，背景要大得多。

為了完成這項任務(wù)，神經(jīng)網(wǎng)絡(luò)在初始階段得到了增強，這一階段對物體可能的位置和大小提出建議。這些方法在PASCAL對象檢測挑戰(zhàn)賽(這是ImageNet之前的主要對象檢測和分類競賽)方面優(yōu)于以往的最佳方法，即Deformable Part Models。其他深度網(wǎng)絡(luò)(Deep Net)架構(gòu)也在其他經(jīng)典任務(wù)中提供了巨大的性能提升，圖1描述了其中一些任務(wù)。

圖1: Deep Nets能夠執(zhí)行各種各樣的視覺任務(wù)。包括：邊界檢測、語義分割、語義邊界、曲面法線、顯著性、人體部位和對象檢測。(來源: https://arxiv.org/abs/1609.02132)

但是，盡管深度學習優(yōu)于其他技術(shù)，它們并非具有通用性。這里，我們列舉了深度學習的三個主要局限。

首先，深度學習幾乎總是需要大量的注釋數(shù)據(jù)。這使得視覺研究人員的焦點過度集中于容易注釋的任務(wù)，而不是重要的任務(wù)。

有一些方法可以減少對監(jiān)督的需要，包括遷移學習、小樣本學習、無監(jiān)督學習和弱監(jiān)督學習。但到目前為止，它們的研究成果并沒有像監(jiān)督學習那樣令人印象深刻。

其次，Deep Nets在基準數(shù)據(jù)集上表現(xiàn)良好，但在數(shù)據(jù)集之外的真實世界圖像上，可能會出現(xiàn)嚴重失敗。

所有數(shù)據(jù)集都存在偏見。這些偏見在早期的視覺數(shù)據(jù)集中尤其明顯，研究人員很快就學會了利用這些偏見，例如，利用background context(例如，在Caltech101中檢測魚很容易，因為它們是唯一的背景是水的對象)。盡管使用大型數(shù)據(jù)集和深度網(wǎng)絡(luò)，這些問題減少了，但仍然存在。例如，如圖2所示，一個訓練來在ImageNet上檢測“沙發(fā)”的Deep Net，如果在訓練數(shù)據(jù)集中沙發(fā)的圖像屬于代表性不足的視角，網(wǎng)絡(luò)就可能無法檢測到它們。

特別是，Deep Nets特別難以應付數(shù)據(jù)集中不經(jīng)常發(fā)生的“罕見事件”。但在現(xiàn)實世界的應用中，這些偏見特別成問題，因為它們可能對應于視覺系統(tǒng)故障可能導致可怕后果的情況。比如，用于訓練自動駕駛汽車的數(shù)據(jù)集幾乎從不包含“嬰兒坐在路上”的情況。

圖2：UnrealCV讓視覺研究人員能夠輕松地操縱合成場景，例如改變沙發(fā)的視角。我們發(fā)現(xiàn)Faster-RCNN檢測沙發(fā)的平均精度(AP)在0.1到1.0之間，對視角的敏感度極高。這可能是因為訓練中的偏見導致Faster-RCNN偏向于特定的視角。

第三，Deep Nets對圖像中的變化過于敏感，而這種變化不會欺騙人類觀察者。Deep Nets不僅對導致圖像中難以察覺的變化的標準對抗性攻擊敏感，而且對上下文的變化也過于敏感。

圖3顯示了在一張叢林猴子的照片中ps上一把吉他的效果。這導致深度網(wǎng)絡(luò)將猴子誤認為人類，同時將吉他誤認為鳥，大概是因為它認為人類比猴子更可能攜帶吉他，而鳥類比吉他更可能出現(xiàn)在附近的叢林中。最近的研究提供了很多關(guān)于Deep Nets對環(huán)境過度敏感的例子，例如把一頭大象放在房間里。

圖3:添加遮蔽體會導致深度網(wǎng)絡(luò)失敗。左：摩托車的遮擋讓AI把一只猴子誤認為人類。中：自行車的遮擋讓AI把猴子誤認為人類，同時叢林背景導致AI將自行車把手誤認為是鳥。右：吉他把猴子變成了人，而叢林把吉他變成了鳥。(來源:https://arxiv.org/abs/1711.04451)

這種對上下文的過度敏感也可以歸因于數(shù)據(jù)集大小的局限。對于任何對象，數(shù)據(jù)集中只會出現(xiàn)有限數(shù)量的上下文，因此神經(jīng)網(wǎng)絡(luò)會偏向于它們。例如，在早期的圖像字幕數(shù)據(jù)集中，AI觀察到長頸鹿只出現(xiàn)在樹木附近，因此它生成的圖像說明不會提到?jīng)]有樹木的圖像中的長頸鹿，即使它們圖像中是最主要的對象。

捕獲各種各樣的上下文的困難，以及探索大范圍干擾因素的需要，對于像Deep Nets這樣的數(shù)據(jù)驅(qū)動方法來說是一個很大的問題。似乎要確保網(wǎng)絡(luò)能夠處理所有這些問題，就需要無限大的數(shù)據(jù)集，這對訓練和測試數(shù)據(jù)集都提出了巨大的挑戰(zhàn)。下面我們將討論這些問題。

當大數(shù)據(jù)集不夠大時——組合爆炸

上面提到的問題都不是破壞深度學習的因素，但我們認為這些是問題的早期預警信號。也就是說，真實世界的圖像集是combinatorially large的，因此任何數(shù)據(jù)集，無論它有多大，都很難代表真實世界的復雜性。

一個combinatorially large的集合意味著什么呢?想象一下，通過從對象詞典中選擇對象并將它們放在不同的組合中來構(gòu)建一個視覺場景。這顯然可以有指數(shù)級數(shù)量的方式。即使是單個對象的圖像，我們也可以獲得類似的復雜度，因為可以有無數(shù)種方式將它部分遮擋。我們還可以用無數(shù)種方式改變一個對象的背景。

雖然人類很自然地能適應視覺環(huán)境的變化，但Deep Nets更敏感，更容易出錯，如圖3所示。

我們注意到，這種組合爆炸(combinatorial explosion)可能不會發(fā)生在某些視覺任務(wù)上，深度網(wǎng)絡(luò)在醫(yī)學圖像應用上可能會非常成功，因為醫(yī)學圖像中上下文變化相對較小(例如，胰腺總是非常接近十二指腸)。但是對于許多真實世界的應用程序，如果沒有指數(shù)級大的數(shù)據(jù)集，就無法捕捉真實世界的復雜性。

這帶來了巨大的挑戰(zhàn)，因為在有限數(shù)量的隨機抽取樣本上訓練和測試模型的標準范式變得不切實際了，因為它們永遠不會大到足以代表數(shù)據(jù)的底層分布。這迫使我們解決兩個新的問題：

我們?nèi)绾卧谟邢薮笮〉臄?shù)據(jù)集上訓練算法，使它們能夠在捕捉真實世界的組合復雜性所需的真正龐大的數(shù)據(jù)集上表現(xiàn)良好?

如果我們只能在有限的子集上測試這些算法，如何有效地測試它們，以確保它們在這些龐大的數(shù)據(jù)集中工作?

克服組合爆炸問題

像目前形式的Deep Nets這樣的方法似乎不太可能處理組合爆炸。數(shù)據(jù)集可能永遠無法大到足以訓練或測試它們。下面我們概述一些可能的解決方案。

組合性

組合性(Compositionality)是一種普遍的原則，用詩意的方式描述，它是“一種信念的體現(xiàn)，這種信念認為世界是可知的，人們可以將事物拆解，理解它們，并在精神上隨意重新組合它們”。關(guān)鍵的假設(shè)是，結(jié)構(gòu)是按照一組語法規(guī)則，由更基本的子結(jié)構(gòu)分層組成的。這表明，子結(jié)構(gòu)和語法可以從有限的數(shù)據(jù)中學習，但將推廣到組合情境(combinatorial situations)。

與深度網(wǎng)絡(luò)不同的是，組合模型需要結(jié)構(gòu)化的表示來明確它們的結(jié)構(gòu)和子結(jié)構(gòu)。組合模型能夠超越所見數(shù)據(jù)進行推斷、對系統(tǒng)進行推理、進行干預、進行診斷以及基于相同的底層知識結(jié)構(gòu)回答許多不同問題。

引用Stuart Geman的話來說：“世界是組合的，不然，上帝就是存在的?！?The world is compositional or God exists)，因為如果世界不是組合的，上帝似乎有必要手工制作人類智能。我們注意到，雖然深度網(wǎng)絡(luò)捕獲了一種組合的形式，例如，高級特征是由較低級別特征的響應組成的，但它們不是我們在本文中所指的意義上的組合性。

圖4：從(a)到(b)到(c)，使用了越來越多的可變性和遮蔽。特別地，(c)是一個組合大數(shù)據(jù)集的示例，它本質(zhì)上與驗證碼是一樣的。有趣的是，關(guān)于驗證碼的研究表明，組合模型的性能很好，而深度網(wǎng)絡(luò)的性能要差得多。(來源：https://www.ncbi.nlm.nih.gov/pubmed/16784882)

圖4說明了組合性的一個例子，涉及到合成分析(analysis by synthesis)。

組合模型的這些概念優(yōu)勢已經(jīng)在視覺問題上得到了證明，例如使用相同的底層模型執(zhí)行多個任務(wù)的能力，以及識別驗證碼的能力。

其他非視覺問題的示例也說明了同樣的問題。訓練Deep Nets進行智商測試的嘗試沒有成功。在這個任務(wù)中，目標是在一個3x3網(wǎng)格中預測丟失的圖像，其中會給出其他8個網(wǎng)格的圖像，并且基礎(chǔ)規(guī)則是組合的(并且可能存在干擾項)。

相反，對于一些自然語言應用，神經(jīng)模塊網(wǎng)絡(luò)(Neural Module Networks)的動態(tài)架構(gòu)似乎足夠靈活，可以捕捉到一些有意義的組合，其性能優(yōu)于傳統(tǒng)的深度學習網(wǎng)絡(luò)。事實上，我們最近證明，經(jīng)過聯(lián)合訓練后，各個模塊確實實現(xiàn)了它們預期的組合功能(如AND、OR、FILTER(RED)等)。

組合模型具有許多理想的理論特性，例如可解釋性，并且能夠生成樣本。這使得錯誤更容易診斷，因此它們比像Deep Nets這樣的黑盒方法更難被欺騙。但是學習組合模型是很困難的，因為它需要學習構(gòu)建塊和語法(甚至語法的本質(zhì)也是有爭議的)。此外，為了進行合成分析，他們需要具有對象和場景結(jié)構(gòu)的生成模型。將分布放在圖像上也具有挑戰(zhàn)性，除了人臉、字母和常規(guī)紋理等少數(shù)例外。

更重要的是，處理組合爆炸需要學習三維世界的因果模型，以及這些模型如何生成圖像。對人類嬰兒的研究表明，他們是通過建立因果模型來學習的，這些因果模型可以預測他們所處環(huán)境的結(jié)構(gòu)，包括樸素物理學。這種因果關(guān)系的理解使我們能夠從有限的數(shù)據(jù)中學習，并真正地推廣到新情況。這類似于將牛頓定律與托勒密的地心說模型進行對比，前者用最少的自由參數(shù)給出因果關(guān)系的理解，后者給出非常準確的預測，但需要大量的數(shù)據(jù)來確定其細節(jié)(即本輪)。

組合數(shù)據(jù)的測試

在真實世界的組合復雜性上測試視覺算法的一個潛在挑戰(zhàn)是，我們只能在有限的數(shù)據(jù)上進行測試。

博弈論通過關(guān)注最壞情況而非平均情況來解決這個問題。如前所述，如果數(shù)據(jù)集沒有捕捉到問題的組合復雜性，那么有限大小數(shù)據(jù)集上的平均情況結(jié)果可能沒有意義。如果我們的目標是為自動駕駛汽車開發(fā)視覺算法，或者利用醫(yī)學圖像診斷癌癥，算法的失敗就可能帶來嚴重后果，那么關(guān)注最糟糕的情況顯然也是有意義的。

如果能夠在低維空間中捕捉到故障模式，如立體視覺的危險因素，那么我們可以用計算機圖形學和網(wǎng)格搜索來研究它們。但是對于大多數(shù)視覺任務(wù)，特別是涉及組合數(shù)據(jù)的任務(wù)，很難識別出少數(shù)可以分離和測試的危險因素。

一種策略是將標準對抗性攻擊的概念擴展到包括非局部結(jié)構(gòu)，允許對圖像或場景造成變化的復雜操作，例如通過遮擋或改變被觀察對象的物理屬性，但不顯著影響人類感知。

將這種策略擴展到處理組合數(shù)據(jù)的視覺算法仍然非常具有挑戰(zhàn)性。但是，如果算法在設(shè)計時考慮到了組合性，那么它們的顯式結(jié)構(gòu)可能使診斷它們和確定它們的故障模式成為可能。

最嚴峻的挑戰(zhàn)

幾年前，Aude Oliva和Alan Yuille(本文第一作者)共同組織了一個由NSF贊助的計算機視覺前沿研討會(MIT CSAIL 2011)。會議鼓勵坦誠交換意見，尤其在計算機視覺領(lǐng)域深度網(wǎng)絡(luò)的潛力方面存在巨大的分歧。

Yann LeCun大膽地預言，在不久的將來，每個人都將使用深度網(wǎng)絡(luò)。

他是對的。深度網(wǎng)絡(luò)的成功是非凡的，它們讓視覺研究變得非常受歡迎，戲劇性地增加了學術(shù)界和工業(yè)界之間的互動，讓視覺技術(shù)得以應用于許多廣泛的學科，并產(chǎn)生了許多重要的成果。

但是，盡管深度網(wǎng)絡(luò)取得了成功，但在實現(xiàn)通用人工智能和理解生物視覺系統(tǒng)的目標之前，仍必須克服巨大的挑戰(zhàn)。

我們的擔憂與最近Gary Marcus等人對深度網(wǎng)絡(luò)的批判中提到的類似?？梢哉f，最嚴峻的挑戰(zhàn)是如何開發(fā)能夠應對組合爆炸的算法，研究人員需要在越來越現(xiàn)實的條件下處理越來越復雜的視覺任務(wù)。雖然深度網(wǎng)絡(luò)肯定是解決方案的一部分，但我們認為，我們還需要包含組合原則和因果模型的補充方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對組合爆炸，我們需要重新思考如何訓練和評估視覺算法。