Yann LeCun在很多演講中反復(fù)提到一個著名的“蛋糕”比喻：

如果人工智能是一塊蛋糕，那么強化學(xué)習(xí)（ Reinforcement Learning）是蛋糕上的一粒櫻桃，監(jiān)督學(xué)習(xí)（Supervised Learning）是外面的一層糖霜，無監(jiān)督學(xué)習(xí)（ Unsupervised Learning）則是蛋糕胚。

目前我們只知道如何制作糖霜和櫻桃，卻不知如何制作蛋糕胚。

到12月初巴塞羅那的NIPS 2016時，LeCun就開始使用“預(yù)測學(xué)習(xí)”（Predictive Learning）這個新詞，來代替蛋糕胚“無監(jiān)督學(xué)習(xí)”了。

LeCun在演講中說道：

我們一直在錯過一個關(guān)鍵因素就是預(yù)測（或無監(jiān)督）學(xué)習(xí)，這是指：機器給真實環(huán)境建模、預(yù)測可能的未來、并通過觀察和演示來理解世界是如何運行的能力。

這是一個有趣的微妙的變化，暗示了LeCun對于“蛋糕”看法的改變。其觀點認(rèn)為在加速AI發(fā)展進程之前，有很多的基礎(chǔ)性工作要完成。換句話就是，通過增加更多的能力（比如記憶、知識基礎(chǔ)和智能體）來建立目前的監(jiān)督式學(xué)習(xí)，這意味著在我們能夠建造那個“預(yù)測性的基礎(chǔ)層級”之前，還有很多漫長艱辛的路途要走。

在其最新的NIPS 2016的演講中，LeCun放出了這么一張PPT，列出了AI發(fā)展中的障礙：

機器需要學(xué)習(xí)/理解世界是如何運行的（包括物理世界、數(shù)字世界、人等，獲得一定程度的常識）

機器需要學(xué)習(xí)大量的背景知識（通過觀察和行動實現(xiàn)）

機器需要觀察世界的狀態(tài)（以做出精準(zhǔn)的預(yù)測和計劃）

機器需要更新并記憶對世界狀態(tài)的估測（關(guān)注重大事件，記住相關(guān)事件）

機器需要推理和規(guī)劃（預(yù)測哪些行為，會最終導(dǎo)致理想的世界狀態(tài)）

預(yù)測學(xué)習(xí)，很顯然要求其能夠不僅在無人監(jiān)督的情況下學(xué)習(xí)，而且還能夠習(xí)得一種預(yù)測世界的模型。LeCun正在嘗試改變我們對AI的固有分類的原因，或許是在表明，AI離最終的目標(biāo)還有很多艱辛的路途要走。

最近受雇于蘋果的Ruslan Salakhudinov教授曾做過一個關(guān)于無監(jiān)督學(xué)習(xí)的演講，在他演示的這張PPT的最右下角，提到了“生成對抗網(wǎng)絡(luò)”（GANs）。

GANs由相互競爭的神經(jīng)網(wǎng)絡(luò)組成：生成器和辨別器，前者試圖產(chǎn)生假的圖像，后者鑒別出真正的圖像。

GANs系統(tǒng)有趣的特點就是，一個封閉的形狀損失函數(shù)并不是必須的。實際上，一些系統(tǒng)能夠發(fā)現(xiàn)自己的損失函數(shù)，這是很令人驚喜的。但GANs網(wǎng)絡(luò)的一個缺點，就是很難訓(xùn)練，這當(dāng)中需要為一個非合作性的雙方博弈，找到一個納什均衡。

Lecun在一個最近的關(guān)于無監(jiān)督學(xué)習(xí)的演講中稱，對抗性網(wǎng)絡(luò)是“20年來機器學(xué)習(xí)領(lǐng)域最酷的想法”。

Elon Musk所資助的非營利研究組織OpenAI，對生成模型格外偏愛。他們的動力可以總結(jié)為理查德·費曼的一句名言“不是我創(chuàng)造的，我就不能理解”（What I cannot create, I do not understand）。費曼這里其實是指“首要原則”（First Principles）思考方法：通過構(gòu)建驗證過的概念來理解事物。

在AI領(lǐng)域，或許就是指：如果一個機器能夠生成具有高度真實感的模型（這是一大飛躍），那么它就發(fā)展出了對預(yù)測模型的理解。這恰好就是GANs所采取的方法。

這些圖片都是由GANs系統(tǒng)根據(jù)給定詞匯生成的。比如，給定詞匯有“紅腳鷸”、“螞蟻”、“修道院”和"火山"，便生成了如下圖像。

這些生成的圖像很令人驚艷，我想很多人類都不會畫得這樣好。

當(dāng)然，這個系統(tǒng)也不是完美的，比如下面這些圖像就搞砸了。但是，我見過很多人在玩“畫圖猜詞”游戲時畫得比這些糟糕多了。

目前的共識是，這些生成模型并不能準(zhǔn)確捕捉到給定任務(wù)的“語義”：它們其實并不能理解“螞蟻”、“紅腳鷸”、"火山"等詞的意義，但卻能很好地進行模仿和預(yù)測。這些圖片并不是機器基于原有訓(xùn)練圖片庫的再創(chuàng)造，而是根據(jù)通用模型（Generalized Model）所推斷出的非常接近現(xiàn)實的結(jié)果。

這種使用對抗性網(wǎng)絡(luò)的方法，異于經(jīng)典的機器學(xué)習(xí)方法。我們有兩個互相競爭的神經(jīng)網(wǎng)絡(luò)，但又好像在共同協(xié)作達(dá)成一種“泛化能力”（ Generalization）。

在經(jīng)典的機器學(xué)習(xí)領(lǐng)域，研究人員先定義一個目標(biāo)函數(shù)，然后使用他最喜愛的優(yōu)化算法。但這當(dāng)中有一個問題，那就是我們都無法準(zhǔn)確得知所定的目標(biāo)函數(shù)是否是正確的。而GANs令人驚喜的地方在于，它們甚至能夠習(xí)得自己的目標(biāo)函數(shù)！

這里一個迷人的發(fā)現(xiàn)就是，深度學(xué)習(xí)系統(tǒng)可塑性極強。經(jīng)典的機器學(xué)習(xí)認(rèn)為目標(biāo)函數(shù)和約束條件都是固定的觀念，或者認(rèn)為最優(yōu)算法是固定的觀念，此時并不適用于機器學(xué)習(xí)領(lǐng)域了。而更令人驚喜的是，甚至元級（Meta-Level）方法也能夠使用，也就是說，深度學(xué)習(xí)系統(tǒng)可以學(xué)習(xí)“如何學(xué)習(xí)”了。