Yann LeCun在很多演講中反復(fù)提到一個(gè)著名的“蛋糕”比喻：

如果人工智能是一塊蛋糕，那么強(qiáng)化學(xué)習(xí)（ Reinforcement Learning）是蛋糕上的一粒櫻桃，監(jiān)督學(xué)習(xí)（Supervised Learning）是外面的一層糖霜，無監(jiān)督學(xué)習(xí)（ Unsupervised Learning）則是蛋糕胚。

目前我們只知道如何制作糖霜和櫻桃，卻不知如何制作蛋糕胚。

到12月初巴塞羅那的NIPS 2016時(shí)，LeCun就開始使用“預(yù)測(cè)學(xué)習(xí)”（Predictive Learning）這個(gè)新詞，來代替蛋糕胚“無監(jiān)督學(xué)習(xí)”了。

LeCun在演講中說道：

我們一直在錯(cuò)過一個(gè)關(guān)鍵因素就是預(yù)測(cè)（或無監(jiān)督）學(xué)習(xí)，這是指：機(jī)器給真實(shí)環(huán)境建模、預(yù)測(cè)可能的未來、并通過觀察和演示來理解世界是如何運(yùn)行的能力。

這是一個(gè)有趣的微妙的變化，暗示了LeCun對(duì)于“蛋糕”看法的改變。其觀點(diǎn)認(rèn)為在加速AI發(fā)展進(jìn)程之前，有很多的基礎(chǔ)性工作要完成。換句話就是，通過增加更多的能力（比如記憶、知識(shí)基礎(chǔ)和智能體）來建立目前的監(jiān)督式學(xué)習(xí)，這意味著在我們能夠建造那個(gè)“預(yù)測(cè)性的基礎(chǔ)層級(jí)”之前，還有很多漫長(zhǎng)艱辛的路途要走。

在其最新的NIPS 2016的演講中，LeCun放出了這么一張PPT，列出了AI發(fā)展中的障礙：

機(jī)器需要學(xué)習(xí)/理解世界是如何運(yùn)行的（包括物理世界、數(shù)字世界、人等，獲得一定程度的常識(shí)）

機(jī)器需要學(xué)習(xí)大量的背景知識(shí)（通過觀察和行動(dòng)實(shí)現(xiàn)）

機(jī)器需要觀察世界的狀態(tài)（以做出精準(zhǔn)的預(yù)測(cè)和計(jì)劃）

機(jī)器需要更新并記憶對(duì)世界狀態(tài)的估測(cè)（關(guān)注重大事件，記住相關(guān)事件）

機(jī)器需要推理和規(guī)劃（預(yù)測(cè)哪些行為，會(huì)最終導(dǎo)致理想的世界狀態(tài)）

預(yù)測(cè)學(xué)習(xí)，很顯然要求其能夠不僅在無人監(jiān)督的情況下學(xué)習(xí)，而且還能夠習(xí)得一種預(yù)測(cè)世界的模型。LeCun正在嘗試改變我們對(duì)AI的固有分類的原因，或許是在表明，AI離最終的目標(biāo)還有很多艱辛的路途要走。

最近受雇于蘋果的Ruslan Salakhudinov教授曾做過一個(gè)關(guān)于無監(jiān)督學(xué)習(xí)的演講，在他演示的這張PPT的最右下角，提到了“生成對(duì)抗網(wǎng)絡(luò)”（GANs）。

GANs由相互競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)組成：生成器和辨別器，前者試圖產(chǎn)生假的圖像，后者鑒別出真正的圖像。

GANs系統(tǒng)有趣的特點(diǎn)就是，一個(gè)封閉的形狀損失函數(shù)并不是必須的。實(shí)際上，一些系統(tǒng)能夠發(fā)現(xiàn)自己的損失函數(shù)，這是很令人驚喜的。但GANs網(wǎng)絡(luò)的一個(gè)缺點(diǎn)，就是很難訓(xùn)練，這當(dāng)中需要為一個(gè)非合作性的雙方博弈，找到一個(gè)納什均衡。

Lecun在一個(gè)最近的關(guān)于無監(jiān)督學(xué)習(xí)的演講中稱，對(duì)抗性網(wǎng)絡(luò)是“20年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法”。

Elon Musk所資助的非營(yíng)利研究組織OpenAI，對(duì)生成模型格外偏愛。他們的動(dòng)力可以總結(jié)為理查德·費(fèi)曼的一句名言“不是我創(chuàng)造的，我就不能理解”（What I cannot create, I do not understand）。費(fèi)曼這里其實(shí)是指“首要原則”（First Principles）思考方法：通過構(gòu)建驗(yàn)證過的概念來理解事物。

在AI領(lǐng)域，或許就是指：如果一個(gè)機(jī)器能夠生成具有高度真實(shí)感的模型（這是一大飛躍），那么它就發(fā)展出了對(duì)預(yù)測(cè)模型的理解。這恰好就是GANs所采取的方法。

這些圖片都是由GANs系統(tǒng)根據(jù)給定詞匯生成的。比如，給定詞匯有“紅腳鷸”、“螞蟻”、“修道院”和"火山"，便生成了如下圖像。

這些生成的圖像很令人驚艷，我想很多人類都不會(huì)畫得這樣好。

當(dāng)然，這個(gè)系統(tǒng)也不是完美的，比如下面這些圖像就搞砸了。但是，我見過很多人在玩“畫圖猜詞”游戲時(shí)畫得比這些糟糕多了。

目前的共識(shí)是，這些生成模型并不能準(zhǔn)確捕捉到給定任務(wù)的“語義”：它們其實(shí)并不能理解“螞蟻”、“紅腳鷸”、"火山"等詞的意義，但卻能很好地進(jìn)行模仿和預(yù)測(cè)。這些圖片并不是機(jī)器基于原有訓(xùn)練圖片庫(kù)的再創(chuàng)造，而是根據(jù)通用模型（Generalized Model）所推斷出的非常接近現(xiàn)實(shí)的結(jié)果。

這種使用對(duì)抗性網(wǎng)絡(luò)的方法，異于經(jīng)典的機(jī)器學(xué)習(xí)方法。我們有兩個(gè)互相競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)，但又好像在共同協(xié)作達(dá)成一種“泛化能力”（ Generalization）。

在經(jīng)典的機(jī)器學(xué)習(xí)領(lǐng)域，研究人員先定義一個(gè)目標(biāo)函數(shù)，然后使用他最喜愛的優(yōu)化算法。但這當(dāng)中有一個(gè)問題，那就是我們都無法準(zhǔn)確得知所定的目標(biāo)函數(shù)是否是正確的。而GANs令人驚喜的地方在于，它們甚至能夠習(xí)得自己的目標(biāo)函數(shù)！

這里一個(gè)迷人的發(fā)現(xiàn)就是，深度學(xué)習(xí)系統(tǒng)可塑性極強(qiáng)。經(jīng)典的機(jī)器學(xué)習(xí)認(rèn)為目標(biāo)函數(shù)和約束條件都是固定的觀念，或者認(rèn)為最優(yōu)算法是固定的觀念，此時(shí)并不適用于機(jī)器學(xué)習(xí)領(lǐng)域了。而更令人驚喜的是，甚至元級(jí)（Meta-Level）方法也能夠使用，也就是說，深度學(xué)習(xí)系統(tǒng)可以學(xué)習(xí)“如何學(xué)習(xí)”了。