2018年11月7日晚，被稱為“深度學(xué)習(xí)三巨頭”之一的蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)算研究系教授Yoshua Bengio在清華大學(xué)做了《深度學(xué)習(xí)抵達(dá)人類水平人工智能所面臨的挑戰(zhàn)（Challenges for Deep Learning towards Human-Level AI》的學(xué)術(shù)報(bào)告。

Yoshua Bengio教授客觀的說，目前人工智能距離人類水平還仍然十分遙遠(yuǎn)，人工智能在工業(yè)應(yīng)用的成功主要得益于監(jiān)督學(xué)習(xí)方法，人工智能仍然面臨巨大挑戰(zhàn)，尤其在人類智能機(jī)理方面的研究還亟需加強(qiáng)。在報(bào)告中，Yoshua Bengio深度探討了深度學(xué)習(xí)模型的具體內(nèi)容，如何實(shí)現(xiàn)對(duì)抽象特征的多層次學(xué)習(xí)，如何更好地進(jìn)行表示學(xué)習(xí)，使用判別器優(yōu)化信息間的獨(dú)立性、相關(guān)性和熵，Baby AI框架等話題。

Yoshua Bengio

Yoshua Bengio教授是蒙特利爾大學(xué)計(jì)算機(jī)系教授和加拿大科學(xué)院院士，被稱為神經(jīng)網(wǎng)絡(luò)三巨頭之一。著有《Deep Learning》、《Learning Deep Architectures for AI》、《A neural probabilistic language model》等多部暢銷書/課本。在他的倡導(dǎo)下，加拿大成立了Mila研究院，專注研究人工智能和深度學(xué)習(xí)。也正是因?yàn)樵谏疃葘W(xué)習(xí)方面的重要貢獻(xiàn)，Yoshua Bengio教授獲得了加拿大總督功勛獎(jiǎng)，該獎(jiǎng)項(xiàng)主要為了紀(jì)念做出了卓越成就或者對(duì)國家做出了重大貢獻(xiàn)的各領(lǐng)域人士，是加拿大公民的最高榮譽(yù)之一。

演講報(bào)告

人工智能的目標(biāo)是讓計(jì)算機(jī)能夠進(jìn)行人與動(dòng)物所擅長的「決策」，為此，計(jì)算機(jī)需要掌握知識(shí)——這是幾乎全體 AI 研究者都同意的觀點(diǎn)。他們持有不同意見的部分是，我們應(yīng)當(dāng)如何把知識(shí)傳授給計(jì)算機(jī)。經(jīng)典 AI（符號(hào)主義）試圖將我們能夠用語言表達(dá)的那部分知識(shí)放入計(jì)算機(jī)中。但是除此之外，我們還有大量直觀的（intuitive）、 無法用語言描述的、不能通過「意識(shí)」獲得的知識(shí)，它們很難應(yīng)用于計(jì)算機(jī)中，而這就是機(jī)器學(xué)習(xí)的用武之地——我們可以訓(xùn)練機(jī)器去獲取那些我們無法以編程形式給予它們的知識(shí)。

深度學(xué)習(xí)和 AI 領(lǐng)域有很大進(jìn)步、大量行業(yè)應(yīng)用。但是它們使用的都是監(jiān)督學(xué)習(xí)，然而這些模型非常脆弱，極易受到外界干擾。

現(xiàn)在的系統(tǒng)的失敗之處在于，它們無法捕捉我們真正想讓機(jī)器捕捉到的高級(jí)抽象（high level abstraction）。而這樣的表征可以捕捉構(gòu)成數(shù)據(jù)的根本因素。

如何發(fā)現(xiàn)好的糾纏表征？一個(gè)好的表征空間中，不同要素的變化應(yīng)該可以彼此分離。除了解糾纏變量，我們還希望系統(tǒng)能解糾纏計(jì)算。解糾纏和因果的概念相關(guān)，而因果正是機(jī)器學(xué)習(xí)界需要重點(diǎn)關(guān)注的領(lǐng)域。

人類的認(rèn)知任務(wù)可以分為系統(tǒng) 1 認(rèn)知和系統(tǒng) 2 認(rèn)知。系統(tǒng) 1 認(rèn)知任務(wù)是那些你可以在不到 1 秒時(shí)間內(nèi)無意識(shí)完成的任務(wù)。例如你可以很快認(rèn)出手上拿著的物體是一個(gè)瓶子，但是無法向其他人解釋如何完成這項(xiàng)任務(wù)。這也是當(dāng)前深度學(xué)習(xí)擅長的事情，「感知」。系統(tǒng) 2 認(rèn)知任務(wù)與系統(tǒng) 1 任務(wù)的方式完全相反，它們很「慢」。大多數(shù)人需要遵循一定的規(guī)則、按照步驟完成計(jì)算。這是有意識(shí)的行為，你可以向別人解釋你的做法，而那個(gè)人可以重現(xiàn)你的做法——這就是算法。計(jì)算機(jī)科學(xué)正是關(guān)于這項(xiàng)任務(wù)的學(xué)科。而我對(duì)此的觀點(diǎn)是，AI 系統(tǒng)需要同時(shí)完成這兩類任務(wù)。

意識(shí)空間里的事物維度很低，因而可以在這樣的空間里進(jìn)行推理。意識(shí)先驗(yàn)就是假設(shè)有很多只包含很少變量但為真的事情，因此，好的表示的一個(gè)性質(zhì)，就是當(dāng)我們把數(shù)據(jù)映射到表示空間之后，變量之間只有少數(shù)相關(guān)。

那么要如何實(shí)現(xiàn)這種表征呢？對(duì)此，注意力機(jī)制是一種很重要的工具。注意力機(jī)制可以按順序選取重點(diǎn)關(guān)注的信息，來實(shí)現(xiàn)整個(gè)系統(tǒng)的端到端訓(xùn)練。我們不需要設(shè)計(jì)一個(gè)獨(dú)立的系統(tǒng)來做這種選擇。你可以將注意力機(jī)制作為在某些全局目標(biāo)下端到端訓(xùn)練的更大系統(tǒng)的一部分。而這正是深度學(xué)習(xí)擅長的地方。

在架構(gòu)方面，意識(shí)先驗(yàn)在「原始輸入」和「某些更高級(jí)的表征」之外，還引入了第三個(gè)層次：這也就是有意識(shí)狀態(tài)（conscious state）。

這個(gè)理論框架還有非常多的細(xì)節(jié)需要完善，去年我們主要關(guān)注其中的一個(gè)方面：目標(biāo)函數(shù)。機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中的標(biāo)準(zhǔn)訓(xùn)練目標(biāo)函數(shù)都基于最大似然估計(jì)，而即使與最大似然無關(guān)的目標(biāo)函數(shù)，例如 GAN 的一些目標(biāo)函數(shù)，也是在像素級(jí)別進(jìn)行構(gòu)建的。然而，我們實(shí)際上想要在隱藏空間中表現(xiàn)出可預(yù)測(cè)性。

現(xiàn)在的NLP任務(wù)只是在文本+標(biāo)注上訓(xùn)練模型。

這樣會(huì)出現(xiàn)很多常識(shí)性的錯(cuò)誤，因?yàn)樗]有理解語言內(nèi)在的含義。

要真正理解自然語言，不僅要對(duì)語言本身建模，還要對(duì)所處環(huán)境進(jìn)行建模。要將語言學(xué)習(xí)和世界運(yùn)轉(zhuǎn)方式的學(xué)習(xí)相結(jié)合。

機(jī)器需要對(duì)事物之間的因果聯(lián)系進(jìn)行建模。

BabyAI通過19個(gè)由易到難的游戲關(guān)卡而不斷學(xué)習(xí)，就像嬰兒成長的過程一樣。這很像課程學(xué)習(xí)（curriculum learning）。