2019年3月27日 ——ACM 宣布，深度學習之父Yoshua Bengio,Yann LeCun以及Geoffrey Hinton獲得了2018年的圖靈獎，被稱為“計算機領域的諾貝爾獎”。

左：Geoffrey Hinton

中：Yann LeCun

右：Yoshua Bengio

今天，深度學習已經(jīng)成為了人工智能技術領域最重要的技術之一。三位達人三位大神獲得這個獎真是沒有什么懸念。

三位科學家發(fā)明了深度學習的基本概念，在實驗中發(fā)現(xiàn)了驚人的結(jié)果，也在工程領域做出了重要突破，幫助深度神經(jīng)網(wǎng)絡獲得實際應用。

在 ACM 的公告中，Hinton最重要的貢獻來自他1986年發(fā)明反向傳播的論文 “Learning Internal Representations by Error Propagation”；1983年發(fā)明的玻爾茲曼機（Boltzmann Machines），以及2012年對卷積神經(jīng)網(wǎng)絡的改進。

Hinton 和他的學生 Alex Krizhevsky 以及 Ilya Sutskever 通過 Rectified Linear Neurons 和 Dropout Regularization 改進了卷積神經(jīng)網(wǎng)絡，并在著名的 ImageNet 評測中取得了很好的成績，在計算機視覺領域掀起一場革命。

Bengio的貢獻主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經(jīng)網(wǎng)絡和概率模型（例如隱馬爾可夫模型）結(jié)合在一起，并和 AT&T 公司合作，用新技術識別手寫的支票?，F(xiàn)代深度學習技術中的語音識別也是這些概念的擴展。

此外 Bengio 還于2000年還發(fā)表了劃時代的論文“A Neural Probabilistic Language Model”，使用高維詞向量來表征自然語言。他的團隊還引入了注意力機制，讓機器翻譯獲得突破，也成為了讓深度學習處理序列的重要技術。

Yann LeCun的代表貢獻之一是卷積神經(jīng)網(wǎng)絡。1980年代，LeCun 發(fā)明了卷積神經(jīng)網(wǎng)絡，現(xiàn)在已經(jīng)成為了機器學習領域的基礎技術之一，也讓深度學習效率更高。1980年代末期，Yan LeCun 在多倫多大學和貝爾實驗室工作期間，首次將卷積神經(jīng)網(wǎng)絡用于手寫數(shù)字識別。

今天，卷積神經(jīng)網(wǎng)絡已經(jīng)成為了業(yè)界標準技術，廣泛用于計算機視覺、語音識別、語音合成、圖片合成，以及自然語言處理等學術方向，以及自動駕駛、醫(yī)學圖片識別、語音助手、信息過濾等工業(yè)應用方向。

LeCun 的第二個重要貢獻是改進了反向傳播算法。他提出了一個早期的反向傳播算法 backprop，也根據(jù)變分原理給出了一個簡潔的推導。他的工作讓反向傳播算法更快，比如描述了兩個簡單的方法可以減少學習時間。

LeCun 第三個貢獻是拓展了神經(jīng)網(wǎng)絡的應用范圍。他把神經(jīng)網(wǎng)絡變成了一個可以完成大量不同任務的計算模型。他早期引進的一些工作現(xiàn)在已經(jīng)成為了人工智能的基礎概念。

例如，在圖片識別領域，他研究了如何讓神經(jīng)網(wǎng)絡學習層次特征，這一方法現(xiàn)在已經(jīng)用于很多日常的識別任務。他們還提出了可以操作結(jié)構(gòu)數(shù)據(jù)（例如圖數(shù)據(jù)）的深度學習架構(gòu)。

Geoffrey Hinton

反向傳播：在 1986 年與 David Rumelhart 和 Ronald Williams 共同撰寫的 “Learning Internal Representations by Error Propagation” 一文中，Hinton 證明了反向傳播算法允許神經(jīng)網(wǎng)絡發(fā)現(xiàn)自己的數(shù)據(jù)內(nèi)部表示，這使得使用神經(jīng)網(wǎng)絡成為可能網(wǎng)絡解決以前被認為超出其范圍的問題。如今，反向傳播算法是大多數(shù)神經(jīng)網(wǎng)絡的標準。

玻爾茲曼機（Boltzmann Machines）：1983 年，Hinton 與 Terrence Sejnowski 一起發(fā)明了玻爾茲曼機，這是第一個能夠?qū)W習不屬于輸入或輸出的神經(jīng)元內(nèi)部表示的神經(jīng)網(wǎng)絡之一。

卷積神經(jīng)網(wǎng)絡的改進：2012 年，Hinton 和他的學生 Alex Krizhevsky 以及 Ilya Sutskever 通過 Rectified Linear Neurons 和 Dropout Regularization 改進了卷積神經(jīng)網(wǎng)絡，并在著名的 ImageNet 評測中將對象識別的錯誤率減半，在計算機視覺領域掀起一場革命。

Yoshua Bengio

序列的概率模型：在 20 世紀 90 年代，Bengio 將神經(jīng)網(wǎng)絡與序列的概率模型相結(jié)合，例如隱馬爾可夫模型。這些想法被納入 AT＆T / NCR 用于閱讀手寫支票中，被認為是 20 世紀 90 年代神經(jīng)網(wǎng)絡研究的巔峰之作?，F(xiàn)代深度學習語音識別系統(tǒng)也是這些概念的擴展。

高維詞匯嵌入和關注：2000 年，Bengio 撰寫了具有里程碑意義的論文“A Neural Probabilistic Language Model”，它引入了高維詞向量作為詞義的表示。Bengio 的見解對自然語言處理任務產(chǎn)生了巨大而持久的影響，包括語言翻譯、問答和視覺問答。他的團隊還引入了注意力機制，這種機制促使了機器翻譯的突破，并構(gòu)成了深度學習的序列處理的關鍵組成部分。

生成性對抗網(wǎng)絡：自 2010 年以來，Bengio 關于生成性深度學習的論文，特別是與 Ian Goodfellow 共同開發(fā)的生成性對抗網(wǎng)絡（GAN），引發(fā)了計算機視覺和計算機圖形學的革命。

Yann LeCun

卷積神經(jīng)網(wǎng)絡：在 20 世紀 80 年代，LeCun 研發(fā)了卷積神經(jīng)網(wǎng)絡，現(xiàn)已成為該領域的基本理論基礎。其讓深度學習更有效。在 20 世紀 80 年代后期，多倫多大學和貝爾實驗室工作期間，LeCun 是第一個在手寫數(shù)字圖像上訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)的人。如今，卷積神經(jīng)網(wǎng)絡是計算機視覺以及語音識別、語音合成、圖像合成和自然語言處理的行業(yè)標準。它們用于各種應用，包括自動駕駛、醫(yī)學圖像分析、語音激活助手和信息過濾。

改進反向傳播算法：LeCun 提出了一個早期的反向傳播算法 backprop，并根據(jù)變分原理對其進行了簡潔的推導。他的工作讓加快了反向傳播算，包括描述兩種加速學習時間的簡單方法。

拓寬神經(jīng)網(wǎng)絡的視野：LeCun 還將神經(jīng)網(wǎng)絡作為可以完成更為廣泛任務的計算模型，其早期工作現(xiàn)已成為 AI 的基礎概念。例如，在圖像識別領域，他研究了如何在神經(jīng)網(wǎng)絡中學習分層特征表示，這個理念現(xiàn)在通常用于許多識別任務中。與 LéonBottou 一起，他還提出了學習系統(tǒng)可以構(gòu)建為復雜的模塊網(wǎng)絡，其中通過自動區(qū)分來執(zhí)行反向傳播，目前在每個現(xiàn)代深度學習軟件中得到使用。他們還提出了可以操作結(jié)構(gòu)化數(shù)據(jù)的深度學習架構(gòu)，例如圖形。