LSTM 之父 Jürgen Schmidhuber 再次掀起爭論，這回他指向了深度學習之父、圖靈獎得主 Geoffrey Hinton。不過，這次他站出來質疑的是 Hinton 的最新獎項——本田獎。

創(chuàng)立于 1980 年的本田獎旨在表彰「為引領生態(tài)技術領域的下一代新知識而做出貢獻的個人或團體」。2019 年，Geoffrey Hinton 獲得本田獎，獲獎理由是「為將人工智能（AI）廣泛應用于多個領域所做的先驅性研究以及實用化推進」。

然而，昨日計算機科學家 Jürgen Schmidhuber 發(fā)文批判這一事件，認為 Hinton 不應該獲得該獎項。他表示「不要把發(fā)明者弄錯人了」，并直呼「獎項并不能改變事實」。

Jürgen Schmidhuber 在推特上表示：「不要弄錯新技術的發(fā)明者。至少在科學領域中，真相終將顯現(xiàn)。真相沒有顯現(xiàn)，只能說明時候未到。獎項無法改變事實?！?/p>

Jürgen：六大理由，Hinton 不應該獲本田獎

Jürgen 首先承認，Hinton 的確在人工神經(jīng)網(wǎng)絡和深度學習領域做出了突出的貢獻。但是，本田獎卻將 Hinton 未引用的其他研究者的基礎性發(fā)明歸功于他?？茖W不允許企業(yè) PR 來扭曲科研學術記錄。

有理有據(jù)！Jürgen 在正文中一一列舉了他認為 Hinton 不應獲得本田獎的 6 大理由。

理由 1：現(xiàn)代反向傳播不是 Hinton 發(fā)明的

本田獎在公告中表示：Hinton 發(fā)明了很多方法并由此推動了人工智能的更廣泛應用，其中就包括奠定了人工智能深度學習方法基礎的反向傳播算法。

Jürgen 則認為，現(xiàn)代反向傳播是由 Linnainmaa 在 1970 年首先提出來的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，并且 Hinton 只是第二作者。此外，Ivakhnenko 的深度前饋網(wǎng)絡（1965）早在 Hinton（1980 年代）之前就能夠學習內部表征了，而且 Hinton 提出的網(wǎng)絡深度不如前者。

理由 2：Hinton 的無監(jiān)督預訓練并沒有促成當前的深度學習革命

本田獎在公告中表示：Hinton 在 2002 年發(fā)明了一種用于有限玻爾茲曼機的快速學習算法，使得它們無需任何標注數(shù)據(jù)即可學習到單層分布式表征。這些方法使深度學習有了更好的性能表現(xiàn)，并促成了當前的深度學習革命。

Jürgen 則表示，他早在 1991 年就提出了用于深度神經(jīng)網(wǎng)絡的無監(jiān)督預訓練，而 Hinton 在 21 世紀初提出的類似無監(jiān)督預訓練只是一種概念上的「舊方法重用」罷了。并且，這也與 2010 年之后出現(xiàn)的深度學習革命毫不相干。相反，深度學習革命的出現(xiàn)主要基于監(jiān)督學習，而 Jürgen 在 IDSIA 研究所的團隊曾分別于 1991-95 和 2006-11 兩個階段開展了由無監(jiān)督預訓練轉向純監(jiān)督學習的研究。

理由 3：Hinton 的多層神經(jīng)網(wǎng)絡并未極大地改善語音識別效果，CTC-LSTM 才有用

本田獎在公告中表示：2009 年，Hinton 和他的兩個學生提出使用多層神經(jīng)網(wǎng)絡在語音識別領域取得重大突破，由此極大地提升了語音識別的效果。

Jürgen 表示，首個表現(xiàn)良好的端到端神經(jīng)語音識別基于他所在 IDSIA 研究所提出的兩種方法，即 LSTM（20 世紀 90 年代-2005 年）和 CTC（2006 年）。但是，Hinton 等人在 2012 年仍然使用 20 世紀八九十年的老舊混合方法，其性能表現(xiàn)無法與革命性的 CTC-LSTM 同日而語。

理由 4：Hinton 并非最早將深度學習應用于計算機視覺的人

本田獎在公告中表示：2012 年，Hinton 與他的兩名學生證明了深度學習在圖像目標識別領域遠遠優(yōu)于當時的 SOTA 方法，進而促使計算機視覺領域出現(xiàn)革命性進展。

自從 2011 年以來，深度學習在計算機視覺領域的統(tǒng)治地位不言而喻，據(jù)我們所知，這一地位的確立與 Hinton 學生 Alex Krizhevsky 在 2012 年提出的深度卷積神經(jīng)網(wǎng)絡模型 AlexNet 密不可分。

但 Jürgen 指出，他在 IDSIA 的團隊比 Hinton 更早地將深度學習技術應用于計算機視覺領域。

2010 年，IDSIA 團隊提出，通過簡單的反向傳播，GPU 可用于訓練深度標準有監(jiān)督神經(jīng)網(wǎng)絡模型，相比 CPU 實現(xiàn)了 50 倍的加速，打破了長期以來的 MNIST 基準記錄。2011 年，IDSIA 團隊將這種方法擴展到了卷積神經(jīng)網(wǎng)絡（CNN）上，相比基于 CPU 的 CNN，基于 GPU 的 CNN 訓練速度實現(xiàn)了 60 倍加速。

而后，IDSIA 團隊創(chuàng)造了首個純粹基于 GPU 的深度 CNN，并在 2011 年到 2012 年期間的多項國際計算機視覺競賽中勝出，引起了業(yè)界的廣泛關注，指明了計算機視覺領域新的發(fā)展方向。

Jürgen 認為，這一方向顯然并不是 Hinton 奠定的。

理由 5：Hinton 發(fā)明的「dropout」只是 Hanson 隨機 delta 規(guī)則的變體

本田獎在公告中表示：Hinton 發(fā)明了廣泛使用的「dropout」方法，這種方法通過阻止特征檢測器（feature detector）出現(xiàn)復雜的互適應，進而減少神經(jīng)網(wǎng)絡中的過擬合。

Jürgen 則認為，「dropout」方法實際上是 Hanson 于 1990 年提出的隨機 delta 規(guī)則（stochastic delta rule）的變體，并且 Hinton 2012 年發(fā)表的論文《ImageNet Classification with Deep Convolutional Neural Networks》中并沒有引用 Hanson 的方法。

理由 6：Hinton 被過分地夸大了，現(xiàn)在大多數(shù)基于 AI 的服務都是基于自己的 DL 技術

本田獎在公告中表示：如果沒有 Hinton 所取得的一系列科研成果，世界上大多數(shù)基于人工智能的技術服務則無法實現(xiàn)，這一點毋庸置疑。

Jürgen 則認為，2010 年代世界上大多數(shù)基于人工智能技術的服務，包括數(shù)十億臺設備上的語音識別、語言翻譯等功能，都是基于他們的深度學習技術，而不是 Hinton 的。

Hinton 一再重復自己對現(xiàn)有基礎技術的貢獻，但正如貓王埃爾維斯·普雷斯利所說：「真相就像太陽，你可以讓它暫時缺席, 卻不能讓它永遠消失?！?/p>

Jürgen 對 Hinton 的批評也引發(fā)了 reddit 網(wǎng)友的熱烈討論。對于「如何判斷新發(fā)現(xiàn)/idea 的歸屬」以及 Jürgen 給出的每一條理由大家也發(fā)表了不同意見。

激烈的爭論又一次展開，有網(wǎng)友表示：

Jürgen 對「研究者功勞」的執(zhí)著

這不是 Jürgen 第一次就研究發(fā)現(xiàn)的功勞發(fā)表看法。

提到 Jürgen Schmidhuber，我們自然會想到關于「誰是 GAN 初創(chuàng)者」的那樁公案。

Jürgen 一直認為 GAN 是其 PM 模型（1992）的變體，他與 Ian Goodfellow 從郵件到演講展開了多次公開交流。去年，Jürgen 還獨立發(fā)表了一篇綜述論文，再一次概覽了極小極大博弈，以及 PM 模型與 GAN 之間的強關聯(lián)。

時間追溯到 2015 年，《自然》雜志發(fā)表了一篇介紹人工神經(jīng)網(wǎng)絡（NN）的文章《Deep Learning》，它是深度學習的一篇標志性文章，目前引用量已經(jīng)達到了 24621。這篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，從當下的卷積、循環(huán)和反向傳播算法等核心概念概覽了深度學習，并表示無監(jiān)督學習、深度學習結合強化學習等方向才是發(fā)展趨勢。

Schmidhuber 在當年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀以前開創(chuàng)領域的先驅者。

看來 Jürgen 對「劃分研究者的功勞」很是看重，這引起了一部分社區(qū)成員的認同。2018 年圖靈獎頒發(fā)給三位人工智能先驅 Bengio、Hinton 和 LeCun 后，就有不少人認為Jürgen 也應該獲此獎項。

但在關于這次批評的討論帖下面，我們也看到了這樣的言論：

Jürgen 應當和 Bengio、Hinton 和 LeCun 一樣獲得圖靈獎。但如果沒有這三位先驅的工作，我們還在用 sigmoid 激活函數(shù)和啟發(fā)式方法訓練全連接神經(jīng)網(wǎng)絡，深陷于局部極小值的泥沼中呢。