科學研究需要靈感和激情，但偉大成果的誕生往往伴隨著科研工作者在漫漫寒夜中無畏的堅守！

近日，萊斯大學教授 Moshe Vardi 發(fā)表在 ACM 計算機期刊《Communications of the ACM》上的一篇文章引起了極大的關注，他表示「要將研究視為一場漫長的旅程，才能取得重大的突破?！?018 圖靈獎得主 Yann LeCun 評論稱：「Moshe Vardi 以神經網絡歷史興衰為例，告訴我們，研究是一場持久戰(zhàn)…」

位于美國加利福尼亞州帕羅奧多的未來研究所（IFTF，Institute for Future）是一個智庫，建立于 1968 年，是蘭德（RAND）公司的分支機構，旨在幫助企業(yè)對長遠的未來進行規(guī)劃。

曾于 1971 到 1990 年間任 IFTF 總裁的 Roy Amara 在 2007 年過世，他因提出了關于技術的影響的 Amara 定律而聞名：「人們總是高估一項技術所帶來的短期效益，卻低估了它的長期影響」。Gartner 技術成熟度曲線就是最好的例證，該曲線的特點是在「期望膨脹期」后，會緊跟一個「泡沫化的底谷期」，然后是「穩(wěn)步爬升的光明期」，最后則是「實質生產的高峰期」。

當我聽說 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因「在概念和工程上取得的突破，使深度神經網絡成為計算的重要組成部分」而獲得 2018 年的圖靈獎時，我又想起了 Amara 定律。

這條消息一點都不令人驚訝。畢竟，在過去十年間，再也沒有其它計算技術具有如此引人矚目的表現和影響。一如圖靈獎公告所說：「近年來，深度學習方法一直是計算機視覺、語音識別、自然語言處理和機器人技術等領域取得驚人突破的重要原因」。

但為了在恰當的歷史背景下討論他們的貢獻，還是要回顧一下神經網絡的悠久歷史。

1943 年，神經生理學家 Warren McCulloch 和年輕的數學家 Walter Pitts 寫了一篇關于大腦神經元如何工作的文章。他們用電路模擬了一個簡單的神經網絡。

1958 年，康奈爾的一名神經生物學家 Frank Rosenblatt 發(fā)明了感知機——它是只有一層的神經網絡?！都~約時報》將感知機稱為「可以行走、說話、看、寫、自我再生，并能意識到自己的存在的電子計算機雛形?！共恍业氖?，在 Marvin Minskey 和 Seymour Papert 于 1969 年撰寫的《感知機》一書中，證明了感知機存在很大的局限性。

「期望膨脹期」之后將緊跟著「泡沫化的底谷期」。此時，「人工智能的第一個寒冬」出現了，這從人工智能的研究經費不斷減少就能體現出來，這樣的狀況一直持續(xù)到 20 世紀 80 年代初。

1982 年，加州理工的 John Hopfield 發(fā)表了一篇論文，其重點不是模擬大腦，而是要創(chuàng)造出有用的設備。他通過數學方法，清晰地向人們展示了這樣的網絡是如何工作的，以及這樣的網絡可以做些什么。

大約同一時間，日本東京舉辦了「合作/競爭神經網絡美日聯合會議」。日本隨后宣布了第五代（the Fifth Generation）計算機計劃。美國的期刊刊登了這篇報道，人們開始擔心美國會落后。很快，資金再一次流入。

1987 年，神經信息處理系統(tǒng)年會（NeurIPS）成功舉辦。但新的膨脹期后依然會跟隨著底谷期。

就像圖靈獎的公告中所說：「到 21 世紀初，LeCun、Hinton 和 Bengio 是仍然堅持研究這種方法的小部分人中的一員」。事實上，他們在重燃人工智能社區(qū)對神經網絡興趣方面所做出的努力，在一開始是遭到質疑的。這段底谷期導致「人工智能的第二個寒冬」到來，這一直持續(xù)到了 20 世紀 90 年代。

直到本世紀初，人們將改進的算法、硬件（GPU）和大數據集（ImageNet 有超過 1，400 萬張有標簽的圖像）組合在一起，取得了令人印象深刻的重大突破，而且無論是從效率角度還是從速度角度來講，深度（有許多層的）神經網絡在計算機視覺方面都有著顯著的優(yōu)勢。

Hinton 和他同事的想法帶來了重大的技術進步，他們的方法現在已經成為該領域的主要范式，并因此獲得了 2018 年的圖靈獎。

這個故事告訴我們，研究是一場持久戰(zhàn)，在該過程中，耐心和耐力是必要的組成部分。

但我還記得 20 世紀 90 年代早期，在一個工業(yè)研究實驗室中曾舉辦過一個研究評估會議，會議上有人所做的數據挖掘的開創(chuàng)性工作并沒有得到認可，因為「這一項工作已經做了兩年了，但他竟然還不清楚這項工作未來將會走向何方」。我和普林斯頓大學高級研究所的創(chuàng)始人 Abraham Flexner 擔心的是同一件事，在 1939 年出版的《無用知識的有用性》一書中，Flexner 討論了為了支持所謂實用主義而放棄純粹的好奇心的危險傾向。

沒有一個簡公式可以簡單地概括成功研究背后的規(guī)律。有時，在短期內關注一些眼前的問題是可以的，但大多數時候，要將研究視為一場漫長的旅程，才能取得重大的突破。