研究想法能否成功要看是否具備合適的軟硬件，而不是這個(gè)想法是否比其他研究方向優(yōu)秀。

天時(shí)、地利、人和，三者不得，雖勝有殃。

——《孫子兵法》

一件事的成敗總會(huì)牽涉多個(gè)因素，例如兵法中的「天時(shí)」、「地利」、「人和」。在計(jì)算機(jī)科學(xué)歷史上，也有類似的現(xiàn)象，如「硬件」、「軟件」、「算法」三要素對(duì)研究想法成敗的影響。

近日，谷歌大腦研究員 Sara Hooker 寫了一篇論文，她用「硬件彩票」（hardware lottery）來(lái)描述：一個(gè)研究想法的成功是因?yàn)榫邆淞撕线m的軟硬件，而不是這個(gè)想法比其他研究方向更加優(yōu)秀。早期計(jì)算機(jī)科學(xué)史的許多例子表明，硬件彩票通過(guò)把成功的研究想法看作失敗，而拖慢了研究進(jìn)度。而領(lǐng)域?qū)Ｓ糜布某霈F(xiàn)使研究想法偏離慣常路徑的成本增加，這就讓這一現(xiàn)象更加顯著。

論文地址：

https://arxiv.org/pdf/2009.06489v1.pdf

這篇論文指出，算力進(jìn)步帶來(lái)的收獲可能更加不均勻，某些研究方向走上了快車道，而有的則困難重重。

人工智能領(lǐng)域，硬件決定 idea 的成敗

歷史告訴我們，科學(xué)進(jìn)展并非是一帆風(fēng)順的。知識(shí)傳統(tǒng)和可用工具會(huì)使科學(xué)家對(duì)特定想法形成不同的認(rèn)知，這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出，在人工智能研究領(lǐng)域中，工具對(duì)于判斷研究想法的成敗起到了絕大部分的作用。

這篇論文用「硬件彩票」來(lái)描述這一現(xiàn)象：一個(gè)研究想法的成功是因?yàn)樗梢耘c當(dāng)時(shí)的軟硬件兼容，而不是因?yàn)檫@個(gè)想法比其他研究方向優(yōu)秀。在早期計(jì)算機(jī)科學(xué)史上，軟硬件選擇常常對(duì)決定研究想法的成敗起到?jīng)Q定性作用。

隨著我們進(jìn)入軟件、硬件和機(jī)器學(xué)習(xí)研究社區(qū)更加緊密合作的新時(shí)代，這些經(jīng)驗(yàn)愈發(fā)凸顯。過(guò)去幾十年，人們將硬件、軟件和算法看作割裂的選項(xiàng)，但促使近期三者更加緊密協(xié)作的催化劑就包括正在改變的硬件、深度學(xué)習(xí)架構(gòu)「規(guī)模越大性能越好」的理念，以及將機(jī)器學(xué)習(xí)部署到邊緣設(shè)備的需求。

軟硬件和機(jī)器學(xué)習(xí)算法之間更緊密合作的核心是新一代領(lǐng)域?qū)Ｓ糜布?，它們針?duì)深度神經(jīng)網(wǎng)絡(luò)的商用進(jìn)行了優(yōu)化。盡管領(lǐng)域?qū)Ｓ糜布橹髁魃疃壬窠?jīng)網(wǎng)絡(luò)研究帶來(lái)了重要的效率提升，但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場(chǎng)意味著基于算力進(jìn)展獲得的收益將變得更加不均衡。盡管深度神經(jīng)網(wǎng)絡(luò)已經(jīng)有了明確的商用場(chǎng)景，但目前已經(jīng)出現(xiàn)了早期信號(hào)，提醒我們要實(shí)現(xiàn) AI 的下一個(gè)突破可能需要完全不同的算法、硬件和軟件組合。

硬件、軟件、算法：三個(gè)獨(dú)立的部落

對(duì)于首批計(jì)算機(jī)的創(chuàng)造者而言，程序是機(jī)器。早期的機(jī)器是單獨(dú)使用的，且不會(huì)適應(yīng)新的任務(wù)，原因在于電子器件成本高且缺乏跨任務(wù)的軟件。

查爾斯 · 巴貝奇的差分機(jī)僅用于計(jì)算多項(xiàng)式函數(shù) （1817）。美國(guó)第一部大尺度自動(dòng)數(shù)位電腦馬克一號(hào)（Mark I）是可編程計(jì)算器（1944）。Rosenblatt 的感知器用來(lái)計(jì)算 step-wise 單層網(wǎng)絡(luò)（1958）。甚至常被認(rèn)為是首批可編程機(jī)器的雅卡爾織布機(jī)重新穿孔的成本也很高，因此它通常只穿孔一次 （1804）。

這些早期計(jì)算機(jī)的專用性是出于當(dāng)時(shí)的需要，而不是計(jì)算機(jī)設(shè)計(jì)師認(rèn)為一次性的定制硬件更好。但是，需要指出的是，人類智能本身就是算法和機(jī)器的結(jié)合。我們一生中不會(huì)長(zhǎng)出多個(gè)大腦。而人類智能的概念本質(zhì)上與 1400g 腦組織和大腦中 850 億神經(jīng)元之間的連接密切相關(guān)。當(dāng)我們談?wù)撊祟愔悄軙r(shí)，你腦海中浮現(xiàn)出的圖像可能是粉色帶褶皺的一團(tuán)（