最近，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi指出，計算機通過嘗試錯誤法（trial and error）進(jìn)行學(xué)習(xí)的機器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。Rahimi說，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會像中世紀(jì)的煉金術(shù)士一樣用道聽途說的方法來研究人工智能。

去年在NIPS會議上，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi（阿里·拉希米）對他所在的研究領(lǐng)域進(jìn)行了一次猛烈的抨擊。

Rahimi在NIPS現(xiàn)場的演講中指出，計算機通過嘗試錯誤法（trial and error）進(jìn)行學(xué)習(xí)的機器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。他說，研究人員不知道為什么某些算法有效，而其他算法不起作用，在選擇AI架構(gòu)方面也沒有嚴(yán)格的標(biāo)準(zhǔn)。

最近，在ICLR 2018發(fā)表的一篇論文中，Rahimi和幾位合作者列舉了他們認(rèn)為是煉金術(shù)問題的一些案例，并為提高AI的嚴(yán)謹(jǐn)性提出了一些處方。

“這個領(lǐng)域存在一種’痛苦’，”Rahimi說，“我們中許多人感覺自己使用的是一種外星技術(shù)?！?/p>

在解釋 “煉金術(shù)” 時，Rahimi 說道：“吳恩達(dá)說過，機器學(xué)習(xí)就是新時代的電力。我卻認(rèn)為機器學(xué)習(xí)慢慢變成了新時代的煉金術(shù)。煉金術(shù)本身并不是壞事。它推動了冶金、紡織、化工、醫(yī)療等技術(shù)的發(fā)展，但是同時煉金術(shù)師也相信真的能把銅片變成黃金。 我希望我所生活的世界是基于非常穩(wěn)固、有規(guī)律、有系統(tǒng)理論的知識體系上，而不是煉金術(shù)上?！?/p>

煉金術(shù)問題與AI的可重復(fù)性問題不同。可重復(fù)性問題是指，由于實驗和發(fā)表的不一致，研究人員無法復(fù)制彼此的結(jié)果。

煉金術(shù)問題也與機器學(xué)習(xí)的“黑箱”問題或“可解釋性”問題不同，后者是指難以解釋特定的AI如何得出其結(jié)論。

正如Rahimi所言，煉金術(shù)問題和黑箱問題的區(qū)別在于，“一個機器學(xué)習(xí)系統(tǒng)是黑箱”和“整個領(lǐng)域變成了黑箱”。

Rahimi說，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會像中世紀(jì)的煉金術(shù)士一樣用道聽途說的方法來研究人工智能。

谷歌的計算機科學(xué)家Francois Chollet補充說：“人們受草包族科學(xué)吸引，”依靠“民間傳說和魔法咒語”。例如，他說，研究人員傾向于采用一些小技巧來調(diào)整他們的AI的“學(xué)習(xí)率”—— 算法在每次錯誤后自行糾錯的比率——而不理解為什么某個算法比其他的更好。

另一些情況下，研究人員像在黑暗中亂撞一樣訓(xùn)練他們的算法。例如，他們實現(xiàn)了所謂的“隨機梯度下降”，以優(yōu)化算法的參數(shù)，獲得盡可能低的失敗率。然而，盡管有數(shù)千篇關(guān)于隨機梯度下降的學(xué)術(shù)論文，以及無數(shù)應(yīng)用該方法的技巧，這個過程仍然依賴于試錯。

隨機梯度下降使用嘗試錯誤法來優(yōu)化算法，目標(biāo)是找到3D景觀中的最小值

Rahimi的論文強調(diào)了可能導(dǎo)致的浪費精力和次優(yōu)性能。例如，論文指出，當(dāng)其他研究人員對一個state-of-the-art的語言翻譯算法去除了大部分的復(fù)雜性時，它實際上在將英語翻譯成德語或法語時的表現(xiàn)更好了，這表明算法的原作者并沒有完全理解這些額外的部分有什么好處。

反過來，Twitter的一名機器學(xué)習(xí)研究人員Ferenc Huszar說，有時候，附加在算法上的花里胡哨的那些東西是這個算法唯一好的部分。他說，在某些情況下，算法的核心部分在技術(shù)上是有缺陷的，這意味著它的好結(jié)果“完全歸功于應(yīng)用的其他技巧”。

至于機器學(xué)習(xí)中哪些算法、什么時候表現(xiàn)最好，Rahimi提出了一些建議。他說，對于初學(xué)者來說，研究人員應(yīng)該像翻譯算法那樣進(jìn)行“消融研究”：一次刪除算法的一個部分，以查看每個組件的功能。他呼吁進(jìn)行“切片分析”，在此基礎(chǔ)上，對算法的性能進(jìn)行詳細(xì)分析，以了解某些地方的改進(jìn)會怎樣在其他方面產(chǎn)生損失。

Rahimi還說，研究人員應(yīng)該對他們的算法進(jìn)行多種不同條件和設(shè)置的測試，并報告所有設(shè)置下算法的性能。

加州大學(xué)伯克利分校（UC Berkeley）的計算機科學(xué)家Ben Recht是拉希米有關(guān)煉金術(shù)演講的共同作者，他提出，AI需要借鑒物理學(xué)的方法。在物理學(xué)中，研究人員經(jīng)常把問題縮小到一個更小的“玩具問題”（toy problem）?！拔锢韺W(xué)家很擅長設(shè)計簡單的實驗來找到對現(xiàn)象的解釋。”他說。

一些AI研究人員已經(jīng)開始采用這種方法，例如，在測試圖像識別算法時，先在小的黑白手寫字符上實驗，而非直接處理大幅的彩色照片，以更好地理解算法的內(nèi)部機制。

DeepMind的計算機科學(xué)家Csaba Szepesvari認(rèn)為，這個領(lǐng)域還需要減少對競爭性測試的重視。他說，目前，如果報告的算法優(yōu)于某些基準(zhǔn)，那么論文更有可能得到發(fā)表，而不是論文揭示了該軟件的內(nèi)部工作原理更容易發(fā)表。

這就是那些花里胡哨的翻譯算法能夠通過同行評審的方式?！翱茖W(xué)的目的是產(chǎn)生知識，”Szepesvari說，“你要生產(chǎn)出別人可以采用、可以成為研究的基石的東西。”

但并不是每個人都同意Rahimi和Recht的批評。Facebook的首席人工智能科學(xué)家Yann LeCun擔(dān)心，將過多的精力從研究前沿技術(shù)轉(zhuǎn)移到核心的理解上可能會減緩創(chuàng)新的速度，阻礙AI的實際應(yīng)用。“這不是煉金術(shù)，而是工程學(xué)。”LeCun說，“工程就是亂糟糟的?！?/p>

Recht認(rèn)為有條不紊的研究和大膽開拓的研究可以達(dá)到一個平衡?！拔覀儍烧叨夹枰?，”他說，“我們需要了解哪些地方出現(xiàn)故障，以構(gòu)建可靠的系統(tǒng)；我們也必須推進(jìn)研究的前沿，以實現(xiàn)更多令人贊嘆的系統(tǒng)?！?/p>