最近，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi指出，計(jì)算機(jī)通過(guò)嘗試錯(cuò)誤法（trial and error）進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。Rahimi說(shuō)，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會(huì)像中世紀(jì)的煉金術(shù)士一樣用道聽(tīng)途說(shuō)的方法來(lái)研究人工智能。

去年在NIPS會(huì)議上，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi（阿里·拉希米）對(duì)他所在的研究領(lǐng)域進(jìn)行了一次猛烈的抨擊。

Rahimi在NIPS現(xiàn)場(chǎng)的演講中指出，計(jì)算機(jī)通過(guò)嘗試錯(cuò)誤法（trial and error）進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種形式。他說(shuō)，研究人員不知道為什么某些算法有效，而其他算法不起作用，在選擇AI架構(gòu)方面也沒(méi)有嚴(yán)格的標(biāo)準(zhǔn)。

最近，在ICLR 2018發(fā)表的一篇論文中，Rahimi和幾位合作者列舉了他們認(rèn)為是煉金術(shù)問(wèn)題的一些案例，并為提高AI的嚴(yán)謹(jǐn)性提出了一些處方。

“這個(gè)領(lǐng)域存在一種’痛苦’，”Rahimi說(shuō)，“我們中許多人感覺(jué)自己使用的是一種外星技術(shù)?！?/p>

在解釋 “煉金術(shù)” 時(shí)，Rahimi 說(shuō)道：“吳恩達(dá)說(shuō)過(guò)，機(jī)器學(xué)習(xí)就是新時(shí)代的電力。我卻認(rèn)為機(jī)器學(xué)習(xí)慢慢變成了新時(shí)代的煉金術(shù)。煉金術(shù)本身并不是壞事。它推動(dòng)了冶金、紡織、化工、醫(yī)療等技術(shù)的發(fā)展，但是同時(shí)煉金術(shù)師也相信真的能把銅片變成黃金。 我希望我所生活的世界是基于非常穩(wěn)固、有規(guī)律、有系統(tǒng)理論的知識(shí)體系上，而不是煉金術(shù)上。”

煉金術(shù)問(wèn)題與AI的可重復(fù)性問(wèn)題不同。可重復(fù)性問(wèn)題是指，由于實(shí)驗(yàn)和發(fā)表的不一致，研究人員無(wú)法復(fù)制彼此的結(jié)果。

煉金術(shù)問(wèn)題也與機(jī)器學(xué)習(xí)的“黑箱”問(wèn)題或“可解釋性”問(wèn)題不同，后者是指難以解釋特定的AI如何得出其結(jié)論。

正如Rahimi所言，煉金術(shù)問(wèn)題和黑箱問(wèn)題的區(qū)別在于，“一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)是黑箱”和“整個(gè)領(lǐng)域變成了黑箱”。

Rahimi說(shuō)，如果不深入了解構(gòu)建和訓(xùn)練新算法所需的基本工具，研究人員就會(huì)像中世紀(jì)的煉金術(shù)士一樣用道聽(tīng)途說(shuō)的方法來(lái)研究人工智能。

谷歌的計(jì)算機(jī)科學(xué)家Francois Chollet補(bǔ)充說(shuō)：“人們受草包族科學(xué)吸引，”依靠“民間傳說(shuō)和魔法咒語(yǔ)”。例如，他說(shuō)，研究人員傾向于采用一些小技巧來(lái)調(diào)整他們的AI的“學(xué)習(xí)率”—— 算法在每次錯(cuò)誤后自行糾錯(cuò)的比率——而不理解為什么某個(gè)算法比其他的更好。

另一些情況下，研究人員像在黑暗中亂撞一樣訓(xùn)練他們的算法。例如，他們實(shí)現(xiàn)了所謂的“隨機(jī)梯度下降”，以?xún)?yōu)化算法的參數(shù)，獲得盡可能低的失敗率。然而，盡管有數(shù)千篇關(guān)于隨機(jī)梯度下降的學(xué)術(shù)論文，以及無(wú)數(shù)應(yīng)用該方法的技巧，這個(gè)過(guò)程仍然依賴(lài)于試錯(cuò)。

隨機(jī)梯度下降使用嘗試錯(cuò)誤法來(lái)優(yōu)化算法，目標(biāo)是找到3D景觀中的最小值

Rahimi的論文強(qiáng)調(diào)了可能導(dǎo)致的浪費(fèi)精力和次優(yōu)性能。例如，論文指出，當(dāng)其他研究人員對(duì)一個(gè)state-of-the-art的語(yǔ)言翻譯算法去除了大部分的復(fù)雜性時(shí)，它實(shí)際上在將英語(yǔ)翻譯成德語(yǔ)或法語(yǔ)時(shí)的表現(xiàn)更好了，這表明算法的原作者并沒(méi)有完全理解這些額外的部分有什么好處。

反過(guò)來(lái)，Twitter的一名機(jī)器學(xué)習(xí)研究人員Ferenc Huszar說(shuō)，有時(shí)候，附加在算法上的花里胡哨的那些東西是這個(gè)算法唯一好的部分。他說(shuō)，在某些情況下，算法的核心部分在技術(shù)上是有缺陷的，這意味著它的好結(jié)果“完全歸功于應(yīng)用的其他技巧”。

至于機(jī)器學(xué)習(xí)中哪些算法、什么時(shí)候表現(xiàn)最好，Rahimi提出了一些建議。他說(shuō)，對(duì)于初學(xué)者來(lái)說(shuō)，研究人員應(yīng)該像翻譯算法那樣進(jìn)行“消融研究”：一次刪除算法的一個(gè)部分，以查看每個(gè)組件的功能。他呼吁進(jìn)行“切片分析”，在此基礎(chǔ)上，對(duì)算法的性能進(jìn)行詳細(xì)分析，以了解某些地方的改進(jìn)會(huì)怎樣在其他方面產(chǎn)生損失。

Rahimi還說(shuō)，研究人員應(yīng)該對(duì)他們的算法進(jìn)行多種不同條件和設(shè)置的測(cè)試，并報(bào)告所有設(shè)置下算法的性能。

加州大學(xué)伯克利分校（UC Berkeley）的計(jì)算機(jī)科學(xué)家Ben Recht是拉希米有關(guān)煉金術(shù)演講的共同作者，他提出，AI需要借鑒物理學(xué)的方法。在物理學(xué)中，研究人員經(jīng)常把問(wèn)題縮小到一個(gè)更小的“玩具問(wèn)題”（toy problem）?！拔锢韺W(xué)家很擅長(zhǎng)設(shè)計(jì)簡(jiǎn)單的實(shí)驗(yàn)來(lái)找到對(duì)現(xiàn)象的解釋?！彼f(shuō)。

一些AI研究人員已經(jīng)開(kāi)始采用這種方法，例如，在測(cè)試圖像識(shí)別算法時(shí)，先在小的黑白手寫(xiě)字符上實(shí)驗(yàn)，而非直接處理大幅的彩色照片，以更好地理解算法的內(nèi)部機(jī)制。

DeepMind的計(jì)算機(jī)科學(xué)家Csaba Szepesvari認(rèn)為，這個(gè)領(lǐng)域還需要減少對(duì)競(jìng)爭(zhēng)性測(cè)試的重視。他說(shuō)，目前，如果報(bào)告的算法優(yōu)于某些基準(zhǔn)，那么論文更有可能得到發(fā)表，而不是論文揭示了該軟件的內(nèi)部工作原理更容易發(fā)表。

這就是那些花里胡哨的翻譯算法能夠通過(guò)同行評(píng)審的方式?！翱茖W(xué)的目的是產(chǎn)生知識(shí)，”Szepesvari說(shuō)，“你要生產(chǎn)出別人可以采用、可以成為研究的基石的東西?！?/p>

但并不是每個(gè)人都同意Rahimi和Recht的批評(píng)。Facebook的首席人工智能科學(xué)家Yann LeCun擔(dān)心，將過(guò)多的精力從研究前沿技術(shù)轉(zhuǎn)移到核心的理解上可能會(huì)減緩創(chuàng)新的速度，阻礙AI的實(shí)際應(yīng)用?！斑@不是煉金術(shù)，而是工程學(xué)?！盠eCun說(shuō)，“工程就是亂糟糟的?！?/p>

Recht認(rèn)為有條不紊的研究和大膽開(kāi)拓的研究可以達(dá)到一個(gè)平衡。“我們兩者都需要，”他說(shuō)，“我們需要了解哪些地方出現(xiàn)故障，以構(gòu)建可靠的系統(tǒng)；我們也必須推進(jìn)研究的前沿，以實(shí)現(xiàn)更多令人贊嘆的系統(tǒng)?！?/p>