【導(dǎo)讀】網(wǎng)友用GPT-4復(fù)現(xiàn)了AlphaDev的排序算法優(yōu)化，讓DeepMind的新論文看起來(lái)沒(méi)有那么耀眼了。

前幾天，Google DeepMind基于AlphaZero開(kāi)發(fā)了一種新算法——AlphaDev。

據(jù)稱(chēng)，這個(gè)算法可以創(chuàng)造出比人類(lèi)編寫(xiě)的算法快3倍的排序算法。

消息剛出的時(shí)候，很多網(wǎng)友都認(rèn)為這是機(jī)器學(xué)習(xí)領(lǐng)域的重大突破。

但經(jīng)過(guò)一段時(shí)間的發(fā)酵之后，部分網(wǎng)友對(duì)AlphaDev取得的成就的評(píng)價(jià)似乎出現(xiàn)了分歧。

先是一位推特網(wǎng)友表示，用GPT-4也成功地發(fā)現(xiàn)了和AlphaDev發(fā)現(xiàn)的幾乎一樣的算法。

然后不少網(wǎng)友也在討論，覺(jué)得AlphaDev取得的實(shí)際成果和他們自己吹的「歷史性突破」差距過(guò)大。

網(wǎng)友的這些討論甚至把馬庫(kù)斯也引來(lái)圍觀看熱鬧了。

此外，馬院士也回復(fù)了用GPT-4發(fā)現(xiàn)算法的網(wǎng)友，「推特老板到此一游」

GPT-4也能「發(fā)現(xiàn)」同樣的算法

現(xiàn)在我們來(lái)看看這位用GPT-4發(fā)現(xiàn)和AlphaDev幾乎一樣算法的網(wǎng)友到底是怎么做到的。

他把自己的Prompt和GPT-4的回復(fù)都Po了出來(lái)。

順便問(wèn)了一句，我這東西能發(fā)Nature嗎？

網(wǎng)友的提示詞有兩個(gè)部分，第一個(gè)部分讓GPT-4針對(duì)這段排序算法進(jìn)行優(yōu)化，標(biāo)注出哪段指令可以刪除，再一步一步解釋原因，然后回頭再驗(yàn)證一遍。

然后他又給了第二部分提示詞，讓GPT-4根據(jù)上面的提示詞繼續(xù)做，讓Temperature=0(保持結(jié)果的一致性)。

最后GPT-4還小小地總結(jié)了一下。

認(rèn)為刪除「mov S P」，再把刪除后代碼的P用S替換一下就行。

AlphaDev發(fā)現(xiàn)的算法

如下圖示例，原始sort3實(shí)現(xiàn)，有min(A, B, C)，使用AlphaDev Swap Move，AlphaDev發(fā)現(xiàn)，你只需要min(A, B)。

對(duì)比網(wǎng)友用GPT-4的優(yōu)化內(nèi)容，只能說(shuō)是一模一樣！

不知道是GPT-4過(guò)于強(qiáng)大，還是說(shuō)AlphaDev確實(shí)也就那樣？

AlphaDev被吹得有些過(guò)頭了？

馬庫(kù)斯也在推特上轉(zhuǎn)載了一段YC社區(qū)網(wǎng)友對(duì)于AlphaDev發(fā)現(xiàn)的算法這個(gè)事比較刻薄評(píng)價(jià)。

YC社區(qū)的用戶orlp指出，他們能夠在某個(gè)libc++算法上取得70%的改進(jìn)主要是因?yàn)檫@個(gè)庫(kù)在過(guò)去10年中沒(méi)有得到積極開(kāi)發(fā)。

此外，DeepMind的改進(jìn)能起作用其實(shí)是因?yàn)閹?kù)本身在無(wú)分支排序網(wǎng)絡(luò)的高效實(shí)現(xiàn)方面存在一些問(wèn)題。

其他用戶指出，這種觀點(diǎn)「過(guò)于極端」了，算法能夠自動(dòng)生成新的排序算法已經(jīng)是很了不起的一件事了。

orlp回復(fù)說(shuō)，雖然該算法確實(shí)能夠自動(dòng)生成良好的代碼，但它遠(yuǎn)未達(dá)到革命性或改進(jìn)現(xiàn)有技術(shù)水平的程度。

網(wǎng)友主要的觀點(diǎn)認(rèn)為算法并沒(méi)有找到全新的排序方法，而只是對(duì)代碼進(jìn)行了優(yōu)化。

但是，其實(shí)已經(jīng)存在「超級(jí)優(yōu)化器」的程序能夠以不同的原理實(shí)現(xiàn)類(lèi)似的效果。

論文地址：https://courses.cs.washington.edu/courses/cse501/15sp/papers/massalin.pdf

而且在GitHub上也有項(xiàng)目已經(jīng)完成了更加快速的排列網(wǎng)絡(luò)的自動(dòng)搜索，效果似乎比AlphaDev的算法還要好。

項(xiàng)目地址：https://github.com/bertdobbelaere/SorterHunter

不少國(guó)內(nèi)網(wǎng)友還是選擇相信AlphaDev，搞不好是因?yàn)镚PT-4抄得快，不一定是原創(chuàng)。

不過(guò)確實(shí)有些讀者認(rèn)為，這類(lèi)改進(jìn)確實(shí)意義不算特別大。