前幾日，OpenAI發(fā)布史上最強“通用”NLP模型，但號稱過于強大怕被濫用而沒有開源，遭到網(wǎng)友猛懟、炮轟。而做為創(chuàng)始人之一的馬斯克，雖然早已離開董事會，礙于輿論，不得不站出來做出澄清：我早已退出。

OpenAI發(fā)布的史上最強NLP似乎成了負面新聞。

原因是，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個僅含117M參數(shù)的樣本模型及代碼，給到的理由：因為這個模型能力太強大了！他們目前還有點hold不住它。一旦開源后被壞人拿到，將會貽害無窮。

之后有網(wǎng)友氣不過跑到馬斯克推特底下，叫罵OpenAI干脆改名CloseAI。

然而，馬斯克卻連發(fā)數(shù)文，澄清與OpenAI的關(guān)系：我早已退出。

馬斯克表示，已經(jīng)有一年多的時間沒有和OpenAI密切合作了，并且也沒有管理層和董事會的監(jiān)督。

而后有網(wǎng)友追問：“一直不知道你為何離開OpenAI，可否給予詳細的解釋說明？”

馬斯克便又在推特上補充道：

我必須集中精力解決大量讓人頭疼的工程和制造問題，尤其是在特斯拉和SpaceX方面。

此外，特斯拉與OpenAI在人才爭奪方面也有一些交集，我并不同意其團隊想要做的一些事情。綜上所述，希望最好是友好分手。

曾是人工智能的反對者，卻創(chuàng)立高端AI公司

2015年12月，馬斯克與Y Combinator總裁Sam Altman共同創(chuàng)立這個非營利組織研究機構(gòu)，以研究人工智能的道德和安全問題。

然而，在親手創(chuàng)辦兩年多后，伊隆·馬斯克退出了OpenAI董事會。

雖然馬斯克于去年2月離開了該組織，但卻一直被認為是OpenAI主要資助者之一。

官博地址：

https://blog.openai.com/openai-supporters/

OpenAI在去年2月20日發(fā)布的官方博客中也提到：“馬斯克將離開OpenAI董事會，但仍將繼續(xù)為該組織提供捐贈和建議。隨著特斯拉將更加關(guān)注人工智能，這將消除馬斯克未來潛在的沖突?！?/p>

值得注意的是，馬斯克一直是人工智能最大的批評者之一。2014年在麻省理工學院演講時，他將人工智能描述為“存在的最大威脅”，甚至稱之為“召喚惡魔”。

他還認為人工智能甚至可以導致第三次世界大戰(zhàn)。他補充稱，大國之間都不會故意發(fā)動核戰(zhàn)爭，但人工智能將是最有可能的、先發(fā)制人的取勝之道。

OpenAI稱模型使用15億參數(shù)，訓練一小時相當于燒掉一臺iPhone Xs Max（512G）

馬斯克之所以被@出來說明一個問題：Elon離開OpenAI的消息，還有很多人不知道，或者知道他已經(jīng)離開了董事會卻不知為何，導致他又特意出來發(fā)推澄清一下，順便又蹭了一下OpenAI最近的熱點。

OpenAI近日宣稱他們研究出一個GPT-2的NLP模型，號稱“史上最強通用NLP模型”，因為它是：

踩在15億參數(shù)的身體上：爬取了Reddit上點贊超過三票的鏈接的文本內(nèi)容，大約用到1000萬篇文章，數(shù)據(jù)體量超過了40G，相當于35000本《白鯨記》。（注：小說約有21萬單詞，是電影《加勒比海盜》的重要故事參考來源之一。動漫《海賊王》里四皇之一的白胡子海賊團的旗艦就是以故事主角大白鯨的名字Moby Dick命名）。

無需預(yù)訓練的“zero-shot”：在更通用的數(shù)據(jù)集基礎(chǔ)上，使用自注意力模塊遷移學習，不針對任何特定任務(wù)的數(shù)據(jù)進行訓練，只是作為最終測試對數(shù)據(jù)進行評估，在Winograd Schema、LAMBADA以及其他語言建模任務(wù)上實現(xiàn)了state-of-the-art 的結(jié)果。

最終結(jié)果：8個數(shù)據(jù)集中油7個刷新當前最佳紀錄。

下表顯示了最先進的zero-shot結(jié)果。(+)表示該項分數(shù)越高越好。(-)表示分數(shù)越低越好。

雖然OpenAI沒有在論文中提及具體的計算力及訓練時間，但通過公布的數(shù)據(jù)推測，他們的模型使用了256個谷歌云TPU v3。

TPU v3在Google之外只提供單獨使用版本(排除OpenAI可能得到了特別的許可)，很可能GPT-2訓練時所需的成本將高達8 * 256 = 2048美元/小時，相當于一小時燒掉一臺512G的iPhone Xs Max。

然而，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個僅含117M參數(shù)的樣本模型及代碼，相當于他們宣稱使用的數(shù)據(jù)量的0.29%。（有興趣的讀者可以去 https://github.com/openai/gpt-2 查看）

OpenAI給出的理由是：因為這個模型能力太強大了！他們目前還有點hold不住它。一旦開源后被壞人拿到，將會貽害無窮。有點中國武俠小說里，絕世武功秘籍的意思。

面臨著實驗重現(xiàn)的危機，網(wǎng)友吐槽：不公開代碼和訓練集就干脆別發(fā)表！

于是開發(fā)者和學者們不干了，紛紛質(zhì)疑OpenAI這種做法顯得心口不一。甚至盛產(chǎn)吐槽大神的Reddit上，有人建議OpenAI干脆改名CloseAI的言論，獲得了數(shù)百網(wǎng)友的點贊。

OpenAI干脆改名“CloseAI”算了！

我也做了個超強大的MNIST模型，要不要擔心它被濫用而不公開呢？

更有甚者，比如下面這位Ben Recht，還發(fā)了一條Twitter長文進行嘲諷：

今天我要介紹我們的論文“Do ImageNet Classifiers Generalize to ImageNet?”我們嘗試按照原論文描述復(fù)現(xiàn)其結(jié)果，但發(fā)現(xiàn)這樣做實在太難！

……我們完全可以基于一個不能公開的數(shù)據(jù)集構(gòu)建一個超大模型，在我們自己的標準ML范式中很難發(fā)生過擬合。

但是，測試集上的一個微小改動就會導致分布結(jié)果大幅變化，你可以想見把模型和代碼全都公布出來以后會發(fā)生什么！

PS 這篇論文還在arxiv等候?qū)徍税l(fā)布，要不是我們的最終版PDF過大，那就是因為arxiv也學著OpenAI的做法，覺得AI/ML研究太過危險而不能公開。

因為人工智能這個蓬勃發(fā)展的領(lǐng)域正面臨著實驗重現(xiàn)的危機，AI研究者發(fā)現(xiàn)他們很難重現(xiàn)許多關(guān)鍵的結(jié)果。

針對主要會議上發(fā)表的400篇AI論文的調(diào)查顯示，只有6％的論文包含算法的代碼，約30％包含測試數(shù)據(jù)，54％包含偽代碼。

CREDITS: (GRAPHIC) E. HAND/SCIENCE; (DATA) GUNDERSEN AND KJENSMO, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE 2018

去年，加拿大蒙特利爾大學的計算機科學家們希望展示一種新的語音識別算法，他們希望將其與一名著名科學家的算法進行比較。

唯一的問題：該benchmark的源代碼沒有發(fā)布。研究人員不得不從已公開發(fā)表的描述中重現(xiàn)這一算法。

但是他們重現(xiàn)的版本無法與benchmark聲稱的性能相符。蒙特利爾大學實驗室博士生Nan Rosemary Ke說：“我們嘗試了2個月，但都無法接近基準的性能?！?/p>

另外一群人更擔心GPT-2會導致假新聞出現(xiàn)井噴。OpenAI也拿DeepFake舉了個例子。

DeepFake由于其強大的圖像生成能力，成了一個“假臉生成器/換臉器”，制造出大量惡意的虛假視頻、音頻和圖像，最終被禁用。

比如這次，不懷好意的人完全可以借助GPT-2，發(fā)布有關(guān)Elon的假新聞，說他雖然公開宣稱去年就退出OpenAI，但實際上私下還在OpenAI身居要職，恐怕也會有很多人相信。

技術(shù)是把雙刃劍，越是強大的技術(shù)，一旦被用于壞用途，約可能造成更壞的結(jié)果。那么在這場意外掀起的激烈爭論中，你站在哪一邊呢？