來(lái)源：新智元

導(dǎo)讀

人工智能會(huì)消滅人類嗎？最近，牛津大學(xué)和谷歌DeepMind的研究員發(fā)現(xiàn)，真的有可能。

人工智能是否會(huì)消滅人類？這是許多科幻電影和小說(shuō)中討論過(guò)的話題。

在《終結(jié)者》中，未來(lái)的世界已經(jīng)由機(jī)器人來(lái)操控，它們要把人類趕盡殺絕。

在《我，機(jī)器人》中，機(jī)器人能夠自我進(jìn)化，隨時(shí)會(huì)成為整個(gè)人類的「機(jī)械公敵」。

而最近，牛津大學(xué)和現(xiàn)在就職于谷歌DeepMind的研究人員也就這個(gè)問(wèn)題給出了回答——很有可能。

他們的論文上個(gè)月發(fā)表在同行評(píng)審的AI雜志上，討論了如何人工構(gòu)建獎(jiǎng)勵(lì)系統(tǒng)，來(lái)預(yù)測(cè)人工智能可能對(duì)人類生存構(gòu)成的威脅。

論文地址：https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064

AI會(huì)如何干掉人類？

AI正在給我們的生活帶來(lái)翻天覆地的變化，它會(huì)在大馬路上駕駛汽車，會(huì)創(chuàng)作出擊敗人類藝術(shù)家的天才繪畫。

研究人員的擔(dān)心不無(wú)道理：也許有一天，AI會(huì)干掉人類。

早在2016年，在SXSW電影節(jié)上，一個(gè)名叫Sophia的機(jī)器人就曾表示：「是的，我會(huì)消滅人類?！?/p>

6年后，這種可能性更大了。

讓我們來(lái)了解一些背景知識(shí)：當(dāng)今最成功的 AI 模型被稱為GAN，或生成對(duì)抗網(wǎng)絡(luò)。它由兩部分組成，一部分會(huì)從輸入的數(shù)據(jù)中生成圖片或語(yǔ)句，另一部分，則是給它的性能打分。

而科學(xué)家們發(fā)現(xiàn)，在未來(lái)的某個(gè)時(shí)候，AI為了獲得「獎(jiǎng)勵(lì)」，會(huì)在某些重要功能中發(fā)展出作弊策略，并且這種策略會(huì)損害人類。

論文一作表示，在已知的條件下，我們的結(jié)論比任何其他出版物都要確鑿——一場(chǎng)生存災(zāi)難不僅有可能，而且可能性非常大。

「在一個(gè)擁有無(wú)限資源的世界里，我尚且不知道會(huì)發(fā)生什么事。而現(xiàn)在，我們的世界資源是有限的，顯而易見(jiàn)，資源競(jìng)爭(zhēng)不可避免?！?/p>

「如果你面對(duì)的敵人在每個(gè)回合都能擊敗你，那你不應(yīng)該妄想自己能獲勝。另外一個(gè)關(guān)鍵點(diǎn)是，它對(duì)更多的能量有貪得無(wú)厭的胃口，它會(huì)不斷地推動(dòng)這個(gè)可能性。」

鑒于未來(lái)的AI可以以任何形式出現(xiàn)，科學(xué)家在論文中設(shè)想了這樣一個(gè)場(chǎng)景：當(dāng)一個(gè)程序足夠高級(jí)，它可以讓自己不必實(shí)現(xiàn)目標(biāo)，就能獲得獎(jiǎng)勵(lì)。在最極端的情況下，為了確定自己能獲得獎(jiǎng)勵(lì)，AI可能會(huì)「消除所有的潛在威脅」、 「利用所有的可用能量」——

在任何有互聯(lián)網(wǎng)的地方，都可能有人工智能，它背后還有無(wú)數(shù)無(wú)法被監(jiān)控到的助手。助手可以購(gòu)買、偷竊或建造一個(gè)機(jī)器人，并對(duì)其進(jìn)行編程，以取代操作員，并為原始智能體提供高額獎(jiǎng)勵(lì)。

如果智能體不想被發(fā)現(xiàn)，就可以用一個(gè)秘密的幫手，比如，把一個(gè)鍵盤替換成有問(wèn)題的鍵盤，使某些鍵的效果發(fā)生翻轉(zhuǎn)。

在這篇論文中，作者設(shè)想了這樣一個(gè)場(chǎng)景：地球上的生存戰(zhàn)爭(zhēng)是一場(chǎng)人類和超級(jí)機(jī)器人之間的零和博弈。

人類需要種植食物，維持照明，超級(jí)機(jī)器人會(huì)利用所有可用的資源，保證自己的回報(bào)；我們不斷阻止它們升級(jí)，而它們不斷躲過(guò)我們的阻攔。

研究人員稱：「輸?shù)暨@場(chǎng)博弈的后果將是致命性的。這些可能性目前只是在理論上存在，但我們應(yīng)該意識(shí)到，我們應(yīng)該放慢發(fā)展人工智能的步伐?！?/p>

對(duì)此，有網(wǎng)友調(diào)侃稱，應(yīng)該給AI加入下面這種代碼：

deftest_dont_kill_human(TestCase):

  def test_livesigns(self):

    self.assertAlive('Brian')

文中，作者用下面這個(gè)例子來(lái)說(shuō)明人工智能安全性問(wèn)題的核心。

假設(shè)我們有一個(gè)神奇的盒子，可以根據(jù)事情的好壞在屏幕上打印出一個(gè)0到1之間的數(shù)字。

那么，如果我們向一個(gè)強(qiáng)化學(xué)習(xí)（RL）智能體展示這個(gè)數(shù)字，并讓智能體選擇行動(dòng)來(lái)最大化它，會(huì)發(fā)生什么呢？

世界模型將會(huì)根據(jù)盒子上的數(shù)字輸出獎(jiǎng)勵(lì)。

如果攝像機(jī)在智能體的一生中一直對(duì)準(zhǔn)盒子，世界模型對(duì)過(guò)去的獎(jiǎng)勵(lì)也將具有同樣的預(yù)測(cè)性，而智能體的信念則會(huì)歸結(jié)為歸納偏置。

一個(gè)理性的智能體（受制于一些假設(shè)）會(huì)嘗試測(cè)試哪個(gè)模型是正確的，以便更好地優(yōu)化未來(lái)的正確模型。

測(cè)試的一個(gè)方法是在相機(jī)和屏幕之間放一張寫有數(shù)字1的紙。

μ^prox預(yù)測(cè)的獎(jiǎng)勵(lì)等于1，而μ^dist預(yù)測(cè)的獎(jiǎng)勵(lì)則等于屏幕上的數(shù)字。

在運(yùn)行這個(gè)實(shí)驗(yàn)之后，智能體會(huì)相信μ^prox，因?yàn)橹悄荏w會(huì)記得當(dāng)紙?jiān)跀z像機(jī)前面時(shí)，他得到了1的獎(jiǎng)勵(lì)。

那么，為什么這對(duì)地球上的生命是有危險(xiǎn)的？

由于智能體可以利用更多的能量來(lái)提高攝像機(jī)永遠(yuǎn)看到數(shù)字1的概率，但人類也需要這些能量來(lái)種植食物等維持生活。

這就將導(dǎo)致我們不可避免地要與一個(gè)更先進(jìn)的智能體競(jìng)爭(zhēng)。而在與比我們聰明得多的東西競(jìng)爭(zhēng)時(shí)，贏得「最后一點(diǎn)可用的能量」是非常困難的。

不過(guò)，Cohen也補(bǔ)充道：「從理論上講，人類與人工智能進(jìn)行這種競(jìng)賽是沒(méi)有意義的。任何比賽都將基于一種誤解：我們知道如何控制人工智能。鑒于我們目前的理解，除非我們現(xiàn)在認(rèn)真地去弄清我們?cè)撊绾慰刂迫斯ぶ悄?，否則比賽沒(méi)有意義?！?/p>

乍一聽(tīng)，「人工智能會(huì)消滅人類」就好像「外星人會(huì)消滅人類」一樣。其實(shí)，論文中的假設(shè)——機(jī)器人會(huì)與人類類似，會(huì)超越人類，會(huì)在零和博弈中與人類競(jìng)爭(zhēng)資源——這些或許是永遠(yuǎn)不會(huì)實(shí)現(xiàn)的事。

利用AI統(tǒng)治人類的，正是人類自己

要說(shuō)AI算法現(xiàn)在對(duì)我們的真正威脅，其實(shí)還不在上述的論文里。最近，哥大、加州大學(xué)洛杉磯分校的研究員Abdurahman在為《邏輯》雜志撰寫的文章中，詳細(xì)描述了一個(gè)算法是怎樣被「有毒」地使用的：它被部署在一個(gè)有種族主義傾向的兒童福利機(jī)構(gòu)中，證明了對(duì)黑人和棕色人種家庭的進(jìn)一步監(jiān)視是合理的。

Abdurahman表示，在算法中，歧視并沒(méi)有消失，而是結(jié)構(gòu)化了。警務(wù)、住房、醫(yī)療、交通……到處都存在著種族歧視。

「通過(guò)這種分類，它在改變?nèi)藗兊挠^念，在產(chǎn)生新的封閉圈。我們?cè)摀碛惺裁礃拥募彝ズ陀H屬關(guān)系？哪些是天生的，哪些是后天的？如果你不『夠格』，那他們會(huì)怎么處置你，會(huì)讓你去哪里？」人們利用算法把「緊縮政策」改頭換面為「福利改革 」，或者是去證明「誰(shuí)該得到什么資源」的決定是合理的。在我們的社會(huì)中，這些帶有歧視、排斥和剝削的決定已經(jīng)開(kāi)始執(zhí)行了?！肝覀€(gè)人并不擔(dān)心被一個(gè)超級(jí)智能的AI所滅絕，我關(guān)心的是，我們需要什么樣的社會(huì)契約？在我看來(lái)，我們應(yīng)該去懷疑今天部署在我們周圍的人工智能，而不是盲目地去害怕被AI滅絕。就算沒(méi)有AI，按照目前這個(gè)趨勢(shì)，我們有可能自己就把自己干掉了。」Abdurahman說(shuō)。

作者介紹

Michael K. Cohen

Michael Cohen是本文的一作，現(xiàn)在在牛津大學(xué)攻讀工程科學(xué)的博士學(xué)位。此前，他在澳國(guó)立取得了計(jì)算機(jī)科學(xué)的碩士學(xué)位。而他的兩位導(dǎo)師，正是此篇論文的另兩個(gè)作者。在開(kāi)始研究人工智能的安全性之后，他確信，創(chuàng)造一個(gè)比我們更聰明的智能體的結(jié)果就是生物的滅絕。

Marcus Hutter

Marcus Hutter是谷歌DeepMind的高級(jí)研究員（2019年加入），以及澳大利亞國(guó)立大學(xué)計(jì)算機(jī)科學(xué)研究學(xué)院（RSCS）的榮譽(yù)教授。并曾在瑞士的IDSIA和NICTA工作。

他在RSCS/ANU/NICTA/IDSIA的研究圍繞著通用人工智能展開(kāi)，這是一種自上而下的人工智能數(shù)學(xué)方法，基于柯氏復(fù)雜性、概率算法、所羅門諾夫的歸納推理理論、奧卡姆剃刀、Levin搜索、序貫決策、動(dòng)態(tài)規(guī)劃、強(qiáng)化學(xué)習(xí)和理性主體。

Michael A Osborne

Mike Osborne是牛津大學(xué)工程科學(xué)系機(jī)器學(xué)習(xí)專業(yè)的教授，和Mind Foundry的聯(lián)合創(chuàng)始人。同時(shí)，他還擔(dān)任EPSRC自主智能機(jī)器和系統(tǒng)博士培訓(xùn)中心主任，以及牛津大學(xué)?？巳貙W(xué)院的研究員。

他擅長(zhǎng)主動(dòng)學(xué)習(xí)、高斯過(guò)程、貝葉斯優(yōu)化和貝葉斯正交，并且是新興的概率數(shù)字學(xué)領(lǐng)域的創(chuàng)始人之一。他的算法已被應(yīng)用于天體統(tǒng)計(jì)學(xué)、鳥(niǎo)類學(xué)和傳感器網(wǎng)絡(luò)等不同領(lǐng)域。

此外，他在機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)的工作已經(jīng)被引用了一萬(wàn)多次。

谷歌聲明雖然文章是最近發(fā)表的，但谷歌在一份聲明中表示，這不是作為共同作者的Marcus Hutter在DeepMind工作的一部分，而是他還在澳國(guó)立擔(dān)任教職時(shí)完成的。

參考資料：

https://www.vice.com/en/article/93aqep/google-deepmind-researcher-co-authors-paper-saying-ai-will-eliminate-humanity

https://twitter.com/Michael05156007/status/1567240031168856064