一場自動駕駛悲劇反映出日益凸顯的技術(shù)危機(jī)，堆積如山的代碼創(chuàng)造了「一個無人完全理解的宇宙」，我們可能會把它們稱為「弗蘭肯算法（frankenalgos）」，而理解并應(yīng)對它們，基本上需要一門新的科學(xué)。

2018 年 3 月 28 日，是讓人們揪心的一天。

那天晚上，在亞利桑那州坦佩市，一輪新月升到一條四車道的上空，昏暗的路面并未因此而多幾分光亮。

這時，一輛經(jīng)過特別改造的 Uber Volvo XC90 正在檢測道路前方的某個物體。

作為現(xiàn)代淘金熱的趕潮兒，這輛 SUV 已經(jīng)在完全無人駕駛模式下行駛了 19 分鐘，期間并未得到后座安全員的任何指導(dǎo)。

它配備了一組雷達(dá)和激光雷達(dá)傳感器，通過算法來計算周圍物障的距離。

此時，主車速度穩(wěn)定在 43 英里/小時，經(jīng)機(jī)載算法判斷，如果前方物體保持不動，那么主車距離它有 6 秒之遙。

不過，路面上的物體很少會靜止不動。因此，通過檢索可識別的機(jī)械 & 生物實體庫，算法會從中爬取出更多數(shù)據(jù)，以此來推斷該物體的可能行為。

起初，該計算機(jī)一無所獲；

幾秒鐘后，它發(fā)現(xiàn)自己剛才是在處理另一輛車，并期盼著那輛車能夠開走，這樣，就可以不對其采取其它特別行動。

直到最后一秒，它才得到了一個清晰的身份識別——

一個騎自行車的女人，車把上混亂地掛著購物袋。她想當(dāng)然地以為，這輛沃爾沃會像任何普通汽車那樣繞開她行駛。

由于受到不得擅自采取回避行為的限制，計算機(jī)突然把控制權(quán)交還給了它的人類主人，但是，主人并沒有注意。

49 歲的伊萊恩·赫茲伯格（Elaine Herzberg）被撞死了。

這個事件引起了一些科技界成員的反思，給他們提出了 2 個令人不快的問題：算法的悲劇不可避免嗎？我們將（應(yīng)該）準(zhǔn)備如何應(yīng)對這種事件？

「在某些方面，我們失去了主體性。當(dāng)程序進(jìn)入代碼，代碼進(jìn)入算法，然后算法開始創(chuàng)建新算法，一切離人類主體越來越遠(yuǎn)。

軟件被釋放到一個沒有人能完全理解的代碼世界?！?/p>

Ellen Ullman 說。自 20 世紀(jì) 70 年代以來，她 一直是位杰出的專業(yè)程序員，也是少數(shù)幾個能夠?qū)幋a過程進(jìn)行深刻描述的人之一。

當(dāng)算法開始創(chuàng)建新算法時，一切離人類主體越來越遠(yuǎn)，Ellen Ullman 說。

她對軟件世界了如指掌。

「人們說，『那么，F(xiàn)acebook 的運作方式呢？——他們創(chuàng)建并使用算法，而且他們可以改變算法?！?/p>

但事實并不是這樣。他們先設(shè)定算法，然后算法會進(jìn)行自主學(xué)習(xí)、變化和運行。

Facebook 會定期干預(yù)算法的運作，但并不會真的對其進(jìn)行控制。

而對于一些特定程序，算法不是單獨運行，還需要各類庫、深度操作系統(tǒng)等……?！?/p>

算法是什么？

事實上，自從互聯(lián)網(wǎng)——尤其是搜索引擎——在上世紀(jì) 90 年代中期興起以來，算法的使用已經(jīng)發(fā)生了變化。

從根本上說，算法是一件小而簡單的事情：一條用來自動處理數(shù)據(jù)的規(guī)則。

如果發(fā)生了 a，那么執(zhí)行 b；否則執(zhí)行 c。這是經(jīng)典計算的「if/then/else」邏輯。

如果一個用戶聲稱是自己已年滿 18 周歲，就允許他進(jìn)入網(wǎng)站；否則就輸出「對不起，年滿 18 歲才可進(jìn)入」。

就其核心而言，計算機(jī)程序就是很多很多的這類算法。一份數(shù)據(jù)處理說明書。

從微觀上看，沒有比這更簡單的事了。如果計算機(jī)表現(xiàn)出了任何魔力，不是因為它聰明，而是因為快。

最近幾年，「算法」一詞被賦予了一個愈加可怕且模棱兩可的含義，它可以指：

（1）任何大型、復(fù)雜的決策軟件系統(tǒng)；

（2）能夠根據(jù)給定的一組標(biāo)準(zhǔn)（或「規(guī)則」），來獲取一系列數(shù)據(jù)輸入并快速對其進(jìn)行評估的任何方法。

這徹底改變了醫(yī)學(xué)、科學(xué)、交通、通信等領(lǐng)域，使得多年來占據(jù)主流的計算機(jī)烏托邦觀念更加深入人心。算法使我們的生活在各個層面上都變得更好了。

直到 2016 年，我們才開始對這種新的算法現(xiàn)實進(jìn)行更加細(xì)致入微的考量。

我們傾向于用近乎圣經(jīng)般的術(shù)語來討論算法，視算法為擁有自己生命的獨立實體，之所以如此，是因為我們被鼓勵以這種方式去思考問題。

舉個例子。

Facebook 和 Google 這樣的公司已經(jīng)出售并保護(hù)了自己的算法，這是建立在承認(rèn)算法之客觀性的基礎(chǔ)上的，這種客觀性要求算法能夠利用數(shù)學(xué)式的客觀且不帶模糊情緒，對一組條件進(jìn)行衡量。

這種算法決策能夠擴(kuò)展到幾乎所有需要決策的事務(wù)中，比如貸款/保釋/福利/大學(xué)名額/工作面試等，也就不足為奇了。

現(xiàn)在，我們不會再對這類算法賣點逆來順受了。

曾經(jīng)的數(shù)學(xué)神童凱茜·奧尼爾（Cathy O'Neil）——已經(jīng)離開華爾街去教書，她管理著一個關(guān)于數(shù)學(xué)基礎(chǔ)教育的博客 mathbabe——在她 2016 年出版的《數(shù)學(xué)殺傷武器》（Weapons of Math Destruction）一書中，毫無疑問地證明了，算法遠(yuǎn)遠(yuǎn)不會消除人類偏見，相反，它將放大并鞏固這些偏見。

畢竟，軟件是由一些非常富裕的白人和亞洲人寫的。而這不可避免地會反映出他們的意識形態(tài)。

偏見充滿惡意但無意制造傷害，但我們無法輕易地像要求人類那樣去要求一個算法監(jiān)管者去解釋它的決定。

奧尼爾呼吁對任何直接影響公眾的系統(tǒng)進(jìn)行「算法審計」，這是一個明智的想法。如此一來，技術(shù)產(chǎn)業(yè)定會極力反對，因為他們就是賣軟件的；產(chǎn)品透明度是他們最后才會交出來的東西。

曾經(jīng)是數(shù)學(xué)神童的凱西·奧尼爾（Cathy O'Neil）已經(jīng)證明，算法可以放大人類偏見。

好消息是，這場戰(zhàn)斗正在進(jìn)行中；壞消息是，與接下來發(fā)生的事情相比，它已經(jīng)顯得陳舊起來。

大家都在關(guān)注人工智能的遠(yuǎn)景和威脅，以至于幾乎沒有人注意到：我們正進(jìn)入算法革命的一個新階段，這個階段可能同樣令人擔(dān)憂和迷惑。但是，幾乎沒有人問這個問題。

奧尼爾等人提醒，算法不透明但可預(yù)測：它們會按照自己事先被設(shè)計好的程序來執(zhí)行。原則上，一個熟練的程序員可以檢查并挑戰(zhàn)這些算法的編碼基礎(chǔ)。

或許可以說，這種算法很「愚蠢」，它們只能根據(jù)人類所定義的參數(shù)進(jìn)行工作。工作結(jié)果的質(zhì)量取決于編程者的思路和技巧。而另一種極端情況，是由類人的通用人工智能（artificial general intelligence，AGI）來接管所有工作，這個夢想距離現(xiàn)在還很遙遠(yuǎn)。一個真正的智能機(jī)器將能夠基于其直覺，諸如我們?nèi)祟惖闹庇X（一般被認(rèn)為是廣泛積累起來的經(jīng)驗和知識）那樣，來質(zhì)疑它自己的計算質(zhì)量。

Google 的 DeepMind 一開始只是為了在街機(jī)游戲中盡可能得高分，便寫了一段程序指令，卻最終創(chuàng)建出一個大師水準(zhǔn)的玩家，它是值得受到稱贊的。這種技術(shù)被稱為「強(qiáng)化學(xué)習(xí)」，它之所以有效，是因為計算機(jī)可以快速地玩數(shù)百萬個游戲，以便了解哪些步驟組合可以產(chǎn)生更多分?jǐn)?shù)。

有些人稱這種能力為「窄人工智能（或弱人工智能，artificial narrow intelligence，ANI）」，但這里對「智能」一詞的運用就如同 Facebook 對「朋友」這個詞的使用一樣，意在傳達(dá)出一種比實際情況更安全、更通達(dá)的含義。

為什么這樣說呢？

因為機(jī)器沒有上下文背景來判斷自己所做的事情，并且不能做任何其他的事情。關(guān)鍵的是，它也不能把知識從一個游戲轉(zhuǎn)移到另一個游戲（所謂的「轉(zhuǎn)移學(xué)習(xí)（transfer learning）」），這使得它的通用智能比不上一個小孩，甚至敵不過一只烏賊。

在某些專業(yè)任務(wù)上，計算機(jī)已經(jīng)遠(yuǎn)遠(yuǎn)優(yōu)于我們了，但距離全面性趕超，可能還很遙遠(yuǎn)。人類可能不是最好的，但是我們在很多事情上是第二好的。

但，問題就在這里。

離開「愚蠢」的固定算法后，在前往真正的人工智能的途中，人類走進(jìn)了途中的一家客棧。

客棧問題層出不窮，但我們毫無頭緒，也幾乎沒有展開討論，更不用說在目標(biāo)、道德、安全和最佳實踐方面達(dá)成一致了。

盡管我們周圍的算法還不夠智能，也就是說，它們還不能獨立地說出「那個計算/行動過程看起來不對：我會再做一次」，但是，它們正開始從其周圍的環(huán)境中進(jìn)行學(xué)習(xí)了。

而一旦算法在學(xué)習(xí)，我們就不能再知道任何有關(guān)其規(guī)則和參數(shù)的信息了。在這一點上，我們無法確定它將如何與其它算法、物理世界或我們?nèi)祟愡M(jìn)行交互。

「愚蠢」的固定算法——復(fù)雜、不透明并且習(xí)慣于實時監(jiān)控——在原則上是可預(yù)測、可審問的，而這些會學(xué)習(xí)的算法則不然。在環(huán)境中學(xué)了一段時間后，我們不再能知道它們是什么了：它們有可能變得不穩(wěn)定。

我們可能會稱它們?yōu)椤父ヌm肯算法（FrangealGOS）」——盡管瑪麗·雪萊做不到這一點。（譯注：瑪麗·雪萊，科幻小說之母，英國著名小說家、英國著名浪漫主義詩人珀西·比希·雪萊的繼室，著有《弗蘭肯斯坦——現(xiàn)代普羅米修斯的故事》。）

沖突的代碼

算法開始從它們的環(huán)境中進(jìn)行學(xué)習(xí)。

這些算法本身并不是新的。

我第一次遇到它們是在大約 5 年前，當(dāng)時我在為《衛(wèi)報》撰寫一篇關(guān)于股票市場高頻交易（HFT）的文章。

我發(fā)現(xiàn)它們非同尋常：一個人類打造的數(shù)字生態(tài)系統(tǒng)，價值數(shù)十億美元的數(shù)據(jù)中心遍布成堆黑匣子，它們就像忍者一樣潛伏在那里——這就是股票市場現(xiàn)在的樣子。

那兒一度有一個實物交易平臺，所有人的行動都會被轉(zhuǎn)移到一個中央服務(wù)器，在這個服務(wù)器中，笨拙的草食性算法會被輸入給靈活的肉食性算法，通過彎曲市場狀況，來誘使他們以低賣高買。

人類 HFT 交易者（盡管已不再有人類熱衷于此）稱這些龐大而緩慢的參與者為「鯨」，它們大多屬于互惠養(yǎng)老基金——即屬于大眾。

對于大多數(shù) HFT 商店來說，鯨魚現(xiàn)在已經(jīng)成為了主要的利潤來源。

本質(zhì)上，這些算法試圖打敗彼此；它們以光速進(jìn)行無形的戰(zhàn)斗，每秒對同一訂單進(jìn)行 10000 次下單和取消操作，或是瘋狂涌入系統(tǒng)，致使市場震動，而所有這些都超出了人類的監(jiān)督或控制能力。

顯而易見，這種局面是不穩(wěn)定的。

2010 年曾發(fā)生過一次「閃電崩盤（flash crash）」，在此期間，市場經(jīng)歷了 5 分鐘的創(chuàng)傷性自由降落，然后又經(jīng)歷了 5 分鐘的重新調(diào)整——原因不明。

我去芝加哥看望了一個叫 Eric Hunsader 的人，他有著出色的編程技巧，能夠比監(jiān)管機(jī)構(gòu)看到更詳細(xì)的市場數(shù)據(jù)。

他向我展示，截至 2014 年，每周都會發(fā)生「小型閃電崩潰」。

他甚至也不能確切說明其中的原因，但是，他和他的工作人員已經(jīng)開始對出現(xiàn)的一些算法（algos）命名，就像麥田怪圈獵人給英國夏日田野中發(fā)現(xiàn)的怪圈進(jìn)行命名那樣，比如「野生動物」、「祖馬」、「咔嗒」或「破壞者」。

Neil Johnson 是喬治華盛頓大學(xué)一位專攻復(fù)雜性的物理學(xué)家，他做了一項關(guān)于股票市場波動性的研究。

「這很迷人，」他告訴我?！肝业囊馑际牵嗄陙?，有關(guān)計算機(jī)系統(tǒng)生態(tài)學(xué)方面的討論一直比較含糊，比如使用蠕蟲病毒這個詞等等。」

但這里有一個可供研究的真正的工作系統(tǒng)。更大的問題是，我們不知道它是如何工作的，或者它會引發(fā)什么事情。

而我們的態(tài)度似乎是「心不在焉」。

值得注意的是，Johnson 關(guān)于這個問題的論文發(fā)表在《自然》雜志上，認(rèn)為股票市場「從一個混合型人機(jī)階段，突然而全面地轉(zhuǎn)向了一個新型全機(jī)階段，后一階段的特點是頻繁的黑天鵝事件與超快的持續(xù)時間」。

根據(jù)科學(xué)歷史學(xué)家 George Dyson 說法，由于一些 HFT 公司允許算法進(jìn)行學(xué)習(xí)，情況變得復(fù)雜了：

「就是花點兒錢，讓黑匣子多做些嘗試，如果有效，就加強(qiáng)這些規(guī)則。我們知道它已經(jīng)完成了。然后你實際上有了一些無人知曉的規(guī)則：算法創(chuàng)建出了自己的規(guī)則——你讓它們以自然進(jìn)化有機(jī)體的方式進(jìn)行了進(jìn)化?！?/p>

非金融行業(yè)觀察家開始設(shè)想一場災(zāi)難性的全球「飛濺式崩盤（splash crash）」，而市場增長最快的領(lǐng)域?qū)⒊蔀椋ú⑶胰匀皇牵牟▌又蝎@利的工具。

Robert Harris 在他 2011 年的小說《恐懼指數(shù)（The Fear Index）》中，設(shè)想了通用人工智能的出現(xiàn)——奇點——正是誕生自這種數(shù)字化沼澤。

令我驚訝的是，受訪科學(xué)家們沒有一個會斷然排除這種可能性。

如果不是因為一個簡單事實，所有這些都會被斥之為深奧的金融知識。

人們通常認(rèn)為，技術(shù)首先被色情行業(yè)采用，然后才開始大眾化。但在 21 世紀(jì)，色情就是金融，所以，當(dāng)我似乎看到了類似 HFT 的算法在別處引發(fā)問題的跡象時，我又打電話給 Neil Johnson。

「你說得對，」他告訴我：一種新的算法正在走向世界，它具有「重寫自己代碼的能力」，這時它就變成了類似于一種「遺傳算法」。

他認(rèn)為，自己在 Facebook 中發(fā)現(xiàn)了它們存在的證據(jù)（他補(bǔ)充道：「我的賬戶被攻擊了 4 次）。

如果是這樣的話，算法就是在那里肆虐，并正在適應(yīng)那個環(huán)境，就像股票市場所發(fā)生的那樣。

「畢竟，F(xiàn)acebook 就是一個巨大的算法，」Johnson 說到。

物理學(xué)家 Neil Johnson 說，F(xiàn)acebook 就是一個巨大的算法。

「我認(rèn)為這正是 Facebook 所面臨的問題。

他們可以使用簡單的算法在他人的照片動態(tài)中找到我的臉，從我的個人資料中獲取數(shù)據(jù)，并將我們鏈接在一起。

這是一個非常簡單的具體算法。但問題是，有數(shù)十億種這樣的算法在協(xié)同工作，它們在宏觀層面上會帶來什么影響？你不能以微觀規(guī)則來預(yù)測人口水平上的算法習(xí)得行為。

所以，F(xiàn)acebook 會聲稱他們知道在微層面上到底發(fā)生著什么，他們可能是對的。但是人口水平上的變化呢？這就是問題所在?！?/p>

為了強(qiáng)調(diào)這一點，Johnson 和來自邁阿密大學(xué)與圣母大學(xué)的一組同事發(fā)表了一篇論文，題為《公共信息中極端子群的出現(xiàn)和未來 綁定算法中的可能增強(qiáng)（Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms）》，旨在從數(shù)學(xué)上證明，試圖通過社交媒體來連接人，不可避免地會使整個社會極化。

他認(rèn)為，F(xiàn)acebook 和其它網(wǎng)站應(yīng)該像氣候科學(xué)家模擬氣候變化或天氣模式那樣，模擬其算法的效果。

奧尼爾說，她有意將這種自適應(yīng)式算法從《數(shù)學(xué)殺傷性武器》的名單中排除了。在沒有明確內(nèi)容的復(fù)雜算法環(huán)境中，將責(zé)任分配給特定的代碼段變得極其困難。

也就是說，它們更容易被忽視或者打發(fā)掉，因為很難識別它們產(chǎn)生的確切影響，她解釋道，如果想見證真實案例，我會考慮亞馬遜上的閃電崩盤會是什么樣子。

「我也一直在尋找這些（自適應(yīng)性）算法，」她說，「我一直在想：『哦，大數(shù)據(jù)還沒有到那里?！弧?/p>

但是，最近一位亞馬遜書商的朋友告訴我，對于像他這樣的人來說，那里的定價情況已經(jīng)變得十分瘋狂。

每隔一段時間，你就會看到有人在推特上寫道『嘿，在亞馬遜上花 40000 美元買條奢侈的紗線?！?/p>

每當(dāng)我聽到這樣的話，我就想：「??！那一定和閃電崩盤差不多！」

亞馬遜上有很異常事件發(fā)生的證據(jù)，有來自困惑賣家的線索，也有來自 2016 年后至少一篇的學(xué)術(shù)論文，這些論文聲稱：

「一些例子已經(jīng)出現(xiàn)，競爭中的算法定價軟件正以意想不到的方式相互作用，進(jìn)而產(chǎn)生無法預(yù)測的定價，有些情況下，被故意設(shè)計去實施固定價格。」

問題同樣在于，如何在一個混沌的算法環(huán)境中（簡單的因果關(guān)系要么不適用，要么根本無法追蹤）分配責(zé)任。

與金融業(yè)的情況一樣，推諉（deniability）被引入了系統(tǒng)之中。

現(xiàn)實生活中的危險

如果事關(guān)人身安全，那就真是茲事體大了。

前不久，一名司機(jī)駕駛著豐田凱美瑞轎車，車子突然毫無征兆地開始瘋狂加速，最終駛離道路，司機(jī)當(dāng)場身亡。

事后，美國宇航局的專家花了 6 個月的時間檢查了數(shù)百萬行的操作系統(tǒng)中的代碼，然而并沒有發(fā)現(xiàn)所謂的程序問題。汽車制造商也堅決否認(rèn)汽車會自己突然加速。

直到后來兩位嵌入式軟件專家花了 20 個月的時間深入分析了這些代碼，才證明了家屬所說的情況是真實的：

他們找出了一大堆所謂的「面條代碼」（冗長、控制結(jié)構(gòu)復(fù)雜混亂、難以理解的代碼），這些代碼充滿互相矛盾、雜糅在一起的算法，進(jìn)而產(chǎn)生異常、不可預(yù)測的輸出。

目前正在測試的自動駕駛汽車包含 1 億行代碼，沒人能夠預(yù)測在現(xiàn)實世界中的道路上可能出現(xiàn)的所有情況，所以，算法必須不斷學(xué)習(xí)并持續(xù)更新。

在這樣一個動態(tài)變化的代碼環(huán)境中，如何避免沖突，尤其是當(dāng)算法必須保護(hù)自己免受黑客攻擊時？

20 年前，George Dyson 在他的經(jīng)典著作《Darwin Among the Machines》中預(yù)見了我們今天發(fā)生的這一切。

他告訴我們，問題在于，我們正在構(gòu)建的系統(tǒng)超出了我們的智力所能控制的范圍。

我們相信，如果一個系統(tǒng)是具備確定性的（根據(jù)固定的規(guī)則行事，這是算法的定義之一），那么，他就是可預(yù)測的，而可預(yù)測的算法也是可控的。

然而，這兩種假設(shè)都不成立。

「它（算法）正在以自己的方式，一點點地工作著?！顾麑懙?。

「20 年前，我癡迷于多細(xì)胞生物和多細(xì)胞數(shù)字化有機(jī)組織，如今，他們已經(jīng)占據(jù)了世界的每個角落。運行著代碼片段的 iPhone 就像一個多細(xì)胞生物，就像生物學(xué)中看到的那樣?！?/p>

「這是一種被稱為阿什比定律的古老法則。一個控制系統(tǒng)需要和被它控制的系統(tǒng)一樣復(fù)雜。

我們正全力朝著這個目標(biāo)努力著。建造自動駕駛汽車時，軟件必須對所有需要控制的事物完整建模型，但是，我們無法理解大多數(shù)模型中的定義代碼。

因為，我們能理解的模型通常都是這樣的類型：因為忘記把消防車納入模型，所以才會撞向消防車?！?/p>

我們能否乘坐自動駕駛汽車暢游在城市街道上？對此，Dyson 提出了疑問。與此同時，新南威爾士大學(xué)的人工智能教授 Toby Walsh（此人在 13 歲編寫了他的第一個程序，十八九歲時運營了一個原型的計算機(jī)公司）從技術(shù)層面上解釋了為什么這會是一個問題。

「沒有人知道如何寫一段代碼來識別停車標(biāo)志。

我們花了好幾年的時間試圖利用人工智能技術(shù)做到這一點，但是失敗了！我們的愚蠢導(dǎo)致這項工作沒什么進(jìn)展，人類也還沒聰明到能學(xué)會如何解決這個問題。

編寫程序時，你不得不學(xué)習(xí)將問題分解成足夠簡單的部分，每個部分都能對應(yīng)上一條計算機(jī)指令（針對機(jī)器的指令）。但諸如識別停車標(biāo)志或者翻譯一個英文句子這樣復(fù)雜的問題，我們卻不知道怎么如法炮制，這超出了我們的能力范圍。

我們只知道如何編寫一個更加通用的算法，樣本足夠多的話，系統(tǒng)就能學(xué)會如何解決這個問題?！?/p>

因此，目前的研究重點放在機(jī)器學(xué)習(xí)上。

現(xiàn)在我們知道，Herzberg 的死是因為算法在試圖對其進(jìn)行正確的分類時，猶豫不決。

這是因為糟糕的編程、算法訓(xùn)練不夠？還是因為我們拒絕承認(rèn)技術(shù)的局限性？真正的問題是，我們可能永遠(yuǎn)不知道其中的原因。

「我們最終將完全放棄自己動手編寫算法，因為這些機(jī)器能夠做得比我們做得好很多。

從這個意義上說，軟件工程可能是一個瀕臨淘汰的職業(yè)。它將會被機(jī)器接管，機(jī)器將會比我們做得更好?！筗alsh 繼續(xù)說道。

Walsh 認(rèn)為，社會大眾學(xué)習(xí)編程知識是很重要的，而不是無足輕重。越疏遠(yuǎn)，它就會看起來更像魔法。

針對前文給出「算法」定義，他也認(rèn)為這種定義不完整：

「我想指出，現(xiàn)在的算法指的是所有大型、復(fù)雜的決策軟件系統(tǒng)及其嵌入的環(huán)境，這使得它們更加不可預(yù)測。」

這的確是個令人不寒而栗的想法。

他認(rèn)為，倫理道德將會成為科技領(lǐng)域新的前沿?zé)狳c，他預(yù)測這是「一個哲學(xué)的黃金時代」，普渡大學(xué)網(wǎng)絡(luò)安全專家 Eugene Spafford 也對此表示認(rèn)同。

「在需要做出選擇的地方，就會產(chǎn)生道德問題。我們往往會想要有一個可以問責(zé)的機(jī)構(gòu)，但對于一個算法來說，這是非常困難的。

到目前為止，人們對于這類系統(tǒng)的批評之一就是：不可能回過頭來分析做出某些決策的原因，因為系統(tǒng)內(nèi)部做出的選擇實在是太多了，以至于做出責(zé)任分析并非人力所及?！?/p>

也有人持不同看法。一旦一個程序出錯了，我們可以對相關(guān)的所有程序進(jìn)行重寫或更新，這樣問題就不會再次發(fā)生。人類容易重蹈覆轍，但智能機(jī)器不會。

雖然從長遠(yuǎn)來看，自動化機(jī)器應(yīng)該更加安全，由于現(xiàn)有的侵權(quán)法規(guī)定侵權(quán)行為必須出于故意或過失，因此，這種法律要件理論需要加以反思了。

一條狗不會因為咬了你而要負(fù)法律責(zé)任，但是如果這條狗的行為被認(rèn)為是可以預(yù)見的，那么，它的主人就需要負(fù)責(zé)。

在一個算法的環(huán)境中，許多意想不到的結(jié)果，是人類不可預(yù)見的，這種特性可能會導(dǎo)致一種無賴式的做法，故意混淆概念會變得更容易，也會為某些人帶來好處。

比如目前，一些制藥公司一直在從這種復(fù)雜性中受益，但后果也會更嚴(yán)重，并且更加難以逆轉(zhuǎn)。

Uber 致命車禍調(diào)查

軍事風(fēng)險

不過，在未來，影響最嚴(yán)重的領(lǐng)域可能并非商業(yè)、社交媒體、金融和交通。如果軍方不再像過去一樣推動創(chuàng)新，它將是最受影響的技術(shù)采用者。

因此，自動武器正在變成一場算法軍備競賽，這也就不足為奇了。

目前，朝鮮和韓國之間的非軍事區(qū)由一名機(jī)器人槍手執(zhí)勤。盡管其制造商三星否認(rèn)它有自動化行動的能力，但外界普遍不相信這一說法。

俄羅斯、中國和美國都聲稱他們正處于研發(fā)協(xié)同化、武器化無人機(jī)群的不同階段，而美國還計劃讓導(dǎo)彈在戰(zhàn)場上空盤旋數(shù)日進(jìn)行觀察，然后選定攻擊目標(biāo)。

一群谷歌的雇員為此辭職，另有數(shù)以千計的人質(zhì)疑這家科技巨頭向五角大樓的 Maven 計劃「算法戰(zhàn)爭」項目提供機(jī)器學(xué)習(xí)算法。

谷歌的管理層最終對此作出回應(yīng)，同意不續(xù)簽 Maven 計劃的合同，并公布了使用其算法的道德準(zhǔn)則。

谷歌的員工因公司向五角大樓的「算法戰(zhàn)爭」計劃提供機(jī)器學(xué)習(xí)軟件而憤然辭職。

和其他的科技公司一樣，谷歌也聲稱其 Maven 軟件符合道德準(zhǔn)則：

它可以幫助人們更有效地選擇目標(biāo)，從而挽救生命。

但問題是，技術(shù)管理人員如何能夠假定自己知道他們的算法將會做什么，在實際情況中，被指導(dǎo)去做什么——特別是考慮到，各方都會開發(fā)出相應(yīng)的算法對抗系統(tǒng)，以迷惑敵方武器。

和股市的情況一樣，不可預(yù)測性很可能被視為一種優(yōu)勢而非障礙，因為，武器會因此變得更有可能抵抗企圖破壞它們的企圖。

如此以來，我們實際上正在冒險徹底改造我們的機(jī)器，用意大利面條式的（復(fù)雜而難以理解的）代碼包裝本來尋常之物。

英國 Lancaster 大學(xué)的 Lucy Suchman 與人合寫了一封致谷歌的公開信，要求他們反思將工作與軍事相聯(lián)系的狂熱做法。

她說，科技公司的動機(jī)很容易被理解：軍事合同總是伴隨著覺得利益。而對五角大樓來說，

「他們被數(shù)據(jù)淹沒了，因為有新的方法來收集和存儲數(shù)據(jù)，但他們無法處理這些數(shù)據(jù)。所以這些數(shù)據(jù)基本上是無用的，除非有奇跡發(fā)生。

我認(rèn)為，它們尋求與大數(shù)據(jù)公司的合作是一個很神奇的想法：這些公司有很神奇的技術(shù)，可以讓這些數(shù)據(jù)有意義?！?/p>

Suchman 還提供了一些統(tǒng)計數(shù)據(jù)，讓人對 Maven 計劃不寒而栗。

2003 年到 2013 年間在巴基斯坦進(jìn)行的無人機(jī)襲擊中，只有不到 2% 的被害人被確認(rèn)為對美國構(gòu)成明顯威脅的「高價值」目標(biāo)。

20% 的被射殺的人被認(rèn)為是非戰(zhàn)斗人員，而 75% 的人的身份未知。

即使只有這些數(shù)字的二分之一、三分之一、四分之一，任何理性的人都會停止這樣的行為。

「我們現(xiàn)在使用的識別技術(shù)是很粗糙的，而 Maven 計劃想要做的是實現(xiàn)這種技術(shù)的自動化。從這一點上說，它變得更加不負(fù)責(zé)任，更容易受到質(zhì)疑。這是個很糟糕的主意」。

Suchman 的同事 Lilly Irani 在加州大學(xué)圣地亞哥分校工作，她提醒我們，信息在一個算法系統(tǒng)中以光速傳播，沒有人對其進(jìn)行監(jiān)管。她以此暗示，技術(shù)上的討論常常被用作煙幕彈，以逃避責(zé)任。

「當(dāng)我們談?wù)撍惴ǖ膽?yīng)用時，有時是在討論官僚系統(tǒng)。

算法設(shè)計人員和政策專家所做的選擇被視為客觀，在過去，必須有人為這些選擇負(fù)責(zé)。而科技公司說，它們只是通過 Maven 計劃來提高準(zhǔn)確率，比如，更多真正的威脅分子得到擊斃。

也就是說，從政治角度出發(fā)，假設(shè)那些站在他們世界的對立面的人更因該被殺死，而美國軍隊則會定義什么樣的人有嫌疑，不容許有任何爭議。

所以，他們是打著科技問題的旗號解決一些政治問題。選擇算法來自動化某些決策過程，也是出于政治考慮?！?/p>

現(xiàn)代戰(zhàn)爭的法律公約，盡管可能不完善，但它假設(shè)作出決定的人要承擔(dān)責(zé)任。至少，算法戰(zhàn)爭正在以一種我們可能要后悔的方式，攪渾了現(xiàn)代戰(zhàn)爭的這潭水。

尋找解決之道

對于本文描述的大多數(shù)問題來說，已經(jīng)存在解決方案，或者，我們可以試著找到一種解決方案，但前提是：大型科技公司將社會的良性發(fā)展，作為公司底線。

長期來看，更為嚴(yán)重的問題是，越來越多的人推測當(dāng)前的編程方法不再能實現(xiàn)某種目的，鑒于人類日益依賴的算法系統(tǒng)的規(guī)模、復(fù)雜性和相互依賴性。

聯(lián)邦航空管理局的解決方案是：詳細(xì)記錄和評估所有項目的內(nèi)容以及后續(xù)更新，以便事先很好地理解算法交互，但這不可能大規(guī)模展開。

航空航天工業(yè)的部分單位采用了一種相對較新的基于模型的編程方法，在這種方法中，機(jī)器完成了大部分的編碼工作，并且能夠在運行時進(jìn)行測試。

然而，基于模型的編程可能并不是萬能鑰匙。

它不僅讓人們遠(yuǎn)離了這一編程過程，而且物理學(xué)家 Johnson 為美國國防部所做的一項研究發(fā)現(xiàn)：即使在使用這種技術(shù)構(gòu)建的大型復(fù)雜系統(tǒng)中，「也無法從代碼本身推導(dǎo)出系統(tǒng)可能做出的極端行為?！?/p>

人們投入了大量精力尋找追蹤不符合預(yù)期的算法的行為，從而確定導(dǎo)致這種情況發(fā)生的具體代碼的位置。沒有人知道是否會找到一種（或多種）解決方案，但在那些具有攻擊性的算法被設(shè)計得互相沖突或/和互相適應(yīng)的情況下，確實還沒有一種辦法行得通。

等待研究人員給出一個關(guān)于熱議的算法糾紛問題的技術(shù)答案時，我們可以采取一些預(yù)防措施。英國定量分析專家、對股市高頻交易發(fā)出嚴(yán)正批評的 Paul Wilmott 諷刺地說，「學(xué)學(xué)射擊、做果醬或者編織」。

更實際的做法是，軟件安全專家 Spafford 建議，無論能否識別特定的異常代碼或證明與之相關(guān)的疏忽，都要讓科技公司為其產(chǎn)品的行為負(fù)責(zé)。

「基本上，我們需要一種新的科學(xué)形態(tài)。」Neil Johnson 說。

僅僅在幾年前，當(dāng) Johnson 和我最后一次討論這個話題時，我的問題還只是小眾關(guān)注的問題，僅僅限于少數(shù)對股市進(jìn)行細(xì)節(jié)研究的人。

「現(xiàn)在，這種情況甚至影響了選舉。我的意思是，這到底是怎么了。

我認(rèn)為，深層次的科學(xué)問題是，軟件工程師接受的訓(xùn)練是編寫程序，優(yōu)化工作。這很有道理，因為你經(jīng)常會優(yōu)化諸如分布在一個平面上的權(quán)重、最節(jié)能的速度這樣的問題。

一般來說，在可預(yù)期的情況下，優(yōu)化工作是有意義的。但是，在一些特殊的情況下，它也會失去意義，我們需要考慮：

『一旦著個算法開始與其他人進(jìn)行交互，可能發(fā)生的最糟糕的事情是什么？』問題是，我們甚至沒有一個詞語能夠描述它，更不用說研究它的學(xué)科了。」

他停頓了片刻，試圖思考這個問題

「所謂優(yōu)化，要么最大化對象，要么就是最小化，在計算機(jī)科學(xué)中，都是一個意思。因此，優(yōu)化的反義詞是什么？比如，最小優(yōu)化案例中，如何識別、測量它？

我們需要提出的問題，『在我認(rèn)為自己正在優(yōu)化的系統(tǒng)中，最極端的行為可能是什么?』」。

他再次陷入了沉默，最終發(fā)出了略帶驚訝的聲音。

「基本上，需要一種新的科學(xué)?！顾f。