據(jù)國外媒體報道，數(shù)據(jù)為人工智能革命提供了動力。然而安全專家們發(fā)現(xiàn)，完全可以通過篡改數(shù)據(jù)集或現(xiàn)實環(huán)境來攻擊人工智能，對抗性的機器學(xué)習(xí)研究表明人工智能可能會被黑客攻擊，從而做出完全錯誤的決策。

神經(jīng)網(wǎng)絡(luò)把一張關(guān)于烏龜?shù)恼掌闯闪藖韽?fù)槍。一輛自動駕駛汽車從一個停車標(biāo)志旁飛馳而過，只是因為一個精心制作的貼紙迷惑了電腦視覺。一副眼鏡就把面部識別技術(shù)搞糊涂了，誤以為某人是好萊塢女影星米拉·喬沃維奇(Milla Jovovich)。對人工智能進行黑客攻擊成為了一種新的安全危機。

為了防止一些犯罪分子想要通過篡改數(shù)據(jù)集或現(xiàn)實環(huán)境來攻擊人工智能，研究人員轉(zhuǎn)向?qū)剐缘臋C器學(xué)習(xí)研究。在這種情況下，研究人員對數(shù)據(jù)進行修改，從而欺騙神經(jīng)網(wǎng)絡(luò)和人工智能系統(tǒng)，讓它們看到不存在的東西，忽略存在的東西，或者使得其關(guān)于分類對象的決策完全錯誤。

就像谷歌和紐約大學(xué)研究人員所做的那樣，在一輛校車的照片上加上一層對人類來說無形的數(shù)據(jù)噪聲，神經(jīng)網(wǎng)絡(luò)就會報告說，它幾乎可以肯定那是一只鴕鳥。不僅僅是圖像可以這樣:研究人員已經(jīng)將隱藏的語音指令嵌入到廣播中，從而控制智能手機，同時不會讓人們察覺。

雖然這類工作現(xiàn)在被描述為一種攻擊，但從哲學(xué)角度來說，對抗性的例子最初被視為神經(jīng)網(wǎng)絡(luò)設(shè)計中的一個近乎盲點:我們假設(shè)機器以我們同樣的方式看東西，它們用與我們相似的標(biāo)準(zhǔn)來識別物體。2014年，谷歌研究人員在一篇關(guān)于“神經(jīng)網(wǎng)絡(luò)的有趣特性”的論文中首次描述了這一想法，該論文描述了如何在圖像中添加“擾動”元素會導(dǎo)致神經(jīng)網(wǎng)絡(luò)出現(xiàn)錯誤——他們稱之為“對抗性示例”。他們發(fā)現(xiàn)，微小的扭曲就可能會騙過神經(jīng)網(wǎng)絡(luò)，使其誤讀一個數(shù)字或誤將校車當(dāng)成別的什么東西。這項研究對神經(jīng)網(wǎng)絡(luò) “固有盲點”以及它們在學(xué)習(xí)過程中的“非直覺特征”提出了質(zhì)疑。換句話說，我們并不真正了解神經(jīng)網(wǎng)絡(luò)是如何運作的。

加州大學(xué)伯克利分校(University of California, Berkeley)計算機科學(xué)教授唐恩·宋(Dawn Song)表示:“對抗性示例說明，我們對深度學(xué)習(xí)的原理及其局限性的理解仍然非常有限?！彼问撬乃髮W(xué)聯(lián)合進行對抗性研究的幾位研究人員之一，他們共同開發(fā)了停車標(biāo)志貼紙來干擾自動駕駛汽車。

華盛頓大學(xué)(University of Washington)計算機安全研究員厄爾倫斯·費爾南德斯(Earlence Fernandes)也從事停車標(biāo)志研究，他表示:“攻擊的范圍很廣，取決于攻擊者處在機器學(xué)習(xí)模型生成過程的哪個階段。” 費爾南德斯舉例說，在開發(fā)機器學(xué)習(xí)模型時可進行訓(xùn)練時間攻擊，也就是使用惡意數(shù)據(jù)來訓(xùn)練系統(tǒng)。他表示:“在人臉檢測算法中，攻擊者可能會用惡意數(shù)據(jù)對模型施以毒害，從而使檢測算法將攻擊者的臉識別為授權(quán)人?！?/p>

另一方面，推理時間攻擊則是通過一系列算法——比如快速梯度符號法（Fast Gradient Sign Method，F(xiàn)GSM）和當(dāng)前最優(yōu)攻擊方法(Carlini and Wagner)是兩種最流行的算法——向模型顯示精心制作的輸入，從而迷惑神經(jīng)網(wǎng)絡(luò)。

隨著人工智能滲透到我們生活的方方面面——駕駛汽車、分析視頻監(jiān)控系統(tǒng)、通過面部識別某人身份——對這些系統(tǒng)的攻擊變得更加可能，也更加危險。黑客修改路邊交通標(biāo)志可能會導(dǎo)致車禍和人員傷害。對數(shù)據(jù)機器學(xué)習(xí)系統(tǒng)的細微改變也會導(dǎo)致人工智能系統(tǒng)做出的決策出現(xiàn)偏差。

但我們不應(yīng)該過分擔(dān)心。麻省理工學(xué)院的研究員安尼施·安塞也（Anish Athalye）指出，“據(jù)我們所知，這種類型的攻擊目前還沒有在被現(xiàn)實世界中的惡意組織所采納過。但考慮到這一領(lǐng)域的所有研究，似乎很多機器學(xué)習(xí)系統(tǒng)都非常脆弱，如果現(xiàn)實世界的系統(tǒng)很容易就遭到了這種攻擊，我也不會感到驚訝?！?/p>

安塞也自己的研究旨在使對抗性攻擊更加健壯。一些被歸為“標(biāo)準(zhǔn)”的攻擊只從特定的角度進行，而另一些攻擊則不管神經(jīng)網(wǎng)絡(luò)從什么角度觀察物體或圖像都可以進行。 “標(biāo)準(zhǔn)的對抗性例子是通過微調(diào)圖像中的像素，從而將神經(jīng)網(wǎng)絡(luò)對目標(biāo)圖像的分類轉(zhuǎn)移到其它類別——比如說把貓的圖像歸類為鱷梨沙拉醬?！彼f，“一次又一次地重復(fù)這個過程，做出微小的改變，結(jié)果是有可能制作出一幅對人來說像一樣?xùn)|西的圖像，卻會讓機器誤一位完全不同的東西?！彼f，研究表明，標(biāo)準(zhǔn)對抗性攻擊是“脆弱的”，在現(xiàn)實世界中不太可能站得住腳。

因此，安塞也和他在麻省理工學(xué)院人工智能實驗室LabSix的同事們開發(fā)了更好的示例，優(yōu)化了攻擊圖像，使其不用考慮角度或距離問題都可起作用。他說:“我們還把它擴展到3D圖像，這樣你就可以有一個在人類看起來像烏龜?shù)奈矬w，但從機器角度觀察卻完全不同?！边@其中就包括他的3D打印玩具龜，但在ImageNet分類器看來，它就像一把來復(fù)槍。

如果攻擊只能以精確的角度起作用，或者干擾因素很容易被人類發(fā)現(xiàn)，那么攻擊就沒有什么用處。以自動駕駛汽車為例，它們往往通過依賴神經(jīng)網(wǎng)絡(luò)識別物體的計算機視覺技術(shù)來觀察外部世界。這樣的話，任何對抗性的招數(shù)都必須在每個觀察角度起作用，也不會受到遠近距離的影響，更不會被人類司機注意到，畢竟沒有人能讀懂一個被涂過油漆的交通標(biāo)志。包括費爾南德斯(Fernandes)和宋(Song)在內(nèi)的研究人員都成功地做到了這一點，他們使用不會模糊標(biāo)識的細微油漆標(biāo)記以及看起來像涂鴉的貼紙干擾路邊的停車標(biāo)志，卻導(dǎo)致神經(jīng)網(wǎng)絡(luò)將“停止”解釋為速度限制。

“從一個較高的層次看,這種攻擊的方式是訪問目標(biāo)深度學(xué)習(xí)模型,然后運行一個算法來計算需要對物理對象進行何種編輯,從而使生成的圖像從人類視覺看與某種原始物體相似,但對于機器學(xué)習(xí)模型來說完全是另一種東西,”費爾南德斯說。“在這種情況下，我們的算法輸出需要在圖像中添加的元素。在我們的例子中就是貼紙，所以我們把它們打印在紙上，然后簡單地貼在一個路邊的停止標(biāo)志上。

這沒有理由引起恐慌。費爾南德斯解釋說，僅僅在停止交通標(biāo)志上貼上這些貼紙是不會讓自動駕駛汽車發(fā)生事故的。自動駕駛汽車會使用多個傳感器和算法，不會就任何單一的機器學(xué)習(xí)模型做出決定。“因此，盡管我們的工作可以愚弄單一的機器學(xué)習(xí)模型，但這并不意味著這種愚弄就足以造成真實傷害，”他說。

開發(fā)對抗性的示例并非易事，通常需要搞清楚包括模型架構(gòu)在內(nèi)的神經(jīng)網(wǎng)絡(luò)技術(shù)細節(jié)，這往往稱為“白盒”訪問。也就是說，真正具有強大破壞性的攻擊并不需要詳細的神經(jīng)網(wǎng)絡(luò)信息;事實可能會證明，這些黑盒攻擊對外部攻擊系統(tǒng)更有用，因為它們可以應(yīng)用到不同的神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在需要開展工作，從而防止機器學(xué)習(xí)因其固有的弱點而變得無用。雖然已經(jīng)有了很多的解決方案，但到目前為止還沒有明確的防御措施。密歇根大學(xué)(University of Michigan)研究員凱文·?？嘶魻柼?Kevin Eykholt)表示:“檢測對抗性示例的防御措施，以及消除對抗性示例存在的防御措施，是相關(guān)研究領(lǐng)域的一個活躍領(lǐng)域。很多新防御被提出，而又以非?？斓乃俣缺淮蚱?。”他補充說:“在設(shè)計機器學(xué)習(xí)系統(tǒng)的時候不是盲目的設(shè)計系統(tǒng)，重要的是要注意并可能減輕對抗性攻擊的特定風(fēng)險，并考慮到一旦發(fā)生相關(guān)情況該做出何種反應(yīng)。”

安塞也說，有一個想法很有希望，那就是訓(xùn)練神經(jīng)網(wǎng)絡(luò)，通過對抗性示例包含在訓(xùn)練數(shù)據(jù)中來提高識別神經(jīng)網(wǎng)絡(luò)的健壯性。他說:“通過這種方式，神經(jīng)網(wǎng)絡(luò)‘學(xué)會’對對抗性示例有一定的抵抗力?！?/p>

費爾南德斯說，在機器學(xué)習(xí)的核心發(fā)現(xiàn)這樣的缺陷并不令人驚訝，因為系統(tǒng)通常在普及之前并不會經(jīng)過良好的測試?！半S著機器學(xué)習(xí)變得越來越普遍，安全研究人員會開始從對抗的角度來研究它，并發(fā)現(xiàn)其中一些可以利用的東西，這是很自然的，” 費爾南德斯如是指出。

這不僅是一個技術(shù)缺陷，也是一個哲學(xué)假設(shè)。首先，當(dāng)攻擊者可以自由操縱數(shù)據(jù)獲取優(yōu)勢時，機器學(xué)習(xí)開發(fā)人員會假定訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是相似的。第二，我們往往認為神經(jīng)網(wǎng)絡(luò)像我們一樣思考，但實際上并不是如此;神經(jīng)網(wǎng)絡(luò)用來識別玩具龜?shù)脑嘏c我們所尋找的不同，而這種差異性正是攻擊的突破口。費爾南德斯說:“神經(jīng)網(wǎng)絡(luò)是非常粗略地模擬人類大腦。試圖將它們視為與我們大腦類似的運作方式，可能并不是思考它們的最佳方式?！?/p>