機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，通過(guò)經(jīng)驗(yàn)學(xué)習(xí)和適應(yīng)的技術(shù)來(lái)使計(jì)算機(jī)模仿人類(lèi)認(rèn)知。其特征是基于經(jīng)驗(yàn)和模式學(xué)習(xí)，而非基于推論（原因和結(jié)果）學(xué)習(xí)。目前，機(jī)器學(xué)習(xí)方面的深度學(xué)習(xí)已經(jīng)能夠自主建立模式識(shí)別模型，而無(wú)需再依靠人類(lèi)來(lái)構(gòu)建模型。

傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)很難檢測(cè)到隨著時(shí)間推移而演變的新一代惡意軟件和網(wǎng)絡(luò)攻擊，基于ML的動(dòng)態(tài)網(wǎng)絡(luò)安全解決方案能夠利用以前的網(wǎng)絡(luò)攻擊數(shù)據(jù)來(lái)應(yīng)對(duì)更新但相似的風(fēng)險(xiǎn)。使用AI來(lái)加強(qiáng)網(wǎng)絡(luò)安全可以為用戶系統(tǒng)提供更多保護(hù)，如通過(guò)自動(dòng)化復(fù)雜流程來(lái)檢測(cè)攻擊并對(duì)違規(guī)行為做出反應(yīng)等。

隨著模式識(shí)別模型在檢測(cè)網(wǎng)絡(luò)安全威脅時(shí)變得更為有效，黑客將針對(duì)底層模型的工作和學(xué)習(xí)機(jī)制展開(kāi)研究，尋找混淆模型的有效方法來(lái)規(guī)避模型的識(shí)別，并有望建立起屬于攻擊者自己的AI和機(jī)器學(xué)習(xí)工具來(lái)發(fā)動(dòng)攻擊。

下面筆者將與諸君共同分享攻擊者將會(huì)如何利用AI來(lái)達(dá)到目的。

1. 惡意軟件逃逸

大部分惡意軟件都是通過(guò)人工方式生成的，攻擊者會(huì)編寫(xiě)腳本來(lái)生成電腦病毒和特洛伊木馬，并利用Rootkit、密碼抓取和其他工具協(xié)助分發(fā)和執(zhí)行。

這個(gè)過(guò)程能加快么？機(jī)器學(xué)習(xí)可以幫助創(chuàng)建惡意軟件嗎？

機(jī)器學(xué)習(xí)方法是用作檢測(cè)惡意可執(zhí)行文件的有效工具，利用從惡意軟件樣本中檢索到的數(shù)據(jù)（如標(biāo)題字段、指令序列甚至原始字節(jié)）進(jìn)行學(xué)習(xí)可以建立區(qū)分良性和惡意軟件的模型。然而分析安全情報(bào)能夠發(fā)現(xiàn)，機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)存在被躲避攻擊（也稱(chēng)為對(duì)抗樣本）所迷惑的可能。

2017年，第一個(gè)公開(kāi)使用機(jī)器學(xué)習(xí)創(chuàng)建惡意軟件的例子在論文《Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN》中被提出。惡意軟件作者通常無(wú)法訪問(wèn)到惡意軟件檢測(cè)系統(tǒng)所使用機(jī)器學(xué)習(xí)模型的詳細(xì)結(jié)構(gòu)和參數(shù)，因此他們只能執(zhí)行黑盒攻擊。論文揭示了如何通過(guò)構(gòu)建生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network， GAN）算法來(lái)生成對(duì)抗惡意軟件樣本，這些樣本能夠繞過(guò)基于機(jī)器學(xué)習(xí)的黑盒檢測(cè)系統(tǒng)。

如果網(wǎng)絡(luò)安全企業(yè)的AI可以學(xué)習(xí)識(shí)別潛在的惡意軟件，那么“黑客AI”就能夠通過(guò)觀察學(xué)習(xí)防惡意軟件AI做出決策，使用該知識(shí)來(lái)開(kāi)發(fā)“最小程度被檢測(cè)出”的惡意軟件。2017 DEFCON會(huì)議上，安全公司Endgame透露了如何使用Elon Musk的OpenAI框架生成定制惡意軟件，且所創(chuàng)建的惡意軟件無(wú)法被安全引擎檢測(cè)發(fā)現(xiàn)。Endgame的研究是基于看起來(lái)有惡意的二進(jìn)制文件，通過(guò)改變部分代碼，改變后的代碼可以躲避防病毒引擎檢測(cè)。

今年3月發(fā)表的論文《Adversarial Malware Binaries： Evading Deep Learning for Malware Detection in Executables》通過(guò)研究使用深度網(wǎng)絡(luò)從原始字節(jié)中學(xué)習(xí)惡意軟件檢測(cè)方法所存在的漏洞，提出了一種基于梯度的攻擊：輸入數(shù)據(jù)的微小變化會(huì)導(dǎo)致在測(cè)試時(shí)的錯(cuò)誤分類(lèi)，因此只需在每個(gè)惡意軟件樣本末尾更改少量特定字節(jié)，就可在保留其入侵功能的同時(shí)逃避安全檢測(cè)。結(jié)果顯示修改少于1%的字節(jié)，對(duì)抗惡意軟件二進(jìn)制就可以高概率躲避安全檢測(cè)。

2. 高級(jí)魚(yú)叉式釣魚(yú)攻擊

對(duì)抗機(jī)器學(xué)習(xí)的一個(gè)更明顯的應(yīng)用是使用智能社會(huì)工程中的文本到語(yǔ)音轉(zhuǎn)換、語(yǔ)音識(shí)別和自然語(yǔ)言處理類(lèi)似算法，通過(guò)時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)教授軟件的電子郵件寫(xiě)作風(fēng)格，使其真實(shí)性、可信性得以增強(qiáng)。因此從理論上來(lái)說(shuō)，網(wǎng)絡(luò)釣魚(yú)郵件可能將變得更加復(fù)雜和可信。

在邁克菲實(shí)驗(yàn)室2017年預(yù)測(cè)中表示，犯罪分子將越來(lái)越多地利用機(jī)器學(xué)習(xí)來(lái)分析大量被盜記錄，以識(shí)別潛在受害者，并構(gòu)建能夠更加有效針對(duì)這些人的內(nèi)容詳盡的釣魚(yú)類(lèi)電子郵件。

此外，在2016年美國(guó)黑帽會(huì)議上，John Seymour和Philip Tully發(fā)表了題為《Weaponzing data secience for social engineering:automated E2E spear phishing on Twitter》的論文，提出一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)SNAP_R，學(xué)習(xí)如何向特定用戶發(fā)布網(wǎng)絡(luò)釣魚(yú)帖子在這里魚(yú)叉式釣魚(yú)將用戶發(fā)布的帖子作為訓(xùn)練測(cè)試數(shù)據(jù)，根據(jù)目標(biāo)用戶（包括發(fā)布或跟帖用戶）時(shí)間軸帖子中的主題動(dòng)態(tài)播種會(huì)使得釣魚(yú)帖子更有可能被點(diǎn)擊。通過(guò)在Twitter社交平臺(tái)上測(cè)試發(fā)現(xiàn)，為用戶量身定做的釣魚(yú)帖子，其點(diǎn)擊率是有史以來(lái)所報(bào)道過(guò)大規(guī)模釣魚(yú)攻擊活動(dòng)中最高的。

3. 利用AI擊敗驗(yàn)證碼

目前，對(duì)人和機(jī)器的區(qū)分主要采用“全自動(dòng)區(qū)分計(jì)算機(jī)和人類(lèi)的公開(kāi)圖靈測(cè)試”（Completely Automated Public Turing test to tell Computers and Humans Apart，CAPTCHA），俗稱(chēng)驗(yàn)證碼，以防止人們使用自動(dòng)化機(jī)器人在網(wǎng)站上設(shè)置虛假帳戶。在登錄網(wǎng)站時(shí)，用戶必須通過(guò)解決視覺(jué)難題來(lái)證明他們是人類(lèi)，而這需要識(shí)別以某種方式失真或動(dòng)畫(huà)化的字母、數(shù)字、符號(hào)或?qū)ο?。reCAPTCHA項(xiàng)目是由卡內(nèi)基梅隆大學(xué)所發(fā)展的系統(tǒng)，主要目的是利用CAPTCHA技術(shù)來(lái)幫助典籍?dāng)?shù)字化的進(jìn)行，這個(gè)項(xiàng)目將由書(shū)本掃描下來(lái)無(wú)法準(zhǔn)確被光學(xué)文字辨識(shí)技術(shù)（OCR， Optical Character Recognition）識(shí)別的文字顯示在CAPTCHA問(wèn)題中，讓人類(lèi)在回答CAPTCHA問(wèn)題時(shí)用人腦加以識(shí)別這些文字。

早在2012年，研究人員Claudia Cruz、Fernando Uceda和Leobardo Reyes就發(fā)布了一個(gè)機(jī)器學(xué)習(xí)安全攻擊的例子。他們使用支持向量機(jī)（SVM）以82%的精度破解了圖像運(yùn)行系統(tǒng)reCAPTCHA，也正因此所有驗(yàn)證碼機(jī)制都進(jìn)行了針對(duì)性的安全改進(jìn)，面對(duì)這些新型驗(yàn)證碼系統(tǒng)研究人員則開(kāi)始嘗試使用深度學(xué)習(xí)技術(shù)予以破解。

Vicarious一直在開(kāi)發(fā)針對(duì)概率生成模型Recursive Cortical Network（RCN）的算法，旨在通過(guò)分析圖像中的像素來(lái)識(shí)別物體，以查看它們是否與物體的輪廓匹配。2013年，Vicarious宣布它已經(jīng)破解了Google、Yahoo、PayPal和Captcha.com使用的基于文本的驗(yàn)證碼測(cè)試，其準(zhǔn)確率達(dá)到了90%。標(biāo)準(zhǔn)的reCAPTCHA測(cè)試中，軟件可成功解開(kāi)三分之二的驗(yàn)證問(wèn)題。在機(jī)器人檢測(cè)系統(tǒng)測(cè)試中，雅虎驗(yàn)證碼的成功率為57.4%，PayPal的成功率為57.1%。

去年BlackHat上的“我是機(jī)器人”研究揭示了研究人員如何破解最新的語(yǔ)義圖像CAPTCHA，并比較了各種機(jī)器學(xué)習(xí)算法。

4. 繞過(guò)安全檢測(cè)的釣魚(yú)網(wǎng)頁(yè)

《Cracking Classifiers for Evasion： A Case Study on the Google’s Phishing Pages Filter》指出，Google中的釣魚(yú)網(wǎng)頁(yè)分類(lèi)器是通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練得到的，攻擊者利用逆向工程技術(shù)獲取到分類(lèi)器的部分信息后，藉此所生成的新釣魚(yú)網(wǎng)頁(yè)能夠以100%的成功率繞開(kāi)Google的釣魚(yú)網(wǎng)頁(yè)分類(lèi)器。早期開(kāi)發(fā)的分類(lèi)器屬于研究性質(zhì)，在部署于客戶端環(huán)境中時(shí)，其安全性并沒(méi)有得到應(yīng)有的重視。

研究客戶端分類(lèi)器安全挑戰(zhàn)所選取的案例為部署在Chrome瀏覽器上、用戶數(shù)量超過(guò)十億的谷歌釣魚(yú)網(wǎng)頁(yè)過(guò)濾器（Google’s phishing pages filter ，GPPF），針對(duì)客戶端分類(lèi)器的新攻擊方法被稱(chēng)為分類(lèi)器破解。成功破解GPPF分類(lèi)模型，可以從中獲得足夠知識(shí)（包括分類(lèi)算法、得分規(guī)則和特征等）以進(jìn)行有效的躲避攻擊。攻擊者通過(guò)逆向工程能夠獲取到84.8%的評(píng)分規(guī)則，其中覆蓋了大部分的高權(quán)重規(guī)則?；谶@些破解信息實(shí)施針對(duì)GPPF的兩種規(guī)避攻擊，在100個(gè)真正的釣魚(yú)網(wǎng)頁(yè)進(jìn)行測(cè)試后發(fā)現(xiàn)，所有釣魚(yú)網(wǎng)頁(yè)（100%）都可以很容易地繞過(guò)GPPF檢測(cè)。研究表明現(xiàn)有的客戶端分類(lèi)器很容易受到分類(lèi)器針對(duì)性攻擊。

5. 讓機(jī)器學(xué)習(xí)引擎“中毒”

一個(gè)更加簡(jiǎn)單而有效的AI利用技術(shù)是讓用于檢測(cè)惡意軟件的機(jī)器學(xué)習(xí)引擎“中毒”，使其無(wú)效，就像過(guò)去犯罪分子對(duì)殺毒引擎所做的一樣。機(jī)器學(xué)習(xí)模型需要從輸入數(shù)據(jù)中進(jìn)行學(xué)習(xí)，如果該數(shù)據(jù)池“中毒”，則輸出也會(huì)“中毒”。深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量的計(jì)算資源，因此，許多用戶在云端進(jìn)行訓(xùn)練或依靠預(yù)先訓(xùn)練的模型進(jìn)行識(shí)別，并針對(duì)特定任務(wù)進(jìn)行微調(diào)。紐約大學(xué)的研究人員在論文《BadNets： Identifying Vulnerabilities in the Machine Learning Model Supply Chain》中展示了外部訓(xùn)練的神經(jīng)網(wǎng)絡(luò)存在的漏洞：對(duì)手能產(chǎn)生一個(gè)惡意的訓(xùn)練網(wǎng)絡(luò)（后門(mén)神經(jīng)網(wǎng)絡(luò)或BadNets），同時(shí)在MNIST數(shù)字識(shí)別和交通標(biāo)志檢測(cè)任務(wù)中展示了BadNets攻擊的有效性。

黑客正在越來(lái)越多的利用AI漏洞構(gòu)建“對(duì)抗樣本”進(jìn)行躲避攻擊，目前所能采取的應(yīng)對(duì)措施主要是：用博弈論或者概率模型預(yù)測(cè)攻擊策略構(gòu)造更強(qiáng)健的分類(lèi)器，采用多個(gè)分類(lèi)器系統(tǒng)增加規(guī)避難度，并優(yōu)化特征選擇來(lái)制作特征平均分配等。更多的AI攻擊應(yīng)對(duì)方法還在探索之中。