人工智能 (AI) 的進(jìn)步促進(jìn)了各種自動化服務(wù)和自主系統(tǒng)；與此同時，針對人工智能的安全威脅也在迅速演變。為了幫助開發(fā)基于 AI 的安全服務(wù)和系統(tǒng)，歐洲電信標(biāo)準(zhǔn)協(xié)會 (ETSI) 保護(hù)人工智能行業(yè)規(guī)范組 (ISG SAI) 分析了保護(hù) AI的問題和相應(yīng)的緩解措施；最近發(fā)布了兩個小組報告。

ML 的生命周期在 ETSI ISG SAI GR-004報告中捕獲，如圖 1 所示。積極研究實施和部署的安全影響。該報告還確定并描述了四種攻擊類型，以提高人們對潛在安全威脅的認(rèn)識。ETSI ISG SAI GR-005報告中也對現(xiàn)有緩解措施進(jìn)行了分析和總結(jié)。根據(jù)所解決的 AI 模型是否被部署的緩解措施修改，它們被分類為模型增強和模型無關(guān)。因此，服務(wù)開發(fā)者或系統(tǒng)部署者可以根據(jù)具體的應(yīng)用場景來定義他們的緩解策略。

圖 1：典型的機器學(xué)習(xí)生命周期，ETSI SAI GR-004。（來源：ETSI）

中毒攻擊

一種特定類型的已識別攻擊稱為中毒攻擊，它會操縱訓(xùn)練數(shù)據(jù)以降低基于 AI 的服務(wù)的性能。此外，此類攻擊可能會降低系統(tǒng)的整體性能或允許某些預(yù)期的錯誤分類。中毒攻擊的歷史可以追溯到早期的垃圾郵件過濾服務(wù)。啟用人工智能的反垃圾郵件過濾器不斷從電子郵件收件人的反應(yīng)中學(xué)習(xí)，以改進(jìn)過濾功能。電子郵件收件人可以將正常電子郵件標(biāo)記為垃圾郵件或?qū)㈠e誤分類的垃圾郵件恢復(fù)正常。

攻擊者通過修改電子郵件內(nèi)容來利用學(xué)習(xí)過程。例如，在垃圾郵件中小心添加一些精心制作的正常內(nèi)容會誤導(dǎo)反垃圾郵件過濾器將這些正常內(nèi)容誤認(rèn)為是潛在的垃圾郵件。稍后，帶有這些精心制作內(nèi)容的電子郵件可能會被歸類為垃圾郵件。過濾性能會下降到用戶禁用反垃圾郵件過濾服務(wù)的程度。

為了減輕這種攻擊，數(shù)據(jù)質(zhì)量是關(guān)鍵。如圖 2 所示（來自 ETSI ISG SAI GR-005報告），針對中毒攻擊的可用緩解方法包括提高數(shù)據(jù)供應(yīng)鏈的數(shù)據(jù)質(zhì)量、訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)清理以及在訓(xùn)練過程中通過使用以下技術(shù)阻止中毒作為漸變整形。

點擊查看完整大小的圖片

圖 2：針對中毒攻擊的緩解方法，ETSI ISG GR-005。（來源：ETSI）

在垃圾郵件過濾服務(wù)的例子中，兩種緩解方法，數(shù)據(jù)清理和塊中毒，可以一起應(yīng)用來緩解中毒攻擊。收到的電子郵件和收件人的反應(yīng)，不是在到達(dá)時輸入到學(xué)習(xí)過程中，而是被保存并定期批量輸入到學(xué)習(xí)過程中。它是通過減慢過程來阻止中毒的一種變體。同時，對于每個時期收到的一批郵件，可以采用數(shù)據(jù)清理技術(shù)，將可疑內(nèi)容從學(xué)習(xí)中過濾掉。

閃避攻擊

在另一種類型的攻擊中，逃避攻擊，惡意軟件混淆是網(wǎng)絡(luò)安全社區(qū)眾所周知的。在這種類型的攻擊中，對手在推理時使用操縱的輸入來逃避部署的模型，從而導(dǎo)致模型產(chǎn)生錯誤的分類。

多年來，惡意軟件作者一直試圖通過主要通過使用加密來混淆他們的惡意軟件來避免基于簽名的病毒引擎的檢測。由于基于靜態(tài)分析的自動惡意軟件檢測器已經(jīng)從簡單的基于簽名的方法發(fā)展到使用機器學(xué)習(xí)的更復(fù)雜的啟發(fā)式技術(shù)，因此對檢測器的魯棒性混淆的需求從未如此強烈。

谷歌的 Android 使用統(tǒng)計數(shù)據(jù)顯示，全球每月有超過 20 億臺活躍設(shè)備在使用，每年下載 820 億次應(yīng)用和游戲。隨著其在物聯(lián)網(wǎng)連接設(shè)備和車輛中的使用勢頭不斷增強，Android 實施成為惡意軟件攻擊的常見目標(biāo)，并且越來越多。

對于當(dāng)前的檢測系統(tǒng)來說，混淆是一個具有挑戰(zhàn)性的問題，Android 惡意軟件作者經(jīng)常使用加密、反射和引用重命名等技術(shù)。這些旨在偽裝和偽裝應(yīng)用程序中的惡意功能，誘使模型將其歸類為良性。例如，混淆幾乎普遍用于隱藏 API 的使用，惡意應(yīng)用程序中加密算法的使用率是良性應(yīng)用程序的五倍。此外，對 76 個惡意軟件家族的分析發(fā)現(xiàn)，幾乎 80% 的應(yīng)用程序使用至少一種混淆技術(shù)。

許多良性應(yīng)用程序被混淆以保護(hù)知識產(chǎn)權(quán)，這一事實進(jìn)一步加劇了這個問題。最近，越來越多的研究關(guān)注使用對抗性學(xué)習(xí)來創(chuàng)建更復(fù)雜的混淆技術(shù)，例如變形混淆，其中被混淆的惡意軟件的功能與原始惡意軟件的功能相同。

有幾種方法可以減輕混淆攻擊。首先，可以通過使用相同惡意和良性應(yīng)用程序的混淆版本來增強原始訓(xùn)練數(shù)據(jù)，使用兩個標(biāo)簽來注釋每個樣本來進(jìn)行對抗訓(xùn)練；惡意或良性，混淆或未混淆。對抗性訓(xùn)練的一個問題是模型在部署期間泛化到看不見的未混淆樣本的能力降低了?？朔@個問題的一種方法是使用包含兩個具有不同成本函數(shù)的分類分支的判別對抗網(wǎng)絡(luò) (DAN)，如圖 3 所示。

圖 3：在上層分類分支上進(jìn)行常規(guī)學(xué)習(xí)的判別對抗架構(gòu)，用于惡意軟件檢測和對抗性學(xué)習(xí)混淆。（來源：第十屆 ACM 數(shù)據(jù)和應(yīng)用程序安全和隱私會議論文集，第 353-364 頁）。

DAN 采用生成對抗網(wǎng)絡(luò) (GAN) 的對抗學(xué)習(xí)方面，但不是訓(xùn)練生成模型，而是訓(xùn)練兩個鑒別器，一個用于惡意軟件，另一個用于混淆。使用標(biāo)準(zhǔn)梯度下降算法最小化惡意軟件檢測的成本函數(shù)，以最大限度地提高分類精度。然而，相比之下，混淆分支使用隨機梯度上升使成本函數(shù)最小化，從而導(dǎo)致分類器的分類準(zhǔn)確度是偶然的。這樣做的動機是 DAN 確保學(xué)習(xí)對惡意軟件檢測固有有用的特征，同時不知道混淆。這樣的特征可以導(dǎo)致看不見的未混淆樣本的更大泛化。

最后，盡管最近對對抗性攻擊和緩解措施進(jìn)行了大量研究，但實際用例的數(shù)量很少，許多人將該領(lǐng)域視為一項學(xué)術(shù)活動，可以更深入地了解深度學(xué)習(xí)的工作原理（或休息）。另一方面，機器學(xué)習(xí)在反病毒引擎、軟件和 Web 應(yīng)用程序漏洞檢測以及主機和網(wǎng)絡(luò)入侵檢測等網(wǎng)絡(luò)安全工具中的使用越來越多，這將網(wǎng)絡(luò)安全置于人工智能的敵對攻擊者和防御者的前線.

由于保護(hù) AI 是確?；?AI 的服務(wù)和系統(tǒng)開發(fā)和部署的重要課題，因此需要做更多的研究。作為第一步，ETSI ISG SAI 于 2019 年開始工作，并提交了兩份關(guān)于保護(hù) AI 問題陳述和緩解策略報告的小組報告。ETSI ISG SAI 有望在不久的將來獲得更多結(jié)果。

審核編輯 黃昊宇