《智能系統(tǒng)數(shù)據(jù)安全》

大家好，我是武漢大學(xué)的王騫，今天我給大家分享的題目是《智能系統(tǒng)數(shù)據(jù)安全》。隨著移動(dòng)互聯(lián)網(wǎng)飛速發(fā)展、硬件設(shè)備持續(xù)升級(jí)、海量數(shù)據(jù)產(chǎn)生以及算法不斷更新，人工智能的發(fā)展已呈勢(shì)不可擋之勢(shì)，逐漸滲透并深刻改變著人類的生產(chǎn)生活。深度學(xué)習(xí)相關(guān)技術(shù)及其應(yīng)用的發(fā)展令人矚目，人工智能離人類生活越來(lái)越近。毫不夸張地說(shuō)，AI已“入侵”到人類生活的方方面面。

AI與安全的關(guān)系

人工智能和安全有著密不可分的聯(lián)系。一方面，人工智能技術(shù)能被運(yùn)用到許多安全應(yīng)用場(chǎng)景，提高其可用性和安全性；同時(shí)，AI技術(shù)也是一把雙刃劍，不法分子可以濫用AI技術(shù)破壞其他系統(tǒng)。另一方面，安全和隱私保護(hù)的相關(guān)技術(shù)也能進(jìn)一步完善人工智能系統(tǒng)。毋庸置疑的是，AI可以作為安全性增強(qiáng)的武器。近年來(lái)我們見(jiàn)證了AI在網(wǎng)絡(luò)安全、安全態(tài)勢(shì)感知、智能安防、生物認(rèn)證等多個(gè)領(lǐng)域的快速崛起。與此同時(shí)，AI 技術(shù)也可能被濫用，以deepfake為例，攻擊者可以利用深度偽造技術(shù)偽造圖片、視頻、音頻等，用于詐騙、傳播虛假的新聞，甚至偽造政治風(fēng)險(xiǎn)。此外，一些相對(duì)成熟的AI 技術(shù)，諸如人臉識(shí)別等，也有被濫用的趨勢(shì)，如惡意侵犯用戶的隱私、追蹤以及分析用戶隱私數(shù)據(jù)等。

盡管人工智能被認(rèn)為是將深刻改變?nèi)祟惿鐣?huì)生活、改變世界的顛覆性技術(shù)，但是與任何一種先進(jìn)技術(shù)發(fā)展和應(yīng)用的過(guò)程類似，當(dāng)面向用戶的服務(wù)越來(lái)越成熟，客戶資源逐漸增長(zhǎng)，最終安全性會(huì)成為進(jìn)一步廣泛部署人工智能系統(tǒng)的最大挑戰(zhàn)。以自動(dòng)駕駛為例，自動(dòng)駕駛車輛安全事故頻發(fā)，造成嚴(yán)重的經(jīng)濟(jì)損失、甚至人員傷亡，對(duì)公共安全造成極大威脅。除此以外，其他針對(duì)AI自身安全的威脅，尤其是針對(duì)AI模型或數(shù)據(jù)的機(jī)密性、完整性甚至可用性等各類潛在威脅，也層出不窮。鑒于此，我們的研究將重點(diǎn)聚焦在AI自身安全方面，即如何安全地實(shí)現(xiàn)更好的AI。

在此，從信息安全的三要素CIA，也就是機(jī)密性、完整性、可用性的角度出發(fā)，廣義上理解AI安全的含義：機(jī)密性是指防止敏感數(shù)據(jù)泄露，在AI系統(tǒng)中，敏感數(shù)據(jù)可能是訓(xùn)練數(shù)據(jù)、模型，或者用于推理的用戶數(shù)據(jù)。相關(guān)的研究方向主要有加密模型訓(xùn)練與推理、推理攻擊及其防御等。完整性是指在傳輸、存儲(chǔ)信息或使用數(shù)據(jù)的過(guò)程中，確保它們不被未授權(quán)的篡改或在篡改后能夠被迅速發(fā)現(xiàn)。針對(duì)AI系統(tǒng)可能存在通過(guò)篡改輸入樣本使模型識(shí)別出錯(cuò)的對(duì)抗樣本攻擊，或通過(guò)篡改訓(xùn)練數(shù)據(jù)使訓(xùn)練得到的模型功能異常的數(shù)據(jù)投毒等?？捎眯允侵笇?duì)AI系統(tǒng)的合法使用，其主要考慮針對(duì)智能系統(tǒng)的安全身份認(rèn)證，即智能系統(tǒng)的訪問(wèn)控制通過(guò)基于“智能”的身份認(rèn)證，讓用戶合法使用數(shù)據(jù)或模型。

在AI系統(tǒng)中，數(shù)據(jù)的流轉(zhuǎn)過(guò)程主要分為以下幾個(gè)階段：在服務(wù)器端，訓(xùn)練數(shù)據(jù)經(jīng)訓(xùn)練過(guò)程得到模型，服務(wù)器可將模型或其接口開(kāi)放給用戶使用，或?qū)⒛Ｐ驮俨渴鸬街悄芟到y(tǒng)上。在客戶端，用戶將其樣本輸入模型或智能系統(tǒng)，得到返回的識(shí)別結(jié)果。對(duì)應(yīng)這個(gè)數(shù)據(jù)流轉(zhuǎn)過(guò)程的各個(gè)階段，按照CIA的概念，可將AI系統(tǒng)中已知的主要安全問(wèn)題與研究方向大致歸為以下幾類：

針對(duì)訓(xùn)練數(shù)據(jù)集，存在數(shù)據(jù)投毒與后門攻擊為代表的完整性的問(wèn)題；

針對(duì)訓(xùn)練過(guò)程，存在如何驗(yàn)證結(jié)果正確性的完整性問(wèn)題，與保護(hù)敏感數(shù)據(jù)的機(jī)密性問(wèn)題；

針對(duì)模型以及部署了模型的AI系統(tǒng)，存在對(duì)抗性攻擊、傳感器欺騙等完整性問(wèn)題，成員推理等機(jī)密性問(wèn)題，以及關(guān)于系統(tǒng)合法使用的可用性問(wèn)題。

在這些方向上，我們近幾年已取得了許多的成果，包括投毒、后門攻擊及其防御，隱私保護(hù)的模型訓(xùn)練與推理，可驗(yàn)證的模型訓(xùn)練，對(duì)抗樣本攻擊及其防御，訓(xùn)練數(shù)據(jù)竊取與模型竊取攻擊，智能系統(tǒng)身份認(rèn)證攻防等。我們希望通過(guò)這一系列研究，能有助于整體上提高AI系統(tǒng)從構(gòu)建到使用的安全性。在應(yīng)用場(chǎng)景方面，我們的研究成果可用于提升包括語(yǔ)音、圖像、文本等多模態(tài)數(shù)據(jù)的識(shí)別分析系統(tǒng)安全能力，為從互聯(lián)網(wǎng)收集、傳感器采集等渠道獲取到數(shù)據(jù)的可靠分析提供充分的保障和支撐。

訓(xùn)練階段

從模型流轉(zhuǎn)的整個(gè)過(guò)程來(lái)看訓(xùn)練數(shù)據(jù)集所面臨的兩種安全風(fēng)險(xiǎn)：數(shù)據(jù)投毒和后門攻擊。訓(xùn)練人工智能模型需要海量的數(shù)據(jù)，數(shù)據(jù)集的質(zhì)量對(duì)模型的訓(xùn)練起著至關(guān)重要的作用，一旦惡意數(shù)據(jù)被用于模型訓(xùn)練，就可能影響模型部署時(shí)的性能。在現(xiàn)實(shí)場(chǎng)景下，海量數(shù)據(jù)來(lái)源多樣、采集過(guò)程難以管理、預(yù)處理過(guò)程復(fù)雜，這些會(huì)帶來(lái)數(shù)據(jù)集層面上的安全威脅。最近UC Berkeley團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)在聯(lián)邦學(xué)習(xí)中，有惡意的參與者僅投毒自己的子訓(xùn)練數(shù)據(jù)集，并不控制其他人，就能夠?qū)崿F(xiàn)擾亂最終模型的行為。具體來(lái)說(shuō)，當(dāng)模型學(xué)習(xí)有毒的數(shù)據(jù)后（即數(shù)據(jù)投毒），其性能會(huì)有大幅度的衰減（無(wú)差別攻擊）或者模型中嵌入了攻擊者設(shè)定的惡意后門（后門攻擊）。

數(shù)據(jù)投毒和后門攻擊既有聯(lián)系，也有區(qū)別。在概念上，投毒是一種攻擊的手段，數(shù)據(jù)投毒指的是通過(guò)篡改訓(xùn)練數(shù)據(jù)來(lái)影響模型的所有攻擊形式的統(tǒng)稱。后門是一種攻擊的效果，后門攻擊指的是向模型中植入特定的模式，在模型推理階段，一旦模型中的后門被惡意數(shù)據(jù)觸發(fā)，模型就會(huì)按照攻擊者指定的方式工作。后門攻擊可以通過(guò)數(shù)據(jù)投毒的手段來(lái)實(shí)現(xiàn)，攻擊者可以通過(guò)向訓(xùn)練數(shù)據(jù)中注入含有“觸發(fā)器”的惡意樣本來(lái)向模型中植入后門。后門攻擊也可以通過(guò)遷移學(xué)習(xí)、知識(shí)蒸餾等其他方式來(lái)實(shí)現(xiàn)模型到模型的傳播。投毒攻擊可以達(dá)到后門攻擊的效果，投毒可以將數(shù)據(jù)中的惡意模式植入模型。投毒攻擊也可以通過(guò)數(shù)據(jù)傾斜、反饋武器化、邏輯污染等其他形式實(shí)現(xiàn)，使模型的準(zhǔn)確度或者在特定類別上的性能下降。數(shù)據(jù)投毒和后門攻擊兩種威脅也真實(shí)存在于現(xiàn)實(shí)生活中。數(shù)據(jù)投毒的典型案例有：2018年，有報(bào)告指出，多個(gè)垃圾郵件團(tuán)體通過(guò)將大量垃圾郵件上報(bào)成正常郵件，來(lái)向谷歌郵件的垃圾郵件過(guò)濾器發(fā)起投毒攻擊；2017年，一群特朗普的支持者在多個(gè)應(yīng)用商店平臺(tái)上給新聞媒體打低分，以此拉低新聞媒體應(yīng)用在商店內(nèi)的排名；2015年，有黑客組織向反病毒工具virustotal上報(bào)惡意樣本，試圖讓病毒檢測(cè)服務(wù)將正常文件錯(cuò)誤識(shí)別成病毒文件。已有的后門攻擊案例包括：對(duì)人臉識(shí)別系統(tǒng)的后門攻擊，被攻擊的人臉識(shí)別神經(jīng)網(wǎng)絡(luò)會(huì)將含有觸發(fā)器的人臉識(shí)別為特定人物；還有針對(duì)自動(dòng)駕駛模擬器的后門攻擊，被攻擊的自動(dòng)駕駛系統(tǒng)會(huì)對(duì)交通指示牌識(shí)別出錯(cuò)，造成交通事故。

近年來(lái)，關(guān)于數(shù)據(jù)投毒攻擊和后門攻擊也取得了一些研究進(jìn)展。數(shù)據(jù)投毒攻擊的研究可以分為針對(duì)無(wú)差別的攻擊研究和針對(duì)后門攻擊的研究，其中包含了針對(duì)特定系統(tǒng)的攻擊研究、針對(duì)投毒的數(shù)據(jù)集保護(hù)研究、還有新型投毒方式的研究等。后門攻擊的研究可以分為有污染數(shù)據(jù)和干凈訓(xùn)練集兩種主要類型，其中包含了針對(duì)后門植入方式的研究、針對(duì)后門可遷移性的研究、還有新型觸發(fā)器形式的研究等。

與現(xiàn)有工作任意設(shè)置后門觸發(fā)器的位置形狀不同，我們精心設(shè)計(jì)了一個(gè)基于注意力機(jī)制的后門觸發(fā)器模具選擇算法，通過(guò)將觸發(fā)器放在對(duì)預(yù)測(cè)結(jié)果影響最顯著的關(guān)鍵區(qū)域，可以大大提高觸發(fā)器的影響。為了使后門觸發(fā)器更自然且不易察覺(jué)，我們?cè)诤箝T觸發(fā)器生成的損失函數(shù)中引入了體驗(yàn)質(zhì)量 (QoE) 項(xiàng)，并仔細(xì)調(diào)整了后門觸發(fā)器的透明度，從而達(dá)到規(guī)避人眼視覺(jué)檢查的作用。因考慮到后門攻擊中，攻擊者可以同時(shí)操縱輸入和模型，即觸發(fā)器擾亂輸入樣本、并將后門注入到模型，因此與現(xiàn)有方法（分割后門觸發(fā)器以及污染模型的步驟）不同，我們使用協(xié)同進(jìn)化策略，同時(shí)優(yōu)化后門觸發(fā)器和目標(biāo)模型，進(jìn)一步提高攻擊成功率。在協(xié)同優(yōu)化后門觸發(fā)器的生成和后門注入的過(guò)程中，我們提出了一種交替再訓(xùn)練策略(即不單一使用后門數(shù)據(jù)重訓(xùn)目標(biāo)模型注入后門，也間隔使用良性數(shù)據(jù)訓(xùn)練目標(biāo)模型），該策略被證明在提高干凈數(shù)據(jù)準(zhǔn)確性和規(guī)避一些基于模型的防御方法如MNTD(2021 S&P) 方面是有效的。

我們通過(guò)對(duì)6個(gè)數(shù)據(jù)集的大量實(shí)驗(yàn)來(lái)評(píng)估ATTEQ-NN。結(jié)果表明，當(dāng)毒化比例較低時(shí)，與基線相比，ATTEQ-NN可以將攻擊成功率提高多達(dá)82%。我們證明了ATTEQ-NN在不同光照條件和拍攝角度下在物理世界中也是有效的，攻擊成功率達(dá)到了37.78%以上。ATTEQ-NN在遷移學(xué)習(xí)場(chǎng)景中也很有效，同時(shí)ATTEQ-NN 被證明可以避開(kāi)最先進(jìn)的防御方法，包括模型修剪、NAD、STRIP、NC 和 MNTD。

回顧AI系統(tǒng)中的數(shù)據(jù)流轉(zhuǎn)過(guò)程，在考慮過(guò)訓(xùn)練數(shù)據(jù)集中存在的安全問(wèn)題后，接下來(lái)是訓(xùn)練過(guò)程中的安全問(wèn)題。首先是訓(xùn)練過(guò)程中的隱私風(fēng)險(xiǎn)與保護(hù)問(wèn)題。如今互聯(lián)網(wǎng)公司大都會(huì)通過(guò)采集大量用戶個(gè)人信息訓(xùn)練模型，以改進(jìn)其服務(wù)質(zhì)量的方式來(lái)盈利。而用戶數(shù)據(jù)往往會(huì)包含許多個(gè)人敏感信息，隨著人們隱私意識(shí)的提高以及相關(guān)法律法規(guī)的完善，規(guī)范化用戶數(shù)據(jù)采集已成為今后的趨勢(shì)。不僅如此，一旦用戶數(shù)據(jù)由于保管不當(dāng)被泄露，將會(huì)造成惡劣的社會(huì)影響。除原始數(shù)據(jù)直接泄漏問(wèn)題，一旦攻擊者能夠獲取訓(xùn)練過(guò)程中模型參數(shù)或者梯度等信息的更新，它就能夠從中更容易地獲取到關(guān)于訓(xùn)練數(shù)據(jù)的部分信息。典型的例子就是聯(lián)邦學(xué)習(xí)場(chǎng)景，參數(shù)服務(wù)器能夠獲取到所有參與者的參數(shù)更新情況，而對(duì)于參與者，也可能從服務(wù)器返回的聚合模型中推測(cè)出關(guān)于他人的一部分參數(shù)更新情況。現(xiàn)有研究已表明這些信息足以幫助攻擊者重建出關(guān)于受害者的部分訓(xùn)練數(shù)據(jù)。因此，如何能夠在保證數(shù)據(jù)安全的前提下對(duì)其進(jìn)行利用，是AI技術(shù)今后發(fā)展所面臨的一個(gè)重要問(wèn)題。

當(dāng)今實(shí)現(xiàn)隱私保護(hù)機(jī)器學(xué)習(xí)的主要途徑主要有四種：一是直接在密文數(shù)據(jù)上運(yùn)行學(xué)習(xí)算法；二是借助可信硬件的機(jī)密性特性，將敏感數(shù)據(jù)放在可信環(huán)境中解密和運(yùn)行學(xué)習(xí)算法；三是在訓(xùn)練過(guò)程中添加差分隱私噪聲，防止模型泄漏訓(xùn)練數(shù)據(jù)的信息；四是采用聯(lián)邦學(xué)習(xí)的方式，數(shù)據(jù)持有者在本地進(jìn)行訓(xùn)練而僅共享訓(xùn)練結(jié)果。

在隱私數(shù)據(jù)竊取方面，我們探索了聯(lián)邦學(xué)習(xí)場(chǎng)景中，當(dāng)服務(wù)器可能為惡意時(shí)的隱私泄露風(fēng)險(xiǎn)，并提出了一種基于GAN的用戶訓(xùn)練數(shù)據(jù)重建攻擊。在訓(xùn)練過(guò)程中，服務(wù)器在與參與者共同完成模型訓(xùn)練任務(wù)的同時(shí)，額外訓(xùn)練一個(gè)GAN，其中的生成器用于仿造用戶數(shù)據(jù)集中的樣本，判別器則幫助改進(jìn)仿造的結(jié)果。在每一輪訓(xùn)練中，服務(wù)器根據(jù)受害者上傳的參數(shù)首先構(gòu)建出能與其獲得相似結(jié)果的數(shù)據(jù)表征，并連同更新參數(shù)一同用于訓(xùn)練GAN中的判別器，以此不斷改進(jìn)生成器重建出的樣本與原始訓(xùn)練數(shù)據(jù)的相似程度。實(shí)驗(yàn)結(jié)果顯示，對(duì)比其他的同類攻擊，我們的方案重建出的圖像與訓(xùn)練數(shù)據(jù)更為相似。

除隱私問(wèn)題之外，在訓(xùn)練階段還存在著如何驗(yàn)證AI算法正確執(zhí)行的問(wèn)題。即我們是否能夠驗(yàn)證AI算法是否正確按照我們的想法去執(zhí)行。不可信的AI服務(wù)提供商可能并沒(méi)有完成他們聲稱的任務(wù)，卻夸大了他們的工作來(lái)獲取不當(dāng)利益，例如通過(guò)向用戶返回偽造的訓(xùn)練模型或推理結(jié)果節(jié)省計(jì)算成本從而賺取更多利潤(rùn)，或者夸大他們沒(méi)有實(shí)現(xiàn)的技術(shù)來(lái)吸引投資者等?，F(xiàn)實(shí)中，這類問(wèn)題已發(fā)生過(guò)多起。知名云計(jì)算服務(wù)亞馬遜AWS就曾出現(xiàn)過(guò)超額向用戶收費(fèi)的問(wèn)題；印度AI初創(chuàng)公司engineer.ai曾宣稱他們使用AI技術(shù)自動(dòng)開(kāi)發(fā)app以吸引投資，但實(shí)際上卻使用人力進(jìn)行開(kāi)發(fā)；谷歌的duplex語(yǔ)音助手也曾被指出約有四分之一的調(diào)用是由人類來(lái)回應(yīng)的。因此，不管是個(gè)人用戶還是大型公司，在使用他人提供的AI技術(shù)時(shí)，都有著驗(yàn)證該技術(shù)正確性的需求。

目前，關(guān)于如何實(shí)現(xiàn)可驗(yàn)證的機(jī)器學(xué)習(xí)，現(xiàn)有研究還較少。目前主要有三種解決方法：第一種是采用基于密碼學(xué)的可驗(yàn)證計(jì)算技術(shù)，能夠?yàn)槿坑?jì)算步驟提供嚴(yán)格的完整性保障。第二種是采用統(tǒng)計(jì)分析的方式，通過(guò)分析模型訓(xùn)練過(guò)程中不同迭代參數(shù)間的距離變化來(lái)確認(rèn)計(jì)算的完整性。第三種是借助可信硬件的完整性特性，在可信執(zhí)行環(huán)境內(nèi)部運(yùn)行學(xué)習(xí)算法。我們?cè)谠摲较蛏献龀隽嗽缙诘奶剿?，提出了首個(gè)基于密碼學(xué)的訓(xùn)練過(guò)程完整性驗(yàn)證方案，已發(fā)表在TPDS’21上。該方案的核心思路是計(jì)算方在訓(xùn)練過(guò)程中生成關(guān)于中間結(jié)果的證明，驗(yàn)證方則通過(guò)隨機(jī)抽取少量迭代步驟并使用zksnark技術(shù)來(lái)驗(yàn)證相應(yīng)證明的方式，從而以高概率快速驗(yàn)證計(jì)算任務(wù)的完整性。相比重新執(zhí)行一次完整計(jì)算任務(wù)的原始驗(yàn)證方式，該方案所需的額外時(shí)間開(kāi)銷要低一個(gè)數(shù)量級(jí)。此外，該方案同時(shí)也支持對(duì)模型推理的驗(yàn)證、關(guān)于計(jì)算結(jié)果的公平交易等功能。

識(shí)別階段

關(guān)于識(shí)別階段的安全性威脅。在模型識(shí)別階段，我們可以進(jìn)一步將攻擊面細(xì)化。以圖像和語(yǔ)音識(shí)別系統(tǒng)為例，在識(shí)別階段，物理世界下的數(shù)據(jù)通過(guò)傳感器轉(zhuǎn)化為數(shù)字化數(shù)據(jù)，再經(jīng)過(guò)智能識(shí)別模型得到最終決策。根據(jù)目標(biāo)攻擊對(duì)象的不同，可以分為兩類攻擊：一類是針對(duì)機(jī)器學(xué)習(xí)識(shí)別模型的對(duì)抗樣本攻擊，包括物理域/數(shù)字域攻擊、黑盒/白盒攻擊、圖像/語(yǔ)音/文本識(shí)別攻擊等；另一類是針對(duì)傳感器的sensor spoofing attacks（傳感器欺騙攻擊），他們的攻擊對(duì)象是傳感器，通常通過(guò)物理域攻擊手段，攻擊識(shí)別系統(tǒng)的物理部件，達(dá)到破壞識(shí)別的目的。我們也可以將這類攻擊稱為“擬”對(duì)抗樣本攻擊。抽象而言，對(duì)抗樣本攻擊是通過(guò)加入人眼無(wú)法察覺(jué)的細(xì)微擾動(dòng)造成模型錯(cuò)誤輸出。對(duì)抗樣本有兩個(gè)約束條件，其一是“隱蔽性”，即對(duì)抗樣本應(yīng)該盡可能和原始樣本接近，以不被人察覺(jué)；其二是“對(duì)抗性”，即對(duì)抗樣本應(yīng)該能使模型將其錯(cuò)誤識(shí)別為目標(biāo)類別。

對(duì)抗樣本能成功導(dǎo)致系統(tǒng)識(shí)別出錯(cuò)的本質(zhì)原因在于模型識(shí)別具有魯棒性。通常，由識(shí)別模型具有魯棒性，訓(xùn)練模型的決策邊界和實(shí)際的決策邊界具有差異性，該差異性則成為了“對(duì)抗樣本”的攻擊面，在該范圍內(nèi)的樣本，既滿足“對(duì)抗性”（識(shí)別出錯(cuò)），又滿足“隱蔽性”（與正常樣本距離近）。

近些年來(lái)，已經(jīng)有大量關(guān)于圖像對(duì)抗樣本的研究，涉及視覺(jué)、語(yǔ)音、NLP等多個(gè)領(lǐng)域。例如，在人臉識(shí)別系統(tǒng)中，可以通過(guò)在原本人臉上添加精心構(gòu)造的對(duì)抗性鏡框圖案，使得目標(biāo)系統(tǒng)識(shí)別成指定用戶。此外，另一個(gè)比較嚴(yán)重的安全隱患是攻擊者可以利用這種技術(shù)，偽裝成目標(biāo)用戶，非法登錄以“刷臉”為認(rèn)證手段的支付軟件，將其資金轉(zhuǎn)出，對(duì)經(jīng)濟(jì)利益、個(gè)人利益造成巨大傷害。

除了視覺(jué)領(lǐng)域，語(yǔ)音領(lǐng)域同樣有許多關(guān)于語(yǔ)音對(duì)抗樣本的研究。尤其是近年來(lái)針對(duì)智能語(yǔ)音識(shí)別系統(tǒng)的攻擊。我們近期發(fā)表在CCS21的工作，也針對(duì)最新的知名智能語(yǔ)音系統(tǒng)，包括蘋(píng)果Siri，微軟Cortana，Google Assistant，Amazon Echo等，成功生成了基于語(yǔ)音的對(duì)抗樣本攻擊，并提出了相關(guān)防范的建議。類似地，語(yǔ)音對(duì)抗樣本也是在原始良性音頻上添加微小噪聲，使得模型將其識(shí)別為目標(biāo)結(jié)果，同時(shí)保證人耳聽(tīng)上去仍是原始音頻的含義。近兩年，在比較熱點(diǎn)的自動(dòng)駕駛領(lǐng)域也有許多針對(duì)對(duì)抗樣本的研究工作相繼被提出。例如通過(guò)在交通指示牌上貼貼紙，便可以使得自動(dòng)駕駛汽車識(shí)別錯(cuò)誤，造成重大交通事故。

其他類似的惡意對(duì)抗樣本示例包括：針對(duì)車載語(yǔ)音識(shí)別系統(tǒng)，惡意注入語(yǔ)音控制命令，或者惡意擾亂車載路障檢測(cè)系統(tǒng)的正常運(yùn)作等。對(duì)抗樣本的攻擊對(duì)象是識(shí)別模型，還有一類工作則是通過(guò)欺騙預(yù)處理階段的傳感器，從而達(dá)到識(shí)別出錯(cuò)的目的。例如比較有代表性的工作是海豚音攻擊，它通過(guò)超聲波播放器把語(yǔ)音命令調(diào)制加載到超聲波信號(hào)中，利用麥克風(fēng)本身的漏洞，在人耳無(wú)法察覺(jué)到的情況下攻擊目標(biāo)語(yǔ)音識(shí)別系統(tǒng)。

針對(duì)圖像/語(yǔ)音/文本識(shí)別系統(tǒng)的對(duì)抗性攻擊這幾年已經(jīng)得到了廣泛的研究。針對(duì)識(shí)別階段的對(duì)抗性攻擊大致可分為傳感器欺騙攻擊和對(duì)抗樣本攻擊，根據(jù)數(shù)據(jù)種類的不同，對(duì)抗樣本攻擊又可以細(xì)分為圖像對(duì)抗樣本、語(yǔ)音對(duì)抗樣本。圖像對(duì)抗樣本根據(jù)攻擊者的能力，可以簡(jiǎn)單分為白盒攻擊和黑盒攻擊。白盒情況下攻擊者能夠獲知機(jī)器學(xué)習(xí)模型的參數(shù)。而黑盒情況下，攻擊者只能與機(jī)器學(xué)習(xí)的系統(tǒng)進(jìn)行交互，不知道模型具體細(xì)節(jié)。在初期階段，大家主要研究白盒攻擊，但白盒的假設(shè)較強(qiáng)。為了提高實(shí)用性，近幾年大家重點(diǎn)研究黑盒情況下的對(duì)抗性攻擊。

語(yǔ)音對(duì)抗樣本方面，在我們CCS21的工作中，針對(duì)商業(yè)語(yǔ)音平臺(tái)，提出了兩種黑盒語(yǔ)音對(duì)抗攻擊方案—Occam和 NI-Occam。Occam的攻擊對(duì)象是云上語(yǔ)音識(shí)別API，能在只依賴識(shí)別結(jié)果的情況下，生成具有100%攻擊成功率的語(yǔ)音對(duì)抗樣本。Occam是首個(gè)decision-only的黑盒攻擊，在decision-only的條件下，我們面對(duì)的是離散的問(wèn)題。針對(duì)這一挑戰(zhàn)，我們首先將對(duì)抗樣本構(gòu)造轉(zhuǎn)換為一個(gè)直接在模型輸入空間上優(yōu)化的方法，從而克服了非連續(xù)優(yōu)化的難題。具體來(lái)說(shuō)，我們將問(wèn)題歸納為在輸入空間上的大規(guī)模全局優(yōu)化問(wèn)題，然后利用協(xié)同優(yōu)化框架、cma-es等優(yōu)化方法解決該復(fù)雜問(wèn)題。Occam成功攻擊了包括谷歌、微軟、阿里等7個(gè)語(yǔ)音API，同時(shí)達(dá)到了100%的攻擊成功率。

針對(duì)物理域的語(yǔ)音控制設(shè)備，我們還提出了一種非交互式的黑盒攻擊——NI-Occam。在物理攻擊場(chǎng)景下，使用揚(yáng)聲器播放的語(yǔ)音對(duì)抗樣本需要通過(guò)空氣信道傳播才能被語(yǔ)音控制設(shè)備接收。而來(lái)自物理信道的信號(hào)畸變，可能會(huì)導(dǎo)致對(duì)抗樣本失效。為了克服這一困難，在自然命令的靈感啟發(fā)下，我們發(fā)現(xiàn)，正常的語(yǔ)音不論在多么嘈雜的環(huán)境中傳輸，總能被語(yǔ)音控制設(shè)備正確識(shí)別，即正常語(yǔ)音天然地能抵抗物理信號(hào)失真?；谶@一發(fā)現(xiàn)，我們可以在本地白盒模型上訓(xùn)練一個(gè)對(duì)抗樣本，使它具有與自然命令相似的關(guān)鍵部分，且能夠不受物理通道影響成功被目標(biāo)設(shè)備識(shí)別到。同時(shí)，受到模型反演的啟發(fā)，即我們可以從輸出恢復(fù)出模型的關(guān)鍵部分甚至是輸入。借助模型反演技術(shù)的思想，可以將原始音頻看作模型輸入，并將目標(biāo)語(yǔ)音命令看作模型輸出。經(jīng)過(guò)多輪迭代后，便可以“反演”出目標(biāo)語(yǔ)音命令的關(guān)鍵部分，并將其“嵌入”到輸入音頻中。此時(shí)，該音頻具有對(duì)抗性，并能被目標(biāo)設(shè)備識(shí)別成目標(biāo)命令。我們的攻擊成功率達(dá)到了52%，成功攻擊了Apple siri、微軟Cortana等常見(jiàn)的語(yǔ)音助手。在客戶端，惡意的用戶也能通過(guò)查詢模型，來(lái)竊取服務(wù)器端的訓(xùn)練數(shù)據(jù)或模型信息。

關(guān)于模型反轉(zhuǎn)攻擊：攻擊者想要通過(guò)模型恢復(fù)該模型的訓(xùn)練數(shù)據(jù)，其利用模型預(yù)測(cè)結(jié)果來(lái)恢復(fù)出當(dāng)前類的數(shù)據(jù)樣本。具體來(lái)說(shuō)，通過(guò)查詢模型獲得預(yù)測(cè)結(jié)果，并使用優(yōu)化的方式最大化目標(biāo)類別的預(yù)測(cè)置信度，從而恢復(fù)出目標(biāo)類別的原始特征。模型反轉(zhuǎn)攻擊泄露了模型的訓(xùn)練數(shù)據(jù)信息，一方面對(duì)模型的隱私造成重大威脅，另一方面，模型反轉(zhuǎn)攻擊可以作為對(duì)抗樣本攻擊和后門攻擊的跳板，對(duì)模型的安全性造成重大威脅。除恢復(fù)數(shù)據(jù)集之外，攻擊者還想要判斷模型訓(xùn)練是否使用了自己的數(shù)據(jù)，即成員推理攻擊?；谶@樣一個(gè)事實(shí)，模型會(huì)記住訓(xùn)練數(shù)據(jù)，因此訓(xùn)練數(shù)據(jù)和非訓(xùn)練數(shù)據(jù)會(huì)有著不同表現(xiàn)。因此，在判斷階段，將手中的數(shù)據(jù)樣本喂給模型，模型給出一個(gè)返回，然后基于這個(gè)返回來(lái)判別，當(dāng)前樣本是否屬于訓(xùn)練數(shù)據(jù)集。

前兩種攻擊更多的聚焦于訓(xùn)練數(shù)據(jù)，其實(shí)模型本身是一種產(chǎn)品，具有知識(shí)產(chǎn)權(quán)，最近有許多研究嘗試去偷這樣的產(chǎn)品，即模型竊取。模型竊取是利用模型的預(yù)測(cè)結(jié)果構(gòu)造一個(gè)與受害者模型相似的替代模型。攻擊者查詢黑盒模型API獲取預(yù)測(cè)結(jié)果，然后用此輸入輸出對(duì)訓(xùn)練pre-trained模型即可得到替代模型。模型竊取攻擊違背了知識(shí)產(chǎn)權(quán)，一方面攻擊者可以省去再次查詢API的費(fèi)用，另一方面模型竊取也能作為實(shí)現(xiàn)其他對(duì)抗性攻擊比如對(duì)抗樣本攻擊的跨板。這類攻擊實(shí)際上是對(duì)于其他類型的攻擊，在整個(gè)攻擊的環(huán)境當(dāng)中，它可能會(huì)起到更加關(guān)鍵的作用。

回顧模型隱私的相關(guān)工作：基于不同的攻擊目標(biāo)，不同的攻擊目標(biāo)可分為模型反演，成員推理和模型竊取。其中模型竊取可以根據(jù)查詢樣本分為兩類，基于自然樣本以及基于合成樣本的攻擊。自然樣本是指直接從網(wǎng)上下載的公開(kāi)數(shù)據(jù)集，比如imagenet。合成樣本比如對(duì)抗樣本。這個(gè)方向上，我們探索了模型隱私與數(shù)據(jù)隱私間的關(guān)系。例如我們發(fā)現(xiàn)利用模型反演攻擊獲得的數(shù)據(jù)能夠?qū)崿F(xiàn)效果更好的模型竊取攻擊。因?yàn)榉囱輼颖竞驮紨?shù)據(jù)更為相近，從而大大增加了替代模型與目標(biāo)模型的相似程度。具體步驟分為四步，第一步是建立初始替代模型，然后利用此時(shí)的替代模型選取高置信度樣本去構(gòu)建反演模型，之后輸入訓(xùn)練樣本的置信度到反演模型即可得到反演樣本，最后利用反演樣本去進(jìn)行模型竊取。實(shí)驗(yàn)顯示，在10k查詢樣本的情況下，inversenet就可以達(dá)到較高的相似程度，大于80%。在小query budget下，如10k，替代模型的相似度比最先進(jìn)的baseline (Activethief)替代模型的相似度高22%。

部署階段

最后，我們研究了關(guān)于系統(tǒng)可用性的問(wèn)題，即如何授權(quán)合法的用戶使用智能系統(tǒng)。整個(gè)數(shù)據(jù)流轉(zhuǎn)在AI系統(tǒng)的生命周期中，最后一個(gè)是模型的部署階段。在此階段，也包含許多安全問(wèn)題，但我們的focus在身份認(rèn)證。隨AI系統(tǒng)越來(lái)越智能化，身份認(rèn)證的方案也越來(lái)越智能化，大多采用基于生物特征的方案來(lái)進(jìn)入智能系統(tǒng)中使用，這就是防控智能的過(guò)程。在此，我們集中考慮的是基于生物特征的身份認(rèn)證方案。要進(jìn)入現(xiàn)有的語(yǔ)音識(shí)別系統(tǒng)、人臉識(shí)別系統(tǒng)的，需經(jīng)過(guò)身份認(rèn)證，此身份認(rèn)證需涉及多種方案。例如生物特征的方案，包括基于虹膜的、基于指紋的、基于語(yǔ)音的、基于人臉的，我們?cè)诖朔较蛞沧隽舜罅抗ぷ鳌?/p>

總 結(jié)

在AI智能系統(tǒng)安全的方向上，我們針對(duì)AI系統(tǒng)數(shù)據(jù)流轉(zhuǎn)的整個(gè)過(guò)程、全生命周期做了大量工作，且已取得一些成果?；谏鲜龅慕榻B，我們認(rèn)為未來(lái)的AI將是更安全的AI系統(tǒng)，未來(lái)安全的AI需思考以下四個(gè)問(wèn)題，這也將是今后AI安全領(lǐng)域的幾個(gè)主要研究方向：

1）數(shù)據(jù)/模型隱私，其與模型的機(jī)密性與完整性相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此如何保護(hù)數(shù)據(jù)和模型隱私是一個(gè)必須思考的問(wèn)題。

2）魯棒性，其與模型的機(jī)密性、完整性、可用性皆相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此我們考慮如何建立更加魯棒且更強(qiáng)安全保障的學(xué)習(xí)系統(tǒng)？

3）可解釋性，其與模型的可用性緊密相關(guān)，存在于二、三階段，由于目前對(duì)可解釋性的研究缺乏，因此我們需要認(rèn)識(shí)：為什么模型會(huì)做此類決策？

4）AI與安全，其與模型的機(jī)密性、完整性、可用性皆相關(guān)，在數(shù)據(jù)流轉(zhuǎn)的全階段皆存在，因此我們需要認(rèn)識(shí)：理解安全對(duì)于智能系統(tǒng)意味著什么？

以上是我們未來(lái)需要去考慮的四個(gè)方向上的關(guān)鍵問(wèn)題，是我們對(duì)智能系統(tǒng)數(shù)據(jù)安全的一個(gè)分享，謝謝大家。

ABOUT US

IEEE

作為全球最大的專業(yè)技術(shù)組織，IEEE在全球160多個(gè)國(guó)家和地區(qū)共有超40萬(wàn)名會(huì)員，其中學(xué)生會(huì)員超12萬(wàn)。

在電氣及電子工程、計(jì)算機(jī)等其他技術(shù)領(lǐng)域中，IEEE出版了近三分之一的技術(shù)文獻(xiàn)，其中包括每年出版的200本期刊和雜志，IEEE Xplore數(shù)字圖書(shū)館文獻(xiàn)已超過(guò)500萬(wàn)篇。IEEE每年在全球舉辦超過(guò)1900個(gè)會(huì)議，會(huì)議成為了IEEE會(huì)員參與活動(dòng)的重要形式，豐富和滿足了會(huì)員的生活。IEEE 標(biāo)準(zhǔn)協(xié)會(huì)是世界領(lǐng)先的標(biāo)準(zhǔn)制定機(jī)構(gòu)，并日益成為新興技術(shù)領(lǐng)域標(biāo)準(zhǔn)的核心來(lái)源，其標(biāo)準(zhǔn)制定內(nèi)容涵蓋信息技術(shù)、通信、電力和能源等多個(gè)領(lǐng)域。如眾所周知的IEEE 802有線與無(wú)線的網(wǎng)絡(luò)通信標(biāo)準(zhǔn)和人工智能系統(tǒng)–IEEE 7000 標(biāo)準(zhǔn)解決了人工智能系統(tǒng)中的個(gè)人數(shù)據(jù)保護(hù)和安全保證的問(wèn)題。

IEEE積極搭建開(kāi)放共享的國(guó)際合作舞臺(tái)，開(kāi)展學(xué)術(shù)及科技交流活動(dòng)，發(fā)展不同的科技和學(xué)術(shù)平臺(tái)，希望可以充分發(fā)揮學(xué)會(huì)會(huì)員的協(xié)同效應(yīng)，建立活躍的學(xué)術(shù)和技術(shù)創(chuàng)新生態(tài)，助力下一代專業(yè)技術(shù)人員的發(fā)展與壯大。

ATEC

ATEC（Advanced Technology Exploration Community）前沿科技探索社區(qū)是由螞蟻集團(tuán)聯(lián)合多所知名高校共同創(chuàng)立的技術(shù)實(shí)踐發(fā)展社區(qū)。社區(qū)致力于搭建系列產(chǎn)研合作平臺(tái)，推動(dòng)創(chuàng)新技術(shù)的產(chǎn)業(yè)應(yīng)用研究，支持應(yīng)用型技術(shù)人才培養(yǎng)，傳播積極奮進(jìn)的程序員/工程師文化。 借助與多所知名高校專家學(xué)者的深度合作，ATEC科技社區(qū)創(chuàng)立并持續(xù)運(yùn)營(yíng)“ATEC科技精英賽”項(xiàng)目。與業(yè)內(nèi)常規(guī)的大賽不同，ATEC科技精英賽通過(guò)緊扣社會(huì)價(jià)值的命題設(shè)計(jì)、貼近真實(shí)環(huán)境比賽環(huán)境搭建，目標(biāo)考察選手及其團(tuán)隊(duì)成員間的綜合性命題解決能力。而大賽同期錄制的業(yè)內(nèi)首檔代碼競(jìng)技真人秀《燃燒吧！天才程序員》，則將全景呈現(xiàn)比賽過(guò)程中青年科技選手間的競(jìng)爭(zhēng)與合作、隱忍與反擊，真實(shí)展現(xiàn)中國(guó)年輕一代科技從業(yè)者奮發(fā)向上的精神和動(dòng)力。 除ATEC科技精英賽外，ATEC科技社區(qū)積極推動(dòng)著ATEC沙龍、ATEC實(shí)訓(xùn)平臺(tái)等多個(gè)產(chǎn)研合作項(xiàng)目，踐行“助力數(shù)字化發(fā)展”、“科技服務(wù)社會(huì)”的發(fā)展理念。

審核編輯 ：李倩