chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

人工智能:機器學(xué)習(xí)模型存在著對抗樣本的安全威脅

如意 ? 來源:中國保密協(xié)會科學(xué)技術(shù)分 ? 作者:中國保密協(xié)會科學(xué) ? 2020-08-27 16:10 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

導(dǎo)語

近年來,隨著人工智能的蓬勃發(fā)展,機器學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)入侵檢測領(lǐng)域得到了廣泛的應(yīng)用。然而,機器學(xué)習(xí)模型存在著對抗樣本的安全威脅,導(dǎo)致該類網(wǎng)絡(luò)入侵檢測器在對抗環(huán)境中呈現(xiàn)出特定的脆弱性。本文主要概述由對抗樣本造成的逃逸攻擊,分為上下兩篇。上篇從基本概念出發(fā)介紹逃逸攻擊的工作機理,下篇則介紹一些針對逃逸攻擊的防御措施。希望能讓讀者更清晰的認知基于機器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測器所存在的安全風(fēng)險。

當(dāng)網(wǎng)絡(luò)入侵檢測器遇到機器學(xué)習(xí)

網(wǎng)絡(luò)入侵檢測系統(tǒng)(Network Intrusion Detection System,NIDS)通過采集網(wǎng)絡(luò)流量等信息,發(fā)現(xiàn)被監(jiān)控網(wǎng)絡(luò)中違背安全策略、危及系統(tǒng)安全的行為,是一種重要的安全防護手段。面對日益復(fù)雜的網(wǎng)絡(luò)環(huán)境,傳統(tǒng)NIDS所存在的缺點日益突出,例如系統(tǒng)占用資源過多、對未知攻擊檢測能力差、需要人工干預(yù)等。在此背景下,研究人員迫切地探尋新的解決方案,并將目光投向了發(fā)展迅速的機器學(xué)習(xí)技術(shù)?;跈C器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測器是將網(wǎng)絡(luò)入侵檢測的問題建模成一個針對網(wǎng)絡(luò)流量的分類問題,從而使用一些機器學(xué)習(xí)的方法精練出分類模型進行分類預(yù)測。目前,多種機器學(xué)習(xí)算法,例如決策樹、支持向量機、深度神經(jīng)網(wǎng)絡(luò)等,被用于區(qū)分入侵流量和良性流量,并取得了良好的實驗結(jié)果。

什么是對抗樣本

2013年,Szegedy等人首次在深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)中發(fā)現(xiàn)了對抗樣本,并引起了機器學(xué)習(xí)社區(qū)的廣泛討論。對抗樣本是指通過對原始的輸入樣本添加輕微的擾動所產(chǎn)生的輸入樣本,該樣本與原始樣本相近,卻能夠在不改變機器學(xué)習(xí)分類模型的情況下,導(dǎo)致目標(biāo)模型輸出錯誤的分類結(jié)果。事實上,從傳統(tǒng)的機器學(xué)習(xí)模型到深度學(xué)習(xí)模型,再到強化學(xué)習(xí)模型,都存在對抗樣本的問題。鑒于目前機器學(xué)習(xí)技術(shù)已滲透到圖像識別、自然語言處理、惡意軟件檢測等多個領(lǐng)域,對抗樣本的發(fā)現(xiàn)為狂熱的機器學(xué)習(xí)應(yīng)用浪潮帶來了一定的沖擊。

逃逸攻擊

針對基于機器學(xué)習(xí)的NIDS,攻擊者可利用對抗樣本來逃逸NIDS對入侵流量的檢測,這種攻擊被稱為逃逸攻擊(或?qū)箻颖竟?、對抗攻擊等)。圖1展示了一種經(jīng)典的逃逸攻擊流程。NIDS部署在被保護網(wǎng)絡(luò)的邊界,通過提取數(shù)據(jù)包或網(wǎng)絡(luò)流的特征形成輸入樣本,然后利用機器學(xué)習(xí)分類模型來識別該樣本是否屬于入侵流量。在發(fā)動逃逸攻擊時,攻擊者首先捕獲入侵流量所形成的輸入樣本,通過一定的手段來生成對抗樣本,然后回放依據(jù)對抗樣本產(chǎn)生的入侵流量。由于機器學(xué)習(xí)分類模型的脆弱性,該流量被NIDS錯誤分類成良性流量,從而到達受害網(wǎng)絡(luò)。

人工智能:機器學(xué)習(xí)模型存在著對抗樣本的安全威脅

圖1 一種逃逸攻擊示意圖

威脅模型

由攻擊者發(fā)起的逃逸攻擊可以從四個維度來刻畫,分別是敵手知識、敵手能力、敵手目標(biāo)、攻擊策略。其中敵手知識是指攻擊者掌握目標(biāo)機器學(xué)習(xí)模型的背景信息量,包括模型的訓(xùn)練數(shù)據(jù)、特征集合、模型結(jié)構(gòu)及參數(shù)、學(xué)習(xí)算法及決策函數(shù)、目標(biāo)模型中可用的反饋信息等。根據(jù)敵手知識,可將逃逸攻擊分為以下兩類:

(1)白盒攻擊。攻擊者在完全了解目標(biāo)模型的情況下發(fā)起攻擊。在此情況下,目標(biāo)模型的網(wǎng)絡(luò)架構(gòu)及參數(shù)值、為樣本提取的特征集合、使用的訓(xùn)練方法等信息都暴露給了攻擊者,另外在某些情況下還包括目標(biāo)模型所使用的訓(xùn)練數(shù)據(jù)集。

(2)黑盒攻擊。發(fā)起攻擊時,攻擊者僅對目標(biāo)模型具有有限的知識,例如攻擊者可獲取模型的輸入和輸出的格式和數(shù)值范圍,但是不知道機器學(xué)習(xí)模型的網(wǎng)絡(luò)架構(gòu)、訓(xùn)練參數(shù)和訓(xùn)練算法等。在此情況下,攻擊者一般通過傳入輸入數(shù)據(jù)來觀察輸出、判斷輸出與目標(biāo)模型進行交互。

對逃逸攻擊而言,攻擊者可不具備操縱目標(biāo)模型、操縱目標(biāo)模型的訓(xùn)練數(shù)據(jù)的能力。但是敵手能力必須包括可操縱目標(biāo)模型的測試數(shù)據(jù),即攻擊者能夠?qū)τ糜跍y試模型的網(wǎng)絡(luò)流量進行修改,這種修改可以在網(wǎng)絡(luò)流(Flow)層進行也可以在數(shù)據(jù)包(Packet)層。對于逃逸攻擊,敵手目的是影響目標(biāo)機器學(xué)習(xí)模型的完整性(Integrity)。具體地講,逃逸攻擊的敵手目標(biāo)包括以下幾類:

(1)減小置信度:減小輸入分類的置信度,從而引起歧義。

(2)無目標(biāo)誤分類:將輸出分類更改為與原始類不同的任何類。

(3)有目標(biāo)的誤分類:強制將輸出分類為特定的目標(biāo)類。

(4)源到目的誤分類:強制將特定的輸入的輸出分類為特定的目標(biāo)類。

根據(jù)敵手知識和敵手目的將逃逸攻擊的威脅模型進行整合,結(jié)果如圖2所示??梢钥闯觯诤心J较碌挠心繕?biāo)攻擊將會極大地增加攻擊難度。

人工智能:機器學(xué)習(xí)模型存在著對抗樣本的安全威脅

圖2 逃逸攻擊的威脅模型分類

常見的攻擊策略

逃逸攻擊的核心在于如何構(gòu)造能夠使機器學(xué)習(xí)模型產(chǎn)生誤分類的對抗樣本。針對基于機器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測器,目前研究人員已提出多種生成對抗樣本的方法,主要包括以下幾類:

(1)基于梯度的方法。該類方法僅適用于白盒攻擊。在圖像識別領(lǐng)域,Goodfellow等人[15]提出了快速梯度符號(FGSM)法,該方法假設(shè)攻擊者完全了解目標(biāo)模型,通過在梯度的反方向上添加擾動增大樣本與原始樣本的決策距離,從而快速生成對抗樣本。隨后,改進的方法例如PGD、BIM、JSMA等相繼被提出。在此基礎(chǔ)上,研究工作[1]-[6]都采用了這類方法來對修改網(wǎng)絡(luò)流層上特征,進而生成針對網(wǎng)絡(luò)入侵檢測器的對抗樣本。

(2)基于優(yōu)化的方法。該類方法即存在于白盒攻擊又存在于黑盒攻擊。Szegedy等人[16]首次將尋找最小可能的攻擊擾動轉(zhuǎn)化為一個優(yōu)化問題,并提出使用L-BFGS來解決這個分析。這種方法攻擊成功率高,但計算成本也高。Carlini等人[17]對其進行了改進,提出了攻擊效果更好的目標(biāo)函數(shù),并通過改變變量解決邊界約束問題,被稱為C&W攻擊。研究工作[4]-[6]都采用了這種方法來生成攻擊NIDS的對抗樣本。此外,文獻[12][13]研究在黑盒模式下生成對抗樣本的問題,同樣將其轉(zhuǎn)化為一種優(yōu)化問題,并分別采用遺傳算法和粒子群算法來解決,從而快速搜索出對抗樣本。

(3)基于生成對抗網(wǎng)絡(luò)的方法。該類方法常見于發(fā)動黑盒攻擊。研究工作[7]-[9]均建立生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)來生成對抗樣本。一般地,目標(biāo)NIDS作為GAN的檢測器,GAN的生成器則用于產(chǎn)生對抗擾動,并且GAN檢測器對輸入樣本的預(yù)測得分將用來訓(xùn)練GAN的生成器。特別地,生成網(wǎng)絡(luò)一旦訓(xùn)練完畢,就可以有效地為任何樣本生成擾動而不需要向目標(biāo)NIDS發(fā)送任何問詢。

(3)基于決策的方法。該類方法適用于在黑盒模式下發(fā)動攻擊。在真實的逃逸攻擊中,攻擊者很少能夠獲取目標(biāo)模型的預(yù)測值,針對目標(biāo)模型僅給出類別標(biāo)簽的情況,Peng等人[14]提出了改進的邊界攻擊方法來生成DDoS攻擊的對抗樣本。該方法的主要思想是通過迭代地修改輸入樣本來逼近目標(biāo)模型的決策邊界。此外,研究工作[10]同樣采用基于決策的思想,借助有限的目標(biāo)NIDS的反饋,不斷的在數(shù)據(jù)包層次上或網(wǎng)絡(luò)流層次上修改NIDS的原始輸入樣本,從而生成逃逸的變異樣本。與其它方法相比,該類方法需要的模型信息更少、實用性更高,但是需要向目標(biāo)NIDS發(fā)送大量的問詢,需要更高的攻擊代價。

小結(jié):

機器學(xué)習(xí)為網(wǎng)絡(luò)入侵檢測提供了新的解決思路,同時也帶來了新的安全隱患。在機器學(xué)習(xí)成為網(wǎng)絡(luò)安全利器的道路上,攻擊與防御之間博弈不斷升級,“機器學(xué)習(xí)+網(wǎng)絡(luò)安全”的研究依然任重道遠。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1811

    文章

    49488

    瀏覽量

    258096
  • 網(wǎng)絡(luò)攻擊
    +關(guān)注

    關(guān)注

    0

    文章

    331

    瀏覽量

    24080
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8528

    瀏覽量

    135857
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    利用超微型 Neuton ML 模型解鎖 SoC 邊緣人工智能

    的框架小 10 倍,速度也快 10 倍,甚至可以在最先進的邊緣設(shè)備上進行人工智能處理。在這篇博文中,我們將介紹這對開發(fā)人員意味什么,以及使用 Neuton 模型如何改進您的開發(fā)和終端
    發(fā)表于 08-31 20:54

    挖到寶了!人工智能綜合實驗箱,高校新工科的寶藏神器

    應(yīng)用場景。從數(shù)據(jù)采集,到模型推理,都能完整且自如地參與,輕松解鎖人工智能全流程實訓(xùn),讓你深度體驗AI技術(shù)的魅力 。 四、九門課程全覆蓋,滿足多元學(xué)習(xí)需求 對于高校教學(xué)或者技術(shù)學(xué)習(xí)來說,
    發(fā)表于 08-07 14:30

    挖到寶了!比鄰星人工智能綜合實驗箱,高校新工科的寶藏神器!

    應(yīng)用場景。從數(shù)據(jù)采集,到模型推理,都能完整且自如地參與,輕松解鎖人工智能全流程實訓(xùn),讓你深度體驗AI技術(shù)的魅力 。 四、九門課程全覆蓋,滿足多元學(xué)習(xí)需求 對于高校教學(xué)或者技術(shù)學(xué)習(xí)來說,
    發(fā)表于 08-07 14:23

    超小型Neuton機器學(xué)習(xí)模型, 在任何系統(tǒng)級芯片(SoC)上解鎖邊緣人工智能應(yīng)用.

    Neuton 是一家邊緣AI 公司,致力于讓機器 學(xué)習(xí)模型更易于使用。它創(chuàng)建的模型比競爭對手的框架小10 倍,速度也快10 倍,甚至可以在最先進的邊緣設(shè)備上進行
    發(fā)表于 07-31 11:38

    最新人工智能硬件培訓(xùn)AI 基礎(chǔ)入門學(xué)習(xí)課程參考2025版(大模型篇)

    人工智能模型重塑教育與社會發(fā)展的當(dāng)下,無論是探索未來職業(yè)方向,還是更新技術(shù)儲備,掌握大模型知識都已成為新時代的必修課。從職場上輔助工作的智能助手,到課堂用于學(xué)術(shù)研究的
    發(fā)表于 07-04 11:10

    人工智能機器學(xué)習(xí)以及Edge AI的概念與應(yīng)用

    人工智能相關(guān)各種技術(shù)的概念介紹,以及先進的Edge AI(邊緣人工智能)的最新發(fā)展與相關(guān)應(yīng)用。 人工智能機器學(xué)習(xí)是現(xiàn)代科技的核心技術(shù)
    的頭像 發(fā)表于 01-25 17:37 ?1356次閱讀
    <b class='flag-5'>人工智能</b>和<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>以及Edge AI的概念與應(yīng)用

    生成式人工智能模型安全可信評測

    受到關(guān)注。但當(dāng)前大模型仍然面臨可信瓶頸,無法開展大規(guī)模應(yīng)用。大模型安全可信受到高度關(guān)注,國內(nèi)外已經(jīng)有多項法規(guī)與標(biāo)準(zhǔn)快速制定并落地。本文以層次化的結(jié)構(gòu),構(gòu)建了生成式人工智能
    的頭像 發(fā)表于 01-22 13:55 ?1382次閱讀
    生成式<b class='flag-5'>人工智能</b><b class='flag-5'>模型</b>的<b class='flag-5'>安全</b>可信評測

    《具身智能機器人系統(tǒng)》第10-13章閱讀心得之具身智能機器人計算挑戰(zhàn)

    章深入分析了DNN的安全威脅。逃逸攻擊通過向輸入數(shù)據(jù)添加人眼難以察覺的擾動,誘導(dǎo)模型做出錯誤判斷。投毒攻擊則通過污染訓(xùn)練數(shù)據(jù)集,在模型學(xué)習(xí)
    發(fā)表于 01-04 01:15

    【「具身智能機器人系統(tǒng)」閱讀體驗】2.具身智能機器人大模型

    近年來,人工智能領(lǐng)域的大模型技術(shù)在多個方向上取得了突破性的進展,特別是在機器人控制領(lǐng)域展現(xiàn)出了巨大的潛力。在“具身智能機器人大
    發(fā)表于 12-29 23:04

    【「具身智能機器人系統(tǒng)」閱讀體驗】1.初步理解具身智能

    與未來,涵蓋如基于行為的人工智能、生物啟發(fā)的進化人工智能及認知機器人技術(shù)的發(fā)展。這一歷史背景為隨后的大模型驅(qū)動的具身智能討論奠定了基礎(chǔ),隨著
    發(fā)表于 12-28 21:12

    【「具身智能機器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值

    嵌入式人工智能(EAI)將人工智能集成到機器人等物理實體中,使它們能夠感知、學(xué)習(xí)環(huán)境并與之動態(tài)交互。這種能力使此類機器人能夠在人類社會中有效
    發(fā)表于 12-24 00:33

    【「具身智能機器人系統(tǒng)」閱讀體驗】+初品的體驗

    動態(tài)互動的。 該理論強調(diào)智能行為源于智能體的物理存在和行為能力,智能體必須具備感知環(huán)境并在其中執(zhí)行任務(wù)的能力。具身智能的實現(xiàn)涵蓋了
    發(fā)表于 12-20 19:17

    嵌入式和人工智能究竟是什么關(guān)系?

    、連接主義和深度學(xué)習(xí)等不同的階段。目前,人工智能已經(jīng)廣泛應(yīng)用于各種領(lǐng)域,如自然語言處理、計算機視覺、智能推薦等。 嵌入式系統(tǒng)和人工智能在許多方面都
    發(fā)表于 11-14 16:39

    具身智能機器學(xué)習(xí)的關(guān)系

    具身智能(Embodied Intelligence)和機器學(xué)習(xí)(Machine Learning)是人工智能領(lǐng)域的兩個重要概念,它們之間存在著
    的頭像 發(fā)表于 10-27 10:33 ?1374次閱讀

    人工智能機器學(xué)習(xí)和深度學(xué)習(xí)存在什么區(qū)別

    人工智能指的是在某種程度上顯示出類似人類智能的設(shè)備。AI有很多技術(shù),但其中一個很大的子集是機器學(xué)習(xí)——讓算法從數(shù)據(jù)中學(xué)習(xí)。
    發(fā)表于 10-24 17:22 ?3311次閱讀
    <b class='flag-5'>人工智能</b>、<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>和深度<b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>存在</b>什么區(qū)別