自動駕駛汽車不僅會被「假路標(biāo)」誤導(dǎo)，開上反向車道，還會無視道路中間的障礙物，直到躲閃不及才能發(fā)現(xiàn)。最近密歇根大學(xué)、UIUC聯(lián)合百度提交的一項研究讓自動駕駛技術(shù)又一次成為了人們關(guān)注的焦點。這一次，連性能最好的傳感器激光雷達(dá)（LiDAR）都被黑掉了，自動駕駛汽車真的安全嗎？

用激光雷達(dá)進(jìn)行目標(biāo)檢測是目前自動駕駛汽車用到的主流方法，這種傳感器精度高、成本高昂、技術(shù)門檻高。如果昂貴的價格能買來安全，那么也能顯示其價值。但最近，來自百度研究院、密歇根大學(xué)以及伊利諾伊大學(xué)香檳分校的研究者提出了一種可以「欺騙」激光雷達(dá)點云的對抗方法，對激光雷達(dá)的安全性提出了質(zhì)疑。

在深度學(xué)習(xí)中，為了檢測神經(jīng)網(wǎng)絡(luò)的魯棒性，研究者通常會用特定方法生成一些不容易識別或判斷的目標(biāo)對神經(jīng)網(wǎng)絡(luò)進(jìn)行攻擊，這些目標(biāo)被稱為「對抗樣本」。對抗樣本通常是精心設(shè)計的輸入，伴有小幅度的擾動，目的是誘導(dǎo)神經(jīng)網(wǎng)絡(luò)做出錯誤預(yù)測。

上述幾位研究者也制作了對抗樣本，不過這次是針對激光雷達(dá)的。他們提出的對抗方法名為 LiDAR-Adv，如果把用該方法生成的對抗樣本打印出來，會得到下圖這些奇形怪狀的物體。

為了進(jìn)行物理對照實驗，他們還找來了普通箱子作為對照組。

對照組用到的箱子（確定不是 SF 的廣告？）

接下來，他們把這些對抗樣本和普通箱子分別放置在自動駕駛車行進(jìn)路徑的中央和右側(cè)，觀察激光雷達(dá)的反應(yīng)。

將對抗樣本和箱子放在路徑中央

結(jié)果顯示，放在路徑中央時，配置激光雷達(dá)的汽車一直到逼近對抗樣本時才檢測出該目標(biāo)，相比之下，該汽車在距離較遠(yuǎn)時就檢測到了作為對照的普通箱子。

將對抗樣本和對照箱放在路徑右側(cè)。

將物體放在路徑右側(cè)時情況更為糟糕，激光雷達(dá)直接「無視」了對抗樣本。這讓我們對自動駕駛汽車的安全性提出了很大的質(zhì)疑。

容易受攻擊的不止是神經(jīng)網(wǎng)絡(luò)

用對抗樣本「欺騙」自動駕駛汽車的確不是什么新鮮事，如機(jī)器之心之前報道過的用「物理攻擊」方式欺騙特斯拉的自動駕駛系統(tǒng)。在那項研究中，來自騰訊科恩實驗室的研究人員在道路特定位置貼了幾個貼紙，就讓處在自動駕駛模式的特斯拉汽車并入反向車道。該研究中的對抗樣本欺騙的是特斯拉 Model S 中的車道檢測系統(tǒng)，即其中的深度神經(jīng)網(wǎng)絡(luò)分類器。

深度神經(jīng)網(wǎng)絡(luò)（DNN）容易受到對抗樣本的攻擊，這一點已經(jīng)被許多研究所證明。為了證明這種攻擊在現(xiàn)實世界構(gòu)成威脅，一些研究提議生成能夠迷惑分類器識別停車標(biāo)志的實體貼紙或可打印貼圖，如上述的特斯拉對抗攻擊實驗。但是，自動駕駛系統(tǒng)并不僅僅是圖像分類器。為了獲得更清晰的感知影像，大多數(shù)自動駕駛檢測系統(tǒng)配備有激光雷達(dá)或普通雷達(dá)（無線電探測與測距）設(shè)備，這些設(shè)備能夠借助于激光束直接探查周圍 3D 環(huán)境。這就提出了一個疑問：貼圖干擾是否會影響激光雷達(dá)掃描的點云？

為了回答這一問題，研究者提出了一種基于優(yōu)化的方法——LiDAR-Adv，以生成可以在各種場景下規(guī)避激光雷達(dá)檢測系統(tǒng)的對抗樣本，從而揭露激光雷達(dá)自動駕駛檢測系統(tǒng)的潛在漏洞。

研究者首先使用一種基于黑盒進(jìn)化的算法展示了相關(guān)漏洞，接著使用基于梯度的方法 LiDAR-Adv 探索強(qiáng)大的對抗樣本造成的影響有多大。

為了評估 LiDAR-Adv 在現(xiàn)實世界中的影響，研究者對生成的對抗樣本進(jìn)行 3D 打印，并在百度阿波羅自動駕駛平臺上測試它們。結(jié)果顯示，借助于 3D 感知和產(chǎn)品級多階段檢測器，他們能夠誤導(dǎo)自動駕駛系統(tǒng)，實現(xiàn)不同的對抗目標(biāo)。

激光雷達(dá)工作原理

在分析研究者提出的對抗方法之前，我們先來了解一下激光雷達(dá)的工作原理。

如下圖 2 所示，激光雷達(dá)傳感器首先對 3D 環(huán)境進(jìn)行掃描，獲得場景的原始點云。接著，點云通過預(yù)處理饋入到檢測模型。最后，對檢測輸出進(jìn)行后處理，以預(yù)測檢測結(jié)果。

圖 2：激光雷達(dá)在 AV 上的檢測流程圖

構(gòu)建激光雷達(dá)對抗樣本的難點

基于激光雷達(dá)的檢測系統(tǒng)由多個不可微分步驟組成，而不是單個的端到端網(wǎng)絡(luò)，這種端到端網(wǎng)絡(luò)會極大地限制基于梯度的端到端攻擊的使用。

這些關(guān)鍵性障礙不僅令之前的圖像方法無效，而且在構(gòu)建對抗樣本時帶來如下一些新的挑戰(zhàn)：

1）基于激光雷達(dá)的檢測系統(tǒng)利用實體激光雷達(dá)設(shè)備將 3D 形狀映射到點云上，隨后點云饋入到機(jī)器學(xué)習(xí)檢測系統(tǒng)。所以，形狀擾動（shape perturbation）如何影響掃描到的點云尚不清楚；2）激光雷達(dá)點云的預(yù)處理過程是不可微的，從而避免了對基于梯度的優(yōu)化器的不成熟使用；3）擾動空間受到多方面的限制。

首先，研究者需要確?？梢栽诂F(xiàn)實世界重建擾動目標(biāo)。其次，一個目標(biāo)的有效激光雷達(dá)掃描為點云的約束子集，使得擾動空間比無任何約束的點云擾動空間小得多。

LiDAR-Adv 對抗樣本構(gòu)建方法

如下圖 1 所示，研究者提出了 LiDAR-Adv 方法，生成針對現(xiàn)實世界激光雷達(dá)檢測系統(tǒng)的對抗樣本。

圖 1：LiDAR-Adv 概覽圖。圖上行顯示，基于激光雷達(dá)的檢測系統(tǒng)可以檢測到普通的箱子；圖下行顯示，LiDAR-Adv 生成的類似大小的對抗樣本無法被檢測到。

首先，研究者模擬了一個可微分的激光雷達(dá)渲染器，將 3D 目標(biāo)的擾動與激光雷達(dá)掃描（或點云）連接起來。然后，他們利用可微分的 proxy 函數(shù)制作 3D 特征聚合。最后，他們設(shè)計不同的損失，確保生成的 3D 對抗樣本平滑。

此外，為了更好地展示 LiDAR-Adv 攻擊方法的靈活性，研究者在兩種不同的攻擊場景下對其進(jìn)行了評估：

1）隱藏目標(biāo)：合成一個不會被檢測器檢測到的「對抗樣本」；

2）改變標(biāo)簽：合成一個被檢測器識別為特定對抗目標(biāo)的「對抗樣本」。

研究者還對激光雷達(dá)與黑盒設(shè)置下的進(jìn)化算法做了對比。

方法概覽

在場景中給定一個 3D 樣本 S，如 background 中所述，并在激光雷達(dá)傳感器掃描該場景之后根據(jù) S 生成點云 X，所以 X = render（s, background）。在預(yù)處理過程中，點云 X 被切割并聚合生成 x，即 H × W × 8 特征向量。研究者將這一聚合過程稱為Φ: x = Φ(X)。然后，機(jī)器學(xué)習(xí)模型 M 將 2D 特征 x∈^RH×W×8 映射到 O = M(x)，其中 O ∈^RH×W×7。接著，研究者利用聚類過程Ψ對 O 進(jìn)行后處理，以生成檢測到障礙的置信度 y_conf 和標(biāo)簽 y_label，所以 (y_conf , y_label) = Ψ(O)。一個對抗攻擊者意圖操控樣本 S，以實現(xiàn)對抗目標(biāo)。

研究者將對抗目標(biāo)分為兩類：

隱藏目標(biāo)：通過操控現(xiàn)有樣本 S 來隱藏 S；

改變標(biāo)簽：將檢測到的目標(biāo) S 的標(biāo)簽 y 改變?yōu)樘囟繕?biāo) y'。

在激光雷達(dá)檢測中實現(xiàn)上述對抗目標(biāo)并非易事，面臨以下三方面問題：

多階預(yù)處理/后處理；

操作約束；

操作空間有限。

針對上述問題，研究者設(shè)計了端到端攻擊管道。為了方便基于梯度的算法，研究者執(zhí)行了一個近似可微且模擬激光雷達(dá)功能性的渲染器 R，從而使一組預(yù)定義射線與包含頂點 V 和傾斜點 W 的 3D 目標(biāo)平面 (S) 產(chǎn)生交互。

預(yù)處理完成后，點云饋入到預(yù)處理函數(shù)Φ，以生成特征圖 x = Φ(X)。接著，特征圖 x 作為機(jī)器學(xué)習(xí)模型 M 的輸入，以獲得輸出度量 O = M(x)。整個過程可以表征為 F(S) = M(Φ(R(S)))。

注意，通過微分渲染器 R，整個過程 F(S) = M(Φ(R(S))) 又可微分為 w.r.t. S。通過這種方式，研究者可以操控 S，從而利用最終輸出 F(S) 運行的目標(biāo)函數(shù)生成對抗 S_adv。

實驗

在實驗過程中，研究者實現(xiàn)了「隱藏樣本」的目標(biāo)，并通過基于進(jìn)化的黑盒算法揭露了激光雷達(dá)檢測系統(tǒng)存在的漏洞。然后，他們展示了白盒設(shè)置下 LiDAR-Adv 方法的定性和定量結(jié)果。此外，實驗結(jié)果表明，LiDAR-Adv 方法還可以實現(xiàn)「改變標(biāo)簽」等其他一些對抗目標(biāo)。

由于點云在現(xiàn)實場景下是連續(xù)捕獲的，所以單個靜態(tài)幀中的攻擊可能在現(xiàn)實場景中的影響不大。所以在實驗中，針對包含不同方向和位置的 victim 數(shù)據(jù)集，研究者生成了一個魯棒的通用對抗樣本。他們對這種通用對抗樣本進(jìn)行 3D 打印，并進(jìn)行真實駕駛實驗，從而證明這些樣本的確對公路上行駛的自動駕駛車輛構(gòu)成威脅。

圖 3：研究人員生成的不同尺寸對抗樣本，在多個激光雷達(dá)照射的情況下仍然可以保持不被檢測到。

表 1：不同設(shè)置下 LiDAR-Adv 方法和基于進(jìn)化方法的攻擊成功率對比。

為了確保 LiDAR-Adv 方法在各種物理條件下保持對抗效果，研究者通過一組物理變換（位置和方向）來進(jìn)行采樣和優(yōu)化。實驗證明了生成的對抗樣本具有魯棒性，可以實現(xiàn)高成功率的隱蔽和攻擊。

表 2：在受控和不可見情形下，LiDAR-Adv 方法對于不同位置和方向上攻擊的成功率。

除此之外，研究者評估了 3D 打印生成的樣本在物理世界的效果。如下圖 5（a）所示，自動駕駛系統(tǒng)在 36 個不同幀中并未檢測到對抗物體。如下圖 5（b）所示，系統(tǒng)在 18 個幀中的 12 個檢測到了正方體盒子。由于車速不同，總幀數(shù)也有不同。

圖 5：物理攻擊結(jié)果。LiDAR-Adv 方法的 3D 打印硬質(zhì)對抗物體未被基于激光雷達(dá)的汽車檢測系統(tǒng)檢測到。圖第 1 行顯示由激光雷達(dá)傳感器收集的點云數(shù)據(jù)，第 2 行顯示由儀表板處相機(jī)捕獲的相應(yīng)圖像。