本文由郭安，夏志龍，高新宇，陳振宇聯(lián)合創(chuàng)作

摘要

隨著人工智能、邊緣計算、無線通信和車載傳感器等關(guān)鍵技術(shù)的進步和突破，自動駕駛系統(tǒng)迎來了新一輪的發(fā)展。交通應用的安全攸關(guān)場景給自動駕駛系統(tǒng)提出了更高的質(zhì)量保障要求。感知系統(tǒng)是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統(tǒng)安全可靠的有效且必要途徑。本文簡要分析了國內(nèi)外自動駕駛感知系統(tǒng)測試的研究現(xiàn)狀，并對圖像、激光雷達、以及感知融合測試方法和技術(shù)發(fā)展進行了討論。

前言

隨著人工智能及其軟硬件技術(shù)的進步，近年來自動駕駛獲得了快速發(fā)展。自動駕駛系統(tǒng)已經(jīng)被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領(lǐng)域。感知組件是自動駕駛系統(tǒng)的核心，它使得車輛能夠分析并理解內(nèi)外交通環(huán)境信息。然而，與其他軟件系統(tǒng)一樣，自動駕駛感知系統(tǒng)困擾于軟件缺陷。并且，自動駕駛系統(tǒng)運行于安全攸關(guān)場景，其軟件缺陷可能導致災難性后果。近年來，已經(jīng)發(fā)生多起自動駕駛系統(tǒng)缺陷導致的人員傷亡事故。自動駕駛系統(tǒng)測試技術(shù)受到學術(shù)界和工業(yè)界的廣泛重視。企業(yè)與研究機構(gòu)提出了一系列包括虛擬仿真測試、實景道路測試和虛實結(jié)合測試等在內(nèi)的技術(shù)和環(huán)境。然而，由于自動駕駛系統(tǒng)輸入數(shù)據(jù)類型的特殊性和運行環(huán)境的多樣性，這類測試技術(shù)的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統(tǒng)測試方法的研究和應用現(xiàn)狀。

1 自動駕駛感知系統(tǒng)測試

自動駕駛感知系統(tǒng)的質(zhì)量保障越來越重要。感知系統(tǒng)需要幫助車輛自動分析和理解路況信息，其構(gòu)成非常復雜，需要充分檢驗待測系統(tǒng)在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現(xiàn)出了一個區(qū)別于傳統(tǒng)測試的重要特征，即對于測試數(shù)據(jù)的強依賴性。

第一類測試主要基于軟件工程理論和形式化方法等，以感知系統(tǒng)實現(xiàn)的模型結(jié)構(gòu)機理為切入點的測試。這種測試方法建立在對于自動駕駛感知運行機理和系統(tǒng)特征的高度理解上。這種偏向感知系統(tǒng)邏輯測試的目的是在系統(tǒng)開 發(fā)早期發(fā)現(xiàn)感知模塊設計缺陷，以保障早期系統(tǒng)迭代中模 型算法的有效性。研究人員基于自動駕駛算法模型特征，提出了一系列測試數(shù)據(jù)生成、測試驗證指標、測試評估方法和技術(shù)。

第二類測試虛擬仿真方法，借助計算機抽象實際交通 系統(tǒng)來完成測試任務，包括在預設虛擬環(huán)境下的系統(tǒng)測試或者面向感知組件的獨立測試。虛擬仿真測試的效果依賴 虛擬環(huán)境真實度、測試數(shù)據(jù)質(zhì)量和具體測試執(zhí)行技術(shù)，需 要充分考慮仿真環(huán)境構(gòu)建方法、數(shù)據(jù)質(zhì)量評估和測試驗證 技術(shù)的有效性。自動駕駛環(huán)境感知和場景分析模型依賴大規(guī)模的有效交通場景數(shù)據(jù)進行訓練和測試驗證。國內(nèi)外研 究者針對交通場景及其數(shù)據(jù)構(gòu)造生成技術(shù)進行了大量的研究。利用數(shù)據(jù)變異、仿真引擎生成和游戲模型渲染等方法 構(gòu)建虛擬測試場景數(shù)據(jù)，從而獲得高質(zhì)量的測試數(shù)據(jù)，并將不同的生成測試數(shù)據(jù)用于自動駕駛模型和數(shù)據(jù)擴增和增 強。測試場景和數(shù)據(jù)生成是關(guān)鍵技術(shù)。測試用例必須足夠 豐富，以覆蓋測試樣本的狀態(tài)空間。需要在極端交通情況 下生成測試樣本，測試系統(tǒng)在這些邊界用例下決策輸出模 型的安全性。虛擬測試往往結(jié)合現(xiàn)有的測試理論和技術(shù)，構(gòu)建用于評估和驗證測試效果的有效方法。

第三類是對搭載自動駕駛感知系統(tǒng)的真實車輛進行路測，包括預設的封閉場景測試和實際路況測試等。這類測試優(yōu)點在于真實環(huán)境下的測試可以充分保障結(jié)果的有 效性。然而，這類方法存在測試場景難以滿足多樣化需求，相關(guān)交通場景數(shù)據(jù)樣本獲取困難，真實道路采集數(shù)據(jù) 人工標注成本高昂、標注質(zhì)量參差不齊，測試里程要求過 大，數(shù)據(jù)采集周期過長等困難。危險場景人工駕駛存在安全風險，在現(xiàn)實世界中測試人員很難解決這些問題。同時，交通場景數(shù)據(jù)還受到數(shù)據(jù)來源單一、數(shù)據(jù)多樣性不足等問 題，不足以滿足軟件工程中自動駕駛研究人員的測試驗證 要求。盡管如此，道路測試作為傳統(tǒng)汽車測試不可缺少的 一環(huán)，在自動駕駛感知測試中極為重要。

從測試類型上看，感知系統(tǒng)測試針對車輛開發(fā)生命周期，存在不同的測試內(nèi)容。自動駕駛測試可分為模型在環(huán)(MiL)測試、軟件在環(huán)（SiL）測試，硬件在環(huán) (HiL)測試、整車在環(huán) (ViL) 測試等。本文重點介紹自動駕駛感知系統(tǒng)測試 SiL 和 HiL 相關(guān)部分。HiL 包含感知硬件設備，如攝像頭、激光雷達、人機交互感知模塊。而 SiL 通過軟件仿真來替換真實硬件產(chǎn)生的數(shù)據(jù)。兩者的測試目的都是在于驗證自動駕駛系統(tǒng)的功能、性能、魯棒性和可靠性等。針對特定的測試對象，不同類型的測試在每個感知系統(tǒng)開發(fā)階段，結(jié)合不同的測試技術(shù)，完成對應的驗證要求。當前自動駕駛感知信息主要來源于對幾類主要數(shù)據(jù)的分析獲得，包括基于圖像（攝像頭）、點云（激光雷達）、以及融合感知系統(tǒng)。本文主要分析這三類數(shù)據(jù)的感知測試。

2自動駕駛圖像系統(tǒng)測試

多類型攝像頭采集的圖像是自動駕駛感知最為重要的輸入數(shù)據(jù)類型之一。圖像數(shù)據(jù)能夠提供車輛運行前視、環(huán)視、后視和側(cè)視環(huán)境信息，幫助自動駕駛系統(tǒng)實現(xiàn)道路測距、目標識別與跟蹤、自動變道分析等功能。圖像數(shù)據(jù)具有多種格式，例如 RGB 圖像、語義圖像、景深圖像等。這些圖像格式存儲具有各自的特點，例如RGB圖像色彩信息更加豐富，景深圖片則包含更多的場景深度信息，語義圖像基于像素分類獲得，對于目標檢測和跟蹤任務更加有利。

基于圖像的自動駕駛感知系統(tǒng)測試依賴大規(guī)模的有效交通場景圖像進行訓練和測試驗證。然而真實道路采集數(shù)據(jù)人工標注成本高昂，數(shù)據(jù)采集周期過長，危險場景人工駕駛法律法規(guī)不完善，且標注質(zhì)量參差不齊。同時，交通場景數(shù)據(jù)還受到數(shù)據(jù)來源單一、數(shù)據(jù)多樣性不足等因素影響，不足以滿足自動駕駛研究的測試驗證要求。

國內(nèi)外研究者針對交通場景數(shù)據(jù)的構(gòu)造生成技術(shù)進行了大量的研究，利用數(shù)據(jù)變異、對抗生成網(wǎng)絡、仿真引擎生成和游戲模型渲染等方法構(gòu)建虛擬測試場景數(shù)據(jù)，從而獲得高質(zhì)量的測試數(shù)據(jù)，將不同的生成測試數(shù)據(jù)用于自動駕駛模型和數(shù)據(jù)增強。使用圖像硬編碼變換的方法生成測試圖像是一種有效方法?？梢岳枚喾N數(shù)學變換和圖像處理技術(shù)變異原始圖像，測試自動駕駛系統(tǒng)在不同環(huán)境條件下潛在的錯誤行為。

Zhang等人使用了基于對抗生成網(wǎng)絡的方法進行圖像風格變換，以模擬指定環(huán)境條件的車輛駕駛場景。一 些研究在虛擬環(huán)境中執(zhí)行自動駕駛測試，利用從物理仿真 模型中的 3D模型構(gòu)建交通場景，并渲染為 2D的圖像作 為感知系統(tǒng)的輸入。測試圖像還可以利用合成方式生成，在低維圖像的子空間中采樣可修改內(nèi)容并進行圖像合成，和對圖像直接變異相比，合成場景更加豐富，且圖像擾動操作更加自由。Fremont等人使用自動駕駛領(lǐng)域特定 編程語言 Scenic預先設計測試場景，使用游戲引擎接口 生成具體交通場景圖像，在目標檢測模型上使用渲染生成的圖像進行訓練和驗證。

Pei等人使用差分測試的思想尋找自動駕駛轉(zhuǎn)向模型的不一致輸出，還提出使用神經(jīng)元覆蓋率，即神經(jīng)網(wǎng)絡中神經(jīng)元超過預設給定激活閾值的比例，來衡量測試樣本的有效性。在神經(jīng)覆蓋基礎(chǔ)上，研究者還提出了很多新的測試覆蓋概念，例如神經(jīng)元邊界覆蓋、強神經(jīng)元覆蓋、層級神經(jīng)元覆蓋等。除此之外，使用啟發(fā)式搜索技術(shù)尋找目標測試用例，也是有效的方法，核心難點在于設計引導搜索的測試評估指標。自動駕駛圖像系統(tǒng)測試普遍存在特殊駕駛場景有標數(shù)據(jù)匱乏等問題。本團隊提出了一種自適應性的深度神經(jīng)網(wǎng)絡測試用例選擇方法ATS，以軟件測試領(lǐng)域中自適應隨機測試的思想為啟發(fā)，解決自動駕駛感知系統(tǒng)中深度神經(jīng)網(wǎng)絡測試數(shù)據(jù)標記的人力資源成本高這一難題。

3自動駕駛激光雷達系統(tǒng)測試

激光雷達作為自動駕駛系統(tǒng)至關(guān)重要的傳感器，夠測定傳感器發(fā)射器與目標物體之間的傳播距離，分析目標物體表面的反射能量大小、反射波譜的幅度、頻率和相位等信息。其采集的點云數(shù)據(jù)精確描繪了駕駛場景中各類物體的三維尺度與反射強度信息，能夠彌補攝像頭在數(shù)據(jù)形式和精度上不足。激光雷達在自動駕駛目標檢測與定位建圖等任務扮演著重要角色，僅靠單一視覺無法替代。

作為典型的復雜智能軟件系統(tǒng)，自動駕駛將激光雷達捕獲的周圍環(huán)境信息作為輸入，并通過感知模塊中的人工智能模型做出判斷，經(jīng)系統(tǒng)規(guī)劃控制后，完成各類駕駛?cè)蝿铡ｋm然人工智能模型的高復雜性賦予了自動駕駛系統(tǒng)的感知能力，但現(xiàn)有的傳統(tǒng)測試技術(shù)依賴于點云數(shù)據(jù)手動收集和標注，成本高昂效率低下。另一方面，點云數(shù)據(jù)具有無序、缺少明顯的顏色信息、容易受到天氣因素干擾、且信號容易衰減，使得點云數(shù)據(jù)的多樣性在測試過程中尤為重要。

針對基于激光雷達的自動駕駛系統(tǒng)測試還處于初步階段。實際路測和仿真測試都存在代價昂貴、測試效率低下、測試充分性無法保證等問題。針對自動駕駛系統(tǒng)面臨的測試場景多變、軟件系統(tǒng)龐大復雜、測試成本巨大等問題，能夠結(jié)合領(lǐng)域知識提出測試數(shù)據(jù)生成技術(shù)對自動駕駛系統(tǒng)保障有著重要意義。

在雷達點云數(shù)據(jù)生成方面，Sallab等人 通過構(gòu)建循環(huán)一致性生成對抗網(wǎng)絡對雷達點云數(shù)據(jù)進行建模，并對模擬數(shù)據(jù)進行特征分析生成新的點云數(shù)據(jù)。Yue等人提出了一個針對自動駕駛場景的點云數(shù)據(jù)生成框架，該框架通過精確地對游戲場景中的點云數(shù)據(jù)進行基于標注物體的變異，從而獲得新的數(shù)據(jù)，他們用該方法獲得的變異數(shù)據(jù)重新訓練自動駕駛系統(tǒng)的點云數(shù)據(jù)處理模塊，得到了較好的精確度提升。

本團隊設計并實現(xiàn)了一個激光雷達自動化測試工具 LiRTest, 主要用于自動駕駛汽車目標檢測系統(tǒng)的自動化測試，并且能夠進一步重新訓練以提升系統(tǒng)魯棒性。LiRTest 首先由領(lǐng)域?qū)＜以O計了物理和幾何模型，然后根據(jù)模型構(gòu)造變換算子。開發(fā)人員從現(xiàn)實世界的數(shù)據(jù)中選擇點云種子，利用點云處理單元對其進行識別和處理，并實現(xiàn)基于變換算子的變異算法，來生成評估自動駕駛 3D目標檢測模型的魯棒性的測試數(shù)據(jù)。最終 LiRTest 得到測試報告，并對算子設計給出反饋，從而迭代提升質(zhì)量。

自動駕駛系統(tǒng)是一種典型的信息 - 物理融合系統(tǒng)，其 運行狀態(tài)不僅由用戶輸入信息及軟件系統(tǒng)內(nèi)部狀態(tài)決定，同時也受到物理環(huán)境的影響。雖然目前有少量研究關(guān)注多種環(huán)境因素影響的點云數(shù)據(jù)生成問題，但由于點云數(shù)據(jù)的 自身特點，其生成數(shù)據(jù)的真實性很難與路測數(shù)據(jù)等同因此，如何在不明顯增加額外資源消耗的情況下，自動化地生成能夠描述多種真實環(huán)境因素的點云數(shù)據(jù)，是需要解決的一個關(guān)鍵問題。

在自動駕駛軟件常見軟件架構(gòu)中，人工智能模型對于駕駛決策及系統(tǒng)行為具有極其重要的影響，其影響到的功能包括：物體識別，路徑規(guī)劃，行為預測等。點云數(shù)據(jù)處理最常使用的人工智能模型是目標檢測模型，采用深度神經(jīng)網(wǎng)絡實現(xiàn)。雖然該技術(shù)可以在特定任務上獲得較高的精確度，但是由于其結(jié)果缺乏可解釋性，用戶與開發(fā)人員無法對其行為進行分析確認，給測試技術(shù)的研發(fā)以及測試充分性的評估帶來了極大的困難。這些，都是未來激光雷達模型測試人員需要面對的挑戰(zhàn)。

4自動駕駛?cè)诤细兄到y(tǒng)測試

自動駕駛系統(tǒng)通常配備多種傳感器以感知環(huán)境信息，并搭載多種軟件和算法以完成各類自動駕駛?cè)蝿?。不同傳感器具備不同的物理特性，其應用場景也存在差異。融合感知技術(shù)可以彌補單一傳感器環(huán)境適應性差的特點，通過多傳感器互相配合協(xié)作保證自動駕駛系統(tǒng)在各種環(huán)境條件下正常運行。

由于信息記錄方式的不同，不同類型傳感器之間存在較強互補性。攝像頭安裝成本低，采集的圖像數(shù)據(jù)分辨率高，具備豐富的顏色和紋理等視覺信息。然而，攝像頭對環(huán)境敏感，在夜晚、強光等光線變化時可能會不可靠。而激光雷達則不易受到光線變化的影響，在白天和黑夜中提供精確的三維感知能力。然而，激光雷達造價昂貴，采集的點云數(shù)據(jù)缺乏顏色信息，很難識別沒有明顯形狀的目標。如何利用各模態(tài)數(shù)據(jù)的優(yōu)點，挖掘更深層次的語義信息成了融合感知技術(shù)中的重要問題。

研究者們提出了多種數(shù)據(jù)融合的方法。基于深度學習的激光雷達和攝像頭的融合感知技術(shù)由于其高準確性已成為了主要研究方向。Feng等人將融合方法可簡要概括為三種 : 前期，中期和后期融合。前期融合僅對原始數(shù)據(jù)或預處理后的數(shù)據(jù)進行融合；中期融合對每個分支提取的數(shù)據(jù)特征進行交叉融合；后期融合僅融合每個分支最后的輸出結(jié)果。盡管基于深度學習的融合感知技術(shù)在現(xiàn)有的基準數(shù)據(jù)集中展示了巨大的潛力，但此類智能模型在環(huán)境復雜的真實場景中仍可能會表現(xiàn)出不正確和意外的極端行為，從而導致致命的損失。為確保自動駕駛系統(tǒng)的安全性，需要對這類融合感知模型進行完備的測試。

目前，融合感知測試技術(shù)仍處于初步階段，測試輸入域龐大，數(shù)據(jù)收集成本高是主要難題，自動化的測試數(shù)據(jù)生成技術(shù)因而得到了廣泛關(guān)注。Wang等人 提出一種跨模態(tài)數(shù)據(jù)增強算法，根據(jù)幾何一致性規(guī)則將虛擬對象插入到圖像和點云中生成測試數(shù)據(jù)集。Zhang 等人提出一種多模態(tài)數(shù)據(jù)增強方法，利用多模態(tài)轉(zhuǎn)換流保持點云和圖像像素之間的正確映射，并在此基礎(chǔ)上進一步提出了多模態(tài)剪切和粘貼增強方法。

考慮到真實場景中的復雜環(huán)境對傳感器的影響，本團隊設計了一種針對于多模態(tài)融合感知系統(tǒng)的數(shù)據(jù)擴增技術(shù)。該方法由領(lǐng)域?qū)＜覟楦髂B(tài)數(shù)據(jù)制定一套具有現(xiàn)實語義的變異規(guī)則，自動化的生成測試數(shù)據(jù)，以模擬真實場景中對傳感器干擾的多種因素，在有限的資源內(nèi)幫助軟件開發(fā)人員測試和評估融合感知系統(tǒng)。該方法使用的變異算子包含三大類別：信號噪聲算子，信號對齊算子和信號丟失算子，分別模擬真實場景中存在的 不同類型干擾。噪聲算子即指 在傳感器數(shù)據(jù)采集過程中，受環(huán)境因素影響而使得采集數(shù)據(jù)存在噪聲。例如，對于圖像數(shù)據(jù)，采用光斑、模糊等算子以模擬攝像頭遇強光，抖動時的狀況。對齊算子模擬了多模態(tài)數(shù)據(jù)模態(tài)未對齊的情況，具體包含時間未對齊和空間未對齊。對于前者，通過隨機將一路信號延后以模擬出現(xiàn)傳輸阻塞或延遲的情況。對于后者，通過對各傳感器的標定參數(shù)進行微小調(diào)整，以模擬在車輛在行進過程中由于車輛抖動等問題而導致傳感器發(fā)生位置輕微變化。信號丟失算子則模擬傳感器失靈。具體而言，隨機將一路信號丟棄后，觀察融合算法能否及時做出反應或正常工作。

總之，多傳感器融合感知技術(shù)是自動駕駛發(fā)展的必然趨勢，完備的測試是保證系統(tǒng)在復雜的真實環(huán)境中正常工作的必備條件，如何在有限資源內(nèi)充分的測試仍是一個亟待解決的問題。

結(jié)論

自動駕駛感知測試正與自動駕駛軟件開發(fā)流程緊密結(jié)合，各類在環(huán)測試將逐漸成為自動駕駛質(zhì)量保障的必要組成部分。在工業(yè)應用中，實際路測仍然重要。但是存在成本過高、效率不足、安全隱患大等問題，遠遠不能滿足自動駕駛智能感知系統(tǒng)的測試驗證需求。形式化方法、仿真虛擬測試多個分支研究領(lǐng)域快速發(fā)展提供了完善測試的有效途徑，研究者們探索適用于智能驅(qū)動的模型測試指標與技術(shù)，為虛擬仿真測試方法提供支撐。本團隊致力于研究自動駕駛感知測試數(shù)據(jù)生成、評估和優(yōu)化方式，重點面向基于圖像、點云數(shù)據(jù)和感知融合測試三個方面開展深入研究，以保障高質(zhì)量的自動駕駛感知系統(tǒng)。