自動駕駛感知傳感器概述

[首發(fā)于智駕最前沿微信公眾號]自動駕駛系統(tǒng)通常采用多種感知傳感器協(xié)同感知車輛周圍環(huán)境。攝像頭可獲取高分辨率的環(huán)境圖像，能夠識別車道線、交通標(biāo)志、信號燈以及物體的顏色和紋理信息，成本低廉，技術(shù)成熟。然而攝像頭作為被動傳感器，依賴環(huán)境光照，在夜間或惡劣天氣下性能下降，且單目攝像頭無法直接獲得深度信息（需要額外假設(shè)或立體視差），典型單目在20米外測距精度迅速下降，立體攝像頭在80米之外精度也顯著降低。

毫米波雷達(dá)（常見工作在77GHz）是主動傳感器，可探測幾十米到上百米外的目標(biāo)距離，同時通過多普勒效應(yīng)直接測量目標(biāo)相對速度，是自適應(yīng)巡航（ACC）和緊急制動（AEB）等功能的重要傳感器。毫米波雷達(dá)抗干擾和環(huán)境適應(yīng)性強，能較好穿透雨、霧和塵埃，但角分辨率和精度不如激光雷達(dá)。

激光雷達(dá)通過發(fā)射激光測距，能產(chǎn)生高精度的三維點云，實現(xiàn)數(shù)米到200米以上的遠(yuǎn)距離物體探測。激光雷達(dá)分辨率高，可360度覆蓋環(huán)境并準(zhǔn)確測量物體位置，但成本昂貴、數(shù)據(jù)量大，對雨雪和烈日等惡劣環(huán)境敏感（如激光反射受影響），且由于發(fā)射脈沖間隔，在非常近距離的探測能力有限。

超聲波傳感器探測距離很近（通常在3米以內(nèi)），主要用于停車和近距離障礙物避撞，分辨率適中、成本極低，但由于信號波長較長，只適合低速狀態(tài)下檢測小距離障礙物。綜合比較可以看出：毫米波雷達(dá)距離遠(yuǎn)、可測速、全天氣工作；激光雷達(dá)精度高、提供完整3D數(shù)據(jù)；攝像頭成本低、分辨率高、提供豐富視覺信息；超聲波用于極近距離探測并降低成本。

由于各傳感器各有優(yōu)勢與劣勢，業(yè)界普遍采用多傳感器融合架構(gòu)以取長補短。Waymo等L4以上自動駕駛車輛就集成了多顆激光雷達(dá)、雷達(dá)和攝像頭，而百度Apollo L4級別系統(tǒng)的環(huán)境感知模塊通過融合激光雷達(dá)、毫米波雷達(dá)和攝像頭，實現(xiàn)車身周圍360度視角并可檢測240米外的障礙物。特斯拉則堅持純視覺方案，但絕大多數(shù)自動駕駛方案都使用至少兩種以上傳感器，包括攝像頭、毫米波雷達(dá)、激光雷達(dá)和超聲波雷達(dá)等。攝像頭主要負(fù)責(zé)車道線和交通標(biāo)志識別、物體分類等；雷達(dá)和激光雷達(dá)則負(fù)責(zé)障礙物距離、速度和幾何信息測量；超聲波則在低速時掃描近距離障礙以輔助泊車和變道等。通過多傳感器協(xié)同感知，自動駕駛系統(tǒng)可對環(huán)境做出更可靠的估計，從而顯著提高安全性和魯棒性。

多傳感器數(shù)據(jù)融合技術(shù)

在自動駕駛中，多傳感器數(shù)據(jù)融合旨在將來自不同來源的信息集成為對環(huán)境狀態(tài)的統(tǒng)一估計。實現(xiàn)這一目標(biāo)需要首先在時間和空間上對各傳感器數(shù)據(jù)進(jìn)行對齊。時間同步要求各傳感器的數(shù)據(jù)在同一時間基準(zhǔn)下對齊，以保證后續(xù)計算的一致性。常用方法有硬件同步和軟件同步。

硬件同步利用統(tǒng)一時鐘源（如GNSS時鐘、專用時鐘觸發(fā)線）對各傳感器的時鐘進(jìn)行校準(zhǔn)，每次采集數(shù)據(jù)時自動打上統(tǒng)一的全局時間戳，從而實現(xiàn)亞微秒級精準(zhǔn)同步。軟件同步則在主機端根據(jù)各傳感器時間戳進(jìn)行匹配，將高頻傳感器數(shù)據(jù)對齊到低頻傳感器的幀周期上，例如以激光雷達(dá)較長的采樣周期為基準(zhǔn)，將相機、雷達(dá)等數(shù)據(jù)插值對齊。

在實際車輛上，兩種同步方式通常結(jié)合使用。車輛可以借助GNSS接收機或時鐘服務(wù)器提供統(tǒng)一時間，同時在軟件層通過緩存隊列、插值和時間戳校正等技術(shù)補償延遲和時鐘漂移，以保證數(shù)據(jù)時序的精確對齊?？臻g對齊（坐標(biāo)系對齊）則要求將不同傳感器在各自坐標(biāo)系下的測量值轉(zhuǎn)換到同一車輛坐標(biāo)系下進(jìn)行融合，這依賴于精準(zhǔn)的標(biāo)定參數(shù)。傳感器標(biāo)定包括內(nèi)參標(biāo)定（如相機的焦距、畸變）和外參標(biāo)定（各傳感器間的相對位置和姿態(tài)），是多傳感器融合的基礎(chǔ)。利用標(biāo)定結(jié)果，可將激光點云、雷達(dá)探測、攝像圖像等數(shù)據(jù)投影到統(tǒng)一的三維空間中，實現(xiàn)數(shù)據(jù)在空間維度的對準(zhǔn)。

完成時空對齊后，需要對來自不同傳感器的測量進(jìn)行數(shù)據(jù)關(guān)聯(lián)。即使在同一時刻，不同傳感器對同一目標(biāo)的檢測輸出可能會有偏差甚至出現(xiàn)多對一或一對多的情況，因此需要通過閾值門限、多維近鄰搜索、馬氏距離檢索、匈牙利算法等多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)方法，將傳感器之間對環(huán)境中同一個物體的觀測配對，形成跨傳感器的一致觀測鏈路。這一步是確保融合準(zhǔn)確性的關(guān)鍵，常見做法包括先使用卡爾曼濾波或貝葉斯濾波預(yù)測目標(biāo)軌跡，然后將新觀測與預(yù)測進(jìn)行匹配，并更新目標(biāo)狀態(tài)。

貝葉斯濾波框架是目前多傳感器融合的主流方法。在這一框架下，系統(tǒng)通過對目標(biāo)狀態(tài)進(jìn)行預(yù)測和更新循環(huán)，不斷綜合新觀測信息。經(jīng)典的卡爾曼濾波（KF）及其擴(kuò)展擴(kuò)展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF）都是常用的算法。卡爾曼濾波對于線性高斯系統(tǒng)能夠提供最優(yōu)的狀態(tài)估計，通過遞歸的預(yù)測–更新步驟融合各傳感器觀測。EKF和UKF用于處理系統(tǒng)的非線性，通過在每個時刻線性化（EKF）或使用sigma點分布（UKF）來更新狀態(tài)。也有研究指出，卡爾曼濾波之所以在多傳感器融合中取得成功，前提是需要建立精確的系統(tǒng)狀態(tài)方程和觀測方程，并合理假設(shè)系統(tǒng)與觀測噪聲的統(tǒng)計分布。此外，粒子濾波等蒙特卡洛方法也被應(yīng)用于非高斯或高度非線性的環(huán)境中，用隨機樣本估計后驗分布，但計算復(fù)雜度通常較高。

除了傳統(tǒng)濾波方法，深度學(xué)習(xí)也開始被用于多傳感器融合。利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等深度模型能夠?qū)W習(xí)傳感器數(shù)據(jù)的復(fù)雜特征表示，實現(xiàn)端到端的融合和識別。例如，早期的深度融合方法通過多分支網(wǎng)絡(luò)分別提取雷達(dá)點云和圖像特征，再通過注意力機制等方式融合特征?；谏疃葘W(xué)習(xí)的方法優(yōu)勢在于能挖掘信息源間的高階關(guān)聯(lián)，并在訓(xùn)練時聯(lián)合優(yōu)化，但需要海量標(biāo)注數(shù)據(jù)和高算力，普遍計算開銷較大。除傳統(tǒng)和深度方法外，還有基于加權(quán)平均、置信度融合（如加權(quán)平均、Dempster-Shafer證據(jù)理論）等方法，通常用在簡單感知任務(wù)中。綜合而言，多傳感器融合技術(shù)可以發(fā)生在數(shù)據(jù)層（原始數(shù)據(jù)級融合）、特征層或決策層，不同層級的融合各有權(quán)衡：前者融合早、對齊難度大；后者融合靈活、可維護(hù)性高。常見實踐中通常在檢測與跟蹤階段分別或級聯(lián)地進(jìn)行融合。

感知數(shù)據(jù)一致性校驗機制

在自動駕駛感知系統(tǒng)中，為保證最終環(huán)境估計的可靠性和安全性，需要對融合后數(shù)據(jù)進(jìn)行一致性校驗。一種常用思路是傳感器冗余和交叉驗證，使用多個傳感器對同一區(qū)域或同一物理量進(jìn)行冗余測量，從而互為備份，若某一傳感器輸出出現(xiàn)異常，可通過其他傳感器確認(rèn)并進(jìn)行容錯。如多種異源傳感器實現(xiàn)冗余感知中算法層通過激光雷達(dá)、毫米波雷達(dá)和攝像頭提供的數(shù)據(jù)融合建立高冗余架構(gòu)，顯著提升系統(tǒng)容錯能力。同時，系統(tǒng)還可以交叉驗證不同信息源。比如在紅綠燈識別場景中，車輛可將攝像頭識別的紅綠燈顏色和倒計時信息與高精度地圖（HD地圖）中的先驗信號狀態(tài)進(jìn)行比對驗證，通過多源信息的相互校驗來提高識別的魯棒性和可靠性。類似地，如果雷達(dá)探測出前方有障礙物，而攝像頭未確認(rèn)目標(biāo)，或者兩者檢測距離嚴(yán)重不符，則可能意味著傳感器故障或環(huán)境特殊情況，系統(tǒng)可以觸發(fā)警告或啟動備份方案。

還可以利用傳感器“內(nèi)在冗余”的思想來驗證一致性，即不同傳感器對同一物理現(xiàn)象有相關(guān)響應(yīng)，通過分析它們的關(guān)聯(lián)性來檢測異常。如加速踏板踩下后，發(fā)動機轉(zhuǎn)速、車速、GPS位置和IMU加速度等多傳感器信號應(yīng)當(dāng)保持一定關(guān)聯(lián)性，一旦某個傳感器輸出與其他傳感器數(shù)據(jù)長期不符合，可以判斷其可能出現(xiàn)故障?；诖怂悸?，有研究使用深度自編碼器等機器學(xué)習(xí)技術(shù)學(xué)習(xí)車輛在正常駕駛狀態(tài)下各傳感器數(shù)據(jù)的典型聯(lián)合分布，當(dāng)某傳感器數(shù)據(jù)異常時重構(gòu)誤差劇增，從而實現(xiàn)對傳感器輸出異常的自動檢測。

自動駕駛平臺通常還包括傳感器自檢和異常檢測機制。相機可以檢測鏡頭遮擋（如水滴或污漬）、曝光過度或功耗異常；激光雷達(dá)可以監(jiān)測回波強度分布和激光發(fā)射頻率，若出現(xiàn)異常衰減或噪聲激增則報警；毫米波雷達(dá)自身可以進(jìn)行自校準(zhǔn)并檢測天線方向偏差等。通過硬件自診斷和軟件檢查相結(jié)合的方法，可及時發(fā)現(xiàn)單個傳感器的異常情況。當(dāng)發(fā)生硬件故障時，系統(tǒng)也常采用軟硬件協(xié)同策略，比如切換到備用傳感器或降低自動駕駛級別。綜上，多傳感器感知系統(tǒng)通過冗余設(shè)計、交叉驗證、以及數(shù)據(jù)驅(qū)動的異常檢測算法等多種手段來校驗感知一致性，提高系統(tǒng)可靠性。

工程實踐中的問題及應(yīng)對策略

在真實工程中，多傳感器融合面臨多種挑戰(zhàn)，需要綜合軟硬件方法來應(yīng)對。數(shù)據(jù)延遲和時序漂移是常見問題。不同傳感器的數(shù)據(jù)采樣頻率和傳輸延遲差異很大，例如相機幀時間、雷達(dá)幀率、網(wǎng)絡(luò)通信和處理延遲等均可能引入不可忽略的時間偏移。若未及時校正，這些時間不對齊會導(dǎo)致不同傳感器對同一時刻場景的觀察不一致，從而影響決策。在視覺慣性系統(tǒng)中，如果IMU與攝像頭數(shù)據(jù)時差超過閾值（如10毫秒），就會導(dǎo)致特征匹配錯誤甚至濾波發(fā)散。在自動駕駛的動態(tài)避障場景中，若將過去的障礙位置誤認(rèn)為是當(dāng)前狀態(tài)，可能造成嚴(yán)重安全事故。應(yīng)對策略包括使用精確時鐘同步（如基于GPS/RTK或IEEE1588PTP協(xié)議）保證各部件時鐘漂移最小化；在軟件層面設(shè)計時戳對齊算法、雙緩沖隊列和預(yù)測插值機制，將不同頻率傳感器的數(shù)據(jù)轉(zhuǎn)換到統(tǒng)一時間基準(zhǔn)。算法上還可引入延遲補償，對低頻傳感器數(shù)據(jù)進(jìn)行時間插值，或者使用短期運動模型預(yù)測等待較慢傳感器數(shù)據(jù)，以緩解時延帶來的錯位。

時鐘漂移和標(biāo)定漂移也是需要持續(xù)關(guān)注的長期問題。車輛行駛過程中，傳感器之間的相對位置可能會因機械振動、溫度變化等因素發(fā)生微小偏移，導(dǎo)致標(biāo)定誤差累積。如激光雷達(dá)與攝像頭的外參在運行中會受到振動和溫度影響而漂移，而精確的外參轉(zhuǎn)換對于點云與圖像的高效融合至關(guān)重要。因此，需要動態(tài)校準(zhǔn)技術(shù)以應(yīng)對標(biāo)定漂移，除了傳統(tǒng)的離線標(biāo)定外，還可以在行駛過程中通過特征匹配（如道路線、建筑物邊緣等）或優(yōu)化方法實時更新傳感器外參，以保證長時間運行中的空間對準(zhǔn)精度。例如一些在線標(biāo)定方法利用多傳感器采集的場景特征（車輛模型、邊緣特征）自動估計激光-視覺標(biāo)定參數(shù)，提高了標(biāo)定的魯棒性。此外，系統(tǒng)設(shè)計時也會采用更穩(wěn)固的安裝支架和隔振結(jié)構(gòu)以減少硬件位移。

數(shù)據(jù)誤差和校準(zhǔn)誤差也是關(guān)注重點。如傳感器自身的標(biāo)定誤差、測量噪聲、環(huán)境條件對感知精度的影響等。自動駕駛系統(tǒng)通過軟硬件結(jié)合來應(yīng)對，硬件層面可采用冗余傳感器和自適應(yīng)傳感器模塊（如可變增益攝像頭、自動聚焦等）減小誤差；算法上可以在融合濾波器中加入狀態(tài)自適應(yīng)、噪聲估計等功能，以動態(tài)調(diào)整傳感器不確定性權(quán)重。例如，通過擴(kuò)展卡爾曼濾波器（EKF）不斷估計和修正傳感器偏置參數(shù)；或在深度學(xué)習(xí)網(wǎng)絡(luò)中加入不確定性模型，對異常觀測進(jìn)行權(quán)重衰減。此外，系統(tǒng)還會對網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)包使用順序檢查和時間戳驗證，避免亂序帶來的數(shù)據(jù)錯配；對長時間運行可能產(chǎn)生的積累誤差，定期重啟傳感器或進(jìn)入校準(zhǔn)模式進(jìn)行校正。

最后的話

自動駕駛中的多傳感器融合需要解決時序同步、空間對齊、數(shù)據(jù)關(guān)聯(lián)和模型融合等多方面問題，同時針對工程中的數(shù)據(jù)延遲、時鐘漂移、噪聲和校準(zhǔn)漂移等挑戰(zhàn)采用軟硬件協(xié)同策略。通過利用高精度時鐘源、動態(tài)在線校準(zhǔn)算法、魯棒濾波優(yōu)化、以及深度學(xué)習(xí)等先進(jìn)技術(shù)，自動駕駛感知系統(tǒng)能夠在復(fù)雜環(huán)境下保持?jǐn)?shù)據(jù)一致性和融合精度，實現(xiàn)安全可靠的環(huán)境感知。

審核編輯 黃宇