[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛汽車想要自動(dòng)駕駛，首先要做的就是能對(duì)周邊環(huán)境實(shí)現(xiàn)精準(zhǔn)感知，也就是能“看”清道路，那自動(dòng)駕駛汽車如何在復(fù)雜、快速變化的道路環(huán)境中做到感知的精確又可靠？

自動(dòng)駕駛感知的定義及原理

在聊這個(gè)話題之前，我們先聊一聊感知是什么，自動(dòng)駕駛感知系統(tǒng)就是一個(gè)把外界變成機(jī)器可用信息的工程流水線。感知系統(tǒng)的輸入主要依靠如攝像頭（可見光、近紅外）、激光雷達(dá)（LiDAR）、毫米波雷達(dá)（RADAR）、超聲波傳感器、定位傳感器（GNSS/INS）以及車載慣性測(cè)量單元（IMU）等傳感器。這些傳感器各自擅長(zhǎng)不同事情，攝像頭分辨率高、能識(shí)別顏色和標(biāo)志，但在夜間或強(qiáng)反光時(shí)受限；雷達(dá)對(duì)速度和惡劣天氣的魯棒性強(qiáng)但分辨率低；LiDAR能給出精確的三維點(diǎn)云，有利于重建物體形狀和距離，但成本和在雨雪霧中的性能卻差強(qiáng)人意。自動(dòng)駕駛汽車想實(shí)現(xiàn)精確感知不是只靠某一種傳感器就可以，而是要把這些互補(bǔ)傳感器組合成一個(gè)“感知套件”，由軟硬件把傳感器的原始數(shù)據(jù)轉(zhuǎn)成語義化、結(jié)構(gòu)化的環(huán)境模型（例如：周圍有哪些物體、它們的位置、速度、預(yù)測(cè)軌跡等），供規(guī)劃與控制模塊使用。

為什么一定要把不同傳感器的數(shù)據(jù)融合起來？想像一下人類開車的感知，在白天主要靠視覺，但雨夜或濃霧環(huán)境中，視覺感官受到影響，此時(shí)就需要靠觸覺、聽覺甚至微妙的經(jīng)驗(yàn)來彌補(bǔ)視力不足，對(duì)于自動(dòng)駕駛汽車來說也是如此。單一傳感器有“盲區(qū)”和特定失效模式，攝像頭在強(qiáng)逆光、夜間或遮擋物后面就看不見；雷達(dá)在細(xì)小形狀的細(xì)節(jié)檢測(cè)上弱；LiDAR在大雨和積雪時(shí)會(huì)產(chǎn)生噪聲。將多傳感器數(shù)據(jù)做融合，不僅能互補(bǔ)信息，還能通過冗余提高安全性和魯棒性。這些融合既包括在原始數(shù)據(jù)層面的“早期融合”（例如把點(diǎn)云投影到圖像上做聯(lián)合感知），也包括在決策層或軌跡層面的“后期融合”。近年來大量研究把深度學(xué)習(xí)方法與傳統(tǒng)濾波器方法結(jié)合，用以提升融合效果與實(shí)時(shí)性。

既然感知系統(tǒng)非常重要，那感知系統(tǒng)的工作流程有哪些？其實(shí)可以把感知系統(tǒng)分成幾個(gè)連續(xù)的子任務(wù)，即傳感器數(shù)據(jù)采集、時(shí)間同步與預(yù)處理、檢測(cè)與分割、跟蹤與狀態(tài)估計(jì)、場(chǎng)景理解與預(yù)測(cè)、以及最終的輸出表示。數(shù)據(jù)采集要求硬件接口、高帶寬和確定性時(shí)延；時(shí)間同步要把不同傳感器的時(shí)序?qū)R，否則融合出的世界模型會(huì)出現(xiàn)“幽靈”物體。預(yù)處理包括去噪、畸變校正（攝像頭畸變、LiDAR的點(diǎn)云去畸變）、以及基于內(nèi)參/外參的坐標(biāo)變換。檢測(cè)通常是深度網(wǎng)絡(luò)或者基于點(diǎn)云的模型輸出物體邊界框與類別；跟蹤模塊會(huì)把連續(xù)幀中的檢測(cè)結(jié)果關(guān)聯(lián)起來，估計(jì)物體的速度與加速度，使后續(xù)預(yù)測(cè)更穩(wěn)定；預(yù)測(cè)模塊給出未來幾秒內(nèi)其他參與者可能的運(yùn)動(dòng)；最后把這些語義化信息打包成地圖層、障礙列表、車道信息等。整個(gè)鏈路要求實(shí)時(shí)性、確定性與可解釋性（尤其在安全場(chǎng)景下）。這些模塊在工程上往往并非完全獨(dú)立，而是一個(gè)有反饋回路的系統(tǒng)，感知的置信度會(huì)反饋給規(guī)劃層以決定是否降級(jí)或請(qǐng)求人工接管。

如何確保感知的準(zhǔn)確性？

懂得了感知系統(tǒng)的工作流程，那如何保證感知“精確”？在談及這個(gè)之前，先說“精確”到底包含什么，“精確”即定位精度（egovehiclelocalization）、檢測(cè)精度（有沒有漏報(bào)或誤報(bào)）、測(cè)距精度（目標(biāo)與車的相對(duì)位置誤差）、速度/軌跡估計(jì)精度、以及語義/類別識(shí)別準(zhǔn)確率等。

硬件層面的保證主要是冗余與分工。冗余是指同一類或不同類傳感器的數(shù)量和布局以避免單點(diǎn)失效，例如前向長(zhǎng)距雷達(dá)用于高速遠(yuǎn)距探測(cè)，側(cè)向短距雷達(dá)加強(qiáng)盲區(qū)探測(cè)，頂部LiDAR提供360°點(diǎn)云感知，多個(gè)攝像頭覆蓋不同視角以完成覆蓋和立體視覺。傳感器的選擇和放置不是隨意的工程美學(xué)，而是基于視野、量程、分辨率、以及車輛動(dòng)力學(xué)需求來決定的。不同廠商會(huì)根據(jù)成本和業(yè)務(wù)場(chǎng)景在“全套感知”與“精簡(jiǎn)感知”之間做平衡，像Waymo、Cruise等機(jī)器人出租車一般采用較豐富的套件以追求更高的魯棒性。

算法層面的保證包含感知模型本身的設(shè)計(jì)、融合策略與不確定性建模。傳統(tǒng)的濾波方法（卡爾曼濾波、擴(kuò)展卡爾曼濾波、粒子濾波等）長(zhǎng)期用于目標(biāo)跟蹤和狀態(tài)估計(jì)，擅長(zhǎng)在已建模噪聲下給出概率最優(yōu)估計(jì)；近年深度學(xué)習(xí)在物體檢測(cè)、語義分割、以及基于注意力的跨模態(tài)融合上表現(xiàn)出強(qiáng)大能力，因此實(shí)際系統(tǒng)常見“混合”策略：用深度網(wǎng)絡(luò)做檢測(cè)/分類/分割，用濾波器做跟蹤與狀態(tài)平滑，并在融合時(shí)引入基于置信度的不確定性加權(quán)。對(duì)于多傳感器延遲、數(shù)據(jù)丟包或?qū)R誤差，工程上也會(huì)用時(shí)序補(bǔ)償、延遲估計(jì)與延遲補(bǔ)償算法來降低誤差影響。最新研究還把“感知的不確定性”直接納入網(wǎng)絡(luò)輸出（例如輸出置信度與協(xié)方差矩陣），讓上層規(guī)劃模塊依據(jù)不確定性決定更保守的動(dòng)作。

標(biāo)定與同步是工程里經(jīng)常被低估但至關(guān)重要的一環(huán)。每個(gè)傳感器都有自己的內(nèi)參（例如攝像頭的焦距、畸變系數(shù)）和外參（傳感器相對(duì)于車輛坐標(biāo)系的位姿）。多傳感器融合的前提是這些外參要在毫米級(jí)或更高精度下正確，不然融合出的點(diǎn)云和圖像映射會(huì)出現(xiàn)偏移，最終導(dǎo)致誤判或跟蹤失敗。標(biāo)定分為靜態(tài)標(biāo)定（在實(shí)驗(yàn)室或停車場(chǎng)用標(biāo)定板完成）和在線自標(biāo)定（車輛在運(yùn)行過程中對(duì)外參進(jìn)行微調(diào)以應(yīng)對(duì)安裝抖動(dòng)或溫度引起的漂移）。此外，時(shí)間同步（把不同傳感器的采樣時(shí)間統(tǒng)一）也同等重要：即便空間對(duì)齊精確，如果時(shí)間不同步，在高速場(chǎng)景下也會(huì)導(dǎo)致相同物體在不同傳感器的相對(duì)位置發(fā)生顯著偏移。工程實(shí)踐包括定期自動(dòng)校準(zhǔn)、啟動(dòng)自檢、以及對(duì)標(biāo)定變差的容錯(cuò)策略。

數(shù)據(jù)和驗(yàn)證策略則是保證精確的另一個(gè)重要維度。自動(dòng)駕駛感知的訓(xùn)練與測(cè)試強(qiáng)烈依賴大規(guī)模、多樣化、帶標(biāo)注的數(shù)據(jù)集。過去十年里，出現(xiàn)了諸如KITTI、nuScenes、WaymoOpenDataset等公開數(shù)據(jù)集，這些數(shù)據(jù)集包含不同城市、天氣、傳感器組合下的標(biāo)注，是算法開發(fā)和benchmark的基石。除了離線數(shù)據(jù)集，行業(yè)還大量依賴仿真（包含高保真物理渲染與傳感器噪聲建模）來補(bǔ)充稀有或危險(xiǎn)場(chǎng)景的訓(xùn)練樣本。驗(yàn)證不僅是單純的離線指標(biāo)評(píng)估（例如平均精度AP、定位誤差等），更重要的是系統(tǒng)級(jí)測(cè)試，也就是在閉環(huán)仿真、封閉場(chǎng)地的場(chǎng)景回放、以及大量里程的實(shí)際道路測(cè)試中評(píng)估感知在真車條件下的表現(xiàn)。只有通過多層次、多場(chǎng)景的檢驗(yàn)，才能對(duì)一個(gè)感知系統(tǒng)的精確性和魯棒性形成工程級(jí)信心。

那在工程實(shí)施上，如何處理罕見但危險(xiǎn)的場(chǎng)景？這里有兩個(gè)常見做法，一是“擴(kuò)大數(shù)據(jù)覆蓋”，通過有針對(duì)性的采集與仿真合成極端天氣、罕見交互、以及遮擋場(chǎng)景；二是“安全降級(jí)策略”，也就是說當(dāng)感知置信度下降或發(fā)現(xiàn)顯著不一致（例如LiDAR檢測(cè)到物體但相機(jī)未確認(rèn)，且置信度低）時(shí)，系統(tǒng)會(huì)觸發(fā)如減速、靠邊、進(jìn)入受限模式或請(qǐng)求人工接管等更保守的規(guī)劃策略。把“系統(tǒng)不確定性”作為主動(dòng)決策的輸入，是保證安全的重要設(shè)計(jì)思想。制造一個(gè)既勇敢又謹(jǐn)慎的自動(dòng)駕駛系統(tǒng)，本質(zhì)上是工程上的權(quán)衡藝術(shù)。

另外，感知系統(tǒng)的可解釋性、可追溯性也非常重要，尤其在出現(xiàn)事故或異常時(shí)。這就需要設(shè)計(jì)完整的日志體系，記錄感知模塊的每一步置信度、傳感器狀態(tài)、標(biāo)定歷史和異常告警。這不僅可以幫助定位故障根因，也為算法改進(jìn)提供數(shù)據(jù)支持。在某些嚴(yán)格的驗(yàn)證場(chǎng)景下，廠家會(huì)把感知決策的關(guān)鍵中間表示（例如特征圖、點(diǎn)云投影、跟蹤歷史）保存下來，以便事后復(fù)盤和法規(guī)合規(guī)需要。

那未來感知系統(tǒng)會(huì)如何發(fā)展？隨著端到端深度學(xué)習(xí)在某些感知子任務(wù)上取得突破，可以通過聯(lián)合視覺+點(diǎn)云的多模態(tài)網(wǎng)絡(luò)提升檢測(cè)精度；此外，傳感器硬件也在迭代，成像雷達(dá)、固態(tài)LiDAR、以及更高分辨率的毫米波雷達(dá)正在被商業(yè)化，提供了更多選擇。工程層面其實(shí)更強(qiáng)調(diào)“軟硬件協(xié)同優(yōu)化”，也就是把傳感器能力、數(shù)據(jù)帶寬、算力、以及算法設(shè)計(jì)一起考慮，做出成本-性能-安全的平衡。運(yùn)營(yíng)層面，則是把大量現(xiàn)實(shí)車隊(duì)數(shù)據(jù)回傳，做持續(xù)的模型迭代和邊緣部署更新，以提升系統(tǒng)在真實(shí)世界的長(zhǎng)期表現(xiàn)。

最后的話

總結(jié)一下，自動(dòng)駕駛的感知系統(tǒng)不是單一的“相機(jī)”或“激光雷達(dá)”，而是一個(gè)由多種傳感器、復(fù)雜算法、嚴(yán)格標(biāo)定和系統(tǒng)級(jí)驗(yàn)證組成的工程體系。要做到“精確”，需要在硬件冗余、算法融合、不確定性建模、標(biāo)定同步、以及大規(guī)模數(shù)據(jù)驗(yàn)證上同時(shí)用力。技術(shù)路上沒有捷徑，只有工程上的反復(fù)驗(yàn)證、對(duì)異常的深入分析與對(duì)系統(tǒng)安全邊界的嚴(yán)謹(jǐn)設(shè)計(jì)，才能把“看見世界”的能力變成可用、可控、可驗(yàn)證的自動(dòng)駕駛產(chǎn)。