[首發(fā)于智駕最前沿微信公眾號(hào)]為確保自動(dòng)駕駛安全，很多技術(shù)方案中都會(huì)采用感知冗余的方式來(lái)兜底，即在車(chē)輛上加裝多個(gè)傳感器，以實(shí)現(xiàn)更多的信息感知。其實(shí)對(duì)于自動(dòng)駕駛汽車(chē)來(lái)說(shuō)，每個(gè)傳感器都有自身的優(yōu)勢(shì)和劣勢(shì)，所能應(yīng)對(duì)的交通場(chǎng)景也不一樣。

攝像頭看得清楚，能分辨顏色、識(shí)別交通標(biāo)志和車(chē)道線(xiàn)，但遇到夜晚強(qiáng)逆光、霧霾或暴雨就容易丟失信息。毫米波雷達(dá)在雨雪或塵霧里還能給出速度和距離信息，但對(duì)物體形狀的分辨率比較差，不能很好判斷行人的姿態(tài)。激光雷達(dá)（LiDAR）能把周?chē)龀扇S點(diǎn)云，距離很精確，對(duì)遮擋關(guān)系判斷也有優(yōu)勢(shì)，可是成本、封裝和在某些極端天氣下的表現(xiàn)也有局限。IMU、GPS這類(lèi)慣性/定位設(shè)備給出姿態(tài)和位置基準(zhǔn)，但在城市峽谷或隧道里會(huì)漂移。

將這些傳感器放在一起，的確能夠互補(bǔ)各自的短板。但也正因?yàn)槎鄠€(gè)傳感器同時(shí)使用，會(huì)導(dǎo)致感知信息相互沖突，再加上不同傳感器的時(shí)間戳、安裝姿態(tài)、采樣頻率不完全一致，這些細(xì)微差異累積起來(lái)，就會(huì)放大沖突本身。如果沒(méi)有一套穩(wěn)健的對(duì)齊、過(guò)濾和置信度機(jī)制，這些矛盾會(huì)持續(xù)干擾跟蹤和識(shí)別，讓系統(tǒng)在關(guān)鍵場(chǎng)景里變得猶豫甚至判斷失準(zhǔn)。

多個(gè)傳感器同時(shí)使用的復(fù)雜性在哪里？

把多種傳感器放一起會(huì)帶來(lái)很多細(xì)枝末節(jié)的麻煩，加一個(gè)傳感器，不只是多臺(tái)設(shè)備那么簡(jiǎn)單。它們的差異化特性會(huì)在工程、算法和驗(yàn)證上不斷疊加出新的問(wèn)題，會(huì)使得感知任務(wù)變得更為復(fù)雜。

想讓多個(gè)傳感器感知的信息可以同步，需要將不同傳感器定位到同一個(gè)坐標(biāo)系里，這里的精度要求非常高。哪怕傳感器位置偏幾毫米、姿態(tài)偏幾度，融合后的結(jié)果就可能把障礙物投錯(cuò)地方，影響跟蹤和決策。車(chē)輛行駛中會(huì)震動(dòng)、溫度變化會(huì)引起熱脹冷縮，車(chē)體件長(zhǎng)期使用后也會(huì)微微變形，這些都會(huì)讓外參逐步漂移。所以需要在裝配線(xiàn)上做高精度初始標(biāo)定，還要有在線(xiàn)自標(biāo)定或定期復(fù)標(biāo)的機(jī)制。沒(méi)有穩(wěn)定的外參，任何融合算法都很難發(fā)揮作用。

不同傳感器的采樣率、處理延遲、傳輸鏈路也不一樣。如果不把它們?cè)跁r(shí)間上糾正，移動(dòng)物體在不同數(shù)據(jù)源里對(duì)應(yīng)的是不同時(shí)間的狀態(tài)，結(jié)合起來(lái)的世界模型就會(huì)有位移和速度上的錯(cuò)配。為解決這一問(wèn)題，在硬件層面可以使用統(tǒng)一時(shí)鐘（比如GPS的PPS脈沖、IEEE 1588 PTP）的方式，在軟件層面可以使用插值和時(shí)間補(bǔ)償?shù)姆椒?，但這些方案在工程上都要落地調(diào)試，否則在真實(shí)路況下就容易出問(wèn)題。

傳感器數(shù)據(jù)類(lèi)型本身就是異構(gòu)的麻煩來(lái)源，圖像是二維柵格的像素，點(diǎn)云是稀疏的三維坐標(biāo)，雷達(dá)回波有強(qiáng)度和多普勒信息，慣性計(jì)會(huì)輸出高頻連續(xù)信號(hào)。它們的噪聲模型不同，可信度不同，處理方式也不同。在帶寬與計(jì)算資源受限的情況下，需要在傳感器端做預(yù)處理、壓縮或裁剪，才能把“有用”的東西送到中央計(jì)算單元。高分辨率相機(jī)和高線(xiàn)數(shù)LiDAR一起，會(huì)把車(chē)載以太網(wǎng)和處理器推到瓶頸，這就涉及到硬件選型、網(wǎng)絡(luò)架構(gòu)與邊緣計(jì)算能力的綜合平衡。

多個(gè)傳感器同時(shí)使用，避免不了要進(jìn)行傳感器融合，傳感器融合可以發(fā)生在不同層級(jí)，如把原始數(shù)據(jù)統(tǒng)一到某種表現(xiàn)形式后一起處理、把各自的特征融合，或者僅在決策層合并單獨(dú)感知結(jié)果，每種方式對(duì)同步、標(biāo)定和計(jì)算的敏感度都不同?，F(xiàn)在有很多技術(shù)使用基于深度學(xué)習(xí)的跨模態(tài)融合網(wǎng)絡(luò)，這些網(wǎng)絡(luò)需要大量對(duì)齊標(biāo)注的數(shù)據(jù)來(lái)訓(xùn)練，還要有對(duì)不確定性的建模和置信度輸出，否則當(dāng)某個(gè)傳感器異常時(shí)，系統(tǒng)不能安全降級(jí)或會(huì)作出錯(cuò)誤判斷。

當(dāng)使用當(dāng)傳感器越多，系統(tǒng)架構(gòu)和功能安全也會(huì)變得更復(fù)雜。感知模塊、域控制器、中央域控制器之間如何劃分計(jì)算負(fù)載，哪些路徑要走硬實(shí)時(shí)（系統(tǒng)某一條處理鏈路必須在規(guī)定時(shí)間內(nèi)完成，哪怕只晚了幾十毫秒，都被視為失敗，因?yàn)榭赡軒?lái)安全風(fēng)險(xiǎn)。），哪些可以異步處理，都需要在設(shè)計(jì)階段定好方案。使用更多的傳感器，也意味著可能出現(xiàn)更多的故障模式，像是傳感器物理?yè)p壞、遮擋、數(shù)據(jù)鏈路中斷、時(shí)間戳漂移、外參錯(cuò)位等，都是常見(jiàn)的故障模式。功能安全規(guī)范要求針對(duì)不同故障模式做診斷、降級(jí)和冗余策略證明，這會(huì)把驗(yàn)證工作量拉得很大。

傳感器使用越多，驗(yàn)證成本也會(huì)呈指數(shù)級(jí)增長(zhǎng)。要覆蓋不同氣象、光照、交通密度、遮擋、傳感器部分失效等組合，單靠實(shí)際道路測(cè)試會(huì)太慢太貴。仿真做得再真實(shí)也要和實(shí)測(cè)結(jié)合，否則容易漏掉邊界條件。此時(shí)，標(biāo)注復(fù)雜度也上來(lái)了，標(biāo)注點(diǎn)云和圖像的對(duì)應(yīng)關(guān)系比單一模態(tài)困難得多，成本高且更加耗時(shí)。

傳感器的供應(yīng)鏈不會(huì)是唯一的，由于不同廠家的傳感器有不同的接口、不同的固件升級(jí)路徑、不同的壽命與質(zhì)保策略。售后維護(hù)想要做到快速診斷和替換、支持遠(yuǎn)程日志采集與升級(jí)，運(yùn)營(yíng)成本也會(huì)隨之上升。這些都會(huì)影響整車(chē)成本、重量、能耗和外觀設(shè)計(jì)。

多傳感器融合時(shí)需要做哪些工作？

知道多個(gè)傳感器同時(shí)使用會(huì)遇到的問(wèn)題，那如何去解決這些問(wèn)題？如何更好地利用感知冗余？

其實(shí)多個(gè)傳感器同時(shí)使用是，要先確定好時(shí)間與空間基準(zhǔn)。時(shí)間同步推薦用硬件級(jí)時(shí)間源去標(biāo)注幀，軟層層面用插值和延遲補(bǔ)償作為兜底。空間標(biāo)定可以在生產(chǎn)線(xiàn)上做精細(xì)標(biāo)定，再用在線(xiàn)自標(biāo)定算法在運(yùn)行時(shí)微調(diào)。自標(biāo)定可基于靜態(tài)場(chǎng)景特征、車(chē)道線(xiàn)或多模態(tài)匹配來(lái)估計(jì)外參漂移，這是把“人工復(fù)標(biāo)”變成“自動(dòng)維護(hù)”的有效辦法。

把部分計(jì)算放在傳感器域或邊緣節(jié)點(diǎn)，不僅能降低總線(xiàn)負(fù)載，也能盡早做健康檢查。很多系統(tǒng)在傳感器近端先做濾波、背景建模、特征抽取或置信度評(píng)估，然后只把必要信息傳給中央單元。這樣可以把傳感器級(jí)別的固件更新、診斷日志和基本退化邏輯內(nèi)置在本域，有助于快速判定問(wèn)題來(lái)源。

為確保感知安全，不確定性建模要貫穿整個(gè)感知到?jīng)Q策鏈路。融合模塊應(yīng)始終以概率或置信度的方式表達(dá)信息，讓后續(xù)跟蹤和決策模塊能基于不確定性來(lái)選擇更保守或更激進(jìn)的動(dòng)作。對(duì)此常見(jiàn)的手段有卡爾曼濾波類(lèi)的貝葉斯方法、帶不確定性輸出的神經(jīng)網(wǎng)絡(luò)或多假設(shè)跟蹤等。只有把不確定性量化，系統(tǒng)在遇到極端場(chǎng)景時(shí)才能優(yōu)雅降級(jí)，而不是盲目做出危險(xiǎn)決策。

圖片源自：網(wǎng)絡(luò)

為確保感知融合的準(zhǔn)確性，分層融合是比較務(wù)實(shí)的選擇。把傳感器專(zhuān)屬的前端做成各自?xún)?yōu)化的模塊，保證在擅長(zhǎng)的維度上輸出較好結(jié)果，然后在特征或決策層再做跨模態(tài)融合，這樣不僅能保留模塊化的可驗(yàn)證性，也能利用互補(bǔ)信息提升精度。模塊化還有一個(gè)好處，那就是當(dāng)某個(gè)傳感器故障時(shí)，系統(tǒng)能迅速切換到已有的退化路徑。

想要把測(cè)試和仿真做成閉環(huán)，可采用高保真仿。高保真仿真能覆蓋很多極端條件、退化場(chǎng)景和時(shí)間同步異常，這對(duì)于在早期發(fā)現(xiàn)設(shè)計(jì)缺陷非常有幫助。仿真中要把各傳感器的噪聲模型和失效模式模擬出來(lái)，然后把測(cè)試結(jié)果回填到算法和硬件要求里。當(dāng)然，實(shí)車(chē)測(cè)試依然必不可少，但應(yīng)有策略性地挑選關(guān)鍵場(chǎng)景與邊界條件去驗(yàn)證。自動(dòng)化測(cè)試、持續(xù)集成和場(chǎng)景回放則是把驗(yàn)證成本控制住的主要工具。

當(dāng)多個(gè)傳感器融合出現(xiàn)問(wèn)題后，退化策略與故障診斷不能只靠事后補(bǔ)救。自動(dòng)駕駛系統(tǒng)要能在線(xiàn)評(píng)估傳感器健康并自動(dòng)執(zhí)行安全降級(jí)和冗余切換。降級(jí)的目標(biāo)是讓車(chē)輛在可控的范圍內(nèi)繼續(xù)運(yùn)行或安全?？?，而不是完全停止功能。實(shí)現(xiàn)這點(diǎn)需要預(yù)先設(shè)計(jì)好在不同傳感器丟失情況下的控制律和限速規(guī)則，并把這些邏輯放進(jìn)安全案例里接受審查。

什么時(shí)候才需要多傳感器融合？

很多人以為自動(dòng)駕駛傳感器越多就越好，但并不是所有技術(shù)方案中都必須用多個(gè)傳感器。產(chǎn)品定位、目標(biāo)場(chǎng)景和成本預(yù)算決定了感知層的取舍。對(duì)于只在限定場(chǎng)景運(yùn)行的低速無(wú)人車(chē)、封閉園區(qū)或有密集路側(cè)基礎(chǔ)設(shè)施支持的系統(tǒng)，只用高分辨率攝像頭與高精地圖的搭配就能滿(mǎn)足需求，系統(tǒng)實(shí)現(xiàn)會(huì)簡(jiǎn)單不少，維護(hù)和驗(yàn)證成本也會(huì)更低。但對(duì)于面向城市復(fù)雜交通、高速長(zhǎng)途和夜間惡劣天氣的高級(jí)別自動(dòng)駕駛，單一模態(tài)通常無(wú)法兼顧魯棒性和冗余，這時(shí)多模態(tài)的使用會(huì)更有意義，也更符合監(jiān)管和安全的期望。

對(duì)于不同定位的產(chǎn)品，所需使用的傳感器要求也不一樣。入門(mén)版本可減少硬件，以降低總成本；而旗艦或面向更高自動(dòng)化能力的版本可使用更完善的傳感器組合。如果軟件能力夠強(qiáng)，也可以使用更少的硬件，以把整體成本壓下來(lái)。

當(dāng)然，決策不能只是看傳感器硬件的價(jià)格。還要把集成復(fù)雜度、軟件研發(fā)成本、驗(yàn)證與合規(guī)成本、售后運(yùn)維費(fèi)用都算進(jìn)去。有時(shí)候多一臺(tái)昂貴傳感器能大幅降低算法和驗(yàn)證難度，從總成本看是劃算的；有時(shí)候硬件替代方案在長(zhǎng)期運(yùn)營(yíng)里更有優(yōu)勢(shì)。把這些因素量化、做場(chǎng)景驅(qū)動(dòng)的ROI分析，是決定是否要上多傳感器的考量因素。

最后的話(huà)

多傳感器之所以在自動(dòng)駕駛里越來(lái)越常見(jiàn)，是因?yàn)樗鼈兡馨驯舜说膬?yōu)缺點(diǎn)補(bǔ)起來(lái)，讓車(chē)輛在夜間、雨雪、逆光、遮擋這些單一傳感器最容易掉鏈子的場(chǎng)景里依然保持穩(wěn)定性和可靠性；但這種互補(bǔ)帶來(lái)的代價(jià)，就是系統(tǒng)從硬件安裝、時(shí)間同步、外參標(biāo)定，到數(shù)據(jù)融合、實(shí)時(shí)性保障、故障診斷、驗(yàn)證流程等都變得更復(fù)雜，因此要付出更多的時(shí)間和成本才能把這些優(yōu)勢(shì)真正落地。

審核編輯 黃宇