[首發(fā)于智駕最前沿微信公眾號(hào)]想實(shí)現(xiàn)自動(dòng)駕駛，首先要做的就是感知周圍的環(huán)境，這一感知流程并不是僅靠一臺(tái)攝像頭或一個(gè)雷達(dá)就可以完成的。為了能夠確保足夠的安全，做到感知冗余，需要攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)、超聲波傳感器、慣性測(cè)量單元（IMU）等傳感器組合起來工作。

每一種傳感器有自己的優(yōu)勢(shì)和局限，攝像頭擅長捕捉顏色和形狀，但在強(qiáng)光、夜間光線不足的時(shí)候會(huì)受影響；激光雷達(dá)能輸出精確的三維空間點(diǎn)云，但在雨雪等惡劣天氣下可能受到干擾；毫米波雷達(dá)對(duì)速度測(cè)量很穩(wěn)健，但分辨率沒那么高。這些數(shù)據(jù)融合起來，可以建立一個(gè)準(zhǔn)確的環(huán)境認(rèn)知模型，為車輛決策和控制提供可靠的基礎(chǔ)，這個(gè)過程就是常說的“多傳感器融合”。

圖片源自：網(wǎng)絡(luò)

傳感器越多，代表著感知的信息更準(zhǔn)確，但也會(huì)帶來數(shù)據(jù)不一致的問題，最近就有小伙伴提問，如果傳感器數(shù)據(jù)打架怎么辦？其實(shí)這里就涉及到在傳感器數(shù)據(jù)不一致時(shí)，系統(tǒng)該如何判斷哪些信息更可信？哪些應(yīng)該被弱化甚至舍棄？今天就圍繞這個(gè)話題展開聊聊。

數(shù)據(jù)不一致為什么會(huì)出現(xiàn)？

在討論自動(dòng)駕駛?cè)绾翁幚砀兄灰恢虑埃紫纫斫鉃槭裁磿?huì)出現(xiàn)這種不一致。傳感器對(duì)環(huán)境的感知并不是絕對(duì)精確的，其測(cè)量數(shù)據(jù)總是伴隨著噪聲與誤差，這是由多個(gè)原因?qū)е碌摹?/p>

圖片源自：網(wǎng)絡(luò)

一是物理層面的限制。自動(dòng)駕駛傳感器的基于不同的物理原理工作的，在不同環(huán)境條件下的表現(xiàn)各不相同。激光雷達(dá)發(fā)射的激光在大雨或濃霧中會(huì)被水滴大量散射，導(dǎo)致點(diǎn)云數(shù)據(jù)產(chǎn)生噪點(diǎn)；攝像頭在夜間或逆光條件下，光學(xué)圖像對(duì)物體邊緣和紋理的識(shí)別能力也會(huì)下降。這些物理局限使得這些傳感器即便是面對(duì)同一物體，輸出的數(shù)據(jù)也可能存在偏差。

還有就是數(shù)據(jù)處理過程中引入的誤差。傳感器采集到的原始數(shù)據(jù)需經(jīng)過濾波、特征提取、目標(biāo)識(shí)別等一系列處理步驟，每一步都可能帶來偏差或誤判。不同傳感器使用的處理算法各不相同，因此對(duì)同一目標(biāo)的識(shí)別結(jié)果也可能不一致。如對(duì)于同一個(gè)行人，基于圖像特征的攝像頭可能判定其存在，如果激光雷達(dá)的點(diǎn)云密度不足，則可能無法明確該目標(biāo)。

此外，還有一個(gè)常被忽視的因素，即時(shí)間與坐標(biāo)對(duì)齊問題。不同傳感器的采樣頻率和時(shí)間戳并不完全一致，若直接將數(shù)據(jù)混合，會(huì)導(dǎo)致同一時(shí)刻的數(shù)據(jù)被誤認(rèn)為是不同時(shí)間的信息，從而引發(fā)不一致。因此，在處理傳感器數(shù)據(jù)時(shí)，必須首先進(jìn)行時(shí)間同步與空間對(duì)齊，才能將不同傳感器的數(shù)據(jù)進(jìn)行比較。

感知融合的基本邏輯是評(píng)估可信度

當(dāng)多個(gè)傳感器傳回不同的環(huán)境信息時(shí)，自動(dòng)駕駛系統(tǒng)不會(huì)簡(jiǎn)單地“少數(shù)服從多數(shù)”，也不會(huì)哪個(gè)傳感器數(shù)據(jù)多就聽誰的。它的核心思路，是要融合這些信息，構(gòu)建出一個(gè)更靠譜、更完整的環(huán)境模型。

圖片源自：網(wǎng)絡(luò)

現(xiàn)階段自動(dòng)駕駛采用的多傳感器融合技術(shù)，會(huì)在算法層面評(píng)估每個(gè)傳感器輸出的“可信度”。所謂可信度，是指在當(dāng)前環(huán)境和當(dāng)前條件下，這個(gè)傳感器輸出結(jié)果的可靠程度。在晴朗白天路況清晰的時(shí)候，攝像頭的圖像識(shí)別可信度將會(huì)更高；在大霧天氣里，毫米波雷達(dá)的障礙物速度和距離測(cè)量會(huì)更值得信賴。融合算法根據(jù)這種可信度來動(dòng)態(tài)調(diào)整每種傳感器在環(huán)境模型中的權(quán)重。

如何去確定這個(gè)可信度呢？這個(gè)過程不是憑經(jīng)驗(yàn)規(guī)則簡(jiǎn)單決定，而是通過復(fù)雜的數(shù)學(xué)方法來實(shí)現(xiàn)。很多系統(tǒng)會(huì)采用統(tǒng)計(jì)模型、卡爾曼濾波、貝葉斯推理等方法，把各傳感器的測(cè)量和不確定性表達(dá)成數(shù)學(xué)概率，然后根據(jù)這些概率綜合估計(jì)目標(biāo)的狀態(tài)。統(tǒng)計(jì)方法的優(yōu)點(diǎn)是能夠量化傳感器不確定性的影響，從而在融合結(jié)果中弱化誤差較大的數(shù)據(jù)，并把更可靠的信號(hào)放大。

也就是說，在面對(duì)傳感器之間的“分歧”時(shí)，系統(tǒng)是靠算法來評(píng)估該信誰，而不是誰聲音大就聽誰的。一旦某個(gè)傳感器在特定場(chǎng)景下明顯表現(xiàn)失常，融合算法就會(huì)自動(dòng)降低它的權(quán)重，甚至?xí)簳r(shí)把它的數(shù)據(jù)排除在外。此外，這個(gè)權(quán)重并不是一成不變的，而是會(huì)隨著環(huán)境變化隨時(shí)更新，其調(diào)整是實(shí)時(shí)、動(dòng)態(tài)的。

動(dòng)態(tài)權(quán)重分配讓系統(tǒng)更可靠

動(dòng)態(tài)權(quán)重分配是感知融合中的一個(gè)核心概念，它解決了傳感器在不同場(chǎng)景中表現(xiàn)不一致的問題。所謂動(dòng)態(tài)，就是系統(tǒng)不會(huì)給某個(gè)傳感器一個(gè)固定的“優(yōu)先級(jí)”，而是每時(shí)每刻會(huì)根據(jù)環(huán)境條件和傳感器自身狀態(tài)重新評(píng)估它的數(shù)據(jù)可靠程度，然后再?zèng)Q定在融合中給予多少“話語權(quán)”。

舉個(gè)例子，晴天、下雨天，對(duì)同一片道路，攝像頭的表現(xiàn)不會(huì)一樣。在晴天，攝像頭的視覺信息清晰，它對(duì)車道線、標(biāo)志牌、行人顏色形態(tài)等有豐富信息，因此這種場(chǎng)景下它的數(shù)據(jù)可能有較高的權(quán)重。但在大雨中，鏡頭可能因?yàn)樗握趽跻暰€而出現(xiàn)噪聲，此時(shí)系統(tǒng)會(huì)主動(dòng)將攝像頭的權(quán)重降低，讓激光雷達(dá)或毫米波雷達(dá)的數(shù)據(jù)主導(dǎo)判斷。權(quán)重是系統(tǒng)根據(jù)傳感器狀態(tài)自動(dòng)調(diào)整的，它無法人為定義。

動(dòng)態(tài)權(quán)重的實(shí)現(xiàn)可以是基于經(jīng)驗(yàn)規(guī)則，也可以是通過機(jī)器學(xué)習(xí)模型。在經(jīng)驗(yàn)規(guī)則方式下，基于事先定義好的規(guī)則，可以確定在哪些環(huán)境條件下應(yīng)該降低哪些傳感器權(quán)重，這種方法可靠但靈活性有限?，F(xiàn)階段，系統(tǒng)通過大量訓(xùn)練樣本學(xué)習(xí)判斷哪些場(chǎng)景下哪些傳感器更可信，這種方法能適應(yīng)更加復(fù)雜和細(xì)微的環(huán)境變化。

動(dòng)態(tài)權(quán)重的核心在于，它讓系統(tǒng)具備了感知策略的靈活調(diào)整能力，避免了對(duì)某一個(gè)傳感器的盲目依賴，從而大大提高了整體的魯棒性。經(jīng)過動(dòng)態(tài)權(quán)重調(diào)整的融合系統(tǒng)更容易在復(fù)雜現(xiàn)實(shí)條件下保持可靠的感知結(jié)果。

多層次融合策略讓系統(tǒng)更穩(wěn)妥

處理感知不一致的問題，不能單靠一個(gè)算法解決，還需要多個(gè)層次的融合策略配合，一般會(huì)把融合分成幾個(gè)階段來處理。

圖片源自：網(wǎng)絡(luò)

最底層是數(shù)據(jù)級(jí)融合。這一步先把不同傳感器的原始數(shù)據(jù)在時(shí)間和空間上對(duì)齊，然后直接進(jìn)行融合。這種方法能保留最多的細(xì)節(jié)信息，適合那些采樣頻率高、時(shí)間對(duì)齊要求精確的場(chǎng)景。不過，它對(duì)同步精度和計(jì)算資源的要求也很高，并不適用于所有情況。

再往上是特征級(jí)融合。在這個(gè)階段，系統(tǒng)會(huì)先對(duì)每個(gè)傳感器的數(shù)據(jù)（如邊緣、形狀、運(yùn)動(dòng)軌跡等）提取關(guān)鍵特征，再把來自不同傳感器的特征整合起來。這樣就不再需要直接對(duì)比不同格式的原始數(shù)據(jù)，而是將各類數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的特征表達(dá)，再基于這些特征做綜合判斷。

更高一層得是決策級(jí)融合。到了這一步，各個(gè)傳感器先獨(dú)立做出自己的初步判斷，形成一個(gè)個(gè)“候選結(jié)論”，系統(tǒng)再對(duì)這些結(jié)論進(jìn)行綜合評(píng)估。這種策略常用于需要快速響應(yīng)的場(chǎng)景，因?yàn)楦鱾鞲衅鞑⑿刑幚?，最后再統(tǒng)一權(quán)衡，實(shí)現(xiàn)起來相對(duì)高效。

采用多層次融合策略的好處，在于它能兼顧細(xì)節(jié)保留與處理效率。當(dāng)某一層的融合結(jié)果出現(xiàn)不一致或表現(xiàn)不佳時(shí)，系統(tǒng)可以借助其他層級(jí)的信息進(jìn)行補(bǔ)充或糾正，從而讓整體感知更加穩(wěn)定可靠。

其他方案

在一些極端情況下，系統(tǒng)甚至可能發(fā)現(xiàn)所有傳感器輸出都不夠可信。如在霧霾、傾盆大雨或者強(qiáng)逆光情況下，各種傳感器都可能出現(xiàn)誤判。這時(shí)候系統(tǒng)不會(huì)盲目依據(jù)其中某個(gè)傳感器的數(shù)據(jù)，而是采取如降低車速、增加決策的不確定性容忍度，甚至提示人工接管等更保守的策略。這種保守做法本身就是一種安全優(yōu)先的策略。

圖片源自：網(wǎng)絡(luò)

處理不一致還有一個(gè)重要機(jī)制是“故障檢測(cè)”。故障檢測(cè)的作用是識(shí)別如鏡頭被遮擋、雷達(dá)信號(hào)異常等明顯的傳感器失常情況。當(dāng)系統(tǒng)檢測(cè)到某個(gè)傳感器明顯失去了正常工作能力，它就可以將這個(gè)傳感器排除在當(dāng)前融合之外，從而避免錯(cuò)誤數(shù)據(jù)影響融合判斷。這同樣是提高感知可靠性的關(guān)鍵手段。

最后的話

自動(dòng)駕駛遇到傳感器不一致時(shí)并不是簡(jiǎn)單“選邊”，而是會(huì)評(píng)估各數(shù)據(jù)源的不確定性，并通過動(dòng)態(tài)加權(quán)與多層次融合形成最可信的環(huán)境模型；若不確定性仍然較高，系統(tǒng)會(huì)將這一風(fēng)險(xiǎn)傳遞給決策層，采取更保守的動(dòng)作（如減速或請(qǐng)求人工接管），以保障安全，這正是多傳感器體系的核心價(jià)值。

審核編輯 黃宇