[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛的核心任務(wù)就是賦予機(jī)器像人類一樣觀察、思考并操作車輛的能力。在整個(gè)技術(shù)架構(gòu)中，感知與場(chǎng)景理解處于最前端，是后續(xù)所有決策與執(zhí)行邏輯的根基。

如果將自動(dòng)駕駛車輛比作一個(gè)生物體，傳感器就像是分布在全身的神經(jīng)末梢，而場(chǎng)景理解能力則是大腦對(duì)這些神經(jīng)沖動(dòng)進(jìn)行的深度加工。這種加工不僅要求車輛能夠看清周圍有什么，更要求其理解這些物體之間的空間關(guān)系、語(yǔ)義屬性以及未來(lái)可能發(fā)生的行為趨勢(shì)。

隨著技術(shù)的不斷更迭，自動(dòng)駕駛的場(chǎng)景理解已經(jīng)從單純的二維圖像識(shí)別，演進(jìn)到了三維空間重構(gòu)，乃至具備常識(shí)推理能力的認(rèn)知階段。

從多維度感知到時(shí)空對(duì)齊

在探討算法模型之前，必須理解自動(dòng)駕駛獲取信息的硬件基礎(chǔ)。單一傳感器由于物理特性的限制，無(wú)法應(yīng)對(duì)所有的天氣和光照條件。

攝像頭能夠提供豐富的顏色和紋理信息，但在強(qiáng)光直射、黑夜或大霧天氣的表現(xiàn)會(huì)大打折扣；激光雷達(dá)能夠輸出高精度的三維點(diǎn)云數(shù)據(jù)，清晰地勾勒出障礙物的輪廓，卻難以識(shí)別交通燈的顏色或路牌上的文字；毫米波雷達(dá)在惡劣天氣下極具穿透力，且對(duì)動(dòng)態(tài)物體的速度感知敏銳，但其空間分辨率較低，難以分辨靜止物體的細(xì)節(jié)。

因此，多傳感器融合技術(shù)成為了場(chǎng)景理解的第一道技術(shù)關(guān)卡。

多傳感器融合不是簡(jiǎn)單的信息相加，其核心在于如何解決不同傳感器在時(shí)間和空間上的不一致性。

在空間層面，每個(gè)傳感器都有自己的坐標(biāo)系，攝像頭看到的是像素坐標(biāo)，激光雷達(dá)看到的是極坐標(biāo)或笛卡爾坐標(biāo)，系統(tǒng)必須通過(guò)極其精準(zhǔn)的外參標(biāo)定，將所有數(shù)據(jù)統(tǒng)一到一個(gè)固定的車輛世界坐標(biāo)系中。

在時(shí)間層面，不同傳感器的采樣頻率各異，且由于車輛在高速運(yùn)動(dòng)，即便只差了幾十毫秒，物體在現(xiàn)實(shí)空間中的位置也會(huì)發(fā)生顯著變化。

圖片源自：網(wǎng)絡(luò)

為了解決這一問(wèn)題，系統(tǒng)會(huì)采用運(yùn)動(dòng)補(bǔ)償技術(shù)，根據(jù)車輛的運(yùn)動(dòng)狀態(tài)對(duì)不同時(shí)刻的數(shù)據(jù)進(jìn)行對(duì)齊，確保所有信息反映的是同一個(gè)物理時(shí)刻的環(huán)境狀態(tài)。

根據(jù)數(shù)據(jù)融合發(fā)生的階段不同，行業(yè)內(nèi)會(huì)將其劃分為前融合、深度融合與后融合。

前融合是在原始數(shù)據(jù)層面上進(jìn)行整合，盡可能保留最底層的信息，但其對(duì)算力和帶寬的要求極高。

深度融合則是在神經(jīng)網(wǎng)絡(luò)的特征提取階段進(jìn)行，將不同模態(tài)的特征向量在特征空間中進(jìn)行連接或加權(quán)，這種方式能夠?qū)崿F(xiàn)信息的互補(bǔ)，提高系統(tǒng)的魯棒性。

后融合則是各個(gè)傳感器獨(dú)立得出檢測(cè)結(jié)果后再進(jìn)行邏輯匯總，雖然架構(gòu)簡(jiǎn)單、靈活性高，但往往會(huì)因?yàn)閱蝹€(gè)傳感器的局限性而丟失關(guān)鍵的細(xì)節(jié)信息。

在城市道路環(huán)境中，實(shí)時(shí)精準(zhǔn)地感知?jiǎng)討B(tài)環(huán)境是車輛做出安全決策的前提。

感知系統(tǒng)的實(shí)現(xiàn)依賴于多個(gè)技術(shù)模塊的協(xié)同運(yùn)作，其中包括傳感器數(shù)據(jù)采集、特征提取、數(shù)據(jù)融合以及語(yǔ)義分析等。

數(shù)據(jù)采集是起點(diǎn)，通過(guò)多種傳感器的協(xié)作，感知系統(tǒng)能夠覆蓋從遠(yuǎn)距離到近距離的全方位感知需求。

隨后的特征提取則通過(guò)復(fù)雜的算法從原始數(shù)據(jù)中提取如檢測(cè)車輛邊界、分割行人輪廓以及識(shí)別道路標(biāo)志等有價(jià)值的信息。

鳥(niǎo)瞰圖與占用網(wǎng)絡(luò)的架構(gòu)革新

在解決了傳感器數(shù)據(jù)的統(tǒng)一問(wèn)題后，下一步就是要解決如何從這些海量數(shù)據(jù)中提取有意義的地理結(jié)構(gòu)。

傳統(tǒng)的感知方式主要是基于圖像層面的目標(biāo)檢測(cè)，即在照片里畫(huà)框。然而，畫(huà)框的方式很難準(zhǔn)確描述物體在三維空間中的真實(shí)姿態(tài)，尤其是在多相機(jī)視野重疊的區(qū)域，如何確保不同視角的圖像被拼接到正確的位置是一個(gè)巨大的挑戰(zhàn)。

鳥(niǎo)瞰圖（BEV）技術(shù)的出現(xiàn)，徹底改變了這一現(xiàn)狀。BEV感知方案通過(guò)融合多個(gè)攝像頭的視覺(jué)數(shù)據(jù)，將原本支離破碎的2D圖像直接投影到一個(gè)統(tǒng)一的3D鳥(niǎo)瞰視角下，從而生成全局的環(huán)境信息。

BEV技術(shù)的核心在于空間轉(zhuǎn)換。

系統(tǒng)首先利用深度學(xué)習(xí)網(wǎng)絡(luò)從每個(gè)攝像頭的原始圖像中提取特征。這些網(wǎng)絡(luò)會(huì)包含主干網(wǎng)絡(luò)用于提取特征，頸部網(wǎng)絡(luò)進(jìn)行特征融合，以及頭部網(wǎng)絡(luò)生成檢測(cè)結(jié)果。

提取出的特征隨后通過(guò)一種類似于投影的數(shù)學(xué)機(jī)制，在三維空間中進(jìn)行位置查詢。這個(gè)過(guò)程可以理解為，系統(tǒng)在車輛上方的天花板上安裝了一個(gè)虛擬攝像頭，通過(guò)算法計(jì)算出地面上每一個(gè)點(diǎn)在不同原始圖像中對(duì)應(yīng)的像素，從而完成從二維平面到三維地理坐標(biāo)的轉(zhuǎn)換。

圖片源自：網(wǎng)絡(luò)

這種技術(shù)能夠有效解決遮擋問(wèn)題，因?yàn)榧词鼓硞€(gè)物體在側(cè)邊攝像頭的畫(huà)面中被擋住了一半，只要其他攝像頭的視野能覆蓋該區(qū)域，系統(tǒng)就能在視圖中完整地還原其位置和軌跡。

但即便是BEV技術(shù)，在處理那些形狀不規(guī)則的物體時(shí)也會(huì)感到吃力。像是路邊斜出的樹(shù)枝、施工區(qū)域的圍擋或者是灑落在地面的貨物，這些物體很難用標(biāo)準(zhǔn)的立方體盒子來(lái)準(zhǔn)確描述。

為了解決這類挑戰(zhàn)，占用網(wǎng)絡(luò)（Occupancy Network）應(yīng)運(yùn)而生。占用網(wǎng)絡(luò)不再試圖識(shí)別物體具體是什么，而是將車輛周圍的空間劃分成無(wú)數(shù)個(gè)極小的立方體網(wǎng)格，并預(yù)測(cè)每一個(gè)網(wǎng)格是否被占用，以及其運(yùn)動(dòng)狀態(tài)。

占用網(wǎng)絡(luò)將場(chǎng)景理解從分類任務(wù)提升到了空間幾何重構(gòu)的層面。

它通過(guò)預(yù)測(cè)空間中每個(gè)點(diǎn)的占用概率，能夠識(shí)別出任何異形障礙物，哪怕系統(tǒng)從來(lái)沒(méi)有見(jiàn)過(guò)這種物體。這種不依賴預(yù)定義類別的特性，極大地增強(qiáng)了自動(dòng)駕駛在復(fù)雜城市環(huán)境中的泛化能力。

為了提升計(jì)算效率，現(xiàn)階段的占用網(wǎng)絡(luò)結(jié)合了語(yǔ)義分割技術(shù)，在判斷空間是否被占用的同時(shí)，還能順便給出該區(qū)域的語(yǔ)義標(biāo)簽，比如識(shí)別出這一片被占用的網(wǎng)格屬于植被，而那一片屬于路沿。

此外，這種三維空間的理解能力也為下游的路徑規(guī)劃提供了更可靠的依據(jù)。

傳統(tǒng)的感知結(jié)果如果只是二維的，規(guī)劃系統(tǒng)很難判斷車輛是否能從狹窄的縫隙中穿過(guò)。而有了體素化的空間表示，系統(tǒng)可以精確計(jì)算車輛輪廓與障礙物之間的物理距離，從而做出更細(xì)膩的駕駛動(dòng)作。

為了應(yīng)對(duì)各種極端天氣和光照條件的挑戰(zhàn)，感知系統(tǒng)在硬件設(shè)計(jì)和算法魯棒性方面也進(jìn)行了多層優(yōu)化，確保在復(fù)雜的駕駛場(chǎng)景中，系統(tǒng)能在極短的時(shí)間內(nèi)處理大量數(shù)據(jù)，并給出準(zhǔn)確的識(shí)別結(jié)果。

大模型如何賦予機(jī)器駕駛常識(shí)

盡管BEV和占用網(wǎng)絡(luò)已經(jīng)讓自動(dòng)駕駛車輛看清了物理世界，但在面對(duì)復(fù)雜的交通規(guī)則和充滿變數(shù)的社會(huì)互動(dòng)時(shí)，車輛依然顯得非常機(jī)械。

舉個(gè)例子，當(dāng)前方有一輛閃著紅燈的救護(hù)車時(shí)，人類駕駛員知道即便前方是紅燈也需要觀察路況并盡可能讓行；當(dāng)看到路邊有蹣跚學(xué)步的小孩時(shí)，人類會(huì)預(yù)判小孩可能會(huì)突然跑上公路。

這些基于常識(shí)的邏輯推理，是傳統(tǒng)基于規(guī)則的算法難以完全覆蓋的。近年來(lái)，以大語(yǔ)言模型和視覺(jué)語(yǔ)言模型為核心的基礎(chǔ)模型開(kāi)始被引入自動(dòng)駕駛領(lǐng)域，旨在解決這種深層次的語(yǔ)義理解和推理問(wèn)題。

基礎(chǔ)模型在自動(dòng)駕駛中的核心在于其擁有的世界知識(shí)。

圖片源自：網(wǎng)絡(luò)

這些模型在海量文本和圖像數(shù)據(jù)中學(xué)習(xí)到了人類社會(huì)的運(yùn)行規(guī)律，能夠理解復(fù)雜的因果關(guān)系。例如，在面對(duì)一個(gè)施工區(qū)域時(shí)，大模型不僅能識(shí)別出錐桶和圍擋，還能結(jié)合當(dāng)前的交通流和路標(biāo)文字，推理出最佳的繞行方案。

相比于傳統(tǒng)的基于邏輯樹(shù)的決策方式，這種基于模型的方法在處理未曾見(jiàn)過(guò)的特殊場(chǎng)景時(shí)表現(xiàn)出極強(qiáng)的泛化能力。它將感知的范疇從識(shí)別幾何形體擴(kuò)展到了理解場(chǎng)景意圖。

在具體的實(shí)現(xiàn)邏輯上，這些模型采用多模態(tài)架構(gòu)，將視覺(jué)傳感器的特征信息轉(zhuǎn)化為文本描述或高維向量，與預(yù)訓(xùn)練的知識(shí)庫(kù)進(jìn)行交互。通過(guò)這種方式，自動(dòng)駕駛系統(tǒng)能夠?qū)崿F(xiàn)一種類似于人類思維的邏輯鏈條。

若車輛感知到前方車輛尾燈閃爍，然后結(jié)合當(dāng)前路口特征和車道拓?fù)潢P(guān)系，就可以推理出該車可能由于故障?？炕驕?zhǔn)備緊急并線，最后做出減速并保持距離的決策。

這種推理過(guò)程不再是單純的概率計(jì)算，而是具備了一定程度的可解釋性，讓人們可以理解車輛為什么在特定時(shí)刻做出了特定的選擇。

基礎(chǔ)模型還在場(chǎng)景生成和系統(tǒng)評(píng)測(cè)中發(fā)揮著重要作用。

通過(guò)大規(guī)模生成如夜間逆行的非機(jī)動(dòng)車、雨天反光的積水坑等稀有的極端場(chǎng)景，這些模型能夠?yàn)樽詣?dòng)駕駛系統(tǒng)的訓(xùn)練提供高質(zhì)量、多維度的模擬數(shù)據(jù)，從而加速感知的迭代優(yōu)化。

這種從真實(shí)數(shù)據(jù)中提煉知識(shí)，再通過(guò)模擬數(shù)據(jù)反哺系統(tǒng)的閉環(huán)，正成為提升自動(dòng)駕駛場(chǎng)景理解能力的重要路徑。

為了在真實(shí)城市交通中實(shí)現(xiàn)安全行駛，系統(tǒng)還會(huì)采用多準(zhǔn)則決策方法來(lái)平衡安全性、舒適性和效率等多個(gè)目標(biāo)，確保車輛能夠自然地融入交通生態(tài)。

最后的話

自動(dòng)駕駛場(chǎng)景理解是一場(chǎng)從物理探測(cè)到數(shù)學(xué)重構(gòu)，再到思維推理的演進(jìn)過(guò)程。從多傳感器融合奠定的數(shù)據(jù)基石，到鳥(niǎo)瞰圖與占用網(wǎng)絡(luò)構(gòu)建的立體視野，再到基礎(chǔ)模型賦予的智慧大腦，每一項(xiàng)技術(shù)的突破都在填補(bǔ)機(jī)器與人類駕駛員之間的能力鴻溝。

在這個(gè)過(guò)程中，場(chǎng)景理解已經(jīng)不再僅僅是看見(jiàn)，而是演變成了對(duì)物理世界規(guī)律的洞察。隨著算力的持續(xù)提升和算法模型的不斷迭代，全場(chǎng)景、高可靠的語(yǔ)義理解終將實(shí)現(xiàn)，并為自動(dòng)駕駛的安全落地提供最堅(jiān)實(shí)的保障。

審核編輯 黃宇