[首發(fā)于智駕最前沿微信公眾號(hào)]不知道大家在駕駛或乘坐具備高階輔助駕駛能力的汽車?yán)飼r(shí)，有沒有注意過儀表盤或中控屏出現(xiàn)的畫面，即使在視野不佳的夜晚，屏幕也能實(shí)時(shí)、精準(zhǔn)地顯示出周圍的車輛、行人、路燈甚至是路邊的雪糕筒等交通參與者。這個(gè)被稱為SR（Surround Reality，感知環(huán)境渲染）的界面，實(shí)際上是汽車將自己眼中看到的物理世界，通過一系列復(fù)雜的數(shù)字化加工后，呈獻(xiàn)給駕駛員的數(shù)字孿生世界。

圖片源自：網(wǎng)絡(luò)

汽車如何從雜亂信號(hào)中識(shí)別物體？

想要讓屏幕上呈現(xiàn)出障礙物，第一步是要進(jìn)行多源傳感器的原始數(shù)據(jù)采集。汽車周身的攝像頭、激光雷達(dá)和毫米波雷達(dá)在行駛中會(huì)產(chǎn)生海量信息。攝像頭捕捉的是像素點(diǎn)陣，其中包含豐富的顏色和紋理，但缺乏深度信息；激光雷達(dá)則射出數(shù)以百萬計(jì)的激光束，形成密集的點(diǎn)云圖，能夠精確勾勒物體的三維輪廓；毫米波雷達(dá)則對(duì)物體的速度極其敏感。

圖片源自：網(wǎng)絡(luò)

等傳感器采集到原始數(shù)據(jù)后，車載計(jì)算平臺(tái)上的深度神經(jīng)網(wǎng)絡(luò)就會(huì)對(duì)這些數(shù)據(jù)進(jìn)行特征提取。以攝像頭畫面為例，算法會(huì)通過卷積神經(jīng)網(wǎng)絡(luò)識(shí)別出圖像中的邊緣、形狀和特征點(diǎn)，進(jìn)而判斷出這對(duì)應(yīng)的是一輛轎車、一輛卡車還是一個(gè)行人。對(duì)于激光雷達(dá)的點(diǎn)云，算法則會(huì)將散亂的點(diǎn)聚類成團(tuán)，計(jì)算出物體的長(zhǎng)寬高?，F(xiàn)在的技術(shù)趨勢(shì)是采用BEV（鳥瞰圖）+Transformer模型，將不同視角的圖像直接轉(zhuǎn)化到三維空間中，形成一個(gè)以車輛為中心的上帝視角畫面。

在這個(gè)過程中，系統(tǒng)會(huì)為每一個(gè)識(shí)別出的障礙物打上標(biāo)簽，并用3D檢測(cè)框?qū)⑵浒饋?，這樣做可以確定物體的中心點(diǎn)坐標(biāo)、尺寸以及頭部的朝向。這也是感知環(huán)境渲染界面顯示的基礎(chǔ)，因?yàn)槠聊簧峡吹降拿恳粋€(gè)模型，本質(zhì)上都是由3D檢測(cè)框參數(shù)支撐起來的。

怎樣保證物體在屏幕上平穩(wěn)移動(dòng)？

多源傳感器識(shí)別出的物體只是瞬間快照，要讓屏幕上的障礙物像真實(shí)世界一樣平滑移動(dòng)，就需要引入多目標(biāo)跟蹤技術(shù)。如果系統(tǒng)只是簡(jiǎn)單地在每一幀畫面中尋找障礙物，由于傳感器的噪聲或遮擋，屏幕上的車輛可能會(huì)出現(xiàn)劇烈的閃爍或瞬間消失。為了解決這個(gè)問題，算法會(huì)給每一個(gè)檢測(cè)到的物體分配一個(gè)唯一的身份ID。

圖片源自：網(wǎng)絡(luò)

系統(tǒng)會(huì)根據(jù)物體在前一時(shí)刻的位置、速度和加速度，預(yù)測(cè)它在下一毫秒可能出現(xiàn)的位置。當(dāng)新的一幀數(shù)據(jù)到來時(shí)，算法會(huì)將實(shí)測(cè)值與預(yù)測(cè)值進(jìn)行匹配。如果兩者高度重合，系統(tǒng)就認(rèn)為這是同一個(gè)物體，并更新它的運(yùn)動(dòng)軌跡。這種預(yù)測(cè)和糾偏的過程會(huì)采用卡爾曼濾波等數(shù)學(xué)模型，它能有效濾除傳感器產(chǎn)生的波動(dòng)，使得屏幕上的小車跑起來絲滑自然，而不會(huì)出現(xiàn)斷斷續(xù)續(xù)的瞬移。

多傳感器融合技術(shù)在這里發(fā)揮了關(guān)鍵作用。如果攝像頭因?yàn)閺?qiáng)光照射而暫時(shí)看不清前方的車輛，但激光雷達(dá)依然能感知到障礙物的存在，系統(tǒng)就會(huì)綜合兩者的信心分?jǐn)?shù)，優(yōu)先采用雷達(dá)的數(shù)據(jù)。這種互補(bǔ)機(jī)制確保了感知的連續(xù)性，避免了因?yàn)閱我粋鞲衅魇Ф鴮?dǎo)致屏幕上的障礙物突然丟失，從而增強(qiáng)駕駛員對(duì)系統(tǒng)的信任感。

虛擬世界是如何與現(xiàn)實(shí)位置對(duì)應(yīng)的？

感知到的物體信息最初都存在于各自的各個(gè)坐標(biāo)系中，而要將它們準(zhǔn)確地?cái)[放在屏幕上的道路里，需要進(jìn)行復(fù)雜的空間坐標(biāo)轉(zhuǎn)換。汽車底層的定位系統(tǒng)會(huì)利用慣性導(dǎo)航和衛(wèi)星定位，實(shí)時(shí)確定自車在地理坐標(biāo)系中的精確位置、航向角以及車身的姿態(tài)變化。這意味著當(dāng)車輛經(jīng)過顛簸路面產(chǎn)生顛簸時(shí)，系統(tǒng)需要實(shí)時(shí)補(bǔ)償這種晃動(dòng)，否則屏幕上的世界也會(huì)跟著一起亂晃。

圖片源自：網(wǎng)絡(luò)

算法需要將所有障礙物從相對(duì)自車的坐標(biāo)系轉(zhuǎn)化到統(tǒng)一的局部世界坐標(biāo)系中。這個(gè)過程涉及平移和旋轉(zhuǎn)等大量的矩陣運(yùn)算，簡(jiǎn)單理解這一過程，那就是系統(tǒng)需要知道前方一輛車在屏幕地圖上具體的經(jīng)緯度或網(wǎng)格位置。同時(shí)，系統(tǒng)還會(huì)結(jié)合車端實(shí)時(shí)生成的在線高精地圖，將車道線、路沿和交通燈的語義信息疊加在一起。這樣，障礙物就不再是懸浮在虛空中的方塊，而是可以準(zhǔn)確地行駛在對(duì)應(yīng)的車道線上。

為了讓顯示更加直觀，系統(tǒng)還會(huì)對(duì)周圍環(huán)境進(jìn)行語義理解。它能分辨出右側(cè)是一排停著的靜態(tài)車輛，還是正在緩慢移動(dòng)的自行車，這種理解能夠幫助系統(tǒng)決定在屏幕上使用哪種類型的圖標(biāo)或模型。所有這些邏輯運(yùn)算都在極短的毫秒級(jí)周期內(nèi)完成，確保物理世界的變動(dòng)能幾乎同步地映射到數(shù)字界面中。

屏幕上畫面是如何生成的？

當(dāng)后臺(tái)處理好了所有的邏輯數(shù)據(jù)，最后要做的就是將其轉(zhuǎn)化為我們?cè)谄聊簧峡吹降漠嬅?。這一過程被稱為渲染，需要由高性能的圖形處理器（GPU）配合專門的圖形引擎來完成。因?yàn)橐曨l會(huì)包含大量的視覺干擾，且無法實(shí)現(xiàn)視角的自由切換，系統(tǒng)并不會(huì)直接播放攝像頭拍到的真實(shí)視頻，而是會(huì)從預(yù)設(shè)的模型庫中調(diào)用3D模型來代表真實(shí)物體。

圖片源自：網(wǎng)絡(luò)

渲染引擎接收到感知層傳來的如ID為001的物體是一輛白色轎車，位置坐標(biāo)為X，朝向角為Y的數(shù)據(jù)指令后，引擎會(huì)在虛擬空間中對(duì)應(yīng)的位置放置該模型。為了讓畫面更有質(zhì)感，還會(huì)加入光影效果、抗鋸齒處理以及平滑的動(dòng)畫過渡。當(dāng)檢測(cè)到目標(biāo)車輛踩下剎車時(shí)，感知系統(tǒng)識(shí)別到紅光信號(hào)，渲染引擎會(huì)瞬間點(diǎn)亮屏幕上3D模型的尾燈，這種細(xì)節(jié)的同步對(duì)于提升用戶的駕駛感知非常重要。

像是自車模型、周圍障礙物、半透明的車道線以及遠(yuǎn)處的建筑等所有的圖形元素都會(huì)被合成并輸出到顯示屏上。為了保證流暢度，整個(gè)鏈路的延遲必須控制在極低的范圍內(nèi)。如果延遲過高，駕駛員就會(huì)發(fā)現(xiàn)窗外的車已經(jīng)超過去了，但屏幕上的車還沒動(dòng)，這種延遲會(huì)帶來嚴(yán)重的不安全感。因此，高效的數(shù)據(jù)傳輸協(xié)議和優(yōu)化的渲染管線是實(shí)現(xiàn)實(shí)時(shí)SR界面的技術(shù)重點(diǎn)。

審核編輯 黃宇