如何利用3D點(diǎn)編碼提升PETRV1/V2及StreamPETR性能

自動駕駛系統(tǒng)需要準(zhǔn)確感知和理解周圍道路環(huán)境中的障礙物。通過3D障礙物檢測，系統(tǒng)能夠獲取3D坐標(biāo)系下的障礙物坐標(biāo)、尺寸、朝向、速度等信息，從而準(zhǔn)確感知和建模道路環(huán)境。這有助于系統(tǒng)做出合理的規(guī)劃和決策，避免與障礙物碰撞，并選擇最佳路徑和行駛策略。

近年來，相對于成本較高的雷達(dá)感知方案而言，純視覺的低成本3D障礙物檢測方案受到越來越多關(guān)注。盡管配備輔助自動駕駛功能的車輛一直裝有多個環(huán)視相機(jī)，但早期的純視覺方案主要通過在后處理中融合來自多個相機(jī)的單目3D障礙物檢測結(jié)果來進(jìn)行道路環(huán)境感知，這導(dǎo)致了大量邏輯操作以及對跨相機(jī)截斷物體的挑戰(zhàn)。

自特斯拉 AI-Day提出BEV感知的思路后，端到端中融合環(huán)視3D感知成為業(yè)界爭相落地的熱點(diǎn)。與此同時，后摩智能與悉尼大學(xué)、蘇黎世聯(lián)邦理工大學(xué)以及阿德萊德大學(xué)的學(xué)者合作研究提出了3D點(diǎn)編碼(3D Point Position Embedding, 3DPPE)，該方案旨在解決當(dāng)前基于Transformer范式的環(huán)視3D障礙物檢測中存在的圖像與錨點(diǎn)位置編碼不一致以及沿射線方向的誤檢導(dǎo)致后處理邏輯復(fù)雜等問題，在獲得卓越性能的同時進(jìn)一步降低了后處理的復(fù)雜度，同比petr-v1/2以及streampetr均取得顯著提升，已收錄于計(jì)算機(jī)視覺頂會ICCV2023。

內(nèi)容簡介

方法架構(gòu)：

圖 1.?3DPPE框架圖

如圖1所示，3DPPE基于Transformer結(jié)構(gòu)。模型的輸入是環(huán)視圖像，經(jīng)過主干網(wǎng)處理后得到圖像特征，該特征送入深度檢測頭后得到對應(yīng)的深度預(yù)測信息，再結(jié)合相機(jī)內(nèi)外參，可以得到對應(yīng)的3D點(diǎn)云。這個3D點(diǎn)云繼續(xù)送入3D點(diǎn)編碼器中用于構(gòu)建對應(yīng)圖像特征的位置編碼；與此同時，隨機(jī)初始化的3D錨點(diǎn)同樣經(jīng)過共享的3D點(diǎn)編碼器，由此構(gòu)建對應(yīng)的初始目標(biāo)索引特征。將上述圖像特征、圖像位置編碼以及初始索引特征送入解碼器后即可得到環(huán)視系統(tǒng)下3D障礙物的檢測框信息。

由于3DPPE在構(gòu)建圖像特征的位置編碼時引入了顯式的深度信息，使得對應(yīng)的位置先驗(yàn)與真實(shí)物理世界的分布更為一致，從而有效的減緩了沿射線方向的誤檢。具體差異如下圖所示，之前的3D相機(jī)射線編碼無法建模物體的物理真實(shí)深度(圖2.a)，而3DPPE中構(gòu)建3D點(diǎn)編碼構(gòu)建時用到的深度信息都是符合物理世界分布的，深度點(diǎn)都是相機(jī)射線和車體表面相交的點(diǎn)(圖2.b)。此外，改進(jìn)后的圖像位置編碼與錨點(diǎn)分布同源，因此性能更好。