BEV感知是自動(dòng)駕駛的重要趨勢(shì)。常規(guī)的自動(dòng)駕駛算法方法基于在前視圖或透視圖中執(zhí)行檢測(cè)、分割、跟蹤，而在BEV中可表示周圍場(chǎng)景，相對(duì)而言更加直觀，并且在BEV中表示目標(biāo)對(duì)于后續(xù)模塊最為理想。此項(xiàng)研究提出了一種新的BEV學(xué)習(xí)機(jī)制：幾何導(dǎo)向核變換器（Geometry-guided Kernel Transformer )。GKT利用幾何先驗(yàn)來(lái)引導(dǎo)變換器聚焦于區(qū)分區(qū)域，并展開(kāi)內(nèi)核特征以生成BEV表示。

研究背景

對(duì)于多視圖相機(jī)系統(tǒng)，難點(diǎn)在于，如何將2D圖像表示轉(zhuǎn)換為BEV表示。根據(jù)幾何信息是否明確用于特征變換，現(xiàn)有的方法可分基于幾何的逐點(diǎn)變換和無(wú)幾何的全局變換兩大類。

基于幾何體的逐點(diǎn)變換下圖所示，利用可用的對(duì)應(yīng)關(guān)系，2D特征被投影到3D空間并形成BEV表示。

然而，此方法過(guò)于依賴于校準(zhǔn)參數(shù)。正在行駛中的汽車外部環(huán)境復(fù)雜，攝像機(jī)可能在運(yùn)行時(shí)偏離校準(zhǔn)位置，這將使系統(tǒng)出現(xiàn)誤差。此外，逐點(diǎn)復(fù)雜且耗時(shí)高，難以再實(shí)際環(huán)境中應(yīng)用。

全局變換方法考慮了2D圖像和BEV視圖之間的完全相關(guān)性。這種方法受相機(jī)偏差影響較小。但這也帶來(lái)了問(wèn)題：全局變換所需的算力與圖像的像素的數(shù)量成比例。并且，該模型必須從所有視圖中全局地挖掘出判別信息，這導(dǎo)致圖像的收斂過(guò)程變的更難。

在本研究中，研究人員提出了一種新的2D到BEV變換機(jī)制，以達(dá)到更高的效率和魯棒性，該算法稱為Geometry-guided Kernel Transformer（GKT）。該方法利用粗略的相機(jī)參數(shù)，投影BEV位置，以獲得多視圖和多尺度特征地圖中的2D位置。然后，模型在先前位置周圍展開(kāi)Kh×Kw內(nèi)核特征，并使BEV算法與相應(yīng)的展開(kāi)特征交互以生成BEV視圖。

實(shí)施途徑

GKT利用幾何深度學(xué)習(xí)來(lái)引導(dǎo)轉(zhuǎn)換器聚焦于重點(diǎn)區(qū)域，展開(kāi)核心特征用于生成BEV視圖。擬建GKT的框架如下圖所示。該圖上半部分表示了幾何信息用于引導(dǎo)變換器聚焦在多視圖圖像中的先前區(qū)域。下部分為展開(kāi)先前區(qū)域的核心特征，它們與BEV查詢交互以生成BEV表示。在此方法中，共享的卷積神經(jīng)網(wǎng)絡(luò)從環(huán)繞視圖中提取視圖特征，BEV空間被均勻的劃分為網(wǎng)格，每個(gè)網(wǎng)格對(duì)應(yīng)一個(gè)3D坐標(biāo)。

為了快速進(jìn)行判斷，研究引入了不同的索引方法，以擺脫相機(jī)在運(yùn)行時(shí)對(duì)校準(zhǔn)參數(shù)的依賴。通過(guò)對(duì)比Im2col，網(wǎng)格采樣，LUT索引三種方法，確定了LUT索引可使GKT實(shí)現(xiàn)更高的FPS。在此方法中，每個(gè)BEV網(wǎng)格的核心區(qū)域都是固定的，可以在脫機(jī)時(shí)進(jìn)行預(yù)先計(jì)算。在運(yùn)行時(shí)，系統(tǒng)可從LUT中獲得每個(gè)BEV查詢的對(duì)應(yīng)像素索引，并通過(guò)索引更快速的獲得特征。

測(cè)試

該算法再nuScenes數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在val數(shù)據(jù)集上進(jìn)行評(píng)估。在下圖中，比較了在兩種設(shè)置下GKT和其他基于BEV的方法下的車輛地圖視圖分割效率。測(cè)試采用了1×7卷積來(lái)捕獲水平圖像信息，然后在GKT中應(yīng)用有效的7×1內(nèi)核來(lái)進(jìn)行2D到BEV視圖轉(zhuǎn)換。

在測(cè)試中，GKT展示出了很高的魯棒性。與逐點(diǎn)變換相比，GKT只將相機(jī)參數(shù)作為指導(dǎo)，而非完全依賴。當(dāng)相機(jī)偏離時(shí)，相應(yīng)的，內(nèi)核區(qū)域會(huì)移動(dòng)，但仍然可以覆蓋目標(biāo)。由于變換器的排列位置不變的，而是根據(jù)偏移量動(dòng)態(tài)的生成核心區(qū)域的關(guān)注權(quán)重，所以GKT可以始終聚焦于目標(biāo)，從而減少相機(jī)偏差的影響。

同時(shí)，GKT具有很高的效率。利用所提出的LUT索引，可以在運(yùn)行時(shí)消除了逐點(diǎn)變換所需的2D-3D映射操作，使正向過(guò)程緊湊而快速。與全局變換相比，GKT只關(guān)注幾何引導(dǎo)的核區(qū)域，避免了全局交互。相較而言，GKT所需的假設(shè)過(guò)程更少，收斂過(guò)程更快。

因此，GKT綜合了逐點(diǎn)變換和全局變換的優(yōu)勢(shì)，從而實(shí)現(xiàn)了高效和高魯棒性的2D到BEV視圖學(xué)習(xí)。在nuScenes數(shù)據(jù)集上的測(cè)試也表明GKT非常高效，使用3090 GPU運(yùn)行可達(dá)到72.3 FPS，使用2080ti GPU運(yùn)行可達(dá)到45.6 FPS，其FPS低于目前所有方法。