背景

近年來(lái)，基于純視覺(jué)的感知方法由于其較高的信噪比和較低的成本，在自動(dòng)駕駛領(lǐng)域占有重要地位。其中，鳥(niǎo)瞰圖（BEV）感知已成為主流的方法。在以視覺(jué)為中心的自動(dòng)駕駛?cè)蝿?wù)中，BEV表示學(xué)習(xí)是指將周?chē)鄠€(gè)攝像頭的連續(xù)幀作為輸入，然后將像平面視角轉(zhuǎn)換為鳥(niǎo)瞰圖視角，在得到的鳥(niǎo)瞰圖特征上執(zhí)行諸如三維目標(biāo)檢測(cè)、地圖視圖語(yǔ)義分割和運(yùn)動(dòng)預(yù)測(cè)等感知任務(wù)。

BEV感知性能的提高取決于如何快速且精準(zhǔn)地獲取道路和物體特征表示。圖1中展示了現(xiàn)有的兩類基于不同交互機(jī)制的BEV感知管道：（a）后交互和（b）中間交互。后交互管道［1］在每個(gè)相機(jī)視角上獨(dú)立地進(jìn)行感知，然后將感知結(jié)果在時(shí)間和空間上融合到一個(gè)統(tǒng)一的BEV特征空間中。中間交互管道［2，3，4］是最近使用得最廣泛的方案，它將所有的相機(jī)視角圖像耦合輸入到網(wǎng)絡(luò)中，通過(guò)網(wǎng)絡(luò)將它們轉(zhuǎn)換到BEV空間，然后直接輸出結(jié)果。中間交互管道中的特征提取、空間轉(zhuǎn)換和BEV空間的學(xué)習(xí)都有一個(gè)明確的順序。



圖1：后交互、中間交互和我們提出的前置交互框架示意圖

基于視覺(jué)的BEV感知的核心挑戰(zhàn)是從仿射視角（Perspective View， PV）向鳥(niǎo)瞰圖視角（BEV）的轉(zhuǎn)換。然而，利用現(xiàn)有的兩種交互策略將PV轉(zhuǎn)換到BEV仍然存在許多問(wèn)題：

（1） 圖像空間backbone只依次提取不同分辨率的圖像特征，而沒(méi)有融合任何跨分辨率的信息；

（2） 現(xiàn)有的交互策略中核心模塊的計(jì)算量主要由圖像空間backbone占據(jù)，但它不包含任何BEV空間信息，導(dǎo)致大量的計(jì)算并沒(méi)有執(zhí)行PV到BEV轉(zhuǎn)換這一關(guān)鍵任務(wù)；

（3） 后交互策略和中間交互策略的前向處理中的信息流是單向的，信息從圖像空間流到BEV空間，而B(niǎo)EV空間中的信息并沒(méi)有有效地影響圖像空間中的特征。

為了解決這些問(wèn)題，我們提出了一種新的基于Transformer的雙向前置交互框架，以有效地將多尺度圖像特征聚合成更好的BEV特征表示，并執(zhí)行BEV語(yǔ)義分割任務(wù)。 與現(xiàn)有的兩種策略相比，我們提出的前置交互方法具有明顯的優(yōu)勢(shì)。首先，我們提出的雙向前置交互方法可以融合全局上下文信息和局部細(xì)節(jié)，從而能夠向BEV空間傳遞更豐富的語(yǔ)義信息。其次，我們提出PV到BEV的轉(zhuǎn)換不僅可以是圖像特征提取后，而且可以在提取過(guò)程中進(jìn)行逐步轉(zhuǎn)換，于是，通過(guò)我們提出的雙向交叉注意力機(jī)制，信息流可以隱式地進(jìn)行雙向交互，從而對(duì)齊PV和BEV中的特征。此外，我們的方法可以將跨空間對(duì)齊學(xué)習(xí)擴(kuò)散到整個(gè)框架中，即圖像網(wǎng)絡(luò)學(xué)習(xí)不僅可以學(xué)習(xí)到良好的特征表示，而且可以起到跨空間對(duì)齊的作用。 方法

　　整體框架

　　BAEFormer的整體框架如圖2所示，總共包含兩個(gè)部分：（1）雙向前置交互編碼器，用于提取圖像特征并將其從PV轉(zhuǎn)換為BEV；（2）將低分辨率BEV特征上采樣到高分辨率BEV特征的解碼器，用于執(zhí)行下游任務(wù)。



圖2：BAEFormer整體框架圖

　　前置交互

　　對(duì)于前置交互模塊，我們使用EfficientNet［5］的預(yù)訓(xùn)練模型來(lái)提取環(huán)視圖像的特征，特征提取器包含三層，分別提取圖像的4x，8x，16x分辨率的特征。4x分辨率的特征首先被提取出來(lái)，通過(guò)一個(gè)降采樣模塊之后和BEV特征進(jìn)行交互得到更新之后的4x分辨率特征，將更新之后的4x特征上采樣，并作為特征提取器的下一層的輸入來(lái)提取8x分辨率特征。以此類推，我們得到更新之后的8x特征并作為特征提取器最后一層的輸入，由此得到16x圖像特征。我們的多尺度前置交互方法可以充分利用分層預(yù)訓(xùn)練的模型來(lái)整合多尺度圖像特征。同時(shí)，BEV的空間信息可以流入主干網(wǎng)絡(luò)，使前置交互主干網(wǎng)絡(luò)承擔(dān)了部分異質(zhì)空間對(duì)齊的功能。

　　雙向交叉注意力

　　如圖3中所示，我們提出的雙向交叉注意力模型包含兩個(gè)分支，一個(gè)用于多視圖圖像特征的精細(xì)化，另一個(gè)用于BEV特征的精細(xì)化。 首先，N個(gè)環(huán)視圖像特征首先被編碼為查詢特征，鍵特征和值特征，其中c表示特征維度，h和w分別表示特征的高和寬。相似的，BEV特征編碼也被轉(zhuǎn)換為查詢特征，鍵特征和值特征。于是圖像特征和BEV特征的交叉注意力可以表示為： 整個(gè)Transformer模塊就可以使用下式計(jì)算： 其中， 和 表示第l層的輸入， 和 表示第l層的輸出。LN（?）表示層歸一化操作，MLP（?）表示有2個(gè)全連接層和一個(gè)非線性層的多層感知機(jī)模塊，MHBiCA（?）表示擁有多頭交叉注意力機(jī)制的BiCA（?）模塊。



圖3：雙向交叉注意力框架圖 實(shí)驗(yàn)結(jié)果

表1展示了BAEFormer方法和之前的方法在兩種設(shè)置下的性能、參數(shù)和推理速度的對(duì)比結(jié)果?？梢钥闯觯珺AEFormer在使用相同輸入分辨率（224x480）的設(shè)置下，在精度上超過(guò)了現(xiàn)有的實(shí)時(shí)方法。同時(shí)，雖然先前的BEVFormer［2］實(shí)現(xiàn)了高性能，但它非常耗時(shí)，模型參數(shù)高達(dá)68.1M。我們的BAEFormer在大輸入圖像分辨率（504x1056）下的運(yùn)行速度比BEVFormer快12倍，而參數(shù)量大約是它的1/12。

表1：nuScenes數(shù)據(jù)集上車(chē)輛類別的語(yǔ)義分割結(jié)果

　　消融實(shí)驗(yàn)

　　表2展示了我們?cè)趎uScenes數(shù)據(jù)集上對(duì)車(chē)輛類別進(jìn)行的不同交互方式的消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，我們的BAEFormer方法可以將雙向交叉注意力機(jī)制和前置交互方式充分地結(jié)合以得到更好的BEV特征表示。

表2：不同交互方式的消融實(shí)驗(yàn)

表3展示了具有不同輸入分辨率和圖像特征尺度的模型的mIoU性能和內(nèi)存使用情況。結(jié)果說(shuō)明，使用多尺度特征可以帶來(lái)更好的性能；增大輸入圖像分辨率可以提高性能，但會(huì)帶來(lái)顯存的劇增；我們發(fā)現(xiàn)，如（j）-（n）所示，在交互過(guò)程中，輸入圖像的分辨率對(duì)最終的精度沒(méi)有太大的影響；因此我們可以在提高輸入圖像分辨率來(lái)提升性能的同時(shí)，通過(guò)對(duì)交互時(shí)的圖像特征進(jìn)行降采樣來(lái)保證計(jì)算量是可控的。



表3： 不同輸入分辨率和不同圖像特征尺度的組合

　　可視化結(jié)果

　　圖4展示了BEV下的可視化結(jié)果，可以看出BAEFormer對(duì)比baseline模型，不僅對(duì)于近處物體漏檢（紅色圈）的數(shù)目有效減少，且對(duì)于遠(yuǎn)處物體（綠色圈）也能進(jìn)行有效的感知，進(jìn)一步說(shuō)明了我們方法的感知能力具有一定的優(yōu)勢(shì)。



圖4：不同模型的可視化結(jié)果對(duì)比

結(jié)論

在本文中，我們提出了一種稱為BAEFormer的BEV語(yǔ)義分割新框架，采用雙向交叉注意力機(jī)制，通過(guò)對(duì)圖像特征空間和 BEV 特征空間中的信息流施加雙向約束來(lái)建立改進(jìn)的跨空間對(duì)齊，同時(shí)利用前置交互方法來(lái)合并跨尺度信息，并實(shí)現(xiàn)更精細(xì)的語(yǔ)義表示。實(shí)驗(yàn)結(jié)果表明，BAEFormer在保持實(shí)時(shí)推理速度的同時(shí)能夠提高BEV語(yǔ)義分割的性能。?

　


審核編輯：劉清