本文提出了BEV-MAE，一種高效的3D點(diǎn)云感知模型預(yù)訓(xùn)練算法，可直接使用大量的無標(biāo)記點(diǎn)云數(shù)據(jù)對感知模型進(jìn)行預(yù)訓(xùn)練從而降低對點(diǎn)云標(biāo)記的需求。BEV-MAE首先使用鳥瞰圖引導(dǎo)的掩碼策略來對3D點(diǎn)云輸入進(jìn)行掩碼，該部分被掩蓋的點(diǎn)云將被替換為共享的可學(xué)習(xí)令牌。之后被處理過的點(diǎn)云依次輸入到3D編碼器和輕量級的解碼器中，由輕量級的解碼器重建被掩蓋的點(diǎn)云并預(yù)測被掩蓋區(qū)域的點(diǎn)云密度。BEV-MAE在自動駕駛感知數(shù)據(jù)集Waymo上以最低的預(yù)訓(xùn)練代價(jià)取得了最高的3D目標(biāo)檢測精度提升。同時(shí)，基于Transfusion-L檢測器，BEV-MAE在自動駕駛感知數(shù)據(jù)集nuScenes上取得了領(lǐng)先的3D點(diǎn)云目標(biāo)檢測結(jié)果。? ??

研究背景：

3D目標(biāo)檢測是自動駕駛中最基本的任務(wù)之一。近年來，由于標(biāo)注數(shù)據(jù)集和數(shù)據(jù)量的增加，基于激光雷達(dá)（LiDAR）的3D目標(biāo)檢測算法取得了顯著的成功。然而，現(xiàn)有的基于激光雷達(dá)的3D目標(biāo)檢測算法通常采用從頭開始訓(xùn)練的范式（training from scratch）。這種范式存在兩個(gè)顯著的缺陷。首先，從頭開始訓(xùn)練的范式在很大程度上依賴于大量的標(biāo)注數(shù)據(jù)，而對于3D目標(biāo)檢測而言，標(biāo)注準(zhǔn)確的物體包圍框和分類標(biāo)簽是需要大量人工參與的，且非常昂貴和耗時(shí)的。例如，在KITTI數(shù)據(jù)集上標(biāo)注一個(gè)物體需要大約114秒。其次，在許多實(shí)際應(yīng)用場景中，自動駕駛車輛在行駛過程中可以生成大量無標(biāo)注的點(diǎn)云數(shù)據(jù)，而從頭開始訓(xùn)練的范式不能很好地將這部分?jǐn)?shù)據(jù)利用起來。

方法部分：

針對該問題，作者研究了一種針對自動駕駛場景的 3D 點(diǎn)云自監(jiān)督預(yù)訓(xùn)練方法，提出了一種名為 BEV-MAE 的鳥瞰圖掩碼自編碼器框架，專門用于預(yù)訓(xùn)練自動駕駛場景的 3D 目標(biāo)檢測器。具體流程圖如下圖所示：

? ?

BEV-MAE首先使用鳥瞰圖引導(dǎo)的掩碼策略來對3D點(diǎn)云輸入進(jìn)行掩碼。然后，這部分被掩蓋的點(diǎn)云將被替換為共享的可學(xué)習(xí)令牌。之后，將處理后的點(diǎn)云依次輸入到3D編碼器和輕量級的解碼器中。最后，輕量級的解碼器將重建被掩蓋的點(diǎn)云并預(yù)測被掩蓋區(qū)域的點(diǎn)云密度。

a、鳥瞰圖掩碼策略

在基于激光雷達(dá)的3D目標(biāo)檢測中，點(diǎn)云通常被劃分為規(guī)則的體素塊。一種簡單的掩碼策略是像視覺中的補(bǔ)丁掩碼一樣，對體素化后的點(diǎn)云進(jìn)行掩碼。然而，這種簡單的體素掩碼策略沒有顯式地學(xué)習(xí)自動駕駛中主流的3D目標(biāo)檢測方法中使用的鳥瞰圖特征表示。

為此，作者提出了一種鳥瞰圖引導(dǎo)的掩碼策略對鳥瞰圖平面中的點(diǎn)云進(jìn)行掩碼操作。

具體而言，假設(shè)點(diǎn)云被編碼和轉(zhuǎn)換后鳥瞰圖視角中的特征分辨率為，首先預(yù)定義一個(gè)大小為的網(wǎng)格狀鳥瞰圖平面。然后，根據(jù)點(diǎn)云的坐標(biāo)將每個(gè)點(diǎn)云投影到預(yù)定義平面的相應(yīng)鳥瞰圖網(wǎng)格中。之后，作者將隨機(jī)選擇一部分非空的鳥瞰圖網(wǎng)格作為被掩碼的網(wǎng)格，并將其余的鳥瞰圖網(wǎng)格視為可見網(wǎng)格。最后將所有投影到可見網(wǎng)格中的點(diǎn)云視為掩碼后的點(diǎn)云輸入到網(wǎng)絡(luò)中。

b、共享可學(xué)習(xí)token

常用的基于體素的3D目標(biāo)檢測器的3D編碼器通常由多個(gè)稀疏卷積操作組成，而稀疏卷積僅會處理非空體素附近的特征，因此，將掩碼后的點(diǎn)云作為輸入時(shí)，3D編碼器的感受野將會變小。為了解決這個(gè)問題，作者采用一個(gè)共享的可學(xué)習(xí)令牌替換被掩蓋的點(diǎn)云。具體來說，作者使用完整點(diǎn)云的坐標(biāo)作為稀疏卷積的輸入索引，并在第一個(gè)稀疏卷積層中用共享的可學(xué)習(xí)令牌替換被掩碼點(diǎn)云的特征，同時(shí)保持其他稀疏卷積層不變。所提出的共享可學(xué)習(xí)令牌的唯一目的是將信息從一個(gè)點(diǎn)或體素傳遞到另一個(gè)點(diǎn)或體素，以維持感受野大小不變，而不引入任何額外的信息，包括被掩碼點(diǎn)的坐標(biāo)，來降低重建任務(wù)的難度。? ??

c、掩碼預(yù)測任務(wù)

所提出的BEV-MAE由兩個(gè)任務(wù)作為監(jiān)督，即點(diǎn)云重建和密度預(yù)測。對于每個(gè)任務(wù)，都采用獨(dú)立的線性層作為預(yù)測頭來預(yù)測結(jié)果。

對于點(diǎn)云重建，與之前的工作類似，BEV-MAE通過預(yù)測被掩碼點(diǎn)云的坐標(biāo)來重建掩碼輸入。采用chamfer-distance作為訓(xùn)練損失函數(shù)。

對于密度預(yù)測，不同于圖像、語言和室內(nèi)點(diǎn)云，自動駕駛場景中室外點(diǎn)云的密度具有隨離激光雷達(dá)傳感器越遠(yuǎn)而越稀疏的特性。因此，密度可以反映每個(gè)點(diǎn)或物體的位置信息。而對于目標(biāo)檢測而言，檢測器的定位能力至關(guān)重要。因此，點(diǎn)云密度預(yù)測任務(wù)能夠一定程度上指導(dǎo)3D編碼器獲得更好的定位能力。

具體而言，對于每個(gè)被掩碼的網(wǎng)格，計(jì)算此網(wǎng)格中的點(diǎn)云數(shù)量，并通過將點(diǎn)云數(shù)量除以其在3D空間中的占用體積來得到對應(yīng)的密度真值。然后，BEV-MAE使用線性層作為預(yù)測頭來預(yù)測密度。密度預(yù)測使用Smooth-L1損失來監(jiān)督此任務(wù)。

實(shí)驗(yàn)部分：? ?

BEV-MAE主要在兩個(gè)主流的自動駕駛數(shù)據(jù)集nuScenes和Waymo上進(jìn)行實(shí)驗(yàn)。

在Waymo上，BEV-MAE以較低的預(yù)訓(xùn)練代價(jià)，取得了更高的3D目標(biāo)檢測性能提升，如下圖所示：

在nuScenes上，以BEV-MAE作為預(yù)訓(xùn)練算法，能夠進(jìn)一步提升當(dāng)前最強(qiáng)點(diǎn)云3D目標(biāo)檢測器的性能。以TransFusion-L作為基礎(chǔ)3D檢測器，外加BEV-MAE的預(yù)訓(xùn)練算法，在nuScenes數(shù)據(jù)集上取得了先進(jìn)的單模態(tài)點(diǎn)云3D目標(biāo)檢測結(jié)果。

結(jié)論：

本文針對點(diǎn)云預(yù)訓(xùn)練問題，提出了BEV-MAE，一種基于掩碼模型的LiDAR感知模型預(yù)訓(xùn)練策略，在預(yù)訓(xùn)練效率和性能上表現(xiàn)出色，可緩解LiDAR感知模型對標(biāo)記數(shù)據(jù)的需求。

審核編輯：黃飛