作者：Chen Min， Xinli Xu， Dawei Zhao， Liang Xiao， Yiming Nie， Bin Dai

基于掩碼的自監(jiān)督預(yù)訓(xùn)練方法在圖像和文本領(lǐng)域得到了成功的應(yīng)用。但是，對(duì)于同樣信息冗余的大規(guī)模點(diǎn)云，基于掩碼的自監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)的研究還沒(méi)有展開。在這篇文章中，我們提出了第一個(gè)將掩碼自編碼器引入大規(guī)模點(diǎn)云自監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)的方法：Voxel-MAE。不同于2D MAE采用RGB像素回歸，3D點(diǎn)云數(shù)量巨大，無(wú)法直接學(xué)習(xí)每個(gè)點(diǎn)云的數(shù)據(jù)分布，因此Voxel-MAE將點(diǎn)云轉(zhuǎn)成體素形式，然后進(jìn)行體素內(nèi)是否包含點(diǎn)云的二分類任務(wù)學(xué)習(xí)。這種簡(jiǎn)單但是有效的分類學(xué)習(xí)策略能使模型在體素級(jí)別上對(duì)物體形狀敏感，進(jìn)而提高下游任務(wù)的精度。即使掩蔽率高達(dá)90%，Voxel-MAE依然可以學(xué)習(xí)有代表性的特征，這是因?yàn)榇笠?guī)模點(diǎn)云的冗余度非常高。另外考慮點(diǎn)云隨著距離增大變稀疏，設(shè)計(jì)了距離感知的掩碼策略。2D MAE的Transformer結(jié)構(gòu)無(wú)法處理大規(guī)模點(diǎn)云，因此Voxel-MAE利用3D稀疏卷積來(lái)構(gòu)建encoder，其中position encoding同樣可以只處理unmasked的體素。我們同時(shí)在無(wú)監(jiān)督領(lǐng)域自適應(yīng)任務(wù)上驗(yàn)證了Voxel-MAE的遷移性能。Voxel-MAE證明了對(duì)大規(guī)模點(diǎn)云進(jìn)行基于掩碼的自監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)，來(lái)提高無(wú)人車的感知性能是可行的。KITTI、nuScenes、Waymo數(shù)據(jù)集上，SECOND、CenterPoint和PV-RCNN上的充分的實(shí)驗(yàn)證明Voxel-MAE在大規(guī)模點(diǎn)云上的自監(jiān)督預(yù)訓(xùn)練性能。

Voxel-MAE是第一個(gè)大規(guī)模點(diǎn)云的自監(jiān)督掩碼自編碼器預(yù)訓(xùn)練方法。

不同于MAE中，Voxel-MAE為大規(guī)模點(diǎn)云設(shè)計(jì)了適合的體素二分類任務(wù)、距離感知的掩碼策略和3D稀疏卷積構(gòu)建的encoder等。

Voxel-MAE的自監(jiān)督掩碼自編碼器預(yù)訓(xùn)練模型有效提升了SECOND、CenterPoint和PV-RCNN等算法在KITTI、nuScenes、Waymo數(shù)據(jù)集上的性能。

Voxel-MAE同時(shí)在無(wú)監(jiān)督領(lǐng)域自適應(yīng)3D目標(biāo)檢測(cè)任務(wù)上驗(yàn)證了遷移性能。

算法流程

圖1 Voxel-MAE的整體框圖：首先將大規(guī)模點(diǎn)云轉(zhuǎn)成體素表示，然后采用距離感知的掩碼策略對(duì)體素進(jìn)行mask，再將unmasked的體素送入不對(duì)稱的encoder-decoder網(wǎng)絡(luò)，重建體素。最后，采用判斷體素內(nèi)是否包含點(diǎn)云的二分類交叉熵?fù)p失函數(shù)端到端訓(xùn)練整個(gè)網(wǎng)絡(luò)。Encoder采用三維稀疏卷積網(wǎng)絡(luò)構(gòu)建，Decoder采用三維反卷積實(shí)現(xiàn)。

Range-aware Masking

遵循常見(jiàn)的3D點(diǎn)云目標(biāo)檢測(cè)的設(shè)置，我們將WXHXD范圍內(nèi)的大規(guī)模點(diǎn)云沿著XYZ方向分成大小為VWXVHXVD的體素。所有體素的個(gè)數(shù)為nl，包含點(diǎn)云的體素個(gè)數(shù)為nv。

不同于2D圖像，3D點(diǎn)云的分布隨著離激光雷達(dá)的距離增加越來(lái)越稀疏。因此不能對(duì)不同位置的點(diǎn)云采用相同的掩碼策略。

對(duì)此我們?cè)O(shè)計(jì)了距離感知的掩碼策略。即對(duì)近處稠密的點(diǎn)云masking多，對(duì)遠(yuǎn)處稀疏的點(diǎn)云masking少。具體我們將點(diǎn)云分成30米以內(nèi)，30-50米，50米以外，然后分別采用r1，r2和r3三種掩碼率來(lái)對(duì)點(diǎn)云體素進(jìn)行隨機(jī)掩蔽，其中r1》r2》r3。剩余的unmasked的體素個(gè)數(shù)為nun。對(duì)于所有包含點(diǎn)云的體素nl，我們將其點(diǎn)云體素分類目標(biāo)設(shè)為1，其他設(shè)為0。

3D Sparse Convolutional Encoder

MAE論文中采用Transformer網(wǎng)絡(luò)架構(gòu)對(duì)訓(xùn)練集中的unmasked部分進(jìn)行自注意力機(jī)制學(xué)習(xí)，不會(huì)被masked部分影響。但是由于unmasked的點(diǎn)云數(shù)量仍然很大，幾十萬(wàn)級(jí)別，Transformer網(wǎng)絡(luò)無(wú)法處理如此大規(guī)模unmasked的點(diǎn)云數(shù)據(jù)。研究者通常采用3D SparseConvolutions來(lái)處理大規(guī)模稀疏3D點(diǎn)云。因此不同于2D MAE，Voxel-MAE采用3D SparseConvolutions來(lái)構(gòu)建MAE中的encoder，其采用positional encoding來(lái)只對(duì)unmasked的體素聚合信息，從而類似MAE中的Transformer結(jié)構(gòu)，可以降低訓(xùn)練模型的計(jì)算復(fù)雜度。

3D Deconvolutional Decoder

Voxel-MAE采用3D反卷積構(gòu)建decoder。最后一層輸出每個(gè)體素包含點(diǎn)云的概率。decoder網(wǎng)絡(luò)簡(jiǎn)單，只用于訓(xùn)練過(guò)程。

Voxel-MAE的encoder和decoder的結(jié)構(gòu)如下：

Reconstruction Target

2D MAE中采用masked部分的RGB像素回歸作為掩碼自編碼器自監(jiān)督學(xué)習(xí)的目標(biāo)，但是3D點(diǎn)云的數(shù)量很大，回歸點(diǎn)云需要學(xué)習(xí)每個(gè)點(diǎn)云的數(shù)據(jù)分布，是難以學(xué)習(xí)的。

對(duì)于3D點(diǎn)云的體素表示，體素內(nèi)是否包含點(diǎn)云非常重要。因此我們?yōu)閂oxel-MAE設(shè)計(jì)了體素是否包含點(diǎn)云的二分類任務(wù)。目標(biāo)是恢復(fù)masked的體素的位置信息。雖然分類任務(wù)很簡(jiǎn)單，但是可以學(xué)習(xí)到大規(guī)模點(diǎn)云的數(shù)據(jù)分布信息，從而提高預(yù)訓(xùn)練模型的性能。

實(shí)驗(yàn)結(jié)果

采用OpenPCDet算法基準(zhǔn)庫(kù)，在KITTI、nuScenes、Waymo數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1.KITTI

2. Waymo

3. nuScenes

4. 3D點(diǎn)云無(wú)監(jiān)督領(lǐng)域自適應(yīng)任務(wù)驗(yàn)證遷移性能

5. 3D點(diǎn)云重建可視化圖

審核編輯：郭婷