0. 寫在前面

3D目標(biāo)檢測是自動駕駛非常重要的一個基礎(chǔ)任務(wù)，其重要性不言而喻。今天筆者為大家推薦一篇3D目標(biāo)檢測方向的最新綜述。

作者：Xinzhu Ma, Wanli Ouyang, Andrea Simonelli, Elisa Ricci

2. 摘要

圖像中的3D目標(biāo)檢測是自動駕駛中的基礎(chǔ)且具有挑戰(zhàn)性的問題之一，近年來受到了工業(yè)界和學(xué)術(shù)界越來越多的關(guān)注。得益于深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于圖像的三維檢測取得了令人矚目的進(jìn)展。特別地，從2015年到2021年，已經(jīng)有超過200項工作研究了該問題，涵蓋了廣泛的理論、算法和應(yīng)用。然而，到目前為止，還沒有最近的調(diào)查來收集和整理這些知識。在本文中，我們填補(bǔ)了文獻(xiàn)中的這一空白，并首次對這一新穎且不斷增長的研究領(lǐng)域進(jìn)行了全面調(diào)查，總結(jié)了基于圖像的3D檢測最常用的pipeline，并對其每個組成部分進(jìn)行了深入分析。此外，我們還提出了兩個新的分類法，將最先進(jìn)的方法組織成不同的類別，目的是對現(xiàn)有方法進(jìn)行更系統(tǒng)的審查，并與未來的工作進(jìn)行公平的比較。在回顧迄今為止所取得的成果的同時，我們還分析了該領(lǐng)域目前面臨的挑戰(zhàn)，并討論了基于圖像的3D檢測研究的未來方向。

3. 數(shù)據(jù)集總結(jié)

可用于自動駕駛場景下基于圖像的3D目標(biāo)檢測的數(shù)據(jù)集總結(jié)。其中一些數(shù)據(jù)集包括多個任務(wù)，這里只報告了3D檢測基準(zhǔn)（例如KITTI 3D發(fā)布了超過40K的圖像,其中約15K用于3D檢測）。

4. 分類法

為了便于對現(xiàn)有方法進(jìn)行系統(tǒng)分析，并在未來的工作中進(jìn)行公平的性能比較，作者提出了兩種新的分類法，即根據(jù)所采用的框架和使用的輸入數(shù)據(jù)對現(xiàn)有方法進(jìn)行分類。

基于圖像的3D目標(biāo)檢測pipeline的概述。分別展示了使用藍(lán)色、綠色和紅色箭頭的數(shù)據(jù)提升、特征提升和結(jié)果提升方法的數(shù)據(jù)流。

對最相關(guān)的基于圖像的3D檢測方法和基準(zhǔn)進(jìn)行了時間上的列舉。

在頂會頂刊上發(fā)布的基于圖像的3D探測器對輔助數(shù)據(jù)和結(jié)果的要求。在Car類別的KITTI測試集上報告了用于3D / BEV檢測的AP | R40。根據(jù)所使用的輔助數(shù)據(jù)對方法進(jìn)行分組，每組中的方法在適中的設(shè)置下通過3D AP | R40進(jìn)行排序。還展示了這些方法是否使用了預(yù)訓(xùn)練權(quán)重(排除ImageNet預(yù)訓(xùn)練)。

5. 未來發(fā)展

作者認(rèn)為，未來3D目標(biāo)檢測主要有兩個挑戰(zhàn)：

（1）從2D圖像中感知3D世界是一個不適定問題；

（2）標(biāo)注3D數(shù)據(jù)是極其昂貴的，并且現(xiàn)有數(shù)據(jù)集的規(guī)模仍然有限。

對于第一個問題，可以探索更好的深度估計方法，也可以利用多模態(tài)和時間序列。對于第二個問題，應(yīng)該考慮完監(jiān)督學(xué)習(xí)之外的方法。此外，也可以考慮從大規(guī)模預(yù)訓(xùn)練模型中進(jìn)行遷移學(xué)習(xí)。最后，考慮到3D目標(biāo)檢測的應(yīng)用場景，還應(yīng)該考慮模型的泛化能力。

6. 總結(jié)

這篇文章對基于圖像的自動駕駛3D檢測的最新進(jìn)展進(jìn)行了全面的綜述。作者首先對現(xiàn)有的方法進(jìn)行了分類。然后對這些算法進(jìn)行了詳細(xì)的比較，討論了3D檢測的每個必要組成部分，如特征提取、損失建模、后處理等。還討論了輔助數(shù)據(jù)在該領(lǐng)域的應(yīng)用，以及開放性挑戰(zhàn)和潛在方向。

審核編輯：黃飛

?