導(dǎo)讀：我們將專注于最近的深度學(xué)習(xí)技術(shù)，這些技術(shù)支持3D對象分類和語義分割。我們將首先回顧一些有關(guān)捕獲和表示3D數(shù)據(jù)的常用方法的背景信息。然后，我們將描述三種不同的3D數(shù)據(jù)表示的基本深度學(xué)習(xí)方法。最后，我們將描述有前途的新研究方向，并總結(jié)我們對該領(lǐng)域前進(jìn)方向的看法。

假設(shè)你正在建造一輛需要了解周圍環(huán)境的自動駕駛汽車。為了能夠感知行人、騎自行車的人和周圍的其他車輛以便安全行駛，你將如何設(shè)計你的汽車？你可以使用相機(jī)，但這似乎并不特別有效，因為相機(jī)拍出來的照片是2D的，而你只能將3D“擠壓”為從相機(jī)捕獲的2D圖像，然后你嘗試從2D圖像信息（比如到你前面的行人或汽車的距離）中恢復(fù)實際的3D環(huán)境信息。通過將3D環(huán)境壓縮到2D圖像，你將丟棄對你最重要的許多信息。嘗試將這些信息重新組合在一起很困難，即使對于最先進(jìn)的算法，也容易出錯。

相反，最好是能夠使用3D數(shù)據(jù)擴(kuò)充你的2D世界視圖。你可以直接通過傳感器找到這些物體，而不是嘗試估算2D圖像與行人或其他車輛的距離。但現(xiàn)在感知這一部分是比較困難的。你如何在3D數(shù)據(jù)中真正識別人？如騎自行車的人和汽車等物體。傳統(tǒng)的深度學(xué)習(xí)技術(shù)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN），可以使這些物體在2D圖像中直接識別，需要適應(yīng)3D工作。幸運(yùn)的是，在過去的幾年里，人們已經(jīng)對3D中的感知問題進(jìn)行了相當(dāng)多的研究，我們在本文中的任務(wù)是簡要概述這項工作。

特別是，我們將專注于最近的深度學(xué)習(xí)技術(shù)，這些技術(shù)支持3D對象分類和語義分割。我們將首先回顧一些有關(guān)捕獲和表示3D數(shù)據(jù)的常用方法的背景信息。然后，我們將描述三種不同的3D數(shù)據(jù)表示的基本深度學(xué)習(xí)方法。最后，我們將描述有前途的新研究方向，并總結(jié)我們對該領(lǐng)域前進(jìn)方向的看法。

我們?nèi)绾尾东@和表示3D數(shù)據(jù)？

很明顯，我們需要能夠直接在3D中運(yùn)行的計算機(jī)視覺方法，但這提出了三個明顯的挑戰(zhàn)：感知，表示和理解3D數(shù)據(jù)。

感知

捕獲3D數(shù)據(jù)的過程很復(fù)雜。雖然2D相機(jī)便宜且廣泛，但3D感測通常需要專門的硬件設(shè)置。

立體視覺利用多臺攝像機(jī)，通過測量被感知物體位置的變化來計算深度信息（來源：愛丁堡大學(xué)）

1、立體視覺將兩個或以上攝像機(jī)相對于彼此固定在特定位置，并使用此設(shè)置捕獲場景的不同圖像，匹配相應(yīng)的像素，并計算每個像素在圖像之間的位置差異以計算其在3D空間中的位置。這大致是人類感知世界的方式 - 我們的眼睛捕捉到現(xiàn)實世界中兩個獨立的“圖像”，然后我們的大腦會看到物體的位置在我們的左眼和右眼之間的位置如何不同以確定其3D位置。立體視覺很有吸引力，因為它涉及的硬件很簡單 - 只有兩個或以上普通相機(jī)。然而，在精度或速度很重要的應(yīng)用中，這種方法并不是很好。

RGB-D相機(jī)輸出包含顏色信息和每像素深度的四通道圖像（來源：九州大學(xué)）

2、RGB-D涉及使用除了彩色圖像（“RGB”）之外還捕獲深度信息（“D”）的特殊類型的相機(jī)。具體來說，它捕獲了從普通2D相機(jī)獲得的相同類型的彩色圖像，但是，對于某些像素子集，它還會告訴你相機(jī)前面的距離。在內(nèi)部，大多數(shù)RGB-D傳感器通過“結(jié)構(gòu)光”進(jìn)行工作，該結(jié)構(gòu)光將紅外圖案投射到場景上并感知該圖案如何扭曲到幾何表面上，或者“飛行時間”，其觀察投射的紅外光多長時間需要返回相機(jī)。你可能聽說過的一些RGB-d相機(jī)包括?微軟Kinect?和iPhone X的?面部識別?傳感器。RGB-D很棒，因為這些傳感器相對較小且成本較低，卻很快速且不受視覺匹配誤差的影響。然而，由于遮擋（前景中的物體阻擋投影到其后面的物體上），RGB-D相機(jī)的深度輸出通常會有許多孔，圖案感應(yīng)失敗和范圍問題（投影和感應(yīng)都變得難以遠(yuǎn)離相機(jī)）。

LIDAR使用多個激光束（同心圓感應(yīng)）直接感知環(huán)境的幾何結(jié)構(gòu)（來源：Giphy）

3、LiDAR涉及在物體上發(fā)射快速激光脈沖并測量它們返回傳感器所花費(fèi)的時間。這類似于我們上面描述的RGB-D相機(jī)的“飛行時間”技術(shù)，但是LiDAR具有明顯更長的距離，捕獲更多的點，并且對來自其他光源的干擾更加具有魯棒性。如今，大多數(shù)3D LiDAR傳感器都是多線（最多64線）光束垂直對齊、可以快速旋轉(zhuǎn)，以便在傳感器周圍的所有方向上看到。這些是大多數(shù)自動駕駛汽車中使用的傳感器，因為它們的精度、范圍和堅固性，但是LiDAR傳感器的問題在于它們通常很大，很重且非常昂貴（?64光束傳感器）?大多數(shù)自動駕駛汽車的使用成本為75,000美元）。其結(jié)果是，許多公司正在努力開發(fā)更便宜的?“固態(tài)激光雷達(dá)”?系統(tǒng)，可以在3D感知，而不必旋轉(zhuǎn)。

3D表示

一旦捕獲了3D數(shù)據(jù)，你需要以一種有意義的方式表示它，作為您正在構(gòu)建的處理管道的輸入。您應(yīng)該知道四種主要表示形式：

3D數(shù)據(jù)的不同表示。（a）點云（來源：Caltech），（b）體素網(wǎng)格（來源：IIT Kharagpur），（c）三角網(wǎng)格（來源：UW），（d）多視圖表示（來源：斯坦福）

a、點云只是3D空間中點的集合；每個點由（xyz）位置指定，可與一些其他屬性（如rgb顏色）一起指定。它們是捕獲LiDAR數(shù)據(jù)的原始形式，立體和RGB-D數(shù)據(jù)（由標(biāo)記為每像素深度值的圖像組成）通常在進(jìn)一步處理之前轉(zhuǎn)換為點云。

b、體素網(wǎng)格源自點云。“體素”就像3D中的像素；將體素網(wǎng)格視為量化的固定大小的點云。雖然點云可以在空間中的任何位置具有無限數(shù)量的點與浮點像素坐標(biāo)，但是體素網(wǎng)格是3D網(wǎng)格，其中每個單元格或“體素”具有固定大小和離散坐標(biāo)。

c、多邊形網(wǎng)格由一組多邊形面組成，這些面具有接近幾何表面的共享頂點。將點云視為來自底層連續(xù)幾何表面的采樣3D點的集合；多邊形網(wǎng)格旨在以易于渲染的方式表示那些底層表面。雖然最初是為計算機(jī)圖形創(chuàng)建的，但多邊形網(wǎng)格也可用于3D視覺。有幾種方法可以從點云中獲得多邊形網(wǎng)格，包括Kazhdan等人的泊松曲面重構(gòu)。

d、多視圖表示是從不同的模擬視點（“虛擬相機(jī)”）捕獲的渲染多邊形網(wǎng)格的2D圖像的集合，以便以簡單的方式傳達(dá)3D幾何。簡單地從多個攝像機(jī)（如立體聲）捕獲圖像和構(gòu)建多視圖表示之間的區(qū)別在于多視圖需要實際構(gòu)建完整的3D模型并從幾個任意視點渲染它以完全傳達(dá)底層幾何。與上面用于存儲和處理3D數(shù)據(jù)的其他三種表示不同，多視圖表示通常僅用于將3D數(shù)據(jù)轉(zhuǎn)換為用于處理或可視化的簡單格式。

理解

既然已經(jīng)將3D數(shù)據(jù)轉(zhuǎn)換為易于理解的格式，那么你就需要構(gòu)建一個計算機(jī)視覺管道來理解它。這里的問題是，根據(jù)數(shù)據(jù)的表示，擴(kuò)展在2D圖像（如CNN）上運(yùn)行良好的傳統(tǒng)深度學(xué)習(xí)技術(shù)可能很難處理，使得諸如對象檢測或分段之類的傳統(tǒng)任務(wù)具有挑戰(zhàn)性。

學(xué)習(xí)多視圖輸入

使用3D數(shù)據(jù)的多視圖表示是使2D深度學(xué)習(xí)技術(shù)適應(yīng)3D的最簡單方法。這是將3D感知問題轉(zhuǎn)換為2D感知問題的一種聰明方式，但仍然允許您推斷對象的3D幾何結(jié)構(gòu)。使用這種想法的早期基于深度學(xué)習(xí)的工作是Su等人的多視圖CNN一種簡單而有效的架構(gòu)，可以從3D對象的多個2D視圖中學(xué)習(xí)特征描述符。與將單個2D圖像用于對象分類任務(wù)相比，該方法實現(xiàn)了該方法，提高了性能。這是通過將單個圖像輸入到在ImageNet上預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)來實現(xiàn)的，以便提取顯著特征，匯集這些產(chǎn)生的激活圖，并將該信息傳遞到附加的卷積層以進(jìn)行進(jìn)一步的特征學(xué)習(xí)。

多視圖CNN架構(gòu)

但是，多視圖圖像表示具有許多限制。主要問題是你并沒有真正學(xué)習(xí)3D -固定數(shù)量的2D視圖仍然只是底層3D結(jié)構(gòu)的不完美近似。因此，由于從2D圖像獲得的有限特征信息，諸如語義分割之類的任務(wù)（尤其是在更復(fù)雜的對象和場景上）的任務(wù)變得具有挑戰(zhàn)性。此外，這種可視化3D數(shù)據(jù)的形式對于計算受限的任務(wù)（如自動駕駛和虛擬現(xiàn)實）而言不可擴(kuò)展 - 請記住，生成多視圖表示需要渲染完整的3D模型并模擬多個任意視點。最終，多視圖學(xué)習(xí)面臨許多缺點，這些缺點促使研究直接從3D數(shù)據(jù)學(xué)習(xí)的方法。

學(xué)習(xí)體積表示法

使用體素網(wǎng)格進(jìn)行學(xué)習(xí)可以解決多視圖表示的主要缺點。體素網(wǎng)格彌合了2D和3D視覺之間的差距- 它們是最接近圖像的3D表示，使得將2D深度學(xué)習(xí)概念（如卷積算子）與3D相匹配變得相對容易。Maturana和Scherer的VoxNet是第一個在給定體素網(wǎng)格輸入的情況下在對象分類任務(wù)上獲得令人信服的結(jié)果的深度學(xué)習(xí)方法之一。VoxNet對概率占用網(wǎng)格進(jìn)行操作，其中每個體素包含該體素在空間中占據(jù)的概率。該方法的益處在于其允許網(wǎng)絡(luò)區(qū)分已知自由的體素（例如，LiDAR束穿過的體素）和占用未知的體素（例如，LiDAR束撞擊的體素后面的體素）。

VoxNet架構(gòu)

VoxNet的架構(gòu)本身非常簡單，由兩個卷積層，一個最大池層和兩個完全連接的層組成，用于計算輸出類別得分向量。與大多數(shù)最先進(jìn)的圖像分類網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)更淺，參數(shù)更少，但它是從數(shù)百種可能的CNN架構(gòu)的隨機(jī)搜索中選擇的。由于體素網(wǎng)格與圖像非常相似，因此它們采用的實際跨步卷積和合并算子是這些算子從2D像素到3D體素的簡單修改；卷積運(yùn)算符使用內(nèi)核而不是內(nèi)核在2D CNN中使用的內(nèi)核，并且池操作符考慮體素的非重疊3D塊而不是2D像素塊。

VoxNet的一個問題是該體系結(jié)構(gòu)本身并不是旋轉(zhuǎn)不變的。雖然作者合理地假設(shè)傳感器保持直立，以便體素網(wǎng)格的軸與重力方向?qū)R，關(guān)于旋轉(zhuǎn)的旋轉(zhuǎn)不能做出這樣的假設(shè)來自后面的對象仍然是同一個對象，即使體素網(wǎng)格中的幾何圖形與學(xué)習(xí)的卷積內(nèi)核非常不同地相互作用。為了解決這個問題，他們采用了簡單的數(shù)據(jù)增強(qiáng)策略。在訓(xùn)練過程中，他們多次旋轉(zhuǎn)每個模型并訓(xùn)練所有副本；然后，在測試時，它們將最終完全連接層的輸出匯集到輸入的幾個旋轉(zhuǎn)中。他們指出，與匯集中間卷積層的輸出（如Su等人）相比，這種方法導(dǎo)致了類似的性能，但收斂速度更快。多視圖CNN在他們的“視圖池”步驟中，通過這種方式，VoxNet通過在輸入體素網(wǎng)格的不同旋轉(zhuǎn)上共享相同的學(xué)習(xí)卷積核權(quán)重來學(xué)習(xí)旋轉(zhuǎn)不變性。

VoxNet代表了邁向真正3D學(xué)習(xí)的重要一步，但體素網(wǎng)格仍然存在許多缺點。首先，與點云相比，它們會失去分辨率，因為如果它們靠近在一起，則表示復(fù)雜結(jié)構(gòu)的幾個不同點將被分類到一個體素中。同時，與稀疏環(huán)境中的點云相比，體素網(wǎng)格可能導(dǎo)致不必要的高內(nèi)存使用，因為它們主動消耗內(nèi)存來表示自由和未知空間，而點云僅包含已知點。

點云學(xué)習(xí)

PointNet

鑒于基于體素的方法存在這些問題，最近的工作主要集中在直接在原始點云上運(yùn)行的架構(gòu)上。最值得注意的是，Qi等人的 PointNet（2016）是最早提出的處理這種形式的不規(guī)則三維數(shù)據(jù)的方法之一。然而，正如作者所指出的，點云只是一組由xyz位置以3D表示的點。更具體地說，給定在點云中，網(wǎng)絡(luò)需要學(xué)習(xí)不變的獨特功能 輸入數(shù)據(jù)的排列，因為饋入網(wǎng)絡(luò)的點的排序不會影響基礎(chǔ)幾何。此外，網(wǎng)絡(luò)應(yīng)該對點云的變換具有魯棒性 - 旋轉(zhuǎn)，平移和縮放不應(yīng)影響預(yù)測。

為了確保輸入排序的不變性，PointNet背后的關(guān)鍵洞察力是使用簡單的對稱函數(shù)，為輸入的任何排序產(chǎn)生一致的輸出（此類函數(shù)中的示例包括加法和乘法）。在這種直覺的指導(dǎo)下，PointNet架構(gòu)背后的基本模塊（稱為PointNet Vanilla）定義如下：

這里是是一個對稱函數(shù)，將輸入點轉(zhuǎn)換為維向量（用于對象分類）。這個功能可以近似，使得存在另一個對稱函數(shù)，在等式中是一個多層感知器（MLP），它將各個輸入點（及其相應(yīng)的特征，如xyz位置，顏色，表面法線等）映射到更高維度的潛在空間。max-pooling操作用作對稱函數(shù)，將學(xué)習(xí)的特征聚合到點云的全局描述符中。傳遞這個單一特征向量另一個輸出對象預(yù)測的MLP。

為了解決學(xué)習(xí)對點云幾何變換不變的表示的挑戰(zhàn)，PointNet采用了一種稱為T-Net的迷你網(wǎng)絡(luò)，它將仿射變換應(yīng)用于輸入點云。這個概念類似于Jaderberg等人的空間變壓器網(wǎng)絡(luò)。但更簡單，因為不需要定義新類型的圖層。T-Net由可學(xué)習(xí)的參數(shù)組成，使PointNet能夠?qū)⑤斎朦c云轉(zhuǎn)換為固定的規(guī)范空間 - 確保整個網(wǎng)絡(luò)即使是最輕微的變化也能保持穩(wěn)健。

PointNet架構(gòu)

整個PointNet架構(gòu)將vanilla方法和T-Net與多個MLP層集成在一起，為層云創(chuàng)建特征表示。然而，除了對象分類之外，PointNet還支持對象和場景的語義分割。為實現(xiàn)此目的，該體系結(jié)構(gòu)將來自最大池對稱函數(shù)的全局特征向量與輸入數(shù)據(jù)通過幾個MLP后學(xué)習(xí)的每點特征相結(jié)合。通過連接這兩個向量，每個點都知道其全局語義和本地特征，使網(wǎng)絡(luò)能夠?qū)W習(xí)更有意義的功能，以幫助進(jìn)行分段。

使用PointNet的室內(nèi)場景的語義分割結(jié)果

PointNet ++

盡管PointNet取得了令人矚目的成果，但其中一個主要缺點是架構(gòu)無法捕獲點鄰域內(nèi)的底層局部結(jié)構(gòu)- 這一想法類似于使用CNN從圖像中增加感知域大小來提取特征。為了解決這個問題，齊等開發(fā)了PointNet ++（2017），從PointNet架構(gòu)衍生出來，但也能夠在點云中學(xué)習(xí)本地區(qū)域的功能。這種方法背后的基礎(chǔ)是一個分層特征學(xué)習(xí)層，它有三個關(guān)鍵步驟。它（1）采樣點作為局部區(qū)域的質(zhì)心，（2）基于距質(zhì)心的距離對這些局部區(qū)域中的相鄰點進(jìn)行分組，以及（3）使用迷你PointNet對這些區(qū)域的特征進(jìn)行編碼。

逐步重復(fù)這些步驟，以便在點云內(nèi)的不同大小的點組中學(xué)習(xí)特征。通過這樣做，網(wǎng)絡(luò)可以更好地理解整個點云中本地點集群內(nèi)的底層關(guān)系 - 最終有助于提高泛化性能。這項工作的結(jié)果表明，PointNet ++能夠?qū)Π≒ointNet在內(nèi)的現(xiàn)有方法進(jìn)行重大改進(jìn)，并在3D點云分析基準(zhǔn)測試（ModelNet40和ShapeNet）上實現(xiàn)了最先進(jìn)的性能。

有希望的新研究領(lǐng)域—圖CNN

目前關(guān)于處理三維數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)的研究主要集中在點云表示上，最近的大部分工作都是從PointNet / PointNet ++擴(kuò)展思路，并從其他領(lǐng)域中汲取靈感，以進(jìn)一步提高性能。一篇這樣的論文的例子是Wang等人的動態(tài)圖形細(xì)胞神經(jīng)網(wǎng)絡(luò)（2018），其使用基于圖的深度學(xué)習(xí)方法來改進(jìn)點云中的特征提取。想法是PointNet和PointNet ++無法捕獲各個點之間的幾何關(guān)系，因為這些方法需要保持不同輸入排列的不變性。然而，通過考慮一個點并將它作為有向圖周圍的最近鄰居，Wang等人。構(gòu)造EdgeConv，一個在數(shù)據(jù)中的點之間生成唯一特征的運(yùn)算符。

SPLATNet

SPLATNet架構(gòu)

另一方面，一些研究已經(jīng)遠(yuǎn)離PointNet / PointNet ++中提出的經(jīng)典特征提取方法，選擇設(shè)計一種處理點云的新方法。蘇等人的SPLATNet（2018）體系結(jié)構(gòu)是點云研究中這一新焦點的一個很好的例子 - 作者設(shè)計了一種新穎的體系結(jié)構(gòu)和卷積運(yùn)算符，而不是直接在點云上運(yùn)行。本文背后的關(guān)鍵見解是將“感受野”的概念轉(zhuǎn)化為不規(guī)則點云，這使得即使在稀疏區(qū)域也能保留空間信息（PointNet / PointNet ++的一個關(guān)鍵缺點）。特別令人著迷的是，SPLATNet可以將從多視圖圖像中提取的特征投影到3D空間中，將這些2D數(shù)據(jù)與端到端可學(xué)習(xí)架構(gòu)中的原始點云融合在一起。使用這種2D-3D聯(lián)合學(xué)習(xí)，SPLATNet實現(xiàn)了語義分割的最新技術(shù)。

Frustum PointNets

可視化從2D邊界框估計生成的3D平截頭體

第三個有希望的研究方向涉及擴(kuò)展我們上面描述的基本架構(gòu)構(gòu)建塊，以構(gòu)建更復(fù)雜的網(wǎng)絡(luò)，用于3D等物體檢測等有用任務(wù)?；谑褂?D和3D數(shù)據(jù)的想法，Qi等人的 Frustum PointNets（2017）提出了一種融合RGB圖像和點云的新方法，以提高在大型3D場景中定位對象的效率。用于該任務(wù)的常規(guī)方法通過直接在整個點云上對滑動窗口執(zhí)行分類來確定對象的可能3D邊界框，這在計算上是昂貴的并且使得實時預(yù)測變得困難。齊等人做出兩個關(guān)鍵貢獻(xiàn)。

首先，他們建議最初使用標(biāo)準(zhǔn)CNN在2D圖像上進(jìn)行物體檢測，擠出對應(yīng)于檢測到的物體可能存在的點云區(qū)域的3D平截頭體，然后僅對此“切片”執(zhí)行搜索過程。點云。這顯著縮小了邊界框估計的搜索空間，降低了錯誤檢測的可能性并大大加快了處理流水線，這對于自動駕駛應(yīng)用至關(guān)重要。

其次，Qi等人不是在邊界框搜索過程中執(zhí)行典型的滑動窗口分類。設(shè)計一種新穎的基于PointNet的架構(gòu)，可以直接執(zhí)行實例分割（將點云分割成單個對象），并在一次通過中對整個3D平截頭體進(jìn)行邊界框估計，使得它們的方法對于遮擋和稀疏性都快速且穩(wěn)健。最終，作為這些改進(jìn)的結(jié)果，這項工作在出版KITTI和SUN RGB-D 3D檢測基準(zhǔn)時的表現(xiàn)優(yōu)于所有先前的方法。

一點想法

在過去的5年中，3D深度學(xué)習(xí)方法已經(jīng)從使用派生（多視圖）到3D數(shù)據(jù)的原始（點云）表示。在此過程中，我們已經(jīng)從簡單適應(yīng)2D CNN的方法轉(zhuǎn)變?yōu)?D數(shù)據(jù)（多視圖CNN甚至VoxNet），再到手工制作3D（PointNet和其他點云方法）的方法，大大提高了任務(wù)的性能喜歡對象分類和語義分割。這些結(jié)果很有希望，因為它們證實了在3D中觀察和表現(xiàn)世界確實有價值。

然而，這一領(lǐng)域的進(jìn)步才剛剛開始。當(dāng)前的工作不僅側(cè)重于提高這些算法的準(zhǔn)確性和性能，還側(cè)重于確保穩(wěn)健性和可擴(kuò)展性。雖然目前的大部分研究都是由自主車輛應(yīng)用推動的，但直接在點云上運(yùn)行的新方法將在3D醫(yī)學(xué)成像、虛擬現(xiàn)實和室內(nèi)地圖中發(fā)揮重要作用。