最近，iPad 和 iPhone 上的 LiDAR 有了新玩法，Apple Clips 應(yīng)用程序中更新了基于三維重建的 AR 空間特效。通過 Clips 3.1 的 AR 空間功能，用戶只需用帶有 LiDAR 傳感器的 iPad Pro 或 iPhone Pro 在房間中進行掃描和重建，就能為拍攝的視頻中添加絢麗的 AR 效果。

比如跟著 AR 投射出來的燈光跳舞；

再比如用 Star Walk 2 的 AR 功能，足不出戶在房間屋頂上觀看星座。

不過要實現(xiàn)上述視頻中的效果，需要 iPad 和 iPhone 高端型號上配備的 LiDAR 深度傳感器，而使用浙江大學(xué)-商湯三維視覺聯(lián)合實驗室所提出的方法，希望能讓普通手機的單目攝像頭也可實現(xiàn)上述效果。

實驗室成員周曉巍接受了我們的采訪。他是國內(nèi)計算機視覺領(lǐng)域青年學(xué)者、也是浙江大學(xué)計算機輔助設(shè)計與圖形學(xué)國家重點實驗室的“百人計劃” 研究員和博士生導(dǎo)師。幾年前，在結(jié)束美國賓夕法尼亞大學(xué) GRASP 機器人實驗室的博士后研究后，回到母校任教。他告訴 DeepTech：“目前我們跟商湯、華為都有非常緊密的合作，通過這種產(chǎn)學(xué)研的結(jié)合，我們的研究成果既有對學(xué)術(shù)前沿的探索，又能根據(jù)實際需求去攻克一些技術(shù)瓶頸。與此同時，國內(nèi)的 3D 視覺領(lǐng)域還處于新興發(fā)展階段，也需要我們回來一起把這個方向給發(fā)展壯大起來，不斷縮短與國際領(lǐng)先水平之間的差距。”

周曉巍所在的團隊提出了一種基于單目視頻的三維場景重建框架 NeuralRecon。在實時 （25 FPS） 的速度下，使用該方法可高質(zhì)量地重建三維場景。對比結(jié)果顯示，在 ScanNet、7-Scenes 等數(shù)據(jù)集上，NeuralRecon 的速度和精度均大幅領(lǐng)先以往方法。該工作將發(fā)表于今年的計算機視覺頂級會議 CVPR，并錄用為口頭報告。

據(jù)其表示，NeuralRecon 提出了用神經(jīng)網(wǎng)絡(luò)、直接回歸基于 TSDF 表示的局部三維表面，并能使用基于 GRU 的 TSDF 融合模塊，來融合歷史局部表面的特征。這樣設(shè)計的好處是，網(wǎng)絡(luò)不僅能直接學(xué)習(xí)到三維表面的局部光滑性先驗并借此實現(xiàn)準確且一致的重建，還可以減少以往方法中重復(fù)冗余的計算量，在保持質(zhì)量的前提下實現(xiàn)實時的重建。據(jù)該團隊所知，這是首個基于深度學(xué)習(xí)方法、并能實時重建稠密且一致三維表面的系統(tǒng)。

問題和挑戰(zhàn)：基于圖像的實時場景的三維重建依然任重道遠

一直以來，稠密場景重建都是三維視覺的核心問題，在增強現(xiàn)實（AR）等應(yīng)用中，扮演著重要角色。在 AR 應(yīng)用中，要想實現(xiàn)真實、沉浸式的虛實融合體驗，就需要正確處理真實場景和虛擬的AR物體之間的遮擋關(guān)系，并對陰影等效果做出正確的渲染，如此才能實現(xiàn)合理的虛擬內(nèi)容放置、以及它和與真實場景的交互。概括來說，要想實現(xiàn)這些效果，都得對場景進行實時且精確的三維重建。

三維重建需要依賴精確的六自由度相機位姿估計。最近幾年，視覺慣性 SLAM 逐漸成熟，且已得到大范圍的落地應(yīng)用。ARKit 和 ARCore 等 AR 框架的出現(xiàn)，讓多數(shù)智能手機都能準確跟蹤其自身六自由度的姿態(tài)。

然而，基于圖像的實時場景的三維重建依然任重道遠。目前常用的三維重建方案如 KinectFusion、BundleFusion 等，非常依賴深度傳感器提供的深度測量。但是，由于深度傳感器價格昂貴、功耗也比較高，因此其普及程度依然較低，通常只有少數(shù)高端型號的移動設(shè)備才舍得配備。因此，使用單目多視角圖像去實現(xiàn)實時三維重建，具有非常大的應(yīng)用前景。在不增加傳感器的前提下，它可直接用在現(xiàn)有智能設(shè)備中。

而在基于多視角圖像的三維重建方法中，基于深度圖融合的方法非常流行?？墒?，這種方法存在兩個問題：

第一，其中有大量重復(fù)計算，從相鄰幀之間，可以看到相鄰區(qū)域中有大面積的重合，同一區(qū)域的深度則會被計算多次，這會帶來計算量上的冗余；第二，即便相鄰兩幀能看到的區(qū)域有較大重合，每一幀深度圖的計算卻都得重新開始，而非基于之前相鄰幀的深度預(yù)測結(jié)果。

如下圖所示，這會導(dǎo)致計算出來的相鄰兩幀的深度圖不一致，重建的結(jié)果也因此常會非常分散，甚至?xí)a(chǎn)生分層。

圖 | 基于深度圖融合方法的重建效果

NeuralRecon：新型三維場景重建框架

為解決上述痛點，該團隊提出這一新型三維場景重建框架 NeuralRecon，下圖展示了它的算法流程。這是一個輕量級的實時端到端系統(tǒng)，可直接從已知相機位姿的多視角圖像中，重建基于稀疏 TSDF 表示的三維場景幾何信息。

NeuralRecon 主要有如下兩個步驟，第一步是關(guān)鍵幀的選擇。

關(guān)鍵幀選擇的目的，是為了在提供足夠運動視差的同時，還能保持多視角的共視關(guān)系，因此所選關(guān)鍵幀之間的距離，不能太近也不能太遠。具體來說， 假如一個新傳入的幀和上一個關(guān)鍵幀的相對平移大于 t ［max］，并且相對旋轉(zhuǎn)角度大于 R ［max］，那么就可選擇該幀作為關(guān)鍵幀。而具備 N 個關(guān)鍵幀的窗口，可被定義為一個片段。

第二步是聯(lián)合片段重建和融合，其中涉及三個分步驟。

第一個分步驟是圖片特征提取和反投影，這里指的是某個視頻片段中的 N 張圖片，最初會通過一個 CNN 網(wǎng)絡(luò)來提取多個分辨率下的圖像深度特征。而圖片特征會反投影到三維空間中，得到三維特征體。

第二個分步驟是從粗到細的三維場景重建。采取從粗到細的方式，分階段地預(yù)測并細化場景的幾何信息。在每個階段中，稀疏三維卷積神經(jīng)網(wǎng)絡(luò)會被用來處理三維特征體，最終通過一個多層感知機 （MLP），獲悉占有分數(shù) （Occupancy score） 和 TSDF 值。

其中，占有分數(shù)代表著三維特征體中體素在 TSDF 截斷距離之內(nèi)的概率。在每個階段的最后，占有分數(shù)小于閾值的體素，都會被定為空、并會被除掉。而在稀疏化之后，稀疏三維特征體會被上采樣。下圖是稀疏 TSDF 表示的可視化。

圖 | 稀疏 TSDF 表示示意圖

第三個分步驟是基于 GRU 的融合，這一步的目的，在于讓片段的重建之間得以保持一致，希望當前片段的重建可建立在歷史片段重建結(jié)果的基礎(chǔ)上。

具體來說，該方法提出了一個基于 GRU 的聯(lián)合重建與融合模塊。在每個階段，三維特征體都會首先通過一個三維稀疏卷積，并進行三維幾何特征提取。然后，三維幾何特征會被輸入進 GRU 聯(lián)合重建與融合模塊。該模塊會將三維幾何特征與在歷史片段重建中獲得的隱變量進行融合，并通過一個全局感知機回歸 TSDF 和占有分數(shù)。

直觀地說，這里的 GRU 作為一種基于學(xué)習(xí)的選擇性注意機制，可取代傳統(tǒng) TSDF 融合中的線性操作。在后續(xù)的步驟中，因為GRU 進行了聯(lián)合重建與融合的操作，所以會直接將回歸的 TSDF 替換對應(yīng)區(qū)域的全局 TSDF，最終的重建結(jié)果可以從更新后的全局 TSDF 中通過 Marching Cubes 算法獲得。

兩大優(yōu)勢：重建結(jié)果具有一致性、重建過程用時更短

根據(jù)實驗結(jié)果，作者們做出了可視效果的對比圖。

對比可知，相比較傳統(tǒng)的基于深度圖的方法，NeuralRecon 主要有兩方面優(yōu)勢：

其一，重建結(jié)果具有一致性；其二，重建過程用時更短。

作者們在 ScanNet 數(shù)據(jù)集上，將本次方法和當前最好的方法做定量對比。對比發(fā)現(xiàn)，本次方法在 F-score 上和速度上，都能超過此前方法，并能做到實時且精確的估計。

與此前最快的方法 MVDepthNet 比較，本次方法不僅速度略有領(lǐng)先，F(xiàn)-score 也從 0.329 提到了 0.562。相比此前精度最高的方法 COLMAP，本次方法在精度稍勝一籌的情況下，處理每個關(guān)鍵幀所需時間也從 2076ms 降至 30ms。

結(jié)語：NeuralRecon 為基于深度學(xué)習(xí)的三維感知系統(tǒng)打開新的可能性

概括來說，NeuralRecon 的核心思想，在于對每個視頻片段的可視區(qū)域進行增量式的聯(lián)合重建和聯(lián)合融合。這個設(shè)計讓 NeuralRecon 能實時輸出精確、且具有一致性的三維表面。

展望未來，使用 NeuralRecon 重建的稀疏 TSDF 表示能直接用于三維語義分割、三維目標檢測和可微渲染等下游任務(wù)。借助與下游任務(wù)的端到端聯(lián)合訓(xùn)練，NeuralRecon 可為基于深度學(xué)習(xí)的三維感知系統(tǒng)提供出新的可能性。

原文標題：浙大團隊研發(fā)新型三維重建框架NeuralRecon，是首個基于深度學(xué)習(xí)的實時單目三維場景重建系統(tǒng) | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq