作者：泡椒味的口香糖

0. 筆者個(gè)人體會(huì)

這幾年，NeRF可以說(shuō)已經(jīng)逐漸滲透進(jìn)了各個(gè)領(lǐng)域，新視點(diǎn)合成、三維重建、SLAM等等很多應(yīng)用都在想方設(shè)法得使用NeRF。那么自動(dòng)駕駛領(lǐng)域呢？雖然在實(shí)車上直接邊緣部署NeRF還有難度，但是NeRF可以應(yīng)用到自動(dòng)駕駛的場(chǎng)景合成上，再用合成的場(chǎng)景做其他事情！普通場(chǎng)景下的自動(dòng)駕駛算法其實(shí)已經(jīng)做的很好了，但是特殊場(chǎng)景還是很容易出錯(cuò)。主要還是因?yàn)?strong>特殊場(chǎng)景下的數(shù)據(jù)集太難找了！自己錄制數(shù)據(jù)也非常麻煩。顯然，NeRF強(qiáng)大的合成能力可以模擬極端場(chǎng)景下的路況，尤其是高動(dòng)態(tài)場(chǎng)景，也就進(jìn)一步模擬了真實(shí)的自動(dòng)駕駛場(chǎng)景。

最近，清華、港科大、麥吉爾大學(xué)、北理工、新加坡國(guó)立、香港大學(xué)、帝國(guó)理工、浙江大學(xué)等11個(gè)單位聯(lián)合開(kāi)源了MARS，也是第一個(gè)基于NeRF的自動(dòng)駕駛開(kāi)源模擬器。直接模擬真實(shí)的自動(dòng)駕駛RGB、深度圖和語(yǔ)義分割Mask，這項(xiàng)工作具有實(shí)例感知、模塊化和真實(shí)性等特點(diǎn)，支持多模態(tài)輸入，可用于深度和語(yǔ)義感知組合渲染，已經(jīng)獲得CICAI 2023最佳論文Runner-up獎(jiǎng)。今天筆者將帶領(lǐng)大家一起欣賞一下這份工作，當(dāng)然筆者水平有限，如果有理解不當(dāng)?shù)牡胤綒g迎一起在「3D視覺(jué)從入門到精通」星球內(nèi)一起探討。

1. 效果展示

先來(lái)看一下具體效果！

下面這張圖就是MARS的具體應(yīng)用，第一行表示合成的圖像（已經(jīng)足夠真實(shí)，用來(lái)做SLAM或者檢測(cè)完全夠用），第二行代表生成的語(yǔ)義分割Mask（可以直接用來(lái)做分割任務(wù)的訓(xùn)練），第三行代表生成的深度圖（視覺(jué)效果很好，但是很多深度估計(jì)的定量效果都不是很準(zhǔn)確，可以做一下三維重建驗(yàn)證），第三行代表生成的動(dòng)態(tài)前景目標(biāo)（可以直接在靜態(tài)圖像上生成動(dòng)態(tài)目標(biāo)來(lái)測(cè)試動(dòng)態(tài)SLAM）。

還可以直接拖動(dòng)進(jìn)度條來(lái)控制動(dòng)態(tài)目標(biāo)的運(yùn)行軌跡、尺寸、外觀！

?

可以再看一下重建場(chǎng)景和原始RGB圖的對(duì)比，可以說(shuō)幾乎找不到區(qū)別，這里不得不感嘆一下NeRF的強(qiáng)大！

總之，效果非常好。代碼即將開(kāi)源，感興趣的小伙伴可以關(guān)注一下。下面我們來(lái)看看具體的文章信息。

2. 摘要

如今，自動(dòng)駕駛汽車可以在普通情況下平穩(wěn)駕駛，人們普遍認(rèn)為，真實(shí)的傳感器模擬將在通過(guò)模擬解決剩余的極端情況方面發(fā)揮關(guān)鍵作用。為此，我們提出了一種基于神經(jīng)輻射場(chǎng)(NeRFs)的自動(dòng)駕駛模擬器。與現(xiàn)有工作相比，我們的工作有三個(gè)顯著特點(diǎn)：(1)實(shí)例感知。我們的模擬器通過(guò)獨(dú)立的網(wǎng)絡(luò)分別對(duì)前景實(shí)例和背景環(huán)境進(jìn)行建模，從而可以分別控制實(shí)例的靜態(tài)(例如尺寸和外觀)和動(dòng)態(tài)(例如軌跡)屬性。(2)模塊化。我們的模擬器允許在不同的現(xiàn)代NeRF相關(guān)的主干、采樣策略、輸入模式等之間進(jìn)行靈活的切換。我們期待這種模塊化的設(shè)計(jì)能夠推動(dòng)基于NeRF的自動(dòng)駕駛仿真的學(xué)術(shù)進(jìn)步和產(chǎn)業(yè)部署。(3)真實(shí)性。我們的模擬器設(shè)置了新的最先進(jìn)的照片現(xiàn)實(shí)主義結(jié)果，給出了最佳的模塊選擇。我們的模擬器將是開(kāi)源的，而我們的大多數(shù)同行都不是。這里也推薦「3D視覺(jué)工坊」新課程《深度剖析面向自動(dòng)駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）》

3. 算法解析

MARS的輸入是RGB圖像、傳感器姿態(tài)（由IMU/GPS解算）、物體軌跡（3D邊界框、類別、實(shí)例ID），深度圖和語(yǔ)義分割圖可以在訓(xùn)練時(shí)輔助監(jiān)督。神經(jīng)場(chǎng)構(gòu)建完成以后，就可以在給定傳感器位姿時(shí)模擬RGB圖、深度圖和語(yǔ)義分割Mask，還支持對(duì)物體軌跡和外觀的實(shí)例編輯。

下面來(lái)看看具體的Pipeline。

MARS建模背景節(jié)點(diǎn)和每個(gè)前景實(shí)例節(jié)點(diǎn)。具體來(lái)說(shuō)，給定射線r，首先計(jì)算每個(gè)可視物體的3D邊界框的交集來(lái)獲取進(jìn)入和離開(kāi)距離。然后，背景節(jié)點(diǎn)和前景對(duì)象節(jié)點(diǎn)都進(jìn)行query，而每個(gè)節(jié)點(diǎn)都會(huì)采樣一組3D點(diǎn)集，并使用其具體的神經(jīng)表征網(wǎng)絡(luò)來(lái)獲取點(diǎn)屬性（RGB、密度、語(yǔ)義信息）。對(duì)于物體節(jié)點(diǎn)，根據(jù)對(duì)象軌跡將射線原點(diǎn)和方向從世界空間轉(zhuǎn)換到實(shí)例幀。對(duì)于背景節(jié)點(diǎn)，直接像傳統(tǒng)NeRF那樣推理屬性，最后，對(duì)來(lái)自背景和前景節(jié)點(diǎn)的所有射線樣本進(jìn)行合成和渲染，以產(chǎn)生像素級(jí)的NeRF結(jié)果。

那這里的模塊化是什么意思呢？

其實(shí)就是說(shuō)針對(duì)靜態(tài)背景和動(dòng)態(tài)前景對(duì)象采用不同的NeRF框架，MARS將場(chǎng)景分解為一個(gè)大規(guī)模無(wú)界的NeRF和多個(gè)以物體為中心的NeRF。當(dāng)然筆者覺(jué)得模塊化還有另一個(gè)意思，就是MARS可以支持各種NeRF主干，包括基于MLP的和基于網(wǎng)格的，還支持各種各樣的采樣策略。

注意，靜態(tài)背景和動(dòng)態(tài)前景對(duì)象的特性是不同的，而現(xiàn)在很多的NeRF都是針對(duì)兩者使用統(tǒng)一的框架，這顯然是不太對(duì)的。而MARS就很巧妙得為背景和前景對(duì)象設(shè)計(jì)了模塊化的不同設(shè)計(jì)，并且可以很容易結(jié)合最新的重建方法。MARS的模塊化設(shè)計(jì)還使用了很多的trick，比如使用unbounded scene warping來(lái)表征圖像中的遠(yuǎn)距離區(qū)域。

MARS的采樣方法很有意思。因?yàn)楸尘昂颓熬皩?duì)象的獨(dú)立采樣的，因此很可能會(huì)出現(xiàn)背景樣本落在前景邊界框的情況。渲染之后就會(huì)把前景樣本誤分類為背景，這樣的話，去除前景實(shí)例以后背景就會(huì)出現(xiàn)鬼影。理論上輸入足夠多的視角圖像，網(wǎng)絡(luò)可以在訓(xùn)練過(guò)程中自動(dòng)學(xué)習(xí)分區(qū)前景和背景。但是對(duì)于一個(gè)數(shù)據(jù)驅(qū)動(dòng)的模擬器來(lái)說(shuō)，車輛在道路上快速移動(dòng)，獲取豐富且高質(zhì)量的多視角圖像非常困難。

那么怎么解決呢？

這里是使用了正則化策略來(lái)最小化背景截?cái)鄻颖镜拿芏群?/strong>，其中P代表背景截?cái)鄻颖荆?/p>