什么是SLAM？

SLAM，即同時(shí)定位與地圖構(gòu)建技術(shù)，SLAM可以讓機(jī)器人、無(wú)人機(jī)和其他自動(dòng)化系統(tǒng)能夠在未知環(huán)境中同時(shí)進(jìn)行自我定位和環(huán)境映射。

為什么是NeRF-Based SLAM？

傳統(tǒng)CG將輸入圖像重新投影再融合到新的視圖攝像機(jī)中，利用幾何結(jié)構(gòu)來(lái)進(jìn)行重投影。在很多情況下，傳統(tǒng)CG方法重建地圖都能有相當(dāng)好的效果，但是對(duì)于地圖上的未知區(qū)域，進(jìn)行三維重建恢復(fù)就有些困難了。

深度學(xué)習(xí)很早就在應(yīng)用在重建方面。Volumetric 表達(dá)由Soft3D提出，隨后與Volumetric ray-marching 相結(jié)合的深度學(xué)習(xí)技術(shù)出現(xiàn)，這是一種基于連續(xù)可微密度場(chǎng)的Geometry（幾何）表示方法。

神經(jīng)輻射場(chǎng)引入了Importance Sampling（重要性采樣）和Positional Encoding（位置編碼），使得三維重建的質(zhì)量得到顯著提升；同時(shí)NeRF神經(jīng)渲染算法大大減少了傳統(tǒng)三維重建中生成的偽影，在大多數(shù)情況下效果都比傳統(tǒng)算法好。目前重建圖像質(zhì)量最好的是Mip-NeRF360。

此外，將SLAM技術(shù)融入到深度學(xué)習(xí)中，更容易使得所有算法能夠統(tǒng)一到一個(gè)框架中，方便不同算法之間的數(shù)據(jù)傳輸和通信，方便了上下游兄弟部門(mén)的協(xié)同合作。比如建好的地圖可以用于語(yǔ)義標(biāo)注，從而接到BEV感知中訓(xùn)練，又或者可以生成 Occupancy 網(wǎng)格，交給規(guī)控部門(mén)去做路徑的規(guī)劃和智能體的控制。

為什么是Gaussian-Based SLAM？

基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數(shù)，通過(guò)可微分渲染捕獲稠密的光度信息，具有高保真度。但是用Implicit Neural Representation（隱式神經(jīng)表達(dá)）對(duì)場(chǎng)景建模導(dǎo)致了許多問(wèn)題：

query過(guò)程（可以理解為射線渲染）需要大量的采樣，渲染方法成本很高

用了大型多層MLP，運(yùn)算量大，占用內(nèi)存高

不容易編輯

不能顯式地對(duì)空間幾何建模

導(dǎo)致“遺忘”問(wèn)題

SLAM技術(shù)通常部署在機(jī)器人身上，性能尤為關(guān)鍵。后續(xù)出現(xiàn)了一系列解決NeRF重建效果和性能的論文，基于3D高斯輻射場(chǎng)的SLAM有以下好處:

快速渲染和豐富的優(yōu)化：Gaussian Splatting可以以高達(dá)400 FPS的速度渲染，使其比隱式表達(dá)更快地可視化和優(yōu)化。

有明確空間范圍的建圖：現(xiàn)有地圖的空間邊界可以通過(guò)在之前觀察到的部分場(chǎng)景中添加高斯函數(shù)來(lái)控制。給定一個(gè)新的圖像幀，我們可以通過(guò)渲染剪影識(shí)別場(chǎng)景的哪些部分是新內(nèi)容（在地圖的空間邊界之外）。這對(duì)于Tracking任務(wù)很重要，因?yàn)槲覀冎幌雽⒁呀?jīng)建好圖的部分與新圖像幀進(jìn)行比較。隱式表達(dá)就不行了，因?yàn)樵趯?duì)未知區(qū)域建圖優(yōu)化的時(shí)候，全局的優(yōu)化會(huì)影響到神經(jīng)網(wǎng)絡(luò)。

顯式地圖:我們可以通過(guò)添加更多的Gaussian函數(shù)來(lái)任意地增加地圖容量。而且這種顯式的表達(dá)讓我們可以編輯場(chǎng)景中的某些部分，同時(shí)仍然允許真實(shí)的渲染。

審核編輯：黃飛