什么是SLAM？

SLAM，即同時定位與地圖構(gòu)建技術(shù)，SLAM可以讓機器人、無人機和其他自動化系統(tǒng)能夠在未知環(huán)境中同時進(jìn)行自我定位和環(huán)境映射。

為什么是NeRF-Based SLAM？

傳統(tǒng)CG將輸入圖像重新投影再融合到新的視圖攝像機中，利用幾何結(jié)構(gòu)來進(jìn)行重投影。在很多情況下，傳統(tǒng)CG方法重建地圖都能有相當(dāng)好的效果，但是對于地圖上的未知區(qū)域，進(jìn)行三維重建恢復(fù)就有些困難了。

深度學(xué)習(xí)很早就在應(yīng)用在重建方面。Volumetric 表達(dá)由Soft3D提出，隨后與Volumetric ray-marching 相結(jié)合的深度學(xué)習(xí)技術(shù)出現(xiàn)，這是一種基于連續(xù)可微密度場的Geometry（幾何）表示方法。

神經(jīng)輻射場引入了Importance Sampling（重要性采樣）和Positional Encoding（位置編碼），使得三維重建的質(zhì)量得到顯著提升；同時NeRF神經(jīng)渲染算法大大減少了傳統(tǒng)三維重建中生成的偽影，在大多數(shù)情況下效果都比傳統(tǒng)算法好。目前重建圖像質(zhì)量最好的是Mip-NeRF360。

此外，將SLAM技術(shù)融入到深度學(xué)習(xí)中，更容易使得所有算法能夠統(tǒng)一到一個框架中，方便不同算法之間的數(shù)據(jù)傳輸和通信，方便了上下游兄弟部門的協(xié)同合作。比如建好的地圖可以用于語義標(biāo)注，從而接到BEV感知中訓(xùn)練，又或者可以生成 Occupancy 網(wǎng)格，交給規(guī)控部門去做路徑的規(guī)劃和智能體的控制。

為什么是Gaussian-Based SLAM？

基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數(shù)，通過可微分渲染捕獲稠密的光度信息，具有高保真度。但是用Implicit Neural Representation（隱式神經(jīng)表達(dá)）對場景建模導(dǎo)致了許多問題：

query過程（可以理解為射線渲染）需要大量的采樣，渲染方法成本很高

用了大型多層MLP，運算量大，占用內(nèi)存高

不容易編輯

不能顯式地對空間幾何建模

導(dǎo)致“遺忘”問題

SLAM技術(shù)通常部署在機器人身上，性能尤為關(guān)鍵。后續(xù)出現(xiàn)了一系列解決NeRF重建效果和性能的論文，基于3D高斯輻射場的SLAM有以下好處:

快速渲染和豐富的優(yōu)化：Gaussian Splatting可以以高達(dá)400 FPS的速度渲染，使其比隱式表達(dá)更快地可視化和優(yōu)化。

有明確空間范圍的建圖：現(xiàn)有地圖的空間邊界可以通過在之前觀察到的部分場景中添加高斯函數(shù)來控制。給定一個新的圖像幀，我們可以通過渲染剪影識別場景的哪些部分是新內(nèi)容（在地圖的空間邊界之外）。這對于Tracking任務(wù)很重要，因為我們只想將已經(jīng)建好圖的部分與新圖像幀進(jìn)行比較。隱式表達(dá)就不行了，因為在對未知區(qū)域建圖優(yōu)化的時候，全局的優(yōu)化會影響到神經(jīng)網(wǎng)絡(luò)。

顯式地圖:我們可以通過添加更多的Gaussian函數(shù)來任意地增加地圖容量。而且這種顯式的表達(dá)讓我們可以編輯場景中的某些部分，同時仍然允許真實的渲染。

審核編輯：黃飛