0. 這篇文章干了啥？

同步定位與地圖構(gòu)建 (SLAM) 是計(jì)算機(jī)視覺(jué)中的一個(gè)基本問(wèn)題，旨在在同時(shí)跟蹤相機(jī)姿勢(shì)的同時(shí)對(duì)環(huán)境進(jìn)行地圖構(gòu)建?；趯W(xué)習(xí)的密集 SLAM 方法，尤其是神經(jīng)輻射場(chǎng) (NeRF) 方法，在捕獲密集光度信息和提供準(zhǔn)確的全局重建方面表現(xiàn)出顯著的進(jìn)步，而傳統(tǒng)系統(tǒng)則基于稀疏點(diǎn)云或體素。然而，NeRF 方法仍然存在過(guò)度平滑、場(chǎng)景表示受限和計(jì)算效率低下等缺點(diǎn)。最近，基于高斯的 SLAM已成為一種利用體積輻射場(chǎng)的有前途的方法。利用顯式 3D 高斯表示，高斯 SLAM 可提供高保真渲染和細(xì)粒度場(chǎng)景重建，從而克服了基于 NeRF 的方法的局限性。

盡管高斯 SLAM 具有優(yōu)勢(shì)，但它在室內(nèi)場(chǎng)景中仍面臨顯著挑戰(zhàn)，因?yàn)槭覂?nèi)場(chǎng)景通常以無(wú)紋理表面和復(fù)雜的空間布局為特征。這些環(huán)境由于缺乏相機(jī)姿勢(shì)優(yōu)化所必需的足夠紋理細(xì)節(jié)而阻礙了穩(wěn)健的跟蹤。此外，由于遮擋或視野覆蓋有限，室內(nèi)場(chǎng)景的復(fù)雜幾何形狀通常會(huì)導(dǎo)致大量未觀察到的區(qū)域。這些看不見(jiàn)的區(qū)域?qū)Ω咚?SLAM 構(gòu)成了關(guān)鍵但尚未探索的挑戰(zhàn)，因?yàn)楦咚贡硎竞茈y在沒(méi)有多視圖優(yōu)化的情況下插入未觀察到的幾何形狀。因此，地圖上看不見(jiàn)的區(qū)域留下了大量的漏洞和空白，這個(gè)問(wèn)題在以前的高斯 SLAM 研究中基本上被忽視了。

為了克服這些挑戰(zhàn)，我們利用著名的曼哈頓世界假設(shè)作為細(xì)化和完成場(chǎng)景幾何圖形的基礎(chǔ)策略。該假設(shè)認(rèn)為，構(gòu)建的環(huán)境主要遵循網(wǎng)格狀結(jié)構(gòu)，表面和線條與三個(gè)正交方向?qū)R。這些線條和平面對(duì)高斯 SLAM 系統(tǒng)中的跟蹤和映射過(guò)程施加了有意義的約束。具體來(lái)說(shuō)，我們涵蓋了跟蹤、映射和場(chǎng)景完成方面的增強(qiáng)。在跟蹤中，我們利用從結(jié)構(gòu)化場(chǎng)景中得出的線特征作為無(wú)紋理區(qū)域中的穩(wěn)健特征基礎(chǔ)，對(duì)這些線段進(jìn)行反向投影和重新投影以進(jìn)行姿勢(shì)優(yōu)化和全束調(diào)整。在映射中，我們對(duì)重新投影的線特征應(yīng)用光度損失來(lái)細(xì)化地圖。這種方法確保重建的場(chǎng)景緊密遵循環(huán)境的真實(shí)結(jié)構(gòu)，從而提高其幾何精度和渲染質(zhì)量。此外，曼哈頓世界假設(shè)有助于識(shí)別和插值結(jié)構(gòu)化表面，例如地板和天花板。這些平面對(duì)于定義空間的整體幾何形狀至關(guān)重要，但在捕獲的視圖中通常會(huì)被部分遮擋或缺失。通過(guò)分割這些不完整的表面（通過(guò)提取的線作為邊界進(jìn)行細(xì)化），我們可以通過(guò)生成新的高斯函數(shù)來(lái)預(yù)測(cè)它們?cè)谥苯佑^察到的部分之外的延續(xù)。這種策略使我們能夠優(yōu)化場(chǎng)景中大表面的表示，從而增強(qiáng)渲染地圖的完整性。最后，我們通過(guò)泊松重構(gòu)合并正則化項(xiàng)，將高斯表示壓縮為網(wǎng)格表面。這種方法能夠提取以前在高斯 SLAM 系統(tǒng)中無(wú)法獲得的高質(zhì)量網(wǎng)格，使其隨時(shí)可用于下游任務(wù)。

下面一起來(lái)閱讀一下這項(xiàng)工作~

1. 論文信息

標(biāo)題：Structure Gaussian SLAM with Manhattan World Hypothesis

作者：Shuhong Liu, Heng Zhou, Liuzhuozheng Li, Yun Liu, Tianchen Deng, Yiming Zhou, Mingrui Li

機(jī)構(gòu)：東京大學(xué)、哥倫比亞大學(xué)、國(guó)家信息學(xué)研究所、上海交通大學(xué)、薩爾州應(yīng)用科學(xué)大學(xué)、大連理工大學(xué)

原文鏈接：https://arxiv.org/abs/2405.20031v1

2. 摘要

高斯 SLAM 系統(tǒng)在提高實(shí)時(shí)重建的效率和保真度方面取得了重大進(jìn)展。然而，這些系統(tǒng)在復(fù)雜的室內(nèi)環(huán)境中經(jīng)常會(huì)遇到不完整的重建，其特點(diǎn)是由于障礙物或有限的視角導(dǎo)致未觀察到的幾何形狀而產(chǎn)生大量空洞。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了曼哈頓高斯 SLAM (MG-SLAM)，這是一個(gè)利用曼哈頓世界假設(shè)來(lái)提高幾何準(zhǔn)確性和完整性的 RGB-D 系統(tǒng)。通過(guò)無(wú)縫集成來(lái)自結(jié)構(gòu)化場(chǎng)景的融合線段，MG-SLAM 可確保在無(wú)紋理的室內(nèi)區(qū)域中進(jìn)行穩(wěn)健的跟蹤。此外，提取的線和平面假設(shè)允許在缺失幾何形狀的區(qū)域中戰(zhàn)略性地插入新的高斯函數(shù)，從而實(shí)現(xiàn)高效的場(chǎng)景完成。在合成場(chǎng)景和真實(shí)世界場(chǎng)景上進(jìn)行的大量實(shí)驗(yàn)表明，這些進(jìn)步使我們的方法能夠?qū)崿F(xiàn)最先進(jìn)的性能，標(biāo)志著高斯 SLAM 系統(tǒng)功能的顯著提升。

3. 效果展示

MG-SLAM 利用線段在相機(jī)姿態(tài)估計(jì)和場(chǎng)景重建方面實(shí)現(xiàn) SOTA 結(jié)果。此外，通過(guò)應(yīng)用結(jié)構(gòu)表面約束，我們通過(guò)對(duì)缺失的幾何體進(jìn)行新的高斯插值來(lái)增強(qiáng)和完善場(chǎng)景。

在Replica Apartment 數(shù)據(jù)集場(chǎng)景 frl_apartment_4 上的線段提取結(jié)果的消融實(shí)驗(yàn)。

4. 主要貢獻(xiàn)

? 我們提出了 MG-SLAM，這是一種新穎的 RGB-D 高斯 SLAM 系統(tǒng)，它利用了曼哈頓世界假設(shè) [5]。該假設(shè)引入了線和平面，用于神經(jīng)密集型 SLAM 系統(tǒng)的穩(wěn)健跟蹤、地圖細(xì)化和表面補(bǔ)全。

? 我們使用提取的代表平面邊界的線段建立假設(shè)表面。這些表面指導(dǎo)我們有效地插入新的高斯函數(shù)來(lái)填補(bǔ)重建地圖中的間隙和空洞，無(wú)縫解決當(dāng)前高斯 SLAM 系統(tǒng)由于未觀察到的幾何形狀而面臨限制的區(qū)域。

? 在大型合成和真實(shí)世界數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，我們的系統(tǒng)提供了最先進(jìn)的 (SOTA) 跟蹤和全面的地圖重建，在真實(shí)世界場(chǎng)景中實(shí)現(xiàn)了 ATE 降低 50% 和 PSNR 增強(qiáng) 5dB，同時(shí)以極高的幀速率運(yùn)行。這些進(jìn)步明顯優(yōu)于以前的高斯 SLAM 系統(tǒng)。

5. 基本原理是啥？

所提出的 MG-SLAM 的兩階段流水線圖示。上部可視化了跟蹤和建圖系統(tǒng)的并行過(guò)程。下部展示了場(chǎng)景完成和網(wǎng)格提取的后優(yōu)化。在曼哈頓世界假設(shè)的約束下，MG-SLAM 引入了線段和結(jié)構(gòu)化表面來(lái)增強(qiáng)相機(jī)姿態(tài)估計(jì)和地圖重建。我們利用一種特定的策略來(lái)融合線段，以確?？煽康刈R(shí)別線特征。高斯表示，包括專用于線段重建的專用損失項(xiàng)。

6. 實(shí)驗(yàn)結(jié)果

使用表 1 中的 ScanNet 數(shù)據(jù)集和Replica-V1 數(shù)據(jù)集對(duì)重建質(zhì)量進(jìn)行了定量評(píng)估。我們的方法提供了 SOTA 結(jié)果，在兩個(gè)數(shù)據(jù)集上的 PSNR 均顯著優(yōu)于其他基于高斯的方法 4dB。跟蹤評(píng)估結(jié)果如表 2 所示。我們的方法顯著降低了 ATE RMSE（cm）誤差，比高斯基線提高了 50%。此外，得益于我們的線融合策略，MG-SLAM 還表現(xiàn)出優(yōu)于傳統(tǒng) SLAM 系統(tǒng)的跟蹤性能。

為了評(píng)估系統(tǒng)在大型室內(nèi)環(huán)境中的穩(wěn)健性，我們?cè)?Replica Apartment 數(shù)據(jù)集上評(píng)估了 MG-SLAM。該數(shù)據(jù)集包含廣泛的多房間場(chǎng)景、復(fù)雜的物體幾何形狀和跨房間的循環(huán)軌跡。表 3 展示了我們的方法與 SplaTAM和 MonoGS在五個(gè)選定場(chǎng)景中的渲染質(zhì)量對(duì)比。MG-SLAM 在這些基線上顯示出顯著的改進(jìn)，特別是在具有兩層八室布局的廣泛公寓 0 場(chǎng)景中實(shí)現(xiàn)了 7dB 的改進(jìn)。這種最佳性能主要?dú)w功于融合線段的加入，這為環(huán)路閉合和姿勢(shì)優(yōu)化奠定了堅(jiān)實(shí)的基礎(chǔ)。圖 5 展示了公寓場(chǎng)景的新視圖渲染結(jié)果。我們的方法在幾何精度和精細(xì)細(xì)節(jié)豐富度方面比高斯基線有顯著的增強(qiáng)。

7. 總結(jié)

在本研究中，我們提出了 MG-SLAM，這是一種基于曼哈頓世界假設(shè)的高斯 SLAM 方法。MG-SLAM 采用線段進(jìn)行穩(wěn)健的姿態(tài)估計(jì)和地圖細(xì)化。此外，通過(guò)利用線段和平面假設(shè)，我們可以在缺失幾何的間隙上有效地插入新的高斯函數(shù)。大量實(shí)驗(yàn)表明，我們的方法提供了最先進(jìn)的跟蹤和映射性能。