由于傳統(tǒng)視覺SLAM在動態(tài)場景中容易會出現(xiàn)嚴(yán)重的定位漂移，本文提出了一種新穎的基于場景-對象的可靠性評估框架，該框架通過當(dāng)前幀質(zhì)量指標(biāo)以及相對于可靠參考幀的場景變化，全面評估SLAM的穩(wěn)定性。同時(shí)，針對現(xiàn)有系統(tǒng)在姿態(tài)估計(jì)不可靠時(shí)缺乏誤差校正機(jī)制的問題，我們采用了一種姿態(tài)精修策略，利用來自可靠幀的信息優(yōu)化相機(jī)姿態(tài)估計(jì)，有效減輕動態(tài)干擾帶來的不利影響。在TUM RGB-D數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，我們的方法在具有挑戰(zhàn)性的動態(tài)場景中，顯著提高了定位精度和系統(tǒng)魯棒性。

? 文章：

Adaptive Prior Scene-Object SLAM for Dynamic Environments

? 作者：

Haolan Zhang, Thanh Nguyen Canh, Chenghao Li, Nak Young Chong

? 論文鏈接：

https://arxiv.org/abs/2507.21709

? 編譯：

INDEMIND

01 本文核心內(nèi)容

目前，傳統(tǒng)視覺SLAM已發(fā)展出兩種方法：基于特征的方法，這類方法提取并匹配獨(dú)特的關(guān)鍵點(diǎn)；直接法，這類方法直接對像素強(qiáng)度進(jìn)行處理，無需中間的特征提取步驟。盡管這些方法在靜態(tài)環(huán)境中效果顯著，但在動態(tài)場景中，由于存在移動物體和突然的視角變化，對它們往往有著極大挑戰(zhàn)，進(jìn)而導(dǎo)致定位漂移。

對于動態(tài)場景導(dǎo)致的特征匹配錯(cuò)誤和定位漂移。早期的解決方案側(cè)重于幾何方法，例如基于RANSAC的濾波、概率置信度評分以及基于相關(guān)性的圖分割。近年來出現(xiàn)了更多基于運(yùn)動的方法，包括結(jié)合光流和粒子濾波的PFDSLAM，以及應(yīng)用K均值聚類進(jìn)行靜態(tài)概率估計(jì)的StaticFusion和Joint-VO-SF。這些方法在輕度動態(tài)場景中雖有效果，但難以處理大規(guī)模的動態(tài)變化。

為克服這些局限性，研究人員將深度學(xué)習(xí)技術(shù)融入其中。DS-SLAM利用SegNet進(jìn)行語義濾波，DynaSLAM將Mask R-CNN與幾何驗(yàn)證相結(jié)合。Blitz-SLAM采用兩階段方法，首先通過深度學(xué)習(xí)解析場景，然后進(jìn)行幾何驗(yàn)證。CFP-SLAM基于目標(biāo)檢測和運(yùn)動分類進(jìn)行分層處理，SG-SLAM則在基于圖的框架中整合了語義理解與幾何約束。

在這些方法的基礎(chǔ)上，近期的研究探索了以目標(biāo)為中心和以場景為中心的策略。研究人員提出了一種以目標(biāo)為中心的方法，該方法基于不確定性、觀測質(zhì)量和先驗(yàn)信息評估質(zhì)量，并實(shí)施雙重耦合——高質(zhì)量目標(biāo)有助于相機(jī)姿態(tài)估計(jì)，而低質(zhì)量目標(biāo)僅在后續(xù)進(jìn)行跟蹤。

然而，以目標(biāo)為中心的方法存在一些問題：固定的質(zhì)量閾值無法適應(yīng)場景變化；逐幀評估忽略了時(shí)間一致性；且缺乏誤差校正機(jī)制。又有研究人員提出了一種以場景為中心的方法，該方法利用先驗(yàn)運(yùn)動信息來增強(qiáng)時(shí)間一致性，但它難以應(yīng)對突然的運(yùn)動變化，由于依賴前一幀而存在跳過關(guān)鍵幀的風(fēng)險(xiǎn)，并且可能將低運(yùn)動場景誤分類為靜態(tài)場景。

為克服以目標(biāo)為中心和以場景為中心這兩種方法的局限性，我們基于ORB-SLAM3提出了一種適用于動態(tài)環(huán)境的自適應(yīng)先驗(yàn)場景-對象SLAM框架。

本文的貢獻(xiàn)可概括為：

一種場景-對象質(zhì)量評估機(jī)制，該機(jī)制整合了基于幀的指標(biāo)和動態(tài)變化評估，以實(shí)現(xiàn)可靠的場景評估。

一種自適應(yīng)基準(zhǔn)更新策略，該策略基于場景質(zhì)量不斷優(yōu)化參考標(biāo)準(zhǔn)。

一種直接融合方法，用于修正問題幀中的姿態(tài)估計(jì)誤差，從而增強(qiáng)魯棒性。

在TUM RGB-D數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)驗(yàn)證，證明該方法在定位精度和魯棒性方面有顯著提升。

02 方法架構(gòu)

我們提出的流程（圖1）通過一個(gè)自適應(yīng)框架處理RGB-D圖像，以在動態(tài)環(huán)境中實(shí)現(xiàn)穩(wěn)健定位。該框架結(jié)合特征提取、語義分割和Lucas-Kanade光流來識別動態(tài)對象。我們的方法包含兩個(gè)關(guān)鍵組件：場景-對象質(zhì)量評估機(jī)制和姿態(tài)精修策略。質(zhì)量評估用于建立基準(zhǔn)標(biāo)準(zhǔn)，根據(jù)基準(zhǔn)對幀進(jìn)行評估，并隨著環(huán)境條件的變化動態(tài)更新基準(zhǔn)。當(dāng)幀不可靠時(shí)，精修策略采用直接法來校正姿態(tài)估計(jì)，從而在動態(tài)場景中保持穩(wěn)健性。

A. 場景-對象質(zhì)量評估機(jī)制

1) 初始化：場景-對象質(zhì)量評估機(jī)制以初始化階段為開端，旨在建立可靠的基準(zhǔn)標(biāo)準(zhǔn)。我們的系統(tǒng)使用四個(gè)指標(biāo)來量化幀質(zhì)量：對象置信度得分（Sconf），用于衡量所有對象的檢測置信度；空間分布得分（Sspatial），用于評估對象在幀內(nèi)的大小和位置；特征質(zhì)量得分（Sfeature），用于評估特征響應(yīng)強(qiáng)度和分布均勻性；以及深度質(zhì)量得分（Sdepth），用于分析深度覆蓋范圍、一致性和平滑度。初始整體質(zhì)量的計(jì)算公式為：

初始化階段通過分析初始幀中的對象置信度、空間分布、特征質(zhì)量和深度信息，為場景評估建立基準(zhǔn)。得分最高的幀將成為我們的參考基準(zhǔn)，同時(shí)設(shè)置自適應(yīng)初始化閾值，可隨環(huán)境條件的變化進(jìn)行調(diào)整以保持相關(guān)性。

2) 場景決策：初始化之后，我們的系統(tǒng)會對每個(gè)輸入幀進(jìn)行評估，以確定場景的可靠性。最終的場景質(zhì)量得分結(jié)合了當(dāng)前幀質(zhì)量評估（Stotal）和相對于參考幀的變化評估（Schange）：

B. 姿態(tài)精修策略

當(dāng)某一幀根據(jù)我們的質(zhì)量評估被歸類為問題幀時(shí)，我們會采用直接法來精修相機(jī)姿態(tài)估計(jì)。與依賴稀疏對應(yīng)關(guān)系的基于特征的方法不同，我們的方法利用來自強(qiáng)度圖像和深度圖像的稠密信息，使其在具有挑戰(zhàn)性的場景中更具魯棒性。

03 實(shí)驗(yàn)結(jié)果

我們在TUM RGB-D數(shù)據(jù)集上對所提方法進(jìn)行了評估，該數(shù)據(jù)集廣泛用于動態(tài)環(huán)境下SLAM系統(tǒng)的基準(zhǔn)測試。

A. 場景-對象質(zhì)量評估機(jī)制的評估

在fr3/w/rpy序列的900幀中，我們的評估機(jī)制識別出30幀問題幀。如圖2所示，這些問題幀出現(xiàn)在相機(jī)朝向特征稀少的天花板（a）或快速滾轉(zhuǎn)旋轉(zhuǎn)時(shí)（b）。這些結(jié)果表明，我們的評估機(jī)制能夠有效識別傳統(tǒng)基于特征的方法容易失效的幀。所提出的質(zhì)量指標(biāo)成功捕捉到了幾何約束（如天花板視圖中的稀疏特征）和動態(tài)挑戰(zhàn)（如快速旋轉(zhuǎn)導(dǎo)致的運(yùn)動模糊），驗(yàn)證了我們方法的魯棒性。

B. 與最先進(jìn)方法的比較

圖3展示了我們的系統(tǒng)與ORB-SLAM3在TUM RGB-D數(shù)據(jù)集上的結(jié)合效果。左圖呈現(xiàn)了當(dāng)前幀以及正在運(yùn)行的場景-對象質(zhì)量評估，其中動態(tài)對象（如人）被檢測到（綠色邊界框）、分割（紅色掩碼），并使用Lucas-Kanade光流進(jìn)行估計(jì)，以減輕其對姿態(tài)估計(jì)的影響。場景質(zhì)量得分（0.36）和幀評估結(jié)果（GOOD SCENE）顯示在左上角，同時(shí)還有各項(xiàng)質(zhì)量指標(biāo)：置信度（Sconf）、空間分布（Sspatial）和特征質(zhì)量（Sfeature），以白色文本顯示。右圖展示了ORB-SLAM3的稀疏建圖結(jié)果，包括三維點(diǎn)云和相機(jī)姿態(tài)。這一可視化結(jié)果凸顯了我們的框架如何通過改進(jìn)場景質(zhì)量評估和處理動態(tài)對象來增強(qiáng)ORB-SLAM3的性能，使其在復(fù)雜環(huán)境中能夠?qū)崿F(xiàn)更穩(wěn)健的跟蹤。

我們將所提系統(tǒng)與幾種基于ORB-SLAM2的動態(tài)環(huán)境下最先進(jìn)的SLAM方法進(jìn)行了對比，包括DynaSLAM、Blitz-SLAM和SG-SLAM。表I給出了平移和旋轉(zhuǎn)方面的絕對軌跡誤差（ATE）和相對姿態(tài)誤差（RPE）結(jié)果。如表I所示，我們的方法在ATE性能上具有競爭力，在幀間一致性方面表現(xiàn)優(yōu)異，并且在大多數(shù)序列的平移和旋轉(zhuǎn)RPE上始終優(yōu)于競爭方法。值得注意的是，在具有復(fù)雜相機(jī)運(yùn)動的挑戰(zhàn)性場景中，我們的系統(tǒng)保持了較高的相對姿態(tài)精度，這表明我們的場景質(zhì)量評估和姿態(tài)精修策略在動態(tài)環(huán)境中是有效的。

我們還將所提系統(tǒng)與基于ORB-SLAM3的DN-SLAM進(jìn)行了評估，結(jié)果如表II所示。在動態(tài)序列上，我們的方法相比ORB-SLAM3將ATE降低了92%-97%，在絕對軌跡精度上與DN-SLAM相當(dāng)，而在相對姿態(tài)性能上更優(yōu)，特別是在具有挑戰(zhàn)性的fr3/w/rpy序列中（均方根誤差：0.025對0.065）。這些結(jié)果證明了我們的質(zhì)量評估和姿態(tài)精修策略的有效性。圖4對比了ORB-SLAM3（上）和我們的方法（下）在四個(gè)TUM序列上的估計(jì)軌跡，包含三種線條類型：真實(shí)軌跡（黑線）、估計(jì)軌跡（藍(lán)線）和誤差（紅線）。我們的方法表現(xiàn)出更優(yōu)的跟蹤精度，在所有序列中均降低了誤差。在fr3/w/xyz序列中，它與真實(shí)軌跡幾乎完美對齊；在動態(tài)條件下的fr3/w/halfsphere和fr3/w/rpy序列中，能夠準(zhǔn)確跟蹤復(fù)雜運(yùn)動。

我們的實(shí)驗(yàn)證實(shí)，我們的場景質(zhì)量評估和姿態(tài)精修策略提升了動態(tài)環(huán)境下的SLAM性能。在實(shí)現(xiàn)具有競爭力的絕對軌跡精度的同時(shí)，我們的方法在幀間一致性方面表現(xiàn)突出，這體現(xiàn)在大多數(shù)序列的RPE指標(biāo)上均更優(yōu)。

04 總結(jié)

在本文中，我們提出了一種適用于動態(tài)環(huán)境的自適應(yīng)先驗(yàn)場景-對象SLAM框架。我們的質(zhì)量評估機(jī)制能夠有效識別問題幀，而當(dāng)傳統(tǒng)方法失效時(shí)，我們的直接姿態(tài)精修策略可對跟蹤誤差進(jìn)行校正。實(shí)驗(yàn)結(jié)果表明，與最先進(jìn)的方法相比，我們的方法有顯著改進(jìn)，尤其是在保持穩(wěn)定跟蹤方面。

在未來的工作中，我們計(jì)劃通過整合線特征和平面特征來增強(qiáng)系統(tǒng)性能，以改進(jìn)質(zhì)量評估，特別是在紋理稀疏的環(huán)境中。我們還旨在基于數(shù)據(jù)關(guān)聯(lián)開發(fā)一種針對優(yōu)質(zhì)幀和劣質(zhì)幀的全局時(shí)間管理策略，實(shí)現(xiàn)對整個(gè)軌跡的全面優(yōu)化，而不僅僅是幀間的精修。這些改進(jìn)將進(jìn)一步提升系統(tǒng)在復(fù)雜動態(tài)場景中的魯棒性，并支持更長期的一致性建圖。