對(duì)象SLAM被認(rèn)為對(duì)于機(jī)器人高級(jí)感知和決策制定越來(lái)越重要?，F(xiàn)有研究在數(shù)據(jù)關(guān)聯(lián)、對(duì)象表示和語(yǔ)義映射方面存在不足，并且經(jīng)常依賴于額外的假設(shè)，從而限制了它們的性能。在本文中，我們提出了一個(gè)綜合的對(duì)象SLAM框架，該框架專注于基于對(duì)象的感知和面向?qū)ο蟮臋C(jī)器人任務(wù)。首先，我們提出了一種集成數(shù)據(jù)關(guān)聯(lián)方法，用于通過(guò)結(jié)合參數(shù)和非參數(shù)統(tǒng)計(jì)測(cè)試來(lái)關(guān)聯(lián)復(fù)雜條件下的對(duì)象。此外，我們建議基于iForest和線對(duì)齊的對(duì)象建模的離群魯棒質(zhì)心和尺度估計(jì)算法。然后由估計(jì)的通用對(duì)象模型表示輕量級(jí)和面向?qū)ο蟮牡貓D?？紤]到對(duì)象的語(yǔ)義不變性，我們將對(duì)象圖轉(zhuǎn)換為拓?fù)鋱D以提供語(yǔ)義描述符以實(shí)現(xiàn)多圖匹配。最后，我們提出了一種對(duì)象驅(qū)動(dòng)的主動(dòng)探索策略，以在抓取場(chǎng)景中實(shí)現(xiàn)自主建圖。

提出的對(duì)象SLAM框架。

1 系統(tǒng)框架

本框架主要包含4個(gè)模塊：

1.Tracking module:基于ORB-SLAM2實(shí)現(xiàn)相機(jī)軌跡跟蹤并生成稀疏點(diǎn)云。

2.Semantic module:采用YOLO物體檢測(cè)網(wǎng)絡(luò),結(jié)合點(diǎn)云測(cè)量與2D檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)。利用iForest和線段對(duì)齊算法優(yōu)化點(diǎn)云和線段?；陉P(guān)聯(lián)和優(yōu)化結(jié)果參數(shù)化物體。

3.Object map:實(shí)現(xiàn)基于物體的輕量語(yǔ)義地圖表示。

4.Application module:Augmented reality:基于實(shí)際物體姿態(tài)實(shí)現(xiàn)虛實(shí)模型配準(zhǔn),考慮遮擋和碰撞效果。Scene matching:將對(duì)象地圖轉(zhuǎn)換為拓?fù)鋱D,設(shè)計(jì)物體描述子實(shí)現(xiàn)多情景匹配。Active exploration:利用物體不完整度量式信息熵驅(qū)動(dòng)主動(dòng)構(gòu)建全局對(duì)象地圖,實(shí)現(xiàn)抓握?qǐng)鼍啊?/p>

總的來(lái)說(shuō),框架實(shí)現(xiàn)穩(wěn)健的數(shù)據(jù)關(guān)聯(lián)、精確的物體參數(shù)化以及基于語(yǔ)義對(duì)象地圖的高層應(yīng)用,解決了對(duì)象SLAM涉及的主要挑戰(zhàn)。語(yǔ)義對(duì)象地圖能為機(jī)器人抓取、導(dǎo)航、規(guī)劃等復(fù)雜任務(wù)提供必要信息,有助于實(shí)現(xiàn)智能機(jī)器人

2 對(duì)象級(jí)數(shù)據(jù)關(guān)聯(lián)

本文提出一個(gè)集成方法來(lái)執(zhí)行多幀間的對(duì)象數(shù)據(jù)關(guān)聯(lián)。關(guān)聯(lián)算法主要包含4部分:

(1) 運(yùn)動(dòng)IOU模型:如果全局物體在前兩幀(t-1和t-2)可觀測(cè),則基于勻速運(yùn)動(dòng)假設(shè)預(yù)測(cè)當(dāng)前幀(t)的邊界框,與檢測(cè)到的本地物體計(jì)算IOU值。

(2) 非參數(shù)檢驗(yàn)?zāi)Ｐ?如果連續(xù)觀測(cè)到物體失敗,則直接應(yīng)用非參數(shù)Wilcoxon檢驗(yàn)對(duì)P和Q(代表物體點(diǎn)云)進(jìn)行驗(yàn)證。假設(shè)它們來(lái)自同一物體,則應(yīng)滿足同一分布 fP = fQ 。

(3) 單樣本t檢驗(yàn)?zāi)Ｐ?分析不同視角下物體質(zhì)心C和c是否來(lái)自同一物體。建立t統(tǒng)計(jì)量并與臨界值比較:

(4)投影IOU模型:將三維點(diǎn)云投影到二維圖像,擬合投影邊界框與檢測(cè)框的IOU(5) 雙樣本t檢驗(yàn)?zāi)Ｐ?如果存在重復(fù)物體,則對(duì)兩個(gè)物體的歷史質(zhì)心C1和C2建立t統(tǒng)計(jì)量并比較,實(shí)現(xiàn)合并:

其中d為兩個(gè)物體的池化標(biāo)準(zhǔn)差。通過(guò)集成利用不同統(tǒng)計(jì)特征,提高了數(shù)據(jù)關(guān)聯(lián)的魯棒性和成功率。實(shí)驗(yàn)結(jié)果表明,與單一方法相比,集成方法能更有效地關(guān)聯(lián)不同視角下的物體,為下一步的參數(shù)化奠定基礎(chǔ)。總的來(lái)說(shuō),該方法充分利用了點(diǎn)云和質(zhì)心分別顯示的非高斯分布和高斯分布特性,通過(guò)不同統(tǒng)計(jì)模型集成提高關(guān)聯(lián)性能。

對(duì)象級(jí)數(shù)據(jù)關(guān)聯(lián)示意圖

3 對(duì)象參數(shù)化

我們利用立方體和二次曲面、圓柱體來(lái)表示對(duì)象，而不是復(fù)雜的實(shí)例級(jí)或類別級(jí)模型。對(duì)于具有規(guī)則形狀的對(duì)象，例如書本、鍵盤和椅子，我們使用立方體（由它們的頂點(diǎn) Po 編碼）來(lái)表示它們。對(duì)于球、瓶、杯等沒有明確方向的非規(guī)則物體，采用二次/圓柱（由其半軸Qo編碼）表示，忽略其方向參數(shù)。這里，Po 和 Qo 在對(duì)象坐標(biāo)系中表示，僅取決于尺度 s。為了將這些元素對(duì)準(zhǔn)到全局地圖，我們還需要估計(jì)它們的平移 t 和方向 θ。全局坐標(biāo)系中的立方體和二次曲面表示如下：

隨后，提出了基于iForest和線段對(duì)齊的離群點(diǎn)過(guò)濾算法,實(shí)現(xiàn)精確的對(duì)象尺度、位置和方位估計(jì)。主要包括以下部分:

(1) 平移和尺度估計(jì):利用iForest去除點(diǎn)云中的離群點(diǎn),剩余點(diǎn)云實(shí)現(xiàn)對(duì)象的初始尺度s和位置t估計(jì)。算法1描述了基于iForest的算法:

(2) 方位估計(jì):分為初始化和優(yōu)化兩個(gè)階段。

算法2描述了初始化算法:

(3) 對(duì)象表示:根據(jù)物體形狀使用立方體或?qū)悄Ｐ捅硎?編碼尺度s、位置t和方位角θ。

總的來(lái)說(shuō),采用iForest過(guò)濾離群點(diǎn)和線段對(duì)齊初始化方位角,有效實(shí)現(xiàn)了精確的6DOF姿態(tài)估計(jì)。最終構(gòu)建了基于物體類型的通用模型,實(shí)現(xiàn)了輕量級(jí)語(yǔ)義對(duì)象地圖：

3 對(duì)象描述子

為了描述不同物體間的關(guān)系,文章構(gòu)建了語(yǔ)義拓?fù)鋱D和基于此的隨機(jī)游走描述子。

拓?fù)鋱D:通過(guò)物體的語(yǔ)義標(biāo)簽、位置、姿態(tài)和尺寸信息,構(gòu)建不同物體及物體與情景的關(guān)系圖:

表示物體節(jié)點(diǎn),編碼物體信息

表示邊,編碼兩個(gè)物體的距離d和角度α

描述子:基于拓?fù)鋱D中不同物體間的關(guān)系,采用隨機(jī)游走的方式構(gòu)建物體描述子υ:

r是一個(gè)隨機(jī)行走路徑,起始于被描述的物體,最多到達(dá)i個(gè)物體。每行重復(fù)j次隨機(jī)行走。

多維度信息:為了提高魯棒性,描述子中考慮物體標(biāo)簽l、尺寸s、距離d和角度α四個(gè)維度:

4. 場(chǎng)景匹配:基于多個(gè)物體對(duì)的描述子匹配,求解兩個(gè)情景的轉(zhuǎn)換矩陣T:

· 生成兩個(gè)情景T1和T2的描述子V1和V2。

· 對(duì)每個(gè)對(duì)象v1在V1中找到在V2中的最佳匹配v2。

· 根據(jù)多個(gè)物體對(duì),利用奇異值分解(SVD)求解轉(zhuǎn)換矩陣T。

魯棒性:采用RANSAC算法去除誤匹配物體對(duì),提高匹配的魯棒性?？偟膩?lái)說(shuō),基于拓?fù)鋱D實(shí)現(xiàn)的物體描述子充分利用了物體的語(yǔ)義、尺寸和相對(duì)關(guān)系,能有效實(shí)現(xiàn)不同視角下的場(chǎng)景匹配?？紤]更多非物體的語(yǔ)義特征可能進(jìn)一步提高魯棒性和準(zhǔn)確性。

4 實(shí)驗(yàn)結(jié)果

數(shù)據(jù)關(guān)聯(lián):實(shí)驗(yàn)結(jié)果表明,集成不同統(tǒng)計(jì)模型超過(guò)單一方法。表明點(diǎn)云和質(zhì)心確實(shí)呈現(xiàn)非高斯分布和高斯分布。

2. 對(duì)象參數(shù)化: 實(shí)驗(yàn)結(jié)果表明, iForest和線段對(duì)齊有效實(shí)現(xiàn)精確的6DOF姿態(tài)估計(jì)。并構(gòu)建了基于形狀的通用對(duì)象模型

3. 對(duì)象地圖構(gòu)建:可在不同數(shù)據(jù)集上構(gòu)建語(yǔ)義對(duì)象地圖,處理不同類、數(shù)量、尺寸和方位角的物體。實(shí)驗(yàn)表明系統(tǒng)的魯棒性。

4. 增強(qiáng)現(xiàn)實(shí):基于精確的物體姿態(tài)信息,實(shí)現(xiàn)虛擬模型與實(shí)物精準(zhǔn)配準(zhǔn)?？紤]遮擋和碰撞效果,提高虛擬可信度。

5. 場(chǎng)景匹配:基于物體描述子,可在不同視角和照明條件下實(shí)現(xiàn)場(chǎng)景匹配和多地圖融合。具有魯棒性。

6. 主動(dòng)地圖構(gòu)建:通過(guò)信息熵量化物體觀測(cè)完整度,驅(qū)動(dòng)主動(dòng)建設(shè)語(yǔ)義對(duì)象地圖。實(shí)驗(yàn)表明比隨機(jī)探索和全面覆蓋策略更高效和更準(zhǔn)確。

7. 機(jī)器人抓取:基于語(yǔ)義對(duì)象地圖信息,實(shí)現(xiàn)機(jī)器人抓握。在虛擬環(huán)境和實(shí)際環(huán)境下的成功率分別達(dá)到86%和81%。

局限性:數(shù)據(jù)關(guān)聯(lián)在極端情況下存在問(wèn)題;對(duì)象姿態(tài)估計(jì)受離群點(diǎn)影響而不準(zhǔn)確;場(chǎng)景匹配依賴精確的對(duì)象建模。改進(jìn)方向:優(yōu)化數(shù)據(jù)關(guān)聯(lián)魯棒性;采用機(jī)器學(xué)習(xí)提高姿態(tài)估計(jì)精度;構(gòu)建更通用的物體描述子;采用多源感知實(shí)現(xiàn)全景對(duì)象地圖。

總的來(lái)說(shuō),實(shí)驗(yàn)結(jié)果充分證明了對(duì)象SLAM框架在不同應(yīng)用上的有效性和潛力。同時(shí)指出了當(dāng)前的局限性和未來(lái)的改進(jìn)方向。這對(duì)促進(jìn)對(duì)象SLAM技術(shù)的發(fā)展至關(guān)重要。