簡介

激光雷達作為自動駕駛中最常用的傳感器之一，由于其深度感知特性優(yōu)良，這也讓以激光SLAM為主的SLAM方法被廣泛應用。

但是我們發(fā)現(xiàn)在人員密集，車輛密集的場景經(jīng)常會造成點云定位效果不佳，而這些情況傳統(tǒng)濾波方法是沒有辦法解決的。

本篇將主要圍繞著深度學習的方法來講述激光雷達分割的問題。

1. SLAM配準與建圖

無論哪種點云配準方式（點到點/點到特征/點到柵格/NDT），都是基于靜態(tài)假設的，理論上動態(tài)點一定會影響配準的精度，當然這一點用于建好地圖的定位也同樣適用。

當一幀中如果動態(tài)點比例過高的話，會造成軌跡精度下降，甚至不排除跑飛的可能。

在這個層面，只能通過實時的方式在配準之前或配準過程中，識別并干掉動態(tài)點。

如果我們認為動態(tài)物體對配準的干擾有限，不太影響軌跡精度，但我們還是無法忍受最終生成的地圖中充斥著大量動態(tài)物體的“鬼影”（如下圖所示）。

這會對后期基于地圖的定位、或者基于地圖的可行域規(guī)劃（路徑規(guī)劃）產(chǎn)生不利的影響。

1.1 傳統(tǒng)配準思路—-通過聚類+卡爾曼濾波預測過濾動態(tài)障礙物

傳統(tǒng)方式比如在配準迭代過程中剔除距離過遠的點，物檢測流程一般如下：

考慮到車上有多個傳感器共同作業(yè)，需要對輸入的激光點云做時間同步和外參標定。

考慮到激光雷達的采樣噪聲和點云數(shù)據(jù)量大的問題，需要對點云做預處理，減少數(shù)據(jù)量，剔除噪聲點。

每幀點云數(shù)據(jù)中包含了大量的地面點，檢測的目的是獲取道路障礙物信息，需要進一步分割出地面上的點云。

地面上的障礙物點通常采用無監(jiān)督的聚類算法形成多個團簇，每個團簇則表示一個障礙物。

針對團簇的物體識別可以根據(jù)任務需求而定，如果需要類別信息，可以采用特征提取+分類器的方式分類障礙物。

對每一塊團簇做包圍框擬合，計算障礙物屬性，比如中心點，質(zhì)心點，長寬高等。

對每一個障礙物構建一個卡爾曼濾波器做跟蹤，平滑輸出，從而來判斷是否運動。

1.2 傳統(tǒng)配準思路—-適用submap來精配準

“RF-LIO: Removal-First Tightly-coupled Lidar Inertial dometry in High Dynamic Environments ”，這項工作就是傳統(tǒng)的匹配濾波的思路。

它建立在 LIO-SAM 的基礎上，先剔除是指所提出的RF-LIO首先去除沒有準確姿勢的運動物體，然后采用 scan-matching 。

當新的scan到達時，RF-LIO不會立即執(zhí)行掃描匹配以獲得準確的位姿，因為它很容易受到動態(tài)環(huán)境的影響。

相反，我們使用緊耦合慣性測量單元 (IMU) 里程計來獲得粗略的初始狀態(tài)估計，然后 RF-LIO 可以利用自適應分辨率距離圖像初步去除環(huán)境中的運動點。

在初步去除運動點后，RF-LIO 使用 scan-matching 來獲得相對更準確的位姿。

在精配準迭代過程中，不斷基于初值和多分辨率深度圖檢測submap中的動態(tài)點并移除，最終實現(xiàn)基于“靜態(tài)submap”的精配準。

因此，即使在高動態(tài)環(huán)境中也可以獲得準確的姿勢。

實驗結果表明，在高動態(tài)環(huán)境下與 LOAM 和 LIO-SAM 相比，所提出的 RF-LIO 的絕對軌跡精度可以分別提高 90% 和 70%。

RF-LIO 的總體框架，它由三個主要模塊組成：IMU 預積分、特征提取和建圖。首先，IMU 預積分模塊用于推斷系統(tǒng)運動并生成 IMU 里程計。

然后，特征提取模塊補償點云的運動畸變。通過評估點的粗糙度來提取邊緣和平面特征。

建圖模塊是我們提出方法的關鍵模塊，要在沒有準確位姿的情況下先去除動態(tài)物體，

有幾個關鍵步驟：

初始位姿是通過 IMU 里程計獲得的。

然后使用 IMU 預積分和 scan-matching 之間的誤差來確定初始分辨率（即每個像素對應多少個 FOV 角度）。

RF-LIO 使用此初始分辨率從當前激光雷達掃描和相應的子圖分別構建距離圖像。

通過比較它們的能見度，去除子圖的大部分動態(tài)點。

RF-LIO 將激光雷達掃描與子圖進行匹配，并判斷 scan-matching 是否收斂。

如果是收斂的，經(jīng)過圖優(yōu)化后，用最終的高分辨率去除當前關鍵幀中剩余的動態(tài)點，否則，將生成新的分辨率，并重復步驟2、3、4。

1.3 現(xiàn)代配準思路—-通過深度學習實現(xiàn)動態(tài)物體識別

而當前更流行的方式則是基于deep-learning直接識別出動態(tài)物體并將點云去除。

“Dynamic Object Aware LiDAR SLAM based on Automatic Generation of Training Data ”。

作者基于deep-learning（3D-MiniNet網(wǎng)絡）進行實時3D動態(tài)物體檢測，濾除動態(tài)物體后的點云被喂給LOAM，進行常規(guī)的激光SLAM。

文中提到為了克服動態(tài)障礙物的問題并支持機器人在現(xiàn)實世界場景中的部署，文章提出了一個用于動態(tài)對象感知激光雷達SLAM算法。

文中提出了一種新穎的端到端占用網(wǎng)格管道，可以自動標記各種各樣的任意動態(tài)對象。

從結果中，我們可以大致看出其可以有效地對動態(tài)障礙物完成分割。

2. 動態(tài)物體濾除

2.1 環(huán)境物體分類

環(huán)境中的所有物體依據(jù)“動態(tài)程度”的不同，分為四類：

高動態(tài)物體：實時移動的物體，如行人、車輛、跑動的寵物…

低動態(tài)物體：短暫停留的物體，如站在路邊短暫交談的人…

半靜態(tài)物體：在一個SLAM周期中不動，但是并非永遠不動的物體，如停車場的車輛、堆放的物料、臨時工棚、臨時圍墻、商場中臨時搭建的舞臺…

靜態(tài)物體：永遠不動的物體，如建筑物、馬路、路沿、交通信號燈桿…

除了靜態(tài)物體外的其它三類物體，都有不同程度上的動態(tài)屬性，應對策略也各不相同：

針對高動態(tài)物體：在線實時過濾

針對低動態(tài)物體：一次SLAM過程結束后，后處理方式過濾

針對半靜態(tài)物體：全生命周期建圖（life-longmapping, or long-term mapping）

2.2 實時點云過濾

實時動態(tài)點云過濾一定需要參考幀來比對出動態(tài)點，上面一節(jié)主要講述的就是動態(tài)點云濾除的操作，主要是分為傳統(tǒng)濾除方法以及深度學習濾除方法。

在深度學習方面基本思路就是先通過深度學習完成動態(tài)障礙物的分割，然后將分割好的點云數(shù)據(jù)放入SLAM當中。

這里主要闡述一個基于深度學習的三維激光雷達動態(tài)物體分割（LiDAR-MOS）方法，論文提出了一種利用深度學習和時空信息結合的方法實現(xiàn)了三維激光雷達動態(tài)物體分割，并用以提高激光雷達SLAM定位和建圖的精度。

在這項工作中，我們的目標是對 LiDAR 數(shù)據(jù)進行動態(tài)物體分割 （LiDAR MOS）。

在這項工作中，與點云語義分割不同的是我們的任務不是要預測點云的語義類別，如車輛、道路、建筑物等，而是更專注于將場景分割成兩部分：

一部分是實際移動的物體，例如正在行駛的汽車、行人，另一部分是靜態(tài)物體，例如停放的汽車和靜態(tài)背景，例如道路和建筑物等。

我們提出了一種新的基于深度學習的方法，該方法利用 LIDAR 距離圖像（range image），運算速度非?？?，能夠?qū)崿F(xiàn)在線實時點云動態(tài)物體分割。

上面所展示的是該方法的概述圖。我們使用基于距離圖像的 LiDAR 表示方式和神經(jīng)網(wǎng)絡來實現(xiàn)在線動態(tài)物體分割。

給定當前激光雷達觀測和過去的激光雷達數(shù)據(jù)，我們首先生成過去LiDAR數(shù)據(jù)和當前 LiDAR 觀測之間的“殘差圖像”（residual image），通過這種方式，我們可以得到時間上的序列信息。

生成殘差圖像后，我們將殘差圖與當前掃描連接到一起，一同用作神經(jīng)網(wǎng)絡的輸入。

然后我們利用所提出的動態(tài)物體二分類標簽訓練神經(jīng)網(wǎng)絡，該標簽僅包含移動和非移動的兩個類別。

最終，所提出的方法可以實現(xiàn)對激光雷達數(shù)據(jù)中動靜物體的檢測和分離。

2.3后處理點云過率

后處理方式由于不需要顧慮實時性，因此可以將整個SLAM周期內(nèi)的所有幀作為參考信息，來識別動態(tài)點。

相比于實時方式，后處理方式更追求動態(tài)點云濾除的準確性和充分性。

以后處理方式為前提，常見的動態(tài)物體過濾方法可以分為典型的三類：segmentation-based, ray-casting based, 和 visibility-based

visibility-based其基本思路是，把一個queryscan投影為深度圖，然后在同一視點把queryscan附近的submap也投影為一個深度圖，比對兩個深度圖上同一位置的像素深度。

如果后者深度更淺，則該像素位置對應submap上的點為動態(tài)點（前方的點把后方的點遮擋了，則前方的點為動態(tài)點）。

Remove, then Revert: Static Point cloud Map Construction using Multiresolution Range Images

這篇文章以此為基本原理，做了諸多改進，并用更粗糙分辨率的深度圖對比來恢復被誤殺的靜態(tài)點。

本文為基于視點可見性（或基于深度圖）的方法提供了參考。

2.4life-long建圖

life-long mapping的核心問題，其實遠不止動態(tài)/半靜態(tài)物體過濾。

動態(tài)/半靜態(tài)物體過濾只是life-long過程中不同session之間地圖融合的一部分。

LT-mapper: A Modular Framework for LiDAR-based Lifelong Mapping提出一個long-term的點云建圖系統(tǒng)

其基本結構如下：

Multi-session SLAM優(yōu)化

不同時間構建的點云地圖diff檢測

地圖更新和長期地圖管理

Multi-session SLAM:

每個session的點云地圖通過關鍵幀構建，對不同session的關鍵幀進行anchor node檢測，基于anchor幀構建的閉環(huán)因子實現(xiàn)Multi-session之間offset的修正。

在保證單個session pose最優(yōu)的情況下，Multi-session之間的pose也是對齊的；

diff檢測：

首先會對新session的每一幀點云劃分動態(tài)點檢測，動態(tài)點會劃分為高動態(tài)（HD）和低動態(tài) (LD) 兩種，高動態(tài)的點會在單次建圖完成后直接去除，低動態(tài)的點會根據(jù)kd-tree閾值區(qū)分。

地圖更新和長期地圖管理

構造兩種類型的靜態(tài)地圖：移除弱PD的meta map和保留弱PD的live map。metamap和livemap的示例如圖3所示。

在live map中，場景的最新表示將得到有效維護。在meta map中，non-volume-maximizing points被迭代刪除（紅色框），而其他永久結構保留。

我們可以發(fā)現(xiàn)該life-long算法在第二部分也是對靜態(tài)和半靜態(tài)進行了濾波

3. 有所思考

目前眾多的開源方案中，基本上只要用了自己的數(shù)據(jù)集，就很少能達到論文展示的效果。

一種方法即使在理論上是完備的，實際中受限于雷達線束密集程度，軌跡誤差等因素，也不可能達到理想的效果。

目前但就過濾動態(tài)障礙物而言，個人還是提倡使用深度學習，因為傳統(tǒng)的PCL的RANSEC過濾方法難以滿足真實場景下的需求。

上文提到的實時處理/后處理/life-long處理這三種方法本質(zhì)上基本一致，只是面對不同的需求設計了相似的方法，完全可以替換

可以嘗試多傳感器融合來規(guī)避這些問題，像激光、視覺、慣導里程等，因為通常環(huán)境變化不會對所有傳感器產(chǎn)生影響

也有人指出對于機器人來說SLAM的目的還是用來導航，導航只關心機器人對自身位置的感知，并不關心地圖是不是有誤差，所以可以使用位姿的拓撲圖來代替這類點云地圖。

審核編輯：劉清