論文作者：Junyi Ma, Xieyuanli Chen, Jingyi Xu, Guangming Xiong?

論文來(lái)源：IEEE Transactions on Industrial Electronics

1、摘要

在本文中，作者在其原有工作OverlapTransformer (OT)的基礎(chǔ)上，提出了一種用于自動(dòng)駕駛的時(shí)空融合激光雷達(dá)地點(diǎn)識(shí)別算法SeqOT。SeqOT以多幀激光雷達(dá)數(shù)據(jù)作為輸入，使用端到端的方式直接為序列化數(shù)據(jù)提取全局描述子，用以快速的地點(diǎn)識(shí)別檢索。SeqOT采用多尺度Transformer結(jié)構(gòu)對(duì)單幀高階特征與多幀高階特征進(jìn)行增強(qiáng)和融合，并使用池化結(jié)構(gòu)對(duì)多幀子描述子進(jìn)行降維，顯著提升地點(diǎn)識(shí)別描述子特異性和實(shí)時(shí)性。此外，SeqOT具有yaw角旋轉(zhuǎn)不變和激光序列順序不變的結(jié)構(gòu)，進(jìn)一步提高自動(dòng)駕駛車(chē)輛多角度地點(diǎn)識(shí)別的準(zhǔn)確率。試驗(yàn)結(jié)果表明，SeqOT在長(zhǎng)、短時(shí)間跨度數(shù)據(jù)集上均具有很好的識(shí)別性能，且其運(yùn)行速度快于激光雷達(dá)幀率，適用于實(shí)時(shí)運(yùn)行的自動(dòng)駕駛車(chē)輛。

2、主要工作與貢獻(xiàn)

本文的主要貢獻(xiàn)是一個(gè)端到端的地點(diǎn)識(shí)別神經(jīng)網(wǎng)絡(luò)，它利用連續(xù)的range image實(shí)現(xiàn)可靠的長(zhǎng)期地點(diǎn)識(shí)別。受益于所提出的yaw角旋轉(zhuǎn)不變結(jié)構(gòu)，SeqOT對(duì)視點(diǎn)變化和多幀激光雷達(dá)數(shù)據(jù)的輸入順序具有較強(qiáng)的魯棒性，因此即使在自動(dòng)駕駛車(chē)輛以相反方向行駛時(shí)也能實(shí)現(xiàn)可靠的地點(diǎn)識(shí)別。SeqOT利用多尺度Transformer模塊來(lái)融合序列化激光雷達(dá)數(shù)據(jù)的時(shí)空信息，通過(guò)增強(qiáng)單幀內(nèi)部特征的關(guān)聯(lián)與多幀間特征的關(guān)聯(lián)，增強(qiáng)地點(diǎn)描述子特異性，進(jìn)而提升地點(diǎn)識(shí)別精度。

3、算法流程

圖1 SeqOT算法結(jié)構(gòu)

SeqOT由單幀編碼模塊、多幀編碼模塊，以及池化模塊組合而成。如圖1所示，首先將多幀三維激光點(diǎn)云通過(guò)球面投影轉(zhuǎn)換為多幀二維range image，然后將各幀range image輸入到單幀編碼模塊中，分別進(jìn)行空間維度的壓縮和通道維度的擴(kuò)張，再利用單幀Transformer模塊進(jìn)行特征圖的特異性增強(qiáng)，然后將特異性增強(qiáng)后的結(jié)果與增強(qiáng)前的結(jié)果進(jìn)行通道維度上的拼接。以上操作均對(duì)序列化激光信息中的單幀數(shù)據(jù)分別進(jìn)行操作。接下來(lái)，將單幀編碼模塊輸出的特征輸入到多幀編碼模塊中，在將相鄰幀特征進(jìn)行拼接后，輸入到多幀Transformer模塊進(jìn)行多幀信息的高階特征融合與增強(qiáng)，然后將融合后的結(jié)果輸入到NetVLAD結(jié)構(gòu)中生成一系列維度為1x256的子描述子向量。池化模塊將此輸入激光序列中的全部子描述子進(jìn)行池化壓縮，為輸入激光序列生成最終的1x256全局描述子向量。

球面投影與yaw角旋轉(zhuǎn)等變性

SeqOT使用序列化range image作為輸入，并充分利用其yaw角旋轉(zhuǎn)等變性。一個(gè)三維激光點(diǎn)(x, y, z)，通過(guò)如下公式就可以投影至一個(gè)二維的圖像像素(u, v)，這就是球面投影生成range image的過(guò)程。range image上的每個(gè)像素點(diǎn)都代表激光點(diǎn)的距離信息。

range image本身具備yaw角旋轉(zhuǎn)等變性，即一幀激光點(diǎn)云相對(duì)于z軸的旋轉(zhuǎn)等價(jià)于本幀range image的平移。圖2展示了yaw角旋轉(zhuǎn)等變的簡(jiǎn)單示例。

圖2 yaw角旋轉(zhuǎn)等變性示例

得益于三維點(diǎn)云繞z軸的旋轉(zhuǎn)等價(jià)于range image的平移，SeqOT后續(xù)的結(jié)構(gòu)能夠輸出一系列yaw角旋轉(zhuǎn)等變的中間特征圖，進(jìn)而最終將yaw角旋轉(zhuǎn)等變性轉(zhuǎn)化為yaw角旋轉(zhuǎn)不變性，輸出不受視點(diǎn)變化影響的全局描述子，從而保證多角度地點(diǎn)識(shí)別的可行性。

單幀編碼模塊

單幀編碼模塊對(duì)輸入序列激光幀的每一幀單獨(dú)進(jìn)行高階特征提取?；诖饲暗墓ぷ鱗1]，單幀編碼模塊使用了與OverlapTransformer相似的OverlapNetLeg對(duì)range image進(jìn)行高度方向的壓縮與通道維度的擴(kuò)張。而后的單幀Transformer模塊對(duì)OverlapNetLeg的輸出進(jìn)行特異性增強(qiáng)，即增強(qiáng)單幀激光內(nèi)部不同特征之間的關(guān)聯(lián)。增強(qiáng)后的特征與增強(qiáng)前的特征進(jìn)行拼接，得到y(tǒng)aw角旋轉(zhuǎn)等變的中間特征，輸入到后續(xù)的多幀編碼模塊。

多幀編碼模塊與池化模塊

多幀編碼模塊將連續(xù)幀經(jīng)過(guò)單幀編碼模塊輸出的序列化高階特征進(jìn)行初步融合，池化模塊則對(duì)初步融合的特征進(jìn)行描述子級(jí)的聚合，最終為序列化輸入計(jì)算地點(diǎn)識(shí)別描述子。在多幀編碼模塊中，首先將相鄰三幀點(diǎn)云對(duì)應(yīng)的單幀編碼模塊的輸出進(jìn)行拼接，構(gòu)成更長(zhǎng)的特征編碼，輸入至多幀Transformer模塊，對(duì)幀間特征關(guān)聯(lián)進(jìn)行增強(qiáng)，實(shí)現(xiàn)多幀信息的融合。序列化信息融合后的特征輸入至NetVLAD結(jié)構(gòu)中，提取一系列子描述子。池化模塊最終將序列子描述子進(jìn)行聚合，生成一維地點(diǎn)識(shí)別全局描述子。由于結(jié)構(gòu)中使用了具有順序不變性質(zhì)的NetVLAD結(jié)構(gòu)與GeM池化結(jié)構(gòu)，因此最終輸出的全局描述子具備yaw角旋轉(zhuǎn)不變性和激光序列順序不變性，示例如圖3所示，相關(guān)證明詳見(jiàn)論文。

圖3 全局描述子yaw角旋轉(zhuǎn)不變性示例

基于overlap的訓(xùn)練

與此前工作[1]類(lèi)似，SeqOT利用基于overlap劃分的數(shù)據(jù)集進(jìn)行訓(xùn)練。利用overlap作為label進(jìn)行訓(xùn)練的理念在OverlapNet論文[2]中有所闡述。訓(xùn)練過(guò)程采用對(duì)比學(xué)習(xí)的思路，對(duì)于一幀query點(diǎn)云，同時(shí)向SeqOT輸入本幀點(diǎn)云對(duì)應(yīng)的序列激光幀、以及它的kp個(gè)正樣本序列和kn個(gè)負(fù)樣本序列?；趏verlap的triplet loss函數(shù)如下式所示。

使用overlap而不是點(diǎn)云之間的距離作為衡量正負(fù)樣本的基準(zhǔn)，是因?yàn)閛verlap對(duì)于描述激光點(diǎn)云相似度來(lái)說(shuō)是一個(gè)更為自然的方式；此外，點(diǎn)云間的overlap對(duì)應(yīng)了后續(xù)點(diǎn)云配準(zhǔn)的質(zhì)量，因此基于overlap對(duì)是否為同一地點(diǎn)進(jìn)行判斷更有益于后續(xù)算法的進(jìn)行。此外，本工作面向自動(dòng)駕駛車(chē)輛地點(diǎn)識(shí)別最常用場(chǎng)景——可重復(fù)性行駛環(huán)境，為低顯存的嵌入式設(shè)備提供了更為節(jié)省資源的兩步訓(xùn)練策略，即第一步：將triplet loss作用于多幀編碼模塊輸出的子描述子，訓(xùn)練池化模塊之前的模型，并保存訓(xùn)練使用的子描述子；第二步：利用保存的子描述子作為輸入，將triplet loss作用于SeqOT最終輸出的全局描述子，訓(xùn)練池化模塊。

4、實(shí)驗(yàn)結(jié)果

毫末數(shù)據(jù)集上的地點(diǎn)識(shí)別結(jié)果

KITTI和MulRan數(shù)據(jù)集上的泛化性測(cè)試結(jié)果

輸入序列長(zhǎng)度的對(duì)比試驗(yàn)結(jié)果

多尺度Transformer的消融試驗(yàn)結(jié)果

yaw角旋轉(zhuǎn)不變性驗(yàn)證

審核編輯：郭婷