1.摘要

最近將學(xué)習(xí)的方式引入點云配準(zhǔn)中取得了成功，但許多工作都側(cè)重于學(xué)習(xí)特征描述符，并依賴于最近鄰特征匹配和通過RANSAC進(jìn)行離群值過濾，以獲得姿態(tài)估計的最終對應(yīng)集合。在這項工作中，我們推測注意機(jī)制可以取代顯式特征匹配和RANSAC的作用，從而提出一個端到端的框架來直接預(yù)測最終的對應(yīng)集。我們使用主要由自注意力和交叉注意力的transformer層組成的網(wǎng)絡(luò)架構(gòu)并對其訓(xùn)練，以預(yù)測每個點位于重疊區(qū)域的概率及其在其他點云中的相應(yīng)位置。然后，可以直接根據(jù)預(yù)測的對應(yīng)關(guān)系估計所需的剛性變換，而無需進(jìn)一步的后處理。盡管簡單，但我們的方法在3DMatch和ModelNet基準(zhǔn)測試中取得了一流的性能。我們的源代碼可以在https://github.com/yewzijian/RegTR.

2.引言

剛性點云配準(zhǔn)指找到對齊兩個點云的最佳旋轉(zhuǎn)和平移參數(shù)的問題。點云配準(zhǔn)的通用解決方案流程如下：1）檢測關(guān)鍵點，2）計算這些關(guān)鍵點的特征描述符，3）通過最近鄰匹配獲得假定的對應(yīng)關(guān)系，4）通常使用RANSAC以穩(wěn)健的方式估計剛性變換。近年來，研究人員將學(xué)習(xí)的方式應(yīng)用于點云配準(zhǔn)，這些工作中有許多側(cè)重于學(xué)習(xí)特征描述符，也有包括關(guān)鍵點檢測，且最后兩個步驟通常保持不變，因為這些方法仍然需要最近鄰匹配和RANSAC來獲得最終轉(zhuǎn)換。這些算法在訓(xùn)練過程中沒考慮后處理，其性能對后處理的選擇很敏感，以選擇正確的對應(yīng)關(guān)系，如RANSAC中采樣的興趣點或距離閾值。

一些方法通過使用從局部特征相似性得分計算的軟對應(yīng)來估計對齊方式，從而避免了不可微的最近鄰匹配和RANSAC步驟。在這項工作中，我們采用了稍微不同的方法。我們注意到，這些工作中學(xué)習(xí)到的局部特色主要用于建立對應(yīng)關(guān)系。因此，讓網(wǎng)絡(luò)直接預(yù)測一組清晰的對應(yīng)關(guān)系，而不是學(xué)習(xí)好的特征。受到最近一系列工作的激勵，這些工作利用transformer注意力層，以最少的后處理來預(yù)測各種任務(wù)的最終輸出。雖然注意機(jī)制以前曾被用于點云和圖像的配準(zhǔn)中，但這些工作主要是利用注意力層來聚集上下文信息，以學(xué)習(xí)更多的區(qū)分性的特征描述符，后續(xù)的RANSAC或最優(yōu)轉(zhuǎn)換步驟仍然經(jīng)常用來獲得最終的對應(yīng)關(guān)系。相比之下，Regis-tration Transformer（REGTR）利用注意力層直接輸出一組一致的最終點對應(yīng)關(guān)系，如圖1所示。由于網(wǎng)絡(luò)輸出清晰的對應(yīng)關(guān)系，可以直接估計所需的剛性轉(zhuǎn)換，而不需要額外的近鄰匹配和RANSAC步驟。

圖1 REGTR網(wǎng)絡(luò)流程圖

首先，REGTR主干使用點卷積來提取一組特征，同時對輸入的點云進(jìn)行下采樣。這兩個點云的特征被傳遞到多個transformer層，這些transformer層包含多頭自注意力和交叉注意力，方便全局信息聚合。同時通過位置編碼考慮點的位置，以允許網(wǎng)絡(luò)利用剛性約束糾正不好的對應(yīng)關(guān)系。然后，使用生成的特征預(yù)測下采樣點的相應(yīng)變換位置。此外，通過預(yù)測重疊概率分?jǐn)?shù)來計算剛性變換時預(yù)測的對應(yīng)關(guān)系。與常見的通過最近鄰特征匹配計算對應(yīng)關(guān)系的方法不同，該方法要求興趣點位于兩個點云中的相同位置，本文提出的網(wǎng)絡(luò)經(jīng)過訓(xùn)練可以直接預(yù)測出相應(yīng)的點位置。因此，不需要對大量興趣點或產(chǎn)生可重復(fù)點的關(guān)鍵點檢測器進(jìn)行采樣，而是在簡單的網(wǎng)格下采樣點上建立對應(yīng)關(guān)系。

盡管REGTR設(shè)計簡單，但它在3DMatch和ModelNet數(shù)據(jù)集上實現(xiàn)了最先進(jìn)的性能。由于不需要在大量假對應(yīng)上運行RANSAC，因此運行時間也很快。總之，我們的貢獻(xiàn)是：

?通過自注意力和交叉關(guān)注力直接預(yù)測一組一致的最終點對應(yīng)，而不使用常用的RANSAC或最優(yōu)轉(zhuǎn)換層。

?對多個數(shù)據(jù)集進(jìn)行了評估，雖然使用了少量對應(yīng)關(guān)系，但仍實現(xiàn)了精確配準(zhǔn)，并展示了最先進(jìn)的性能。

3.定義問題

4.方法設(shè)計

圖2 REGTR網(wǎng)絡(luò)整體結(jié)構(gòu)

4.1 下采樣和特征提取

4.2 交叉編碼的transformer層

前一節(jié)中的KPConv特征會線性投影到低維（d=256），然后饋入交叉編碼的transformer層（L=6）。每個交叉編碼的transformer有三個子層：1）分別在兩個點云上運行的多頭自注意力層;2）使用其他點云信息更新特征的多頭交叉注意力層;3）位置型前饋網(wǎng)絡(luò)。交叉注意力使網(wǎng)絡(luò)能夠比較來自兩個不同點云的點，而自注意力允許點在預(yù)測其自身變換位置時與同一點云內(nèi)的其他點交互。值得注意的是網(wǎng)絡(luò)權(quán)重在兩個點云之間共享，但在層之間不共享。

子層注意力。每個子層中多頭注意力定義為：

每個子層都應(yīng)用殘差連接和層歸一化，并使用pre-LN排序，因為更容易優(yōu)化。query，key，value設(shè)置在相同點云的自注意力層中，這能夠關(guān)注到同一點云的其余部分。對于交叉注意力層，key和value被設(shè)置為來自其他點云的特征，這可以讓每個點與其他點云中的點交互。

位置型前饋網(wǎng)絡(luò)。該子層分別對每個關(guān)鍵點的特征進(jìn)行操作。和通常的實現(xiàn)方式一樣，在第一層后使用帶ReLU激活函數(shù)的兩層前饋網(wǎng)絡(luò)，還應(yīng)用了殘差連接和層歸一化。

位置編碼。與以往使用注意力來學(xué)習(xí)區(qū)分特征的方案不同，本文的transformer層取代了RANSAC，即向每個transformer層的輸入添加正弦位置編碼來合并位置信息。

4.3解碼輸出

現(xiàn)在約束特征可用于預(yù)測出轉(zhuǎn)換的關(guān)鍵點坐標(biāo)，因此使用兩層MLP獲取需要的坐標(biāo)。

4.4估計剛性變換

4.5損失函數(shù)

使用ground truth位姿進(jìn)行端對端的訓(xùn)練網(wǎng)絡(luò)，采用如下?lián)p失進(jìn)行監(jiān)督：

圖3一對點云（左），密集點對應(yīng)的ground truth標(biāo)簽（中），下采樣關(guān)鍵點（右）

對應(yīng)關(guān)系損失。對重疊區(qū)域中關(guān)鍵點的預(yù)測變換位置應(yīng)用L1損失：

5.實驗

本文以3DMatch和ModelNet40數(shù)據(jù)集進(jìn)行實驗與測試，以配準(zhǔn)召回率（RR），相對旋轉(zhuǎn)誤差（RRE）和相對平移誤差（RTE）為評價指標(biāo)。配準(zhǔn)結(jié)果

5.1數(shù)據(jù)集和結(jié)果

3DMatch。對比結(jié)果如表1所示，可以看出本文方法實現(xiàn)了跨場景的最高平均配準(zhǔn)召回率，在3DMatch和3DLoMatch基準(zhǔn)上都達(dá)到了最低的RTE和RRE，雖然只使用了少量的點進(jìn)行位姿估計。

表1 在3DMatch和3DLoMatch數(shù)據(jù)集上的性能對比

ModelNet40。跟基于對應(yīng)關(guān)系的端對端的配準(zhǔn)方法進(jìn)行比較，在正常重疊（ModelNet）和低重疊（ModelLoNet）下， REGTR在所有指標(biāo)上都大大優(yōu)于所有對比方法。本文的注意力機(jī)制能夠超越最佳轉(zhuǎn)換（RPM-Net）和RANSAC步驟（Predator）。定性結(jié)果如圖4所示。

表2 ModelNet40數(shù)據(jù)集評估結(jié)果

圖4 定性分析結(jié)果（（a，b）為3DMatch，（c，d）為3DLoMatch， （e）為ModelNet40， （f）為ModelLoNet）

5.2分析對比

運行時間。將本文方法和表3中的方法進(jìn)行對比，可以發(fā)現(xiàn)本文方法在100ms以下運行，可以應(yīng)用于許多實時程序中。

表3 3DMatch測試集的運行時間對比（ms）

注意力可視化。如圖5所示，當(dāng)該點位于非信息區(qū)域，因此該點會關(guān)注第一個transformer層中其他點云中的多個類似外觀區(qū)域（圖5a）。在第六層，該點確信其位置，并且主要關(guān)注其正確的對應(yīng)位置（圖5b）。自注意力（圖5c）顯示了利用豐富特征區(qū)域幫助定位到正確位置。

圖5 注意力權(quán)重可視化

5.3消融實驗

本節(jié)進(jìn)一步對3DMatch數(shù)據(jù)集進(jìn)行消融實驗研究，以了解各種成分的作用，結(jié)果如表4所示。

與RANSAC的比較。嘗試將RANSAC應(yīng)用于REGTR進(jìn)行預(yù)測對應(yīng)，以確定性能是否進(jìn)一步提高。表4第7行顯示的配準(zhǔn)召回情況稍差。這表明RANSAC對已經(jīng)與剛性變換一致的預(yù)測對應(yīng)不再有益。

解碼方案。將坐標(biāo)解碼為坐標(biāo)的加權(quán)和（公式4）與使用MLP回歸坐標(biāo)的方法相比，將坐標(biāo)計算為加權(quán)和可以獲得更好的RTE和RRE，但配準(zhǔn)召回率更低，見表4第2行和第6行。

消融損失。表4第3-6行顯示了配置不同損失函數(shù)時的配準(zhǔn)性能。在沒有特征損失來指導(dǎo)網(wǎng)絡(luò)輸出的情況下，3DMatch和3DLoMatch的注冊召回率分別降低了1.6%和2.9%，使用circle損失也表現(xiàn)不佳，因為網(wǎng)絡(luò)無法有效地將位置信息合并到特征中。

表4 消融實驗對比結(jié)果

6.局限性

本文使用具有二次復(fù)雜度的transformer層阻止了它在大規(guī)模點云上使用，并且只能將其應(yīng)用于下采樣后的點云。雖然直接預(yù)測對應(yīng)關(guān)系減輕了分辨率問題，但更精細(xì)的分辨率可能會導(dǎo)致更高的性能。我們嘗試了具有線性復(fù)雜度的transformer層，但其性能較差，可能替代的解決方法包括使用稀疏注意力，或執(zhí)行從粗到細(xì)的配準(zhǔn)。

7.結(jié)論

本文提出了用于剛性點云配準(zhǔn)的REGTR網(wǎng)絡(luò)，它使用多個transformer層直接預(yù)測清晰的點對應(yīng)關(guān)系，無需進(jìn)一步的最近鄰特征匹配或RANSAC步驟，即可根據(jù)對應(yīng)關(guān)系估計剛性變換。直接預(yù)測對應(yīng)關(guān)系克服了使用下采樣特征帶來的分辨率問題，并且我們的方法在場景和對象點云數(shù)據(jù)集上都達(dá)到了最先進(jìn)的性能。

審核編輯：郭婷