作者：泡椒味的口香糖

0. 筆者個人體會

相似結(jié)構(gòu)一直是SLAM和SfM中很難處理卻又不得不處理的問題，如果機器人遇到了非常相似但實際不同的結(jié)構(gòu)，很容易因為匹配數(shù)量足夠多而引發(fā)假陽性回環(huán)和重建失敗。傳統(tǒng)方法更多的還是利用匹配數(shù)量的閾值或者和其他幾何關(guān)系的比值閾值來判斷，這種方法在遇到高對稱結(jié)構(gòu)時很容易失敗。

今天筆者將為大家?guī)磉@個問題新的解決思路，也就是ICCV 2023 Oral提出的Doppelgangers，能夠自動判斷兩個視圖是相同的，還是僅僅是相似的。這個方案實際上是將視覺消歧問題建模為圖像對上的二分類任務，并開發(fā)了基于學習的解決方案和數(shù)據(jù)集。

1. 效果展示

以下是一些典型的相似結(jié)構(gòu)，即便是使用人眼觀看，也很容易認為是相同場景。而在SLAM和SfM遇到這類場景時，很容易觸發(fā)假陽性回環(huán)而導致跟蹤丟失或重建失敗。

Doppelgangers這篇文章主要解決的就是這類場景下的匹配和重建問題，即便用來重建的場景具有高度對稱和相似的結(jié)構(gòu)，仍然可以進行完整的三維重建，不會憑空多或者少一些結(jié)構(gòu)。

2. 摘要

我們考慮視覺消歧任務，即判斷一對視覺相似的圖像是否描繪了相同或不同的三維表面(例如,對稱建筑物的同側(cè)或?qū)?cè))。虛假圖像匹配，即兩幅圖像觀察到不同但視覺上相似的3D表面，對人類區(qū)分具有挑戰(zhàn)性，也會導致3D重建算法產(chǎn)生錯誤的結(jié)果。我們提出了一種基于學習的視覺消歧方法，將其建模為圖像對上的二分類任務。為此，我們?yōu)樵搯栴}引入了一個新的數(shù)據(jù)集Doppelgangers，該數(shù)據(jù)集包含了具有真實標簽的相似結(jié)構(gòu)的圖像對。我們還設計了一種網(wǎng)絡架構(gòu)，將局部關(guān)鍵點和匹配的空間分布作為輸入，從而可以更好地對局部和全局線索進行推理。我們的評估表明，我們的方法可以在困難的情況下區(qū)分誤匹配，并且可以集成到SfM流水線中，以產(chǎn)生正確的、無二義性的三維重建。

3. 算法解析

現(xiàn)在一步步來拆解任務：我們希望在做SLAM和SfM時，即便遇到了結(jié)構(gòu)非常相似的場景，也能夠正確進行三維重建和跟蹤，不能出現(xiàn)誤匹配導致重建結(jié)果突然多了一塊或少了一塊，更不能出現(xiàn)假陽性回環(huán)。

具體任務描述：

給定兩幅非常相似的圖像，判斷它們是同一個結(jié)構(gòu)的同一個表面，還是兩個不同的3D結(jié)構(gòu)（作者將其稱為doppelgangers）。主要發(fā)生在對稱建筑物、重復視覺元素、以及多個相同地標場景中。

分析發(fā)現(xiàn)，雖然從高度對稱建筑拍攝的兩幅圖像整體很相似，很難直接通過圖像對來進行正負判別，但是它內(nèi)部還是有一些細節(jié)是不同的。這些細節(jié)所在的區(qū)域在進行圖像匹配時的匹配關(guān)系很少，利用這種細微差異就可以區(qū)分圖像。其實這樣很符合人類"找不同"的思路。

基于這個發(fā)現(xiàn)，作者就提出了一種基于學習的方法來消除視覺歧義，并且還公開了一個具有相似結(jié)構(gòu)的數(shù)據(jù)集，數(shù)據(jù)集還有GT標簽。

這個相似場景識別算法的原理是，首先使用RANSAC估計基礎(chǔ)矩陣并過濾異常匹配（具體實驗是直接使用LoFTR+RANSAC計算匹配），將原圖、提取的特征點、匹配到的特征點輸入到網(wǎng)絡中，輸出為相似圖像的概率，將相似性識別轉(zhuǎn)換為一個二分類問題。

這個算法的思想是使用關(guān)鍵點和匹配位置為網(wǎng)絡提供信息，這樣網(wǎng)絡不僅知道哪些關(guān)鍵點被匹配了，也可以知道哪些關(guān)鍵點沒有匹配，這樣對應的區(qū)域可能就代表信息缺失或者不同目標，相當于利用了關(guān)鍵點和匹配的空間分布信息。很明顯，視覺上具有相似結(jié)構(gòu)區(qū)域的匹配會更稠密，但不同結(jié)構(gòu)的區(qū)域匹配更稀疏。

而且為了更好得比較不同結(jié)構(gòu)區(qū)域，作者還對輸入圖像對進行了幾何對齊，也就是估計仿射變換，然后warp圖像和二值mask。當然，這個對齊不一定特別準，只不過希望能夠更好得聯(lián)系將兩個重疊區(qū)域。

到具體訓練這一塊，作者還使用了Focal loss。這個也很容易理解，相似結(jié)構(gòu)的特征點匹配肯定是正負樣本不平衡的，使用Focal loss可以提高難分樣本的貢獻。

4. 實驗

用來做二分類的網(wǎng)絡結(jié)構(gòu)很簡單，就是3個殘差模塊，一個平均池化，再加上一個全連接層。也僅僅訓練了10個epoch，batch size設置為16，學習率從0.0005降低到0.000005。

實驗主要是在他們提出的Doppelgangers數(shù)據(jù)集上評估消除視覺歧義的性能，然后將訓練的圖像二分類器集成到SfM中，通過重建效果來評估消歧性能，最后搞了一個消融實驗來證明每個模塊都是有用的。

首先是僅使用局部特征匹配來預測圖像對是否為正（真）的匹配，對比的baseline包括SIFT+RANSAC、LoFTR、以及DINO-ViT（自監(jiān)督SOTA分類/分割器）。作者使用的匹配方式包括兩種：( 1 )對幾何驗證后的匹配數(shù)量進行閾值化處理；( 2 )對匹配數(shù)量與關(guān)鍵點數(shù)量的比值進行閾值化處理。( 2 )背后的思想是，如果相對于關(guān)鍵點的數(shù)量，有很少的匹配，則很可能是誤匹配。作者訓練的模型AP為95.2 %，ROC AUC為93.8 %。DINO結(jié)果不太好，主要是因為它生成的特征很適合語義分類任務，但不適合視覺消歧。

測試的圖像對和對應的正匹配概率，這個定性對比還是很詳細的，實驗的場景很多。左欄表示負對匹配關(guān)系（錯誤），右欄表示正對（正確）。比較亮眼的是，在不同光照、視角變化、天氣變化等挑戰(zhàn)性情況下，也可正確分類正負匹配關(guān)系。

后面就開始搞三維重建了，作者將他們訓練的二分類器集成到COLMAP中，以此來評估在重復/對稱場景中的三維重建效果。使用的landmark有兩類，包含13個由于對稱和重復結(jié)構(gòu)而難以重建的landmark，還有與訓練數(shù)據(jù)有顯著差異的3個具有重復結(jié)構(gòu)的場景，主要是為了測試泛化性。

下面這個表就是SfM的重建結(jié)果，第二列代表數(shù)據(jù)集中的場景數(shù)量，其他的√和代表是否重建成功，是否成功是與谷歌地球中相應結(jié)構(gòu)對比得到的（評估三維重建效果的新點？）。

下面是直接使用COLMAP重建的模型和作者提出方法重建效果的對比。顯然，直接使用COLMAP會憑空產(chǎn)生很多多余的塔樓、穹頂?shù)冉Y(jié)構(gòu)。但是作者提出的方法可以很好得消除這種對稱相似結(jié)構(gòu)的"語義歧義"，從而重建完整的三維模型。

最后是一個消融實驗，就沒啥可說的了，主要對比了使用不同的網(wǎng)絡結(jié)構(gòu)做二分類器、書否有數(shù)據(jù)增強，以及不同網(wǎng)絡輸入帶來的性能對比。

5. 總結(jié)

Doppelgangers是解決特定任務的一篇文章，實現(xiàn)了相似結(jié)構(gòu)的二分類，解決的問題很重要。雖然Doppelgangers的實驗更多的面向圖像匹配和SfM，但筆者個人覺得也很容易應用到SLAM場景中，感興趣的小伙伴可以做進一步的嘗試。

編輯：黃飛