來源：3D視覺工坊

1. 導(dǎo)讀

運動重建(SfM)是一項在給定一組圖像的情況下聯(lián)合恢復(fù)相機姿態(tài)和場景三維幾何的任務(wù)，盡管取得了幾十年的重大進展，但仍然是一個具有許多開放挑戰(zhàn)的難題。SfM的傳統(tǒng)解決方案由復(fù)雜的最小解算器流水線組成，當(dāng)圖像沒有充分重疊、運動過少等時，該流水線容易傳播錯誤并失敗。最近的方法試圖重新審視這一范式，但我們的經(jīng)驗表明，他們沒有解決這些核心問題。在本文中，我們提出在最近發(fā)布的3D視覺基礎(chǔ)模型上構(gòu)建，該模型可以魯棒地產(chǎn)生局部3D重建和精確匹配。我們引入了一種低內(nèi)存的方法來精確地對齊全局坐標(biāo)系中的這些局部重建。我們進一步表明，這種基礎(chǔ)模型可以作為有效的圖像檢索器，而沒有任何開銷，將整體復(fù)雜性從二次降低到線性?？偟膩碚f，我們的新型SfM流水線是簡單的、可擴展的、快速的和真正不受約束的，也就是說，它可以處理任何有序或不有序的圖像集合。在多個基準上的大量實驗表明，我們的方法在不同的設(shè)置上提供了穩(wěn)定的性能，特別是在中小規(guī)模的設(shè)置上優(yōu)于現(xiàn)有的方法。

2. 引言

運動恢復(fù)結(jié)構(gòu)（SfM）是計算機視覺領(lǐng)域一個長期存在的問題，旨在根據(jù)每個相機拍攝的圖像來估計場景的3D幾何結(jié)構(gòu)以及觀測該場景的相機的參數(shù)。由于它方便地同時為相機和地圖提供信息，因此構(gòu)成了許多實用計算機視覺應(yīng)用的重要組成部分，如導(dǎo)航（包括地圖繪制和視覺定位）、密集多視圖立體重建（MVS）、新視角合成、自校準甚至考古學(xué)。

實際上，SfM是一個“大海撈針”式的問題，通常涉及高度非凸的目標(biāo)函數(shù)，存在許多局部最小值。由于在這種情況下找到全局最小值直接實現(xiàn)起來過于困難，因此傳統(tǒng)的SfM方法，如COLMAP，將問題分解為一系列（或流程）最小問題，例如關(guān)鍵點提取與匹配、相對姿態(tài)估計以及通過三角測量和捆綁調(diào)整實現(xiàn)的增量重建。異常值（如錯誤的像素匹配）的存在帶來了額外的挑戰(zhàn)，迫使現(xiàn)有方法在流程中的多個環(huán)節(jié)反復(fù)進行假設(shè)的提出和驗證，通常使用隨機抽樣一致算法（RANSAC）或其多種變體。這種方法幾十年來一直是標(biāo)準做法，但它仍然很脆弱，當(dāng)輸入圖像重疊不足或視點之間的運動（即平移）不足時，就會失效。

最近，一系列創(chuàng)新方法提出重新審視SfM，以減輕傳統(tǒng)流程的復(fù)雜性和解決其缺點。例如，VGGSfM引入了一種端到端的可微版本流程，簡化了其中的一些組件。同樣，無檢測器SfM用學(xué)習(xí)到的組件替換了經(jīng)典流程中的關(guān)鍵點提取和匹配步驟。然而，這些變化必須放在適當(dāng)?shù)谋尘跋驴紤]，因為它們并沒有從根本上挑戰(zhàn)傳統(tǒng)流程的整體結(jié)構(gòu)。相比之下，F(xiàn)lowMap和Ace-Zero分別提出了一種全新的解決SfM問題的方法，該方法基于全局損失函數(shù)的簡單一階梯度下降。它們的訣竅是在場景優(yōu)化過程中訓(xùn)練一個幾何回歸網(wǎng)絡(luò)，作為重新參數(shù)化和正則化場景幾何結(jié)構(gòu)的一種方式。不幸的是，這種方法僅在特定配置下有效，即對于重疊度高且光照變化小的輸入圖像。最后，DUSt3R證明，單個Transformer架構(gòu)的前向傳遞就可以很好地估計出一個小型雙圖像場景的幾何結(jié)構(gòu)和相機參數(shù)。這些特別穩(wěn)健的估計然后可以使用簡單的梯度下降再次拼接在一起，從而放寬了前面提到的許多約束。然而，它產(chǎn)生的全局SfM重建結(jié)果相當(dāng)不準確，且擴展性不好。

在本文中，我們提出了MASt3R-SfM，這是一個完全集成的SfM流程，能夠處理完全不受約束的輸入圖像集合，即從單個視圖到大規(guī)模場景，甚至可能沒有相機運動，如圖1所示。我們在最近發(fā)布的DUSt3R（一個3D視覺的基礎(chǔ)模型）的基礎(chǔ)上構(gòu)建，特別是其最近的擴展MASt3R，它能夠在單個前向傳遞中執(zhí)行局部3D重建和匹配。由于MASt3R從根本上僅限于處理圖像對，因此它在大規(guī)模圖像集合上的擴展性很差。為了解決這個問題，我們利用其凍結(jié)的編碼器進行快速圖像檢索，計算開銷可忽略不計，從而得到了一種具有圖像數(shù)量準線性復(fù)雜度的可擴展SfM方法。由于MASt3R對異常值具有魯棒性，因此所提出的方法能夠完全擺脫RANSAC。SfM優(yōu)化基于MASt3R輸出的凍結(jié)局部重建結(jié)果，通過兩次連續(xù)的梯度下降進行：首先，使用3D空間中的匹配損失；然后使用2D重投影損失來細化先前的估計。

3. 效果展示

有趣的是，我們的方法超越了運動恢復(fù)結(jié)構(gòu)，因為它在沒有運動（即純旋轉(zhuǎn)情況）時也能工作，如圖1所示。

上圖:使用隨機子采樣改變輸入視圖數(shù)量時CO3Dv2數(shù)據(jù)集的相對旋轉(zhuǎn)(RRA)和平移(RTA)精度(視圖越多，重疊越大)。與我們的競爭對手相比，MASt3R-SfM在整個范圍內(nèi)提供了幾乎恒定的性能，即使是很少的視圖。下圖:MASt3R-SfM也可以在沒有運動的情況下工作，即在純旋轉(zhuǎn)設(shè)置下工作。我們在這里展示了共享同一個光學(xué)中心的6個視圖的重建。推薦課程：為什么說colmap仍然是三維重建的核心？

4. 主要貢獻

我們做出了三項主要貢獻。首先，我們提出了MASt3R-SfM，這是一個功能完備的SfM流程，能夠處理不受約束的圖像集合。其次，為了實現(xiàn)圖像數(shù)量的線性復(fù)雜度，我們展示了如何利用MASt3R的編碼器進行大規(guī)模圖像檢索，這是我們的第二項貢獻。請注意，只要提供現(xiàn)成的MASt3R檢查點，我們的整個SfM流程就無需訓(xùn)練。最后，我們在一系列不同的數(shù)據(jù)集上進行了廣泛的基準測試，結(jié)果表明，盡管取得了顯著進展，但現(xiàn)有方法在小規(guī)模設(shè)置中仍然容易失敗。相比之下，如圖1所示，MASt3R-SfM在多種條件下均表現(xiàn)出最先進的性能。

5. 方法

我們提出了一種新穎的大規(guī)模3D重建方法，該方法包括圖2中概述的四個步驟。首先，我們使用高效且可擴展的圖像檢索技術(shù)構(gòu)建共視圖。該圖的邊連接可能重疊的圖像對。其次，我們使用MASt3R對該圖的每條邊進行成對局部3D重建和匹配。第三，我們使用3D空間中的匹配損失和梯度下降，將所有局部點圖粗略對齊到同一世界坐標(biāo)系中。這作為第四步的初始化，在這一步中，我們執(zhí)行第二階段的全局優(yōu)化，這次是最小化2D像素重投影誤差。下面我們將詳細介紹每個步驟。

6. 實驗結(jié)果

7. 總結(jié) & 未來工作

我們引入了MASt3R-SfM，這是一種針對無約束結(jié)構(gòu)從運動恢復(fù)（Structure from Motion, SfM）的相對簡單且完全集成的解決方案。

與當(dāng)前存在的SfM流程相比，MASt3R-SfM能夠處理非常小的圖像集合，而不會出現(xiàn)明顯的問題。得益于我們方法所依賴的底層MASt3R基礎(chǔ)模型中編碼的強先驗知識，它甚至可以處理無運動的情況，并且完全不依賴于隨機抽樣一致性算法（RANSAC），這兩項特性通常在使用標(biāo)準基于三角測量的SfM方法中無法實現(xiàn)。