IGFuse基于多次觀測融合的可交互三維高斯場景重建

在計(jì)算機(jī)視覺和機(jī)器人領(lǐng)域，如何完整、真實(shí)地重建一個(gè)可交互的三維場景，一直是一個(gè)難題。傳統(tǒng)方法往往依賴復(fù)雜的多階段流程，比如先做分割，再進(jìn)行背景補(bǔ)全或修復(fù)，或者需要對每個(gè)物體進(jìn)行密集掃描。這些方式不僅成本高、容易出錯(cuò)，而且很難擴(kuò)展到大規(guī)模的應(yīng)用場景。

我們提出的IGFuse提供了一種新的思路：通過多次場景掃描的融合來重建三維高斯場景。在不同掃描中，物體布局的自然移動(dòng)能夠“揭示”那些在單次掃描里被遮擋的區(qū)域，從而幫助恢復(fù)完整的場景。為了保證重建的質(zhì)量，我們構(gòu)建了具有語義信息的高斯場，并在不同掃描之間保持光度和語義上的一致。同時(shí)，我們設(shè)計(jì)了一種偽中間場景狀態(tài)來解決多次掃描之間的對齊問題，并通過協(xié)同剪枝策略不斷優(yōu)化幾何結(jié)構(gòu)。

概述

可交互三維場景重建是推動(dòng)計(jì)算機(jī)視覺與機(jī)器人智能發(fā)展的關(guān)鍵。然而，真實(shí)世界的頻繁遮擋使單次掃描無法完整捕捉場景信息，也因此限制了后續(xù)的全面交互。傳統(tǒng)方法往往依賴復(fù)雜流程或逐物體掃描，難以兼顧效率與完整性。為此，我們提出IGFuse，一個(gè)基于多次觀測融合的可交互三維高斯場景重建框架。它能夠利用多次掃描不同物體布局下的場景揭示被遮擋區(qū)域，并通過分割感知的高斯場和一致性約束實(shí)現(xiàn)高保真重建。用戶無需繁瑣步驟，即可獲得完整、可交互的三維場景。目前，IGFuse網(wǎng)站已上線，代碼也將于近期開源，歡迎大家關(guān)注與體驗(yàn)。

? 項(xiàng)目主頁：

https://whhu7.github.io/IGFuse/

? 文章鏈接：

https://arxiv.org/pdf/2508.13153

?GitHub代碼：

https://github.com/whhu7/IGFuse-code

輸入（左）：同一個(gè)場景的多次掃描 (Multi-Scans) ，每次掃描中的物體布局都不同。

融合與分解（中）：IGFuse通過一個(gè)多狀態(tài)聯(lián)合優(yōu)化過程，將所有掃描的信息融合成一個(gè)統(tǒng)一的、一致的場景表示，并將其分解為獨(dú)立的可動(dòng)物體 (Optimized Objects) 和完整背景 (Optimized Background) 。

交互式生成（右）：最終，用戶可以隨意地重新排列 (Object Rearrangement) 這些物體，生成全新的、高保真的場景狀態(tài)。

背景方法

在構(gòu)建可交互的三維高斯場景時(shí)，不同范式有著明顯差異：

(a) 傳統(tǒng)單次掃描方法：依賴繁瑣的多階段后處理與修復(fù)操作，但往往會引入累積誤差與偽影；

(b) 基于物體的重建方法：需要對場景中每個(gè)物體進(jìn)行密集多視角掃描，再進(jìn)行顯式組合，過程復(fù)雜且成本高；

(c) 我們提出的IGFuse：則通過端到端的多次觀測融合，在跨狀態(tài)監(jiān)督下聯(lián)合優(yōu)化多狀態(tài)高斯場，不僅能有效補(bǔ)償不同掃描視角下的遮擋，還能實(shí)現(xiàn)高質(zhì)量的可交互三維高斯重建。

總體框架

對于N個(gè)掃描場景，我們每次從中選取兩個(gè)場景掃描i和j，進(jìn)行一次對齊優(yōu)化。

雙向?qū)R

IGFuse通過物體級變換矩陣來實(shí)現(xiàn)高斯?fàn)顟B(tài)遷移。隨后，利用對齊損失將遷移后的高斯的渲染圖像與掃描j下的真實(shí)觀測對齊，反之亦然。

偽狀態(tài)引導(dǎo)對齊

雙向?qū)R雖能有效約束，但僅在兩個(gè)已知狀態(tài)間提供監(jiān)督，難以保證模型泛化到任意的、未見的中間狀態(tài)。為此，IGFuse引入一個(gè)虛擬的“偽狀態(tài)”，相當(dāng)于一個(gè)公共的中轉(zhuǎn)空間，把兩個(gè)狀態(tài)都分別變換到這一共享偽狀態(tài)，再加上額外約束，確保渲染結(jié)果完全一致，迫使模型學(xué)習(xí)更本質(zhì)、更一致的場景表示，并提升對任意新狀態(tài)的泛化能力。

協(xié)同互斥剪枝

為了消除因分割不準(zhǔn)或狀態(tài)變換不精確而產(chǎn)生的“偽影”和懸浮高斯，IGFuse設(shè)計(jì)了一種協(xié)同剪枝機(jī)制。當(dāng)將變換到的狀態(tài)時(shí)，對于中的每一個(gè)高斯，如果它在中找不到一個(gè)足夠近的“對應(yīng)點(diǎn)”，那么它就被認(rèn)為是移動(dòng)操作遺留下來的“浮動(dòng)點(diǎn)”，需要被剪枝。這個(gè)剪枝過程是雙向的，能夠共同提升兩個(gè)高斯場景的幾何純凈度。

通過這種“成對對齊+公共空間”的方式，N個(gè)掃描場景之間的差異能被逐步消除，從而得到完整、可靠的三維場景重建。

新狀態(tài)合成結(jié)果

在新狀態(tài)合成任務(wù)中，我們的方法取得了最優(yōu)表現(xiàn)。相比之下，基于分割的算法如Gaussian Grouping容易在物體邊界處產(chǎn)生明顯的瑕疵，而DecoupledGaussian采用分割加修補(bǔ)的思路，但在復(fù)雜場景中修補(bǔ)區(qū)域與真實(shí)背景之間依然會出現(xiàn)不協(xié)調(diào)感。

在定量實(shí)驗(yàn)上，我們在訓(xùn)練場景掃描之外拍攝了物體隨機(jī)排布的一個(gè)測試場景掃描，用作衡量高斯場在新狀態(tài)合成的真實(shí)性。在虛擬數(shù)據(jù)（上）和真實(shí)數(shù)據(jù)（下）的新狀態(tài)任務(wù)上，我們跟Ground Truth相比的PSNR和SSIM都顯著高于對比算法。

前背景信息融合

我們的方法融合了不同場景掃描下的前景信息，從而在小車翻滾的不同狀態(tài)下實(shí)現(xiàn)更加逼真的模擬效果。

僅考慮背景時(shí)，我們的方法能夠融合多次掃描的信息，從而重建出完整的背景。

分割與深度結(jié)果

與基線方法Gaussian Grouping在新狀態(tài)下的表現(xiàn)相比，我們的方法能夠生成更加干凈的分割結(jié)果。Gaussian Grouping在二維分割中往往會在物體邊界處產(chǎn)生空洞或多余區(qū)域；在深度層面，其基于特征的分割無法覆蓋所有三維點(diǎn)，導(dǎo)致物體移動(dòng)后遺留大量殘余點(diǎn)，并在物體移出的位置留下深度空洞。

總結(jié)與展望

IGFuse通過融合多次場景掃描信息，有效提升了新狀態(tài)合成的質(zhì)量，打通了從場景重建到多狀態(tài)真實(shí)模擬的完整流程。雙向?qū)R設(shè)計(jì)與偽狀態(tài)監(jiān)督相結(jié)合，有效解決了遮擋處理和邊界分割中的難題，進(jìn)一步保證了新狀態(tài)合成的準(zhǔn)確性與完整性。未來，該方法將作為一種融合式重建的范式持續(xù)演進(jìn)，重點(diǎn)拓展到更加復(fù)雜和多樣的場景中，特別是面向長序列觀測下的高質(zhì)量融合重建。這不僅為真實(shí)環(huán)境中的持續(xù)感知與狀態(tài)合成提供了堅(jiān)實(shí)基礎(chǔ)，也為具身智能體在長期交互和復(fù)雜任務(wù)中的應(yīng)用開辟了新的可能。