▍文章來源于康謀自動駕駛

01 引言

在《3DGS技術(shù)詳解（一）：3DGS如何融合動態(tài)天氣與光照等環(huán)境因素？》文章中，我們系統(tǒng)梳理了3D高斯?jié)姙R（3DGS）如何突破靜態(tài)重建的局限，實現(xiàn)對動態(tài)天氣、移動光源等復(fù)雜環(huán)境因素的建模與仿真。這標(biāo)志著3DGS已不再僅僅是“高保真場景重建工具”，而開始具備承載真實世界多變性的潛力。

然而，一個能夠以假亂真的視覺場景，對于自動駕駛仿真、數(shù)字孿生等工業(yè)應(yīng)用而言，仍然只是起點(diǎn)。仿真系統(tǒng)的真正價值，在于提供一個“可交互、可驗證、可推演”的數(shù)字環(huán)境。這意味著，場景中的物體必須能夠響應(yīng)碰撞、發(fā)生形變；表面材質(zhì)需要符合物理光學(xué)規(guī)律，呈現(xiàn)真實的反射與光澤；環(huán)境光照也應(yīng)支持動態(tài)變化，以模擬從正午到深夜、從晴天到雨霧的完整觀測條件。

過去兩年，圍繞3DGS的研究正迅速從“視覺重建”向“物理與光學(xué)表達(dá)”延伸。從為高斯賦予物理屬性的PhysGaussian，到精確建模鏡面反射的MirrorGaussian，再到支持動態(tài)重光照的GS^3——這些前沿工作共同指向一個趨勢：3DGS正在演化為一種更統(tǒng)一的場景表達(dá)技術(shù)，有潛力同時承載幾何、材質(zhì)、運(yùn)動與光照等多維信息，成為連接真實世界與工業(yè)仿真的新接口。

本文將聚焦這一演進(jìn)趨勢，梳理3DGS在物理交互、反射建模與動態(tài)光照三大方向上的關(guān)鍵技術(shù)突破，并結(jié)合仿真軟件aiSim的工程實踐，探討這些能力如何被組織進(jìn)一個穩(wěn)定、可控的工業(yè)級驗證體系中，推動仿真從“視覺真實”走向“物理一致”。

02 從重建到表達(dá)

3DGS 的核心思想，是使用一組三維高斯對場景進(jìn)行顯式表示，并通過可見性感知的 splatting 渲染，實現(xiàn)高質(zhì)量的新視角合成。相較于傳統(tǒng) NeRF，3DGS 在訓(xùn)練效率、渲染速度以及細(xì)節(jié)保真度方面表現(xiàn)出明顯優(yōu)勢，因此迅速成為三維重建與神經(jīng)渲染領(lǐng)域的重要路線。

但 3DGS 的真正潛力，并不只體現(xiàn)在渲染效率上。

更關(guān)鍵的是，這種表示方式是顯式的、可編輯的，并且天然適合附加更多屬性。一個高斯不僅可以用于表達(dá)顏色和密度，還可以逐步綁定與幾何、材質(zhì)、運(yùn)動、應(yīng)力相關(guān)的狀態(tài)信息。這意味著，3DGS 不只是一個“顯示世界”的方法，也有機(jī)會成為一個“組織世界”的方法。

從技術(shù)演進(jìn)的角度看，這一點(diǎn)非常重要。因為一旦一種三維表示既能服務(wù)于重建，又能服務(wù)于交互、光照和物理求解，它就具備了成為統(tǒng)一場景底座的條件。

03 3DGS物理交互與光學(xué)仿真技術(shù)

3DGS物理交互

在仿真場景中，僅僅完成高保真重建是不夠的。

一個場景如果只能被觀看，而不能發(fā)生接觸、碰撞、形變和響應(yīng)，那么它依然更接近靜態(tài)資產(chǎn)，而不是可用于驗證的數(shù)字環(huán)境。因此，3DGS 是否能夠進(jìn)入物理交互層，是其能否真正走向仿真的關(guān)鍵一步。

CVPR 2024的PhysGaussian 提供了一個具有代表性的方向[1]。這項工作嘗試讓同一組三維高斯同時承擔(dān)渲染與物理仿真的職責(zé)，并通過定制化的 Material Point Method 為高斯附加運(yùn)動學(xué)形變和機(jī)械應(yīng)力屬性，以支持彈性體、塑性材料、流體、顆粒體以及碰撞等場景。

這類研究的意義，不在于單純“讓模型動起來”，而在于開始打通真實場景重建與物理動態(tài)求解之間的表示鴻溝。過去，真實世界采集、三維建模和物理仿真往往屬于分離流程，中間需要大量人工建模與數(shù)據(jù)轉(zhuǎn)換。PhysGaussian 這類工作則表明，研究界正在嘗試讓“觀測到的場景”更直接地轉(zhuǎn)化為“可求解的場景”。

CVPR 2025的Gaussian Splashing又進(jìn)一步將 3DGS 與 Position-Based Dynamics 結(jié)合起來，試圖用統(tǒng)一粒子表示同時處理固體與流體的運(yùn)動合成和渲染[2]。這一方向說明，3DGS 在物理層面的潛力，已經(jīng)不再局限于局部運(yùn)動擬合，而是在逐步觸及接觸、交互、流動和多對象耦合等更復(fù)雜的問題。

從產(chǎn)業(yè)應(yīng)用角度看，這意味著 3DGS 的價值正在從“高質(zhì)量重建”延伸到“可交互場景建模”。對于自動駕駛仿真、機(jī)器人訓(xùn)練和數(shù)字孿生驗證而言，這是一個非常關(guān)鍵的變化。

3DGS反射建模

如果說物理交互回答的是“場景如何運(yùn)動”，那么反射建模回答的則是“場景為何看起來真實”。

這一問題在仿真系統(tǒng)中尤為重要。因為鏡面反射、高光變化、間接光照和多次反射，并不僅僅影響畫面觀感，它們還會直接影響攝像頭觀測結(jié)果，進(jìn)而影響感知算法和驗證結(jié)論。對于面向傳感器的工業(yè)仿真而言，反射不是附加效果，而是場景真實性的一部分。

SIGGRAPH 2024的“3D Gaussian Splatting with Deferred Reflection”給出了一條兼顧質(zhì)量與效率的實現(xiàn)路徑[3]。該方法在高斯渲染階段生成反射強(qiáng)度、法線和基色等屏幕空間信息，再在延遲著色階段計算反射方向與環(huán)境光響應(yīng)，從而實現(xiàn)更合理的反射效果。

這類方法的重要性在于，它并沒有放棄 3DGS 的實時性優(yōu)勢，而是將傳統(tǒng)圖形學(xué)中較為成熟的反射處理機(jī)制有效地接入到了高斯表示體系中。

對于更復(fù)雜的鏡面場景，ECCV 2024的 MirrorGaussia 進(jìn)一步提出了“鏡像高斯”的思路[4]。通過在鏡面約束下構(gòu)造虛擬鏡像空間，并聯(lián)合優(yōu)化真實高斯與鏡像高斯，該方法在鏡中成像建模上更進(jìn)一步。這表明，3DGS 在反射問題上的研究，正在從“視覺近似”走向“幾何約束下的真實建模”。

到了 2025 年，這一方向繼續(xù)向全局光照與多次反射推進(jìn)。ICLR 2025的 GI-GS 將全局光照分解引入 Gaussian Splatting 逆渲染，并結(jié)合 deferred shading 與輕量級 path tracing 處理間接光照[5]。CVPR 2025的 IRGS 則提出基于 2D Gaussian ray tracing 的框架，用于更明確地建模 inter-reflection，即物體之間的多次反射與光能交換[6]。GI-GS效果展示如下：

這些研究共同說明，3DGS 正在逐步具備更接近物理真實的光學(xué)表達(dá)能力，而這恰恰是高可信仿真所需要的基礎(chǔ)條件。

3DGS動態(tài)光照

在實際工業(yè)場景中，光照從來不是固定條件。

時間變化、天氣變化、太陽位置變化、路燈開啟、車燈照射以及復(fù)雜環(huán)境下的陰影移動，都會顯著改變攝像頭和其他傳感器的觀測結(jié)果。因此，一個只能復(fù)現(xiàn)靜態(tài)采集光照的場景，即使外觀逼真，也很難滿足高強(qiáng)度驗證需求。

這也是為什么，動態(tài)光照能力正成為 3DGS 進(jìn)入仿真領(lǐng)域的重要門檻。

SIGGRAPH Asia 2024的 GS^3 在這一方向上給出了較有代表性的結(jié)果[7]。它通過空間高斯與角度高斯的聯(lián)合表示來描述材質(zhì)的方向性反射，再通過面向光源的 splatting 估計自陰影，并結(jié)合額外網(wǎng)絡(luò)補(bǔ)償全局光照效應(yīng)，從而實現(xiàn)高質(zhì)量、實時的 relighting。

這項工作的關(guān)鍵意義在于，它讓 3DGS 不再被采集時刻的光照條件完全鎖定，而是能夠在訓(xùn)練后對場景進(jìn)行新的光照控制。這種能力對于仿真系統(tǒng)而言，本質(zhì)上意味著場景從“被記錄”走向“可推演”。

ICCV 2025的 GaRe 則將 relighting 推進(jìn)到更復(fù)雜的戶外環(huán)境中[8]。該方法面向非約束戶外照片集，將環(huán)境光拆分為太陽直射、天空輻射和間接照明，并結(jié)合基于光線追蹤的陰影建模，實現(xiàn)更自然的戶外重光照效果。

從應(yīng)用層面理解，這類研究正在回答一個非?，F(xiàn)實的問題：當(dāng)外部環(huán)境改變時，三維場景能否保持物理一致性，并持續(xù)輸出可信的視覺結(jié)果。對于自動駕駛與機(jī)器人仿真來說，這一點(diǎn)具有直接價值。

04 aiSim工程落地

從近兩年的研究進(jìn)展可以看到，3DGS 正在從單一的重建技術(shù)，逐步演進(jìn)為能夠同時承載幾何、外觀、材質(zhì)、反射、光照乃至部分動力學(xué)信息的統(tǒng)一場景表示。

而對于仿真行業(yè)來說，真正重要的問題并不是論文中某個單點(diǎn)能力是否成立，而是這些能力能否被組織進(jìn)一個穩(wěn)定、可控、可擴(kuò)展的工程系統(tǒng)中。

這也是我們在介紹 siSim 時最關(guān)注的部分。

aiSim 6是最新一代仿真工具，aiSim 面向的是 ADAS/AD 場景下可復(fù)現(xiàn)、可驗證、可擴(kuò)展的仿真體系，而不是單純的視覺展示平臺。

aiSim World Extractor支持 3D Gaussian Splatting與 NeRF，用于從真實世界記錄中快速生成高保真三維環(huán)境。這一流程還能夠進(jìn)一步銜接AI reconstruction & rendering、動態(tài)資產(chǎn)注入、物理準(zhǔn)確的傳感器模擬以及實時 HiL 測試等應(yīng)用。

這意味著 3DGS 在研究層面建立起來的能力，正在 aiSim 仿真平臺中獲得更明確的工程承接：

3DGS 用于高效率重建真實環(huán)境，可顯著縮短數(shù)字孿生場景生成鏈路。

3DGS 在反射與動態(tài)光照方面的進(jìn)展，可提升面向攝像頭等傳感器的場景真實性。

3DGS 逐步具備的可編輯、可控制、可附加物理屬性能力，更適合進(jìn)入需要確定性與可復(fù)現(xiàn)性的工業(yè)驗證體系。

因此，學(xué)術(shù)界當(dāng)前關(guān)注的是“3DGS 能否承載一個更真實、更可控的世界”，而 aiSim 所回答的，則是“這些能力如何被穩(wěn)定地轉(zhuǎn)化為仿真生產(chǎn)力”。

05 總結(jié)

我們認(rèn)為 3DGS 的價值，已經(jīng)不應(yīng)再只從“新一代三維重建方法”的角度來理解。

更準(zhǔn)確地說，3DGS 正在成為現(xiàn)實世界數(shù)據(jù)進(jìn)入仿真系統(tǒng)的一種新接口。它使真實采集、神經(jīng)重建、動態(tài)光照、反射建模、場景編輯以及傳感器仿真之間的連接變得更加直接，也使數(shù)字孿生環(huán)境的構(gòu)建方式發(fā)生變化。

在這一趨勢下，仿真平臺的作用不是替代 3DGS，而是把 3DGS 的能力組織成一個真正可用的驗證系統(tǒng)。對于自動駕駛、機(jī)器人以及更廣泛的數(shù)字孿生應(yīng)用而言，真正有價值的并不是單點(diǎn)技術(shù)本身，而是從真實數(shù)據(jù)到虛擬場景、從視覺還原到物理一致、從模型展示到系統(tǒng)驗證的完整閉環(huán)。

3DGS 與 aiSim 的結(jié)合，代表的并不是一項單一功能升級，而是一條更明確的產(chǎn)業(yè)路徑：讓真實世界更高效地進(jìn)入工業(yè)級仿真，并讓仿真結(jié)果更接近可驗證、可復(fù)現(xiàn)、可落地的工程標(biāo)準(zhǔn)。

▍參考文獻(xiàn)

[1]https://arxiv.org/pdf/2311.12198

[2]https://openaccess.thecvf.com/content/CVPR2025/papers/Feng_Gaussian_Splashing_Unified_Particles_for_Versatile_Motion_Synthesis_and_Rendering_CVPR_2025_paper.pdf

[3]https://gapszju.github.io/3DGS-DR/static/pdf/3DGS_DR.pdf

[4]https://arxiv.org/pdf/2405.11921

[5]https://arxiv.org/pdf/2410.02619

[6]https://openaccess.thecvf.com/content/CVPR2025/papers/Gu_IRGS_Inter-Reflective_Gaussian_Splatting_with_2D_Gaussian_Ray_Tracing_CVPR_2025_paper.pdf

[7]https://gsrelight.github.io/pdfs/GS3.pdf

[8]https://baihyyut.github.io/GaRe/