一、引言

在自動駕駛技術(shù)飛速發(fā)展的當(dāng)下，高精度、高保真的仿真場景構(gòu)建成為關(guān)鍵。3D Gaussian Splatting（3DGS）憑借高效渲染與逼真場景還原能力，逐漸成為三維重建與仿真領(lǐng)域的焦點。然而，實際應(yīng)用中，如何將多源異構(gòu)數(shù)據(jù)高效轉(zhuǎn)化為可用的 3DGS 場景，如何保障場景與真實環(huán)境的一致性，成為了行業(yè)難題。

針對3DGS 落地自動駕駛仿真的核心痛點，aiSim打造從原始數(shù)據(jù)標(biāo)準(zhǔn)化到高保真仿真驗證的全流程方案：用aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同；借算法組合保障場景高度逼真；以 GGSR 渲染器實現(xiàn)“高效 + 真實”渲染閉環(huán)；并能自由配置暴雨、夜晚等環(huán)境，模擬多模態(tài)傳感器，疊加虛擬交通流，覆蓋自動駕駛極端測試工況。

二、3DGS 底層技術(shù)剖析

3DGS 是一種基于3D 高斯分布的三維場景表示方法，其核心在于將場景中的對象轉(zhuǎn)化為多個 3D 高斯點，每個高斯點就像一個攜帶豐富信息的 “數(shù)據(jù)膠囊”，囊括了位置、協(xié)方差矩陣和不透明度等關(guān)鍵信息 ，以此勾勒復(fù)雜場景的幾何輪廓與光照特性。

從構(gòu)建流程來看，3DGS 首先借助SfM（Structure from Motion）技術(shù)開啟數(shù)據(jù)預(yù)處理征程。該技術(shù)通過對多視角圖像的分析，校準(zhǔn)相機(jī)位置并精準(zhǔn)恢復(fù)其內(nèi)部和外部參數(shù)，進(jìn)而生成稀疏點云，為后續(xù)的場景構(gòu)建搭建起基礎(chǔ)框架。基于這些稀疏點云，一組 3D 高斯點被初始化，每個高斯點的位置、協(xié)方差矩陣和不透明度等初始值得以設(shè)定。

在訓(xùn)練階段，3DGS 不斷對高斯點的位置、形狀和不透明度進(jìn)行精細(xì)調(diào)校。3DGS 創(chuàng)新性地采用自適應(yīng)密度控制策略，在每次反向傳播后，去除那些對場景表達(dá)貢獻(xiàn)較小的不重要高斯點，并依據(jù)場景細(xì)節(jié)的需求對高斯點進(jìn)行分裂或克隆操作。

對比傳統(tǒng)的神經(jīng)輻射場（NeRF）方法，3DGS 凸顯優(yōu)勢。NeRF 雖能構(gòu)建出具有高度真實感的連續(xù)、立體場景，實現(xiàn)空間坐標(biāo)到圖像色彩及密度的直接映射，但計算強(qiáng)度極高，單一場景構(gòu)建往往需要投入大量的算力資源與時間成本，尤其是在追求高分辨率輸出時，這一問題更為突出。

此外，NeRF 的可編輯性較差，單一場景的任何編輯都意味著要重新訓(xùn)練整個流程。而 3DGS 通過顯式建模方法，巧妙避開了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中繁重的計算開銷，訓(xùn)練速度大幅提升，渲染效率更高。同時，3D 高斯點能夠捕捉場景中的每一處細(xì)節(jié)，實現(xiàn)高精度的三維重建，并且支持實時渲染。

然而，3DGS 并非十全十美。在面對極為復(fù)雜的三維場景時，為了精準(zhǔn)還原每一處細(xì)節(jié)，可能需要海量的高斯點，這無疑會顯著增加計算負(fù)擔(dān)與內(nèi)存消耗。并且，當(dāng)前 3DGS 的應(yīng)用主要集中于靜態(tài)場景的重建，如何高效且精準(zhǔn)地處理動態(tài)場景中的物體變化，使其能夠?qū)崟r、準(zhǔn)確地反映動態(tài)物體的位置、形狀及運(yùn)動軌跡等信息，仍然是擺在科研人員與工程師面前的一道技術(shù)難題。

三、基于 aiSim 的 3DGS 方案全流程

1、原始數(shù)據(jù)輸入與標(biāo)準(zhǔn)化

以多源傳感器采集為起點，通過相機(jī)、激光雷達(dá)、自車運(yùn)動傳感器捕獲真實道路的圖像、點云、位姿數(shù)據(jù)。針對這些數(shù)據(jù)格式、精度、時間戳異構(gòu)的問題，aiData 工具鏈通過標(biāo)準(zhǔn)化算法將第三方數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式，從而確保點云、圖像、標(biāo)定信息協(xié)同工作，確保后續(xù)處理工作正確運(yùn)行。

2、3D 場景預(yù)處理

（1）3D 自動標(biāo)注：在 aiData 工具鏈里，3D 自動標(biāo)注依托多模態(tài)數(shù)據(jù)與算法流程實現(xiàn)。圖像、點云、毫米波作為多維度輸入，經(jīng)核心算法模塊 Super MS2N 整合各模態(tài)特征，精準(zhǔn)識別 3D 目標(biāo)并生成標(biāo)注框，明確目標(biāo)邊界與類別，接著借 “非因果追蹤” 模塊跨幀關(guān)聯(lián)、優(yōu)化軌跡，修正標(biāo)注誤差，最終輸出高精度 GT 數(shù)據(jù)，為 3DGS 場景賦予準(zhǔn)確語義關(guān)聯(lián)。

（2）2D 語義分割：針對圖像數(shù)據(jù)做語義分割，輸出分割標(biāo)注，輔助 3D 場景的細(xì)節(jié)優(yōu)化。

（3）相機(jī)位姿優(yōu)化：校準(zhǔn)、優(yōu)化傳感器采集的位姿數(shù)據(jù)，確保 3D 重建時空間坐標(biāo)的準(zhǔn)確性，輸出精準(zhǔn)位姿信息。

3、3DGS 場景重建

基于預(yù)處理后的 “干凈數(shù)據(jù)”，aiSim 啟動神經(jīng)網(wǎng)絡(luò)重建流程：融合 NeRF 的幾何泛化能力與 3DGS 的實時渲染特性，構(gòu)建跨模態(tài)信息傳遞機(jī)制（T-S 結(jié)構(gòu)）—— 將 NeRF 學(xué)習(xí)的深度、法線、外觀等監(jiān)督信號，通過多模態(tài)數(shù)據(jù)協(xié)同訓(xùn)練（引入 LiDAR 深度約束），遷移至3DGS 的高斯參數(shù)優(yōu)化中。最終，離散點云與圖像數(shù)據(jù)被轉(zhuǎn)化為連續(xù)的 3D 高斯場景表示，實現(xiàn) “真實場景→數(shù)字孿生” 的高效映射。

在這個關(guān)鍵環(huán)節(jié)中，T-S 結(jié)構(gòu)發(fā)揮著核心橋梁作用，它使 NeRF 在處理圖像數(shù)據(jù)時所學(xué)習(xí)到的深度、法線及外觀等關(guān)鍵監(jiān)督信號，能夠順暢地傳遞至 3DGS 模型中。同時，引入LiDAR 深度約束，進(jìn)一步提升了幾何建模的精準(zhǔn)度。LiDAR 所獲取的精確深度信息，作為一種強(qiáng)約束條件，參與到多模態(tài)數(shù)據(jù)的協(xié)同訓(xùn)練過程中，幫助 3DGS 更準(zhǔn)確地優(yōu)化高斯點的位置、協(xié)方差矩陣等參數(shù)，從而構(gòu)建出與真實場景高度契合的 3D 高斯場景。

經(jīng)過這一系列處理流程，原本離散、無序的點云與圖像數(shù)據(jù)，被成功轉(zhuǎn)化為連續(xù)、逼真的 3D 高斯場景表示，實現(xiàn)了從現(xiàn)實世界到數(shù)字孿生世界的高效、精準(zhǔn)映射，為后續(xù)的場景編輯與仿真應(yīng)用提供了優(yōu)質(zhì)的基礎(chǔ)場景。

為驗證重建場景的一致性，aiSim 引入DEVIANT 算法與Mask2Former 算法形成雙重校驗。其中 DEVIANT 算法聚焦幾何精度。通過模擬單目 3D 目標(biāo)檢測邏輯，對重建場景中車輛、行人等目標(biāo)的深度、位置、尺寸進(jìn)行校驗。利用算法的深度等變性（對投影流形中深度平移 tz 的精準(zhǔn)約束），驗證 3D 高斯場景中目標(biāo)的幾何參數(shù)是否與真實場景一致，避免因深度估計偏差導(dǎo)致目標(biāo)漂移或變形。

驗證結(jié)果表明，該模型能夠成功檢測出由重建模型和基于網(wǎng)格的渲染引擎所渲染的車輛，這說明未引入明顯的領(lǐng)域差距。其中，遠(yuǎn)處目標(biāo)未被識別是由于模型本身的限制（檢測范圍小于50米）所致。

Mask2Former 算法則專注像素一致性。針對圖像語義分割維度，將重建場景的渲染圖像與真實場景圖像輸入 Mask2Former，對比道路、植被、建筑等區(qū)域的像素級標(biāo)注。通過約束交叉注意力提取局部特征，校驗場景中紋理、邊界、語義區(qū)域的還原度，確保虛擬場景與真實環(huán)境在視覺細(xì)節(jié)與語義理解上高度匹配。

其中綠色區(qū)域代表兩種模型都檢測出的“car”類別區(qū)域，藍(lán)色區(qū)域代表僅公開模型檢測出的“car”類別區(qū)域，黃色區(qū)域代表僅aiSim模型檢測出的“car”類別區(qū)域。

從驗證結(jié)果可以看出，在原始軌跡場景中，道路及兩側(cè)可見車輛均被綠色區(qū)域覆蓋，模型對無遮擋、常規(guī)視角下的車輛檢測穩(wěn)定；在極端新視角（3 米偏移）場景中，雖然視角的變化更新了部分環(huán)境元素（如左側(cè)垃圾桶等新物體出現(xiàn)），但車輛綠色檢測區(qū)域仍保持較好覆蓋，驗證模型在視角偏移場景下的適應(yīng)性。此外，大多數(shù)黃色“誤差”來自于公開模型對目標(biāo)邊界預(yù)測過于膨脹（dilated），而藍(lán)色區(qū)域通常出現(xiàn)在車輛被部分遮擋或距離較遠(yuǎn)，導(dǎo)致aiSim未能識別。

通過 DEVIANT 算法與 Mask2Former 算法的協(xié)同驗證，aiSim 的 3DGS 重建場景在物體的幾何位置、形狀，以及像素級的顏色、紋理等方面，都能與真實場景高度契合，真正實現(xiàn)了 “形神兼?zhèn)洹保瑸樽詣玉{駛系統(tǒng)的測試提供了極為真實、可靠的場景環(huán)境。

4、場景編輯與仿真閉環(huán)

aiSim 的場景編輯工具賦予用戶強(qiáng)大的場景定制能力。用戶能夠在 3DGS 重建的基礎(chǔ)場景之上，靈活添加虛擬交通流，設(shè)置不同類型車輛的行駛路線、速度、密度等參數(shù)，模擬繁忙的城市交通或流暢的高速公路交通等多樣化場景 。同時，通過模擬極端天氣，如暴雨傾盆時路面的積水反光、暴雪天氣下的能見度降低、夜間的燈光照明效果等，為自動駕駛系統(tǒng)測試提供更具挑戰(zhàn)性與真實性的環(huán)境。

此外，部署多模態(tài)傳感器，能夠模擬不同傳感器在各種場景下的數(shù)據(jù)采集情況，全面測試自動駕駛系統(tǒng)對多源數(shù)據(jù)的融合與處理能力，極大地拓展了單一真實場景的應(yīng)用價值，為自動駕駛算法的優(yōu)化提供了豐富多樣的測試工況。

aiSim 新構(gòu)建的GGSR（General Gaussian SplattingRenderer，通用高斯?jié)姙R渲染器）是實現(xiàn)高保真渲染的關(guān)鍵組件。它針對傳統(tǒng)方案中廣角鏡頭渲染效果不佳的問題進(jìn)行了深度優(yōu)化，有效增強(qiáng)了廣角鏡頭渲染下的一致性。在處理 FOV 更大的鏡頭時，通過優(yōu)化算法流程，顯著減少了近似誤差，避免了圖像變形、模糊等問題，使得渲染出的圖像在廣角視角下依然清晰、準(zhǔn)確。同時，該渲染器能夠有效減少偽影的產(chǎn)生，無論是在復(fù)雜的城市街景還是開闊的高速公路場景中，都能實現(xiàn)高保真度的 3DGS 重建場景渲染。

此外，aiSim在渲染流程中支持任意相機(jī)畸變模型接入，能夠根據(jù)不同相機(jī)的特性對渲染過程進(jìn)行精準(zhǔn)適配，使得仿真數(shù)據(jù)在色彩、亮度、對比度以及畸變校正等方面，都能高度貼近真實傳感器的輸出。另外依托共享代碼庫的射線 - 高斯交互邏輯，能更真實地計算激光射線與場景高斯的碰撞、反射，為自動駕駛系統(tǒng)的功能測試與極限場景驗證提供了極為可靠的數(shù)據(jù)支持，成功打通了從數(shù)據(jù)采集到場景重建再到仿真驗證的完整閉環(huán)。

四、結(jié)論

aiSim的3DGS 方案通過全流程技術(shù)創(chuàng)新，構(gòu)建起 “數(shù)據(jù)標(biāo)準(zhǔn)化 - 場景高保真 - 仿真全覆蓋” 的價值閉環(huán)，打通 3DGS 從技術(shù)潛力到工程實用的轉(zhuǎn)化路徑。

從痛點解決來看，方案以aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同，解決了 3DGS 輸入 “碎片化” 難題；通過 T-S 結(jié)構(gòu)融合 NeRF 與 3DGS 優(yōu)勢，結(jié)合 LiDAR 深度約束，實現(xiàn)場景幾何與外觀的精準(zhǔn)重建；再經(jīng) DEVIANT 算法（幾何精度校驗）與 Mask2Former 算法（像素語義對齊）雙重驗證，確保重建場景與真實環(huán)境 “形神一致”，同時依托 GGSR 渲染器平衡高效渲染與高保真需求，讓 3DGS 真正適配自動駕駛仿真的嚴(yán)苛要求。

從應(yīng)用價值來看，方案不僅提供了從真實場景到數(shù)字孿生的高效映射，更通過場景編輯工具支持極端天氣、虛擬交通流、多模態(tài)傳感器的靈活配置，讓單一場景衍生出多樣化測試工況。這種 “數(shù)據(jù) - 場景 - 測試” 的閉環(huán)能力，既降低了對真實路測的依賴，又為自動駕駛算法迭代提供了高可信度的仿真環(huán)境。

▍參考資料

3DGS 綜述以及對 3DGS 的理解：A Survey on 3D Gaussian Splatting

Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation

3D Gaussian Splatting for Real-Time Radiance Field Rendering