▍文章來源于康謀自動(dòng)駕駛

01 引言

當(dāng)前，三維重建技術(shù)正處于從"實(shí)驗(yàn)室演示"邁向"工業(yè)級(jí)應(yīng)用"的關(guān)鍵時(shí)期。每一次對(duì)場景細(xì)節(jié)的精準(zhǔn)還原，每一幀實(shí)時(shí)流暢的渲染效果，都在檢驗(yàn)算法對(duì)真實(shí)世界的復(fù)現(xiàn)能力。高效、高質(zhì)量的三維重建能夠顯著提升數(shù)字資產(chǎn)制作效率，助力提升虛擬測試的真實(shí)性，加速仿真驗(yàn)證流程。

然而，在"平衡重建質(zhì)量與效率"這一核心目標(biāo)下，現(xiàn)有技術(shù)仍面臨諸多挑戰(zhàn)，包括大規(guī)模場景的處理效率、動(dòng)態(tài)物體的建模能力，以及跨平臺(tái)部署的兼容性等難題。

針對(duì)這些問題，康謀也有一些思考、經(jīng)驗(yàn)與看法，本文將與大家一起交流。下文將介紹3DGS原理框架、實(shí)戰(zhàn) demo 與自駕仿真落地探索等相關(guān)內(nèi)容。

此外，為了更深入地與行業(yè)同仁交流技術(shù)細(xì)節(jié)，康謀將在10月21日（周二）15:00舉辦主題為《從三維重構(gòu)到仿真革新：3DGS技術(shù)解析與實(shí)踐應(yīng)用》的線上直播，屆時(shí)將詳細(xì)解析3DGS技術(shù)核心、實(shí)戰(zhàn)演示與在自動(dòng)駕駛仿真中的創(chuàng)新應(yīng)用，歡迎掃碼預(yù)約！

02 3DGS的原理框架

技術(shù)概覽

3D Gaussian Splatting（3DGS）是一種基于數(shù)百萬個(gè)可學(xué)習(xí)的“3D色塊”來實(shí)現(xiàn)逼真3D場景實(shí)時(shí)渲染的新興技術(shù)。這里的“3D色塊”實(shí)際上是指3D高斯球——每一個(gè)都是具備位置、形狀、顏色和透明度屬性的基礎(chǔ)單元。

利用這些高斯球，我們可以對(duì)真實(shí)場景進(jìn)行三維重建，再通過Splatting技術(shù)將其投影至二維平面，最后借助圖像分塊的光柵化方法渲染成最終圖像。

以下展示的是采用3DGS技術(shù)重建的部分場景，不難看出，無論是場景的細(xì)節(jié)還原度還是色彩表現(xiàn)力，效果都十分出色。

在保持高保真度場景重建的同時(shí)，3DGS技術(shù)還具備出色的渲染速度，這得益于其采用的基于圖像分塊的渲染方式。通過與其他三維重建方法對(duì)比可見，3DGS在視覺效果上能夠媲美NeRF-360，而訓(xùn)練時(shí)間卻大幅縮短至幾十分鐘甚至幾分鐘。相較于NeRF-360動(dòng)輒數(shù)十小時(shí)的訓(xùn)練成本，這無疑是一項(xiàng)重要突破。

能夠在與Instant-NGP相當(dāng)?shù)挠?xùn)練時(shí)長內(nèi)，達(dá)到接近NeRF-360的重建質(zhì)量，正是3DGS技術(shù)的關(guān)鍵優(yōu)勢所在，也是其在三維重建領(lǐng)域持續(xù)受到關(guān)注的重要原因。

3DGS整體框架

3D Gaussian Splatting（3DGS）的整體框架是一個(gè)端到端的管道，其核心思想是將整個(gè)三維場景表示為數(shù)百萬個(gè)可學(xué)習(xí)的3D高斯球。這些高斯球作為場景的基本表示單元，每個(gè)都擁有各自的屬性，包括3D空間中的位置、描述其形狀與方向的協(xié)方差矩陣、以及視角相關(guān)的球諧函數(shù)所表示的顏色和不透明度。

整個(gè)流程可以分為7個(gè)步驟：

初始化：基于輸入的RGB圖像序列，通過sfm算法（COLMAP）估計(jì)初始稀疏點(diǎn)云及相機(jī)位姿；

高斯空間建模：將初始點(diǎn)云轉(zhuǎn)換為一系列3D高斯橢球；

視錐體篩選：根據(jù)當(dāng)前相機(jī)參數(shù)，剔除位于視錐體范圍之外的3D高斯橢球；

可微分投影：將保留的3D高斯橢球通過可微分的仿射變換投影至2D圖像平面；

分塊光柵化：將投影后的高斯橢球按圖像塊組織，并采用基于瓦片的光柵器，實(shí)現(xiàn)并行、有序的混合渲染；

損失計(jì)算與反向傳播：比較渲染輸出與真實(shí)圖像，計(jì)算重構(gòu)損失并通過反向傳播優(yōu)化高斯橢球的各項(xiàng)屬性參數(shù)；

自適應(yīng)密度控制：在訓(xùn)練過程中動(dòng)態(tài)執(zhí)行高斯橢球的克隆與分裂操作。

03 3DGS實(shí)戰(zhàn)demo搭建

利用開源模型就可以進(jìn)行一些場景的重建，開源倉庫：https://github.com/graphdeco-inria/gaussian-splatting

COLMAP初始化點(diǎn)云

要對(duì)3DGS模型進(jìn)行訓(xùn)練，需要先的得到一組初始化點(diǎn)云，利用COLMAP可以從一組無序的照片中，得到相機(jī)的拍攝位姿和場景的三維點(diǎn)云。

得到初始化點(diǎn)云和相機(jī)位姿的效果如下圖：

輸入模型進(jìn)行迭代訓(xùn)練

得到初始化點(diǎn)云后，就可以將點(diǎn)云信息輸入到3DGS模型中進(jìn)行迭代訓(xùn)練。3DGS迭代訓(xùn)練通過不斷渲染誤差反饋來優(yōu)化高斯的位置、顏色和形狀，并動(dòng)態(tài)增刪高斯，使場景逐漸從粗糙點(diǎn)群精化為高保真實(shí)體模型。

以下是初始化點(diǎn)云和訓(xùn)練迭代2萬次后的點(diǎn)云對(duì)比，可以看到迭代訓(xùn)練后的點(diǎn)云信息更加豐富，場景細(xì)節(jié)更加多樣。利用這些點(diǎn)云和3DGS橢球就可以構(gòu)建出逼真的三維場景。

04 3DGS在自駕仿真中的應(yīng)用探索

從World Extractor到aiSim

康謀推出的World Extractor能從原始傳感器數(shù)據(jù)中，直接創(chuàng)建出3DGS重建的數(shù)據(jù)信息，從而可以直接導(dǎo)入康謀仿真軟件aiSim中，進(jìn)行場景渲染。這大大節(jié)省了仿真場景構(gòu)建時(shí)間。

并且，aiSim通過優(yōu)化渲染模型，可以獲得高保真的3DGS場景導(dǎo)入。

新構(gòu)建了GGSR，即通用高斯?jié)姙R渲染器，優(yōu)化3D重建場景下RayTracying傳感器渲染

優(yōu)化廣角鏡頭渲染，增強(qiáng)一致性

支持自由移動(dòng)視角，減少偽影產(chǎn)生

左邊是渲染優(yōu)化前，會(huì)出現(xiàn)大FoV相機(jī)不一致性。右邊是渲染方案優(yōu)化后，可以增強(qiáng)一致性。

優(yōu)秀的仿真效果：

網(wǎng)格陰影表現(xiàn)（左）、環(huán)境反射表現(xiàn)（右）

05 3DGS未來發(fā)展與挑戰(zhàn)

在系統(tǒng)探討了3DGS的技術(shù)原理與實(shí)踐路徑后，我們需要清醒地認(rèn)識(shí)到：這項(xiàng)技術(shù)正處在從"可用"到"好用"的關(guān)鍵演進(jìn)階段，同時(shí)也存在著很多待發(fā)展的技術(shù)要點(diǎn)和面臨的挑戰(zhàn)！

發(fā)展

3DGS技術(shù)正沿著效率極致化與能力邊界拓展的雙重路徑演進(jìn)。一方面追求超大規(guī)模場景的實(shí)時(shí)重建與交互，另一方面致力于實(shí)現(xiàn)動(dòng)態(tài)場景的精準(zhǔn)建模與語義級(jí)理解。

效率與應(yīng)用的極致化

- 實(shí)時(shí)性與交互性：實(shí)現(xiàn)毫秒級(jí)動(dòng)態(tài)場景重建與渲染，支持用戶實(shí)時(shí)交互；

- 硬件加速：開發(fā)專用硬件（如ASIC/FPGA）與更優(yōu)的CUDA內(nèi)核，讓3DGS在移動(dòng)端、邊緣設(shè)備上流暢運(yùn)行；

- 大規(guī)模場景：突破內(nèi)存限制，實(shí)現(xiàn)對(duì)城市級(jí)、自然景觀等超大規(guī)模場景的高效建模與漫游。

動(dòng)態(tài)場景與語義理解

- 4D重建：輕松處理動(dòng)態(tài)物體，生成高質(zhì)量4D動(dòng)態(tài)場景，直接應(yīng)用于影視、自動(dòng)駕駛仿真；

- 語義與編輯：與SAM等分割模型結(jié)合，實(shí)現(xiàn)實(shí)例級(jí)的物體識(shí)別、分離與編輯；

- 生成式AI融合：作為3D表示，與Diffusion等生成式模型結(jié)合，實(shí)現(xiàn)文本/圖片到3D場景的高質(zhì)量、高效率生成。

與其他技術(shù)的融合與統(tǒng)一

- 與NeRF互補(bǔ)：發(fā)揮3DGS渲染快的優(yōu)勢，彌補(bǔ)NeRF在抗鋸齒、細(xì)節(jié)重建上的不足，形成混合建模管線；

- “3D基礎(chǔ)模型”的基石：作為一種高效的3D表示方法，為構(gòu)建大規(guī)模3D場景的基礎(chǔ)模型提供可能。

挑戰(zhàn)

3DGS技術(shù)在渲染質(zhì)量與動(dòng)態(tài)場景處理方面仍存在理論瓶頸，其"黑箱"特性與數(shù)據(jù)依賴性也制約了技術(shù)的規(guī)?；瘧?yīng)用。這些挑戰(zhàn)亟待從算法原理與工程實(shí)現(xiàn)層面協(xié)同突破。

渲染質(zhì)量與一致性

- 鋸齒與閃爍：由于2D Splatting的固有特性，容易出現(xiàn)鋸齒、走樣和邊緣閃爍問題；

- 跨視角不一致性：在不同視角下，Gaussian的分布可能出現(xiàn)輕微的不一致，影響幾何的精確性；

- 透明與反射材質(zhì)：對(duì)半透明、鏡面等高光/反射材質(zhì)的建模能力仍然較弱，效果不如基于體素渲染的NeRF。

動(dòng)態(tài)場景與學(xué)習(xí)瓶頸

- 動(dòng)態(tài)處理“粗暴”：目前的動(dòng)態(tài)3DGS多依賴于變形場或時(shí)序參數(shù)，難以處理劇烈的、非剛性的形變；

- 數(shù)據(jù)依賴性強(qiáng)：性能高度依賴于輸入圖像的質(zhì)量和數(shù)量，對(duì)稀疏輸入或存在大量遮擋的場景，重建效果會(huì)急劇下降；

- 缺乏標(biāo)準(zhǔn)與生態(tài)：相比成熟的Mesh流程，3DGS缺乏行業(yè)標(biāo)準(zhǔn)工具鏈。

理論基礎(chǔ)與可控性

- “黑箱”特性：Gaussian的分布與參數(shù)缺乏明確的物理和幾何解釋，像一個(gè)可微分的點(diǎn)云渲染“黑盒”，難以進(jìn)行精確的、程序化的控制；

- 參數(shù)冗余與過擬合：場景復(fù)雜度直接與Gaussian數(shù)量掛鉤，可能導(dǎo)致訓(xùn)練過擬合和存儲(chǔ)浪費(fèi)。

06 總結(jié)

顯而易見，3DGS以創(chuàng)新的3D高斯球表示方法，在重建質(zhì)量與效率間實(shí)現(xiàn)了突破性平衡。從技術(shù)原理到實(shí)戰(zhàn)演示，再到康謀在自動(dòng)駕駛仿真中的完整工具鏈實(shí)踐，3DGS展現(xiàn)了顯著的工程價(jià)值。

盡管在動(dòng)態(tài)場景處理和渲染質(zhì)量方面仍面臨挑戰(zhàn)，但隨著硬件加速和算法優(yōu)化的持續(xù)推進(jìn)，3DGS有望在自動(dòng)駕駛、數(shù)字孿生等領(lǐng)域發(fā)揮更大價(jià)值，為三維重建技術(shù)開啟新的可能！