隨著自動駕駛技術(shù)的迅猛發(fā)展，構(gòu)建高保真、動態(tài)的仿真場景成為了行業(yè)的迫切需求。傳統(tǒng)的三維重建方法在處理復(fù)雜場景時常常面臨效率和精度的挑戰(zhàn)。在此背景下，3D高斯點(diǎn)陣渲染（3DGS）技術(shù)應(yīng)運(yùn)而生，成為自動駕駛仿真場景重建的關(guān)鍵突破。

一、3DGS技術(shù)概述與原理

1、3DGS的技術(shù)概述

3DGS是一種基于3D高斯分布的三維場景表示方法。通過將場景中的對象轉(zhuǎn)化為多個3D高斯點(diǎn)，每個點(diǎn)包含位置、協(xié)方差矩陣和不透明度等信息，3DGS能夠精確地表達(dá)復(fù)雜場景的幾何形狀和光照特性。

與傳統(tǒng)的神經(jīng)輻射場（NeRF）方法相比，3DGS在渲染速度和圖像質(zhì)量方面表現(xiàn)出色，彌補(bǔ)了NeRF在動態(tài)場景處理和細(xì)節(jié)保留上的不足。

圖1：3DGS重建流程

2、3DGS的技術(shù)原理

在3DGS中，首先通過SfM（Structure from Motion）技術(shù)進(jìn)行數(shù)據(jù)預(yù)處理，校準(zhǔn)相機(jī)位置并恢復(fù)其內(nèi)部和外部參數(shù)，生成稀疏點(diǎn)云。然后，基于這些點(diǎn)云初始化一組3D高斯點(diǎn)，每個高斯點(diǎn)的初始位置、協(xié)方差矩陣和不透明度都會進(jìn)行設(shè)置。

訓(xùn)練過程中，3DGS通過反向傳播不斷優(yōu)化這些高斯點(diǎn)的位置、形狀和不透明度。值得注意的是，3DGS采用了自適應(yīng)密度控制，能夠在每次反向傳播后去除那些不重要的高斯點(diǎn)，并根據(jù)需要對高斯點(diǎn)進(jìn)行分裂或克隆，以保證場景重建的精度和細(xì)節(jié)。

圖2：訓(xùn)練過程中高斯點(diǎn)的優(yōu)化

二、3DGS在自動駕駛仿真中的應(yīng)用

在自動駕駛領(lǐng)域，3DGS技術(shù)被廣泛應(yīng)用于高保真仿真場景的重建。通過將多視角圖像轉(zhuǎn)化為3D高斯點(diǎn)云，3DGS能夠快速、精確地重建復(fù)雜的街道場景，為自動駕駛系統(tǒng)的訓(xùn)練和驗證提供真實的虛擬環(huán)境。例如，Huang等人提出的S3Gaussian方法，通過自監(jiān)督學(xué)習(xí)，從4D一致性中分解動態(tài)和靜態(tài)元素，實現(xiàn)了高質(zhì)量的街道場景重建。

此外，Zhou等人提出的DrivingGaussian方法，針對環(huán)視動態(tài)自動駕駛場景，發(fā)展了基于3D高斯的重建仿真技術(shù)。該方法能夠有效建模復(fù)雜的多尺度背景和前景，提升了自動駕駛系統(tǒng)在復(fù)雜環(huán)境下的感知能力。

圖3：S3Gaussian方法

圖4：DrivingGaussian方法

1、3DGS的優(yōu)勢與挑戰(zhàn)

（1）優(yōu)勢

高效性：通過顯式建模方法，3DGS避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的計算開銷，訓(xùn)練速度更快，渲染效率更高。

精度：3D高斯點(diǎn)可以細(xì)致地捕捉場景中的每個細(xì)節(jié)，從而實現(xiàn)高精度的三維重建。

實時性：3DGS支持實時渲染，適合需要快速響應(yīng)的應(yīng)用場景，如自動駕駛仿真。

（2）挑戰(zhàn)

場景復(fù)雜度：對于極為復(fù)雜的三維場景，3DGS可能需要大量的高斯點(diǎn)，這會增加計算負(fù)擔(dān)和內(nèi)存消耗。

動態(tài)場景的支持：目前，3DGS主要集中在靜態(tài)場景的重建，如何高效地處理動態(tài)場景中的物體變化，仍然是一個技術(shù)挑戰(zhàn)。

三、aiSim的3DGS重建功能

aiSim仿真平臺結(jié)合3DGS技術(shù)，可以提供強(qiáng)大的三維重建功能，極大地提升了自動駕駛仿真測試的效率和精度。

在aiSim中，3DGS被用于從多視角圖像中重建復(fù)雜的三維場景。aiSim能夠精確地捕捉環(huán)境的幾何形狀和光照特性，為自動駕駛系統(tǒng)提供高保真的虛擬環(huán)境。這種高精度的三維重建使得自動駕駛算法能夠在仿真中進(jìn)行更為真實的測試，減少了對實際道路測試的依賴。

圖5：大FoV相機(jī)渲染出現(xiàn)非一致性（左）重建3DGS渲染方案后（右）

aiSim新構(gòu)建的GGSR通用高斯?jié)姙R渲染器優(yōu)化了重建場景下光線追蹤傳感器的渲染效果，增強(qiáng)了廣角鏡頭渲染下的一致性，并能減少偽影的產(chǎn)生，實現(xiàn)高保真度的3DGS重建場景兼容。

在重建的靜態(tài)場景之上，aiSim支持自定義動態(tài)的場景交通流。通過添加動態(tài)實體，aiSim可以模擬交通流、行人行為等動態(tài)元素，為自動駕駛系統(tǒng)提供更為全面的測試場景。這種動態(tài)重建能力使得aiSim在驗證自動駕駛系統(tǒng)的泛化能力和應(yīng)對復(fù)雜場景的能力方面，展現(xiàn)出了巨大的優(yōu)勢。

圖6：十字路口車輛起步場景

四、結(jié)語

3DGS作為一種新興的三維場景重建技術(shù)，憑借其高效、精確和實時的特點(diǎn)，在自動駕駛仿真領(lǐng)域展現(xiàn)出了巨大的潛力。我們有理由相信，未來3DGS將為更多行業(yè)帶來創(chuàng)新性的解決方案。

▍參考文獻(xiàn)

1.3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes