隨著自動(dòng)駕駛技術(shù)的迅猛發(fā)展，構(gòu)建高保真、動(dòng)態(tài)的仿真場(chǎng)景成為了行業(yè)的迫切需求。傳統(tǒng)的三維重建方法在處理復(fù)雜場(chǎng)景時(shí)常常面臨效率和精度的挑戰(zhàn)。在此背景下，3D高斯點(diǎn)陣渲染（3DGS）技術(shù)應(yīng)運(yùn)而生，成為自動(dòng)駕駛仿真場(chǎng)景重建的關(guān)鍵突破。

一、3DGS技術(shù)概述與原理

1、3DGS的技術(shù)概述

3DGS是一種基于3D高斯分布的三維場(chǎng)景表示方法。通過將場(chǎng)景中的對(duì)象轉(zhuǎn)化為多個(gè)3D高斯點(diǎn)，每個(gè)點(diǎn)包含位置、協(xié)方差矩陣和不透明度等信息，3DGS能夠精確地表達(dá)復(fù)雜場(chǎng)景的幾何形狀和光照特性。

與傳統(tǒng)的神經(jīng)輻射場(chǎng)（NeRF）方法相比，3DGS在渲染速度和圖像質(zhì)量方面表現(xiàn)出色，彌補(bǔ)了NeRF在動(dòng)態(tài)場(chǎng)景處理和細(xì)節(jié)保留上的不足。

圖1：3DGS重建流程

2、3DGS的技術(shù)原理

在3DGS中，首先通過SfM（Structure from Motion）技術(shù)進(jìn)行數(shù)據(jù)預(yù)處理，校準(zhǔn)相機(jī)位置并恢復(fù)其內(nèi)部和外部參數(shù)，生成稀疏點(diǎn)云。然后，基于這些點(diǎn)云初始化一組3D高斯點(diǎn)，每個(gè)高斯點(diǎn)的初始位置、協(xié)方差矩陣和不透明度都會(huì)進(jìn)行設(shè)置。

訓(xùn)練過程中，3DGS通過反向傳播不斷優(yōu)化這些高斯點(diǎn)的位置、形狀和不透明度。值得注意的是，3DGS采用了自適應(yīng)密度控制，能夠在每次反向傳播后去除那些不重要的高斯點(diǎn)，并根據(jù)需要對(duì)高斯點(diǎn)進(jìn)行分裂或克隆，以保證場(chǎng)景重建的精度和細(xì)節(jié)。

圖2：訓(xùn)練過程中高斯點(diǎn)的優(yōu)化

二、3DGS在自動(dòng)駕駛仿真中的應(yīng)用

在自動(dòng)駕駛領(lǐng)域，3DGS技術(shù)被廣泛應(yīng)用于高保真仿真場(chǎng)景的重建。通過將多視角圖像轉(zhuǎn)化為3D高斯點(diǎn)云，3DGS能夠快速、精確地重建復(fù)雜的街道場(chǎng)景，為自動(dòng)駕駛系統(tǒng)的訓(xùn)練和驗(yàn)證提供真實(shí)的虛擬環(huán)境。例如，Huang等人提出的S3Gaussian方法，通過自監(jiān)督學(xué)習(xí)，從4D一致性中分解動(dòng)態(tài)和靜態(tài)元素，實(shí)現(xiàn)了高質(zhì)量的街道場(chǎng)景重建。

此外，Zhou等人提出的DrivingGaussian方法，針對(duì)環(huán)視動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景，發(fā)展了基于3D高斯的重建仿真技術(shù)。該方法能夠有效建模復(fù)雜的多尺度背景和前景，提升了自動(dòng)駕駛系統(tǒng)在復(fù)雜環(huán)境下的感知能力。

圖3：S3Gaussian方法

圖4：DrivingGaussian方法

1、3DGS的優(yōu)勢(shì)與挑戰(zhàn)

（1）優(yōu)勢(shì)

高效性：通過顯式建模方法，3DGS避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的計(jì)算開銷，訓(xùn)練速度更快，渲染效率更高。

精度：3D高斯點(diǎn)可以細(xì)致地捕捉場(chǎng)景中的每個(gè)細(xì)節(jié)，從而實(shí)現(xiàn)高精度的三維重建。

實(shí)時(shí)性：3DGS支持實(shí)時(shí)渲染，適合需要快速響應(yīng)的應(yīng)用場(chǎng)景，如自動(dòng)駕駛仿真。

（2）挑戰(zhàn)

場(chǎng)景復(fù)雜度：對(duì)于極為復(fù)雜的三維場(chǎng)景，3DGS可能需要大量的高斯點(diǎn)，這會(huì)增加計(jì)算負(fù)擔(dān)和內(nèi)存消耗。

動(dòng)態(tài)場(chǎng)景的支持：目前，3DGS主要集中在靜態(tài)場(chǎng)景的重建，如何高效地處理動(dòng)態(tài)場(chǎng)景中的物體變化，仍然是一個(gè)技術(shù)挑戰(zhàn)。

三、aiSim的3DGS重建功能

aiSim仿真平臺(tái)結(jié)合3DGS技術(shù)，可以提供強(qiáng)大的三維重建功能，極大地提升了自動(dòng)駕駛仿真測(cè)試的效率和精度。

在aiSim中，3DGS被用于從多視角圖像中重建復(fù)雜的三維場(chǎng)景。aiSim能夠精確地捕捉環(huán)境的幾何形狀和光照特性，為自動(dòng)駕駛系統(tǒng)提供高保真的虛擬環(huán)境。這種高精度的三維重建使得自動(dòng)駕駛算法能夠在仿真中進(jìn)行更為真實(shí)的測(cè)試，減少了對(duì)實(shí)際道路測(cè)試的依賴。

圖5：大FoV相機(jī)渲染出現(xiàn)非一致性（左）重建3DGS渲染方案后（右）

aiSim新構(gòu)建的GGSR通用高斯?jié)姙R渲染器優(yōu)化了重建場(chǎng)景下光線追蹤傳感器的渲染效果，增強(qiáng)了廣角鏡頭渲染下的一致性，并能減少偽影的產(chǎn)生，實(shí)現(xiàn)高保真度的3DGS重建場(chǎng)景兼容。

在重建的靜態(tài)場(chǎng)景之上，aiSim支持自定義動(dòng)態(tài)的場(chǎng)景交通流。通過添加動(dòng)態(tài)實(shí)體，aiSim可以模擬交通流、行人行為等動(dòng)態(tài)元素，為自動(dòng)駕駛系統(tǒng)提供更為全面的測(cè)試場(chǎng)景。這種動(dòng)態(tài)重建能力使得aiSim在驗(yàn)證自動(dòng)駕駛系統(tǒng)的泛化能力和應(yīng)對(duì)復(fù)雜場(chǎng)景的能力方面，展現(xiàn)出了巨大的優(yōu)勢(shì)。

圖6：十字路口車輛起步場(chǎng)景

四、結(jié)語

3DGS作為一種新興的三維場(chǎng)景重建技術(shù)，憑借其高效、精確和實(shí)時(shí)的特點(diǎn)，在自動(dòng)駕駛仿真領(lǐng)域展現(xiàn)出了巨大的潛力。我們有理由相信，未來3DGS將為更多行業(yè)帶來創(chuàng)新性的解決方案。

▍參考文獻(xiàn)

1.3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

3.DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes