▍文章來源于康謀自動駕駛

隨著端到端自動駕駛架構(gòu)的興起，傳統(tǒng)基于規(guī)則的仿真測試正面臨“真實感不足”與“場景泛化難”的雙重挑戰(zhàn)。

本文深入解析康謀推出的雙模態(tài)仿真測試解決方案：一方面依托aiSim提供確定性的物理級傳感器建模；另一方面通過World Extractor實現(xiàn)基于3DGS/NeRF的自動化世界重建。

重點探討二者如何通過混合渲染（Hybrid Rendering）的技術路線，在保留真實世界視覺保真度的同時，實現(xiàn)動態(tài)交通流的泛化，構(gòu)建可用于閉環(huán)驗證的數(shù)字孿生環(huán)境。

01 端到端測試挑戰(zhàn)

自動駕駛仿真測試的核心矛盾，長期存在于“物理真實性（Realism）”與“仿真可控性（Controllability）”之間。康謀基于此構(gòu)建了兩條既獨立又互補的技術路線，形成了完整的工具鏈生態(tài)：

物理驅(qū)動路線（Model-based）：以 aiSim 仿真平臺為核心，基于高精度的3D網(wǎng)格與物理材質(zhì)系統(tǒng)，提供ISO 26262 ASIL D認證級的確定性仿真，側(cè)重于閉環(huán)驗證、傳感器模型研究與極端邊緣場景構(gòu)造。

數(shù)據(jù)驅(qū)動路線（Data-driven）：以 World Extractor 工具鏈為核心，利用 3DGS 和 NeRF 技術，將真實采集數(shù)據(jù)自動化重建為高保真數(shù)字世界，側(cè)重于解決感知模型的Sim-to-Real Gap（虛實遷移差距）。

這兩條路線并非割裂，而是通過混合渲染架構(gòu)在終端匯聚，為高階智駕提供“靜態(tài)環(huán)境真實、動態(tài)目標可控”的閉環(huán)測試能力。

工具鏈總覽

02 aiSim：確定性高保真引擎

aiSim并非僅為神經(jīng)渲染服務的播放器，而是一款獨立的、基于物理的高性能仿真全棧仿真平臺，集成了動力學仿真、天氣環(huán)境系統(tǒng)、物理傳感器模型、場景編輯等自動駕駛測試關鍵功能，并是全球首個通過 ISO 26262 ASIL D 認證的仿真平臺。其核心價值在于為端到端智駕系統(tǒng)提供高保真的確定性輸出，并進行有效閉環(huán)測試。

平臺架構(gòu)和開放接口APIs

自研渲染引擎與確定性

不同于基于游戲引擎（如UE/Unity）的方案，aiSim 采用自研的基于 Vulkan API 的渲染管線。

確定性（Determinism）：保證在不同硬件架構(gòu)（從工作站到云端大規(guī)模集群）上，同一幀場景的渲染結(jié)果在任意傳感器數(shù)據(jù)層面完全一致，包括像素、點云、動力學信息。這對于回歸測試至關重要。

光線追蹤（Ray-tracing）：支持對激光雷達（LiDAR）和雷達（Radar）進行多徑反射仿真和高斯線束，并基于物理材質(zhì)屬性（PBR）計算反射率，非簡單的幾何投影。

物理級傳感器建模

aiSim 并不止步于理想傳感器模型，而是深入到物理特性層面：

Camera：支持從光圈、畸變(F-theta/Mei/Ocam)、CFA(色彩濾光陣列)到ISP后處理的全鏈路仿真。

LiDAR：基于輻射測量（Radiometric）而非光度測量，考慮了905nm波長下的材質(zhì)反射率、大氣衰減（雨霧中的Mie散射）以及卷簾門效應（Rolling Shutter）。

Radar：采用光線追蹤模擬多徑效應，支持輸出RCS、多普勒速度及點云級別的仿真。

03 World Extractor：自動化重建

針對傳統(tǒng)手工建模周期長（月級）、成本高的問題，World Extractor提供了一套從采集到重建的成熟可用的端到端自動化工具鏈，將現(xiàn)實世界轉(zhuǎn)化為數(shù)字資產(chǎn)。

嚴格的硬件采集標準

高質(zhì)量的重建始于高質(zhì)量的數(shù)據(jù)。康謀定義了嚴格的傳感器部署規(guī)范以滿足神經(jīng)渲染需求：

覆蓋要求：相機需實現(xiàn)360°全覆蓋，相鄰視場重疊度需 >10°，以確保特征點匹配。

同步精度：多傳感器（Camera/LiDAR）與GNSS/INS的時間同步精度需 <1ms，位置誤差需控制在厘米級（RTK/PPK）。

推薦配置：采用Sony IMX490/728傳感器及128線激光雷達，確保高動態(tài)范圍與點云密度。

自動化處理與3DGS訓練

采集的數(shù)據(jù)經(jīng)過脫敏、清洗后，進入自動化標注與訓練流程：

動態(tài)物體移除

這是重建純凈靜態(tài)世界的關鍵。工具鏈利用自動化標注算法（結(jié)合2D分割與3D包圍盒）識別并剔除路面上的移動車輛與行人，僅保留靜態(tài)車輛建筑物、路面、植被、等靜態(tài)元素。

訓練新范式

針對傳統(tǒng)3DGS在稀疏視角下幾何結(jié)構(gòu)崩壞以及外推能力差的問題，提出了NeRF2GS的新路徑。

Step 1 (Teacher):先訓練一個 NeRF 模型。利用 NeRF 在幾何連續(xù)性上的優(yōu)勢，結(jié)合含噪聲的 LiDAR 點云進行深度正則化（Depth Regularization）訓練。

Step 2 (Student):將 NeRF 生成的高質(zhì)量深度圖和法線圖作為監(jiān)督信號，初始化并訓練 3DGS 模型。

優(yōu)勢：這種方法顯著修復了路面、天空等弱紋理區(qū)域的幾何錯誤，確保了在合成新視角（Novel View Synthesis）時，路面平整、車道線清晰，且無偽影。

大規(guī)模分塊訓練

針對城市級大規(guī)模場景（>100,000 m2），采用BEV空間動態(tài)分塊（Block-based）策略，支持多GPU并行訓練，通過重疊區(qū)域（Overlap）消除塊與塊之間的渲染接縫。

04 混合渲染以實現(xiàn)閉環(huán)測試

這是康謀方案的核心技術壁壘。單純的3DGS/NeRF雖然視覺逼真，但本質(zhì)是“三維錄像”，難以修改內(nèi)容。為了實現(xiàn)閉環(huán)測試（Closed-loop Testing），康謀采用了“混合渲染”技術。

Why “靜態(tài)3DGS + 動態(tài)OpenSCENARIO”？

目前學術界存在的4DGS技術雖然能還原動態(tài)場景，但缺乏交互性——你無法控制錄制視頻中車輛的剎車或變道。

康謀的策略是解耦：

背景（Background）：使用World Extractor生成的靜態(tài)3DGS模型，確保環(huán)境的絕對真實（紋理、光照、幾何細節(jié)）。

前景（Foreground）：使用aiSim物理引擎生成的動態(tài)網(wǎng)格（Mesh）物體（車輛、行人），這些物體的行為由 OpenSCENARIO 標準格式驅(qū)動，支持泛化和交互。

這種組合既滿足了感知算法對分布外（OOD）數(shù)據(jù)的渴求，又滿足了規(guī)控算法對交互式測試的需求。

深度合成技術

在渲染管線中，如何讓“虛擬的車”正確地行駛在“真實的路”上，并被“真實的樹”遮擋？這依賴于精確的深度合成（Depth Compositing）技術：

系統(tǒng)實時計算3DGS背景的深度圖（Depth Map）與aiSim前景物體的Z-buffer。

遮擋關系：能夠精確處理“虛擬車輛行駛在真實樹木后方”的遮擋關系，且邊緣無鋸齒。

光照融合：利用從神經(jīng)場中提取的環(huán)境光照信息（IBL），照亮虛擬物體，使其陰影和反射與背景環(huán)境渾然一體。

aiSim+3DGS中DEVIANT單目識別CAR類

多模態(tài)一致性

對于 LiDAR 仿真，康謀并未采用簡單的深度圖投影，而是實現(xiàn)了針對3D高斯球的光線追蹤。

機制：將3D高斯球作為代理幾何體（Proxy Geometry）構(gòu)建加速結(jié)構(gòu)（BVH）。LiDAR 射線直接與這些高斯球進行求交計算。

多模態(tài)輸出：不僅能獲取距離信息，還能從神經(jīng)特征中解碼出強度（Intensity）信息，從而合成出帶有真實反射率特性的點云數(shù)據(jù)。

保證了Camera與LiDAR在同一時刻、同一視角下的時空強同步。

05 場景泛化與工程落地

基于上述架構(gòu)，康謀實現(xiàn)了從“復現(xiàn)”到“泛化”的跨越。

動態(tài)交通流泛化

在重建的高保真靜態(tài)地圖中，測試人員可以通過 OpenSCENARIO自由配置交通流。例如，在一段空曠的舊金山重建路段中，通過算法生成擁堵場景、Cut-in（切入）場景或事故場景。

這極大地擴展了ODD（運行設計域）的覆蓋范圍，解決了感知算法在真實路測中難以遇到Corner Case的痛點。

廣泛的HiL集成

該工具鏈已在多個OEM及Tier 1中驗證，支持與主流域控平臺的硬件在環(huán)（HiL）集成：

視頻注入：支持通過HDMI/DP或GMSL注入卡，將混合渲染后的視頻流直接注入域控制器（如NVIDIA Orin, NVIDIA Thorn, Horizon J6）。

實時性：在單節(jié)點部署下（如4卡仿真圖站），即可實現(xiàn)12路相機+激光雷達的高幀率實時仿真，通過分布式集群部署可進一步提升性能表現(xiàn)和渲染質(zhì)量。

康謀的雙模態(tài)仿真測試解決方案，并非簡單的工具堆疊，而是對自動駕駛測試痛點的深刻工程解構(gòu)。

通過NeRF2GS技術，我們將真實世界“搬進”了仿真器；通過aiSim 物理引擎，我們讓這個世界“活”了起來。這種“靜態(tài)環(huán)境高保真，動態(tài)場景全泛化”的混合渲染模式，為從感知到規(guī)控的端到端閉環(huán)驗證提供了目前行業(yè)內(nèi)最優(yōu)的數(shù)據(jù)底座，顯著降低了對高成本路測的依賴！