在自動(dòng)駕駛感知系統(tǒng)的研發(fā)過(guò)程中，模型的性能高度依賴于大規(guī)模、高質(zhì)量的感知數(shù)據(jù)集。目前業(yè)界常用的數(shù)據(jù)集包括 KITTI、nuScenes、Waymo Open Dataset 等，它們?yōu)樽詣?dòng)駕駛算法的發(fā)展奠定了重要基礎(chǔ)。

然而，構(gòu)建真實(shí)世界的感知數(shù)據(jù)集并非易事——不僅需要投入大量人力、物力與時(shí)間成本，還需要面對(duì)數(shù)據(jù)采集受限、隱私合規(guī)、標(biāo)注耗時(shí)以及極端場(chǎng)景難以獲取等諸多挑戰(zhàn)。

在此背景下，高保真虛擬數(shù)據(jù)集正成為自動(dòng)駕駛感知算法研究的新方向。通過(guò)仿真平臺(tái)生成的虛擬數(shù)據(jù)，不僅能夠快速擴(kuò)充數(shù)據(jù)規(guī)模，還可靈活構(gòu)造復(fù)雜路況、惡劣天氣及罕見(jiàn)事件，為模型提供更全面的訓(xùn)練樣本。

基于此，康謀推出了全新的高保真虛擬數(shù)據(jù)集——SimData。SimData依托aiSim的高精度物理建模與逼真視覺(jué)渲染能力，能夠生成多傳感器同步數(shù)據(jù)（包括相機(jī)、激光雷達(dá)、雷達(dá)、IMU 等），實(shí)現(xiàn)與真實(shí)世界數(shù)據(jù)一致的多模態(tài)特性。

SimData數(shù)據(jù)結(jié)構(gòu)嚴(yán)格遵循nuScenes數(shù)據(jù)集格式規(guī)范，可直接使用官方nuscenes-devkit工具解析和可視化，大幅降低開(kāi)發(fā)者上手成本。

本文將介紹SimData的核心特性與構(gòu)建流程，并展示其在典型感知任務(wù)中的表現(xiàn)。SimData 正式版及相關(guān)對(duì)比測(cè)試報(bào)告將于近期發(fā)布，敬請(qǐng)持續(xù)關(guān)注康謀的最新動(dòng)態(tài)。

02 SimData構(gòu)建過(guò)程

傳感器布局

在 aiSim 仿真平臺(tái)中，我們嚴(yán)格復(fù)現(xiàn)了nuScenes 數(shù)據(jù)集的傳感器布局，以確保數(shù)據(jù)結(jié)構(gòu)和多模態(tài)同步特性的一致性。

仿真車輛共配置了 6 路環(huán)視相機(jī)、5 個(gè)雷達(dá)（Radar）、1 個(gè)激光雷達(dá)（LiDAR）、1 個(gè)慣性測(cè)量單元（IMU）以及 1 個(gè)定位系統(tǒng)（GPS）。

其中，相機(jī)與雷達(dá)的采樣頻率均為 40 Hz，激光雷達(dá)的采樣頻率為 80 Hz，能夠滿足高時(shí)序精度的多傳感器同步采集需求。

各傳感器的空間布設(shè)與朝向如下圖所示：

整體視圖（左）、前視圖（右）

左視圖（左）、頂視圖（右）

與 nuScenes 不同的是，SimData中所有傳感器均采用FLU（Forward–Left–Up） 坐標(biāo)系，而在 nuScenes 數(shù)據(jù)集中，相機(jī)傳感器使用的是RDF（Right–Down–Forward）坐標(biāo)系。

在數(shù)據(jù)構(gòu)建過(guò)程中，我們對(duì)所有標(biāo)注文件進(jìn)行了嚴(yán)格的坐標(biāo)系轉(zhuǎn)換與對(duì)齊處理，確保坐標(biāo)定義在邏輯上與 nuScenes 完全一致。

因此，用戶在使用 SimData 時(shí)，無(wú)需額外關(guān)注坐標(biāo)差異，其數(shù)據(jù)解析與開(kāi)發(fā)體驗(yàn)與 nuScenes保持一致。下圖展示了nuScenes中各傳感器的典型布局及其坐標(biāo)系定義。

數(shù)據(jù)結(jié)構(gòu)

SimData 數(shù)據(jù)集在結(jié)構(gòu)設(shè)計(jì)上與 nuScenes 完全保持一致。對(duì)于已經(jīng)熟悉 nuScenes 的開(kāi)發(fā)者而言，無(wú)需額外的適配或?qū)W習(xí)成本，即可快速上手SimData 的使用與解析。

下圖展示了 SimData 數(shù)據(jù)集的整體目錄結(jié)構(gòu)，nuScenes 同樣遵循這一組織形式，以實(shí)現(xiàn)無(wú)縫兼容與工具級(jí)互通。

具體說(shuō)明如下：

maps文件夾

存放數(shù)據(jù)集中使用到的所有高精地圖圖像文件，用于提供地理位置信息和場(chǎng)景背景參考。

samples文件夾

存放各類傳感器的關(guān)鍵幀數(shù)據(jù)，包括：

- 6 路攝像頭圖像（.jpg文件）

- 5 路雷達(dá)點(diǎn)云（.pcd文件）

- 1 路激光雷達(dá)點(diǎn)云（.bin文件）

其中，每隔0.5 秒抽取一幀數(shù)據(jù)作為關(guān)鍵幀進(jìn)行保存。

sweeps文件夾

保存除關(guān)鍵幀以外的連續(xù)傳感器數(shù)據(jù)，用于構(gòu)建時(shí)序信息和多幀融合任務(wù)。

v1.0-*文件夾

存放傳感器的標(biāo)注與元數(shù)據(jù)信息，所有文件均以.json格式保存，涵蓋時(shí)間戳、姿態(tài)參數(shù)、標(biāo)注標(biāo)簽、場(chǎng)景描述等內(nèi)容。

各個(gè)json標(biāo)注文件的關(guān)系網(wǎng)絡(luò)也與nuScenes數(shù)據(jù)集保持一致，這里以nuScenes官方文件結(jié)構(gòu)圖進(jìn)行說(shuō)明：

在 SimData 數(shù)據(jù)集中，每個(gè)文件中的信息塊均通過(guò)一個(gè)全局唯一的 UUID（Universally Unique Identifier） 作為token進(jìn)行標(biāo)識(shí)。

這些 token 構(gòu)成了數(shù)據(jù)集中不同信息之間的關(guān)聯(lián)橋梁，用戶可通過(guò)sample.json、sample_data.json 和 sample_annotation.json三個(gè)核心文件獲取絕大多數(shù)標(biāo)注與結(jié)構(gòu)化信息。

sample.json

sample.json文件記錄了關(guān)鍵幀（Keyframe）的基礎(chǔ)信息。

- 每個(gè)關(guān)鍵幀都對(duì)應(yīng)一個(gè)sample_token，用于唯一標(biāo)識(shí)該幀數(shù)據(jù)。

- 通過(guò)scene_token可在scene.json文件中查找到該樣本所屬的場(chǎng)景。

- 文件中還提供了 前一幀 (prev) 與 后一幀 (next) 的token，可用于構(gòu)建連續(xù)幀關(guān)系。

sample_data.json

利用sample_token可在sample_data.json 中獲取對(duì)應(yīng)幀的多傳感器數(shù)據(jù)詳情，包括：

- ego_pose_token：車輛自車位姿的引用，可在 ego_pose.json 中獲得該時(shí)刻的位姿信息（位置與朝向）。

- calibrated_sensor_token：對(duì)應(yīng)傳感器的標(biāo)定參數(shù)，可在 calibrated_sensor.json 中查詢到該傳感器的內(nèi)參與外參信息。

- filename：傳感器原始數(shù)據(jù)的文件路徑。若為相機(jī)數(shù)據(jù)，還包含圖像的高度（height）與寬度（width）。

- timestamp：時(shí)間戳（單位：微秒），用于多傳感器時(shí)間同步。

- is_key_frame：布爾值，指示該幀是否為關(guān)鍵幀。

- next / prev：分別指向下一幀和前一幀的 token，實(shí)現(xiàn)時(shí)序關(guān)聯(lián)。

sample_annotation.json

sample_annotation.json文件記錄了每個(gè)關(guān)鍵幀中檢測(cè)到的目標(biāo)物體信息，可通過(guò) sample_token 進(jìn)行關(guān)聯(lián)。包含的主要字段如下：

（1）instance_token：目標(biāo)實(shí)例的唯一標(biāo)識(shí)。

可在 instance.json 中查詢到該實(shí)例對(duì)應(yīng)的 category_token（類別信息）、首次與最后出現(xiàn)的關(guān)鍵幀 token。

通過(guò) category_token 可進(jìn)一步在 category.json 中獲取該實(shí)例的具體類別名稱。

（2）visibility_token：

可見(jiàn)度等級(jí)標(biāo)識(shí)（共四級(jí)，數(shù)值越大表示可見(jiàn)度越高），其定義可在 visibility.json 中查閱。

（3）目標(biāo)幾何與姿態(tài)信息，這些位姿均定義在傳感器坐標(biāo)系下。

中心點(diǎn)位置 (translation)

尺寸大小 (size)

旋轉(zhuǎn)角度 (rotation)，以 四元數(shù)（Quaternion） 形式存儲(chǔ)

（4）點(diǎn)云統(tǒng)計(jì)信息

檢測(cè)框中包含的激光雷達(dá)點(diǎn)數(shù) (num_lidar_pts) 與 雷達(dá)點(diǎn)數(shù) (num_radar_pts)。

（5）前后幀關(guān)聯(lián)

分別記錄該實(shí)例在前一幀與后一幀中的對(duì)應(yīng) token。

03 SimData與感知模型使用示例

使用方法與真值可視化

SimData可以直接使用nuScenes-devkit進(jìn)行解析，使用方法與nuScenes數(shù)據(jù)集一致。示例：

1. from nuscenes.nuscenes import NuScenes

2. nusc = NuScenes(version='v1.0-custom', dataroot=data_path, verbose=True)

得到示例化對(duì)象后便可以使用nuScenes官方提供的工具對(duì)SimData進(jìn)行分析和模型訓(xùn)練。配合cv2或matplotlib可以對(duì)數(shù)據(jù)集進(jìn)行可視化：

具有g(shù)t框的六路攝像頭輸出：

同步lidar點(diǎn)云，可以同時(shí)繪制出bev視角下的標(biāo)注信息

bevformer檢測(cè)效果展示

以下是使用在nuScenes數(shù)據(jù)集下訓(xùn)練的權(quán)重，采用bevformer-tiny模型直接進(jìn)行檢測(cè)的效果（即沒(méi)有在SimData上進(jìn)行訓(xùn)練）。

1. bevformer官方代碼庫(kù)：https://github.com/fundamentalvision/BEVFormer/tree/master

2. bevformer論文：https://arxiv.org/pdf/2203.17270

04 總結(jié)

本文闡述了虛擬數(shù)據(jù)集在自動(dòng)駕駛感知研究中的重要性，并介紹了基于aiSim仿真平臺(tái)生成的高保真虛擬感知數(shù)據(jù)集——SimData。

文章詳細(xì)說(shuō)明了 SimData 的數(shù)據(jù)組成結(jié)構(gòu)與使用方法，并利用開(kāi)源感知模型對(duì)其進(jìn)行了檢測(cè)驗(yàn)證，從而驗(yàn)證了數(shù)據(jù)集的可用性與有效性。

后續(xù)，康謀團(tuán)隊(duì)將發(fā)布更為詳盡的測(cè)試與對(duì)比報(bào)告，以進(jìn)一步驗(yàn)證SimData與真實(shí)數(shù)據(jù)集之間的高一致性。通過(guò)這一系列工作，我們不僅證明了aiSim仿真環(huán)境的高保真特性，也為研究者與開(kāi)發(fā)者提供了一個(gè)高質(zhì)量、易用且可擴(kuò)展的虛擬感知數(shù)據(jù)資源，以持續(xù)助力自動(dòng)駕駛感知算法的研究與訓(xùn)練。