新研究成果帶來實(shí)現(xiàn)安全自動(dòng)駕駛系統(tǒng)所需的先進(jìn) 3D Occupancy 預(yù)測。

NVIDIA 以自動(dòng)駕駛開發(fā)大賽 3D Occupancy 預(yù)測挑戰(zhàn)賽冠軍的身份亮相 CVPR 2023。

此次角逐冠軍的 400 多份參賽作品共來自 10 個(gè)地區(qū)近 150 個(gè)團(tuán)隊(duì)。

3D Occupancy 預(yù)測是指預(yù)測場景中每個(gè)體素（即 3D 鳥瞰網(wǎng)格上的各個(gè)數(shù)據(jù)點(diǎn)）的狀態(tài)的過程，體素可以被識(shí)別為自由、占用或未知三種狀態(tài)。

觀看 NVIDIA 自動(dòng)駕駛實(shí)驗(yàn)室關(guān)于 3D Occupancy 預(yù)測的視頻。

3D Occupancy 網(wǎng)格預(yù)測對(duì)開發(fā)安全、魯棒的自動(dòng)駕駛系統(tǒng)至關(guān)重要。該功能利用 NVIDIA DRIVE 平臺(tái)提供支持的先進(jìn)卷積神經(jīng)網(wǎng)絡(luò)（CNN）和 Transformer 模型為自動(dòng)駕駛汽車（AV）規(guī)劃和控制堆棧提供信息。

NVIDIA 學(xué)習(xí)和感知高級(jí)研究科學(xué)家 Zhiding Yu 表示：“NVIDIA 的獲獎(jiǎng)方案包含兩項(xiàng)重要的先進(jìn)自動(dòng)駕駛（AV）技術(shù)。該方案展示了具有出色鳥瞰感知能力的先進(jìn)模型設(shè)計(jì)，以及具有多達(dá) 10 億個(gè)參數(shù)的視覺基礎(chǔ)模型和大規(guī)模預(yù)訓(xùn)練在 3D Occupancy 預(yù)測方面的有效性?！?/p>

在過去幾年中，自動(dòng)駕駛感知已從處理 2D 任務(wù)，比如檢測圖像中的物體或自由空間等，發(fā)展到根據(jù)多個(gè)輸入圖像對(duì) 3D 世界進(jìn)行推理。

NVIDIA 自動(dòng)駕駛汽車應(yīng)用研究總監(jiān)兼杰出科學(xué)家 Jose Alvarez 表示，“這項(xiàng)技術(shù)能夠靈活、精確而細(xì)致地呈現(xiàn)復(fù)雜交通場景中的物體，對(duì)于達(dá)到自動(dòng)駕駛的安全感知要求至關(guān)重要?！?/p>

Yu 在太平洋時(shí)間 6 月 18 日（星期日）上午 10 點(diǎn) 20 分舉行的 CVPR 端到端自動(dòng)駕駛研討會(huì)（https://opendrivelab.com/e2ead/cvpr23.html）以及太平洋時(shí)間 6 月 19 日（星期一）下午 4 點(diǎn)舉行的自動(dòng)駕駛視覺專題研討會(huì)（https://vcad.site/#/）上介紹NVIDIA Research 的獲獎(jiǎng)作品。

CVPR 研討會(huì)委員會(huì)表示，除了贏得該挑戰(zhàn)賽的第一名之外，NVIDIA 還榮獲本次活動(dòng)的創(chuàng)新獎(jiǎng)，以表彰其“在開發(fā)視角轉(zhuǎn)換模塊方面的新洞察”。與之前的方法相比，其“性能大幅提升”。

閱讀 NVIDIA 關(guān)于參賽作品的技術(shù)報(bào)告：

https://opendrivelab.com/e2ead/AD23Challenge/Track_3_NVOCC.pdf?=&linkId=100000205404832

通過 3D Occupancy 預(yù)測提升車輛安全性

雖然傳統(tǒng) 3D 目標(biāo)檢測（通常使用 3D 邊界框來檢測和呈現(xiàn)場景中的物體）是自動(dòng)駕駛汽車感知領(lǐng)域的一項(xiàng)核心任務(wù)，但它具有局限性。例如缺乏表現(xiàn)力，邊界框可能無法呈現(xiàn)足夠的真實(shí)世界信息。它還需要為所有可能的物體進(jìn)行分類標(biāo)準(zhǔn)和 ground truth 的定義，甚至包括在現(xiàn)實(shí)世界中很少見的物體，比如可能從卡車上掉落的道路危險(xiǎn)物。

相比之下，3D Occupancy 預(yù)測能夠?yàn)樽詣?dòng)駕駛汽車的規(guī)劃堆棧提供豐富信息，這對(duì)于端到端自動(dòng)駕駛是必不可少的。

軟件定義汽車可以不斷通過升級(jí)，以添加經(jīng)過證明和驗(yàn)證的新研發(fā)成果。研究成果（例如在 CVPR 上得到認(rèn)可的研究）所帶來的先進(jìn)軟件更新，正在推動(dòng)實(shí)現(xiàn)新功能和更安全的駕駛能力。

NVIDIA DRIVE 平臺(tái)可為汽車制造商帶來加速車輛生產(chǎn)的解決方案，為確保安全可靠的自動(dòng)駕駛汽車開發(fā)提供了從汽車到數(shù)據(jù)中心的全棧式硬件和軟件。

CVPR 挑戰(zhàn)賽介紹

CVPR 的 3D Occupancy 預(yù)測挑戰(zhàn)賽要求參賽者開發(fā)在推理過程中只使用攝像頭輸入數(shù)據(jù)的算法。參賽者可以使用開源數(shù)據(jù)集和模型，從而推動(dòng)對(duì)數(shù)據(jù)驅(qū)動(dòng)算法和大型模型的探索。主辦方提供了一個(gè)基準(zhǔn)沙盒，以便參賽者將最新的先進(jìn) 3D Occupancy 預(yù)測算法應(yīng)用于真實(shí)世界場景。

NVIDIA 參加 CVPR

NVIDIA 在 CVPR 上發(fā)表了近 30 篇論文和演講。在會(huì)上討論自動(dòng)駕駛的專家包括：

• Jose Alvarez 在端到端自動(dòng)駕駛研討會(huì)：新興任務(wù)和挑戰(zhàn)研討會(huì)上討論自動(dòng)駕駛汽車中的新 3D 感知挑戰(zhàn)；并在嵌入式視覺研討會(huì)上討論優(yōu)化用于實(shí)時(shí)推理的大型深度模型。

• NVIDIA 深度學(xué)習(xí)總監(jiān) Nikolai Smolyanskiy 在端到端自動(dòng)駕駛研討會(huì)：感知、預(yù)測、規(guī)劃和模擬上討論自動(dòng)駕駛汽車的實(shí)時(shí)交通預(yù)測。

• NVIDIA 杰出工程師 Robin Jenkin 在與 CVPR 同時(shí)舉行的 OmniCV 研討會(huì)上討論魚眼相機(jī)的圖像質(zhì)量。

• NVIDIA 自動(dòng)駕駛汽車研究部門的研究科學(xué)家 Xinshuo Weng 在自動(dòng)駕駛視覺主題研討會(huì)上討論用于自動(dòng)駕駛的視覺解決方案。

CVPR 于 6 月 18 日至 22 日舉行。查看議程上的其他講座并進(jìn)一步了解 NVIDIA 在 CVPR 上的情況：https://www.nvidia.com/en-us/events/cvpr/

專題圖片由 OccNet 和 Occ3D 提供。