NVIDIA 研究團(tuán)隊(duì)取得突破性成果，展示了 Omniverse 數(shù)字孿生技術(shù)在仿真中重建真實(shí)場(chǎng)景的強(qiáng)大功能。

自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)和驗(yàn)證需要能夠在仿真中復(fù)制真實(shí)場(chǎng)景。

在 GTC 大會(huì)上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生展示了適用于 NVIDIA DRIVE Sim 的新型 AI 工具，這些工具可以準(zhǔn)確重建和修改實(shí)際駕駛場(chǎng)景。這些工具由 NVIDIA 研究團(tuán)隊(duì)利用 NVIDIA Omniverse 平臺(tái)和 NVIDIA DRIVE Map 等技術(shù)取得的突破性成果提供支持。

黃仁勛先生演示了這些方法，展示開(kāi)發(fā)者如何在快速迭代中輕松測(cè)試多個(gè)場(chǎng)景：

在仿真中重建任何場(chǎng)景后，這些場(chǎng)景便可用作許多不同變化的基礎(chǔ)，包括改變迎面而來(lái)的車(chē)輛的軌跡，或在駕駛路徑上增加障礙物，從而有助于開(kāi)發(fā)者改進(jìn) AI 驅(qū)動(dòng)。

然而，在仿真中重建真實(shí)駕駛場(chǎng)景并從中生成真實(shí)的數(shù)據(jù)是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程。這需要技術(shù)經(jīng)驗(yàn)豐富的工程師和藝術(shù)家，但即便如此，也很難做到。

NVIDIA 已實(shí)施兩種基于 AI 的方法來(lái)無(wú)縫執(zhí)行此過(guò)程：虛擬重建和神經(jīng)重建。第一種方法復(fù)制真實(shí)場(chǎng)景，作為完全合成的 3D 場(chǎng)景，第二種方法則使用神經(jīng)仿真增強(qiáng)真實(shí)的傳感器數(shù)據(jù)。

這兩種方法不僅能夠重現(xiàn)單個(gè)場(chǎng)景，還能夠?qū)崿F(xiàn)擴(kuò)展，生成許多富有挑戰(zhàn)性的新場(chǎng)景。這種功能加速了持續(xù)的自動(dòng)駕駛汽車(chē)訓(xùn)練、測(cè)試和驗(yàn)證工作流。

虛擬重建

在上面的主題演講視頻中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 總部周?chē)恼w駕駛環(huán)境和各個(gè)場(chǎng)景。

借助 DRIVE Map，開(kāi)發(fā)者可以在 Omniverse 中查看道路網(wǎng)絡(luò)的數(shù)字孿生。通過(guò)使用建立在 Omniverse 上的工具，詳細(xì)的地圖可以轉(zhuǎn)換為能夠與 NVIDIA DRIVE Sim 一起使用的可駕駛仿真環(huán)境。

利用重建的仿真環(huán)境，開(kāi)發(fā)者可以使用在真實(shí)駕駛中獲得的攝像頭、激光雷達(dá)和車(chē)輛數(shù)據(jù)來(lái)重現(xiàn)事件，例如在交叉路口發(fā)生的驚險(xiǎn)一刻或穿越施工區(qū)。

該平臺(tái)的 AI 幫助重建場(chǎng)景。首先，對(duì)于每個(gè)追蹤的物體，AI 會(huì)查看攝像頭圖像，并從 DRIVE Sim 目錄中找到極其相似的 3D 素材，以及與視頻中物體顏色非常接近的顏色。

最后，重現(xiàn)追蹤物體的實(shí)際路徑;然而，由于存在遮擋，通常會(huì)存在空白。在這種情況下，基于 AI 的交通模型會(huì)應(yīng)用于追蹤的物體，以預(yù)測(cè)其運(yùn)行情況并填補(bǔ)其軌跡中的空白。

使用真實(shí)駕駛中的攝像頭和激光雷達(dá)數(shù)據(jù)以及 AI 重建場(chǎng)景

借助虛擬重建，開(kāi)發(fā)者能夠發(fā)現(xiàn)具有挑戰(zhàn)性的潛在情況，通過(guò)基于物理傳感器和 AI 行為模型生成的高保真數(shù)據(jù)來(lái)訓(xùn)練和驗(yàn)證自動(dòng)駕駛汽車(chē)系統(tǒng)，從而創(chuàng)建許多新場(chǎng)景。場(chǎng)景中的數(shù)據(jù)也可以訓(xùn)練行為模型。

使用 AI 從原場(chǎng)景中生成看似合理、具有挑戰(zhàn)性的場(chǎng)景

神經(jīng)重建

另一種方法依靠的是神經(jīng)仿真，而不是以合成方式生成場(chǎng)景，首先使用真實(shí)的傳感器數(shù)據(jù)，然后再進(jìn)行修改。

傳感器重放(回放錄制的傳感器數(shù)據(jù)以測(cè)試自動(dòng)駕駛汽車(chē)系統(tǒng)的性能的過(guò)程)是自動(dòng)駕駛汽車(chē)開(kāi)發(fā)的主要內(nèi)容。這是一個(gè)開(kāi)環(huán)過(guò)程，意味著自動(dòng)駕駛汽車(chē)棧的決策不會(huì)影響世界，因?yàn)樗袛?shù)據(jù)都是預(yù)先錄制的。

NVIDIA 研究團(tuán)隊(duì)提供的神經(jīng)重建方法的預(yù)覽將這些錄制的數(shù)據(jù)轉(zhuǎn)變?yōu)橐粋€(gè)完全反應(yīng)式的可修改環(huán)境，就像在演示中一樣，最初錄制的貨車(chē)駛過(guò)時(shí)，汽車(chē)可以重新設(shè)定為右轉(zhuǎn)彎。這種革命性的方法可以實(shí)現(xiàn)在自動(dòng)駕駛棧與駕駛環(huán)境之間進(jìn)行閉環(huán)測(cè)試和完全交互。

此過(guò)程從錄制的駕駛數(shù)據(jù)開(kāi)始。AI 可識(shí)別場(chǎng)景中的動(dòng)態(tài)物體，并將其移除，以創(chuàng)建可從新視角呈現(xiàn)的 3D 環(huán)境精確副本。然后，將動(dòng)態(tài)物體重新融入 3D 場(chǎng)景，呈現(xiàn)基于 AI 的逼真行為和外貌，并考慮照明和陰影。

使用 AI 基于預(yù)先錄制的駕駛數(shù)據(jù)創(chuàng)建 3D 交互式環(huán)境

然后，自動(dòng)駕駛系統(tǒng)會(huì)在這個(gè)虛擬世界中行駛，且場(chǎng)景會(huì)做出相應(yīng)的反應(yīng)。您可以通過(guò)增強(qiáng)現(xiàn)實(shí)使場(chǎng)景變得更加復(fù)雜，可以插入其他虛擬物體、車(chē)輛和行人，使渲染結(jié)果看起來(lái)就像是真實(shí)場(chǎng)景的一部分，并且可以與環(huán)境進(jìn)行物理交互。

車(chē)輛上的每一個(gè)傳感器(包括攝像頭和激光雷達(dá))都可以使用 AI 在場(chǎng)景中進(jìn)行仿真。

在 Omniverse 中，可以在駕駛環(huán)境中插入虛擬物體和車(chē)輛。針對(duì)場(chǎng)景生成了人工傳感器數(shù)據(jù)(包括激光雷達(dá))

充滿可能性的虛擬世界

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專(zhuān)業(yè)知識(shí)驅(qū)動(dòng)。

作為一個(gè)模塊化平臺(tái)，DRIVE Sim 在確定性仿真的基礎(chǔ)上支持這些功能。它提供車(chē)輛動(dòng)態(tài)、基于 AI 的交通模型、場(chǎng)景工具和全面的 SDK，以構(gòu)建所需的任何工具。

通過(guò)這兩種強(qiáng)大新穎的 AI 方法，開(kāi)發(fā)者可以輕松地從現(xiàn)實(shí)世界遷移到虛擬世界，從而加快自動(dòng)駕駛的開(kāi)發(fā)和部署。

原文標(biāo)題：GTC22 | NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推動(dòng)自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅