埃森哲和 Foretellix 等企業(yè)組織正在通過高保真、可擴(kuò)展的傳感器仿真，加速開發(fā)新一代自動駕駛汽車和機器人。

生成式 AI 和基礎(chǔ)模型讓自主機器的能力能夠超越其所訓(xùn)練的操作設(shè)計領(lǐng)域。通過標(biāo)記化和大型語言及擴(kuò)散模型等新 AI 技術(shù)，開發(fā)者和研究人員現(xiàn)可解決自主性方面長期以來面臨的障礙。

這些更大型的模型需要大量多樣化的數(shù)據(jù)進(jìn)行訓(xùn)練、微調(diào)和驗證。但是，收集這些包括罕見的邊緣案例和潛在危險場景的數(shù)據(jù)可能非常困難，且需要大量資源，例如行人從夜間行駛的自動駕駛汽車（AV）前穿過，或工人進(jìn)入焊接機器人作業(yè)單元。

為了幫助開發(fā)者填補這一空白，NVIDIA Omniverse Cloud Sensor RTX API支持物理精確的傳感器仿真，從而大規(guī)模生成數(shù)據(jù)集。應(yīng)用程序編程接口（API）旨在支持自主運行中常用的傳感器，包括攝像頭、雷達(dá)和激光雷達(dá)，并可以無縫集成到現(xiàn)有工作流中，以加速各類自動駕駛汽車和機器人的開發(fā)。

Omniverse Sensor RTX API現(xiàn)已向部分開發(fā)者開放搶先體驗。埃森哲、Foretellix、MITRE 和 Mcity 等機構(gòu)正在通過特定領(lǐng)域的藍(lán)圖整合這些 API，為終端客戶提供部署新一代工業(yè)制造機器人和自動駕駛汽車所需的工具。

利用 Omniverse Blueprints 為工業(yè) AI 提供動力

在工廠和倉庫等復(fù)雜環(huán)境中，機器人必須被精心協(xié)調(diào)，以便與機器和工人一起安全有效地工作。所有這些移動部件在設(shè)計、測試或驗證操作時帶來了巨大的挑戰(zhàn)，同時還要避免造成干擾。

Mega 是一款Omniverse Blueprint，為企業(yè)提供 NVIDIA 加速計算、AI、NVIDIA Isaac 和 NVIDIA Omniverse 技術(shù)的參考架構(gòu)。企業(yè)可以使用 Mega 來開發(fā)數(shù)字孿生，并測試 AI 賦能的驅(qū)動機器人、攝像頭、設(shè)備等的機器人大腦，以大規(guī)模處理非常復(fù)雜的情境。

該藍(lán)圖集成了 Omniverse Sensor RTX，可讓機器人開發(fā)者同時渲染來自工廠各類型智能機器的傳感器數(shù)據(jù)，以進(jìn)行高保真、大規(guī)模的傳感器仿真。

借助在仿真中測試操作和工作流的能力，制造商可節(jié)省大量時間和投資，并以全新的方式提高效率。

國際供應(yīng)鏈解決方案公司 KION Group 和埃森哲正在使用 Mega 藍(lán)圖構(gòu)建 Omniverse 數(shù)字孿生，用作工業(yè) AI 機器人大腦的虛擬訓(xùn)練和測試環(huán)境，充分利用了智能攝像頭、叉車、機器人設(shè)備和數(shù)字人生成的數(shù)據(jù)。

機器人大腦通過 Omniverse Sensor RTX API 渲染的物理精確的傳感器數(shù)據(jù)感知仿真環(huán)境。它們利用這些數(shù)據(jù)來進(jìn)行規(guī)劃和行動，每一步都通過 Mega 精確跟蹤，并與數(shù)字孿生中所有資產(chǎn)的狀態(tài)和位置同步。借助這些功能，開發(fā)者可以在物理世界實施前，不斷構(gòu)建和測試新的布局。

推動自動駕駛汽車開發(fā)和驗證

自動駕駛汽車開發(fā)已有十多年的歷史，但在獲取正確的訓(xùn)練和驗證數(shù)據(jù)方面存在障礙，而且迭代周期緩慢，阻礙了大規(guī)模部署。

為了滿足傳感器數(shù)據(jù)的需求，眾多公司正在利用 NVIDIA Omniverse Blueprint 進(jìn)行自動駕駛汽車仿真，這是一個可實現(xiàn)物理精確傳感器仿真的參考工作流。該工作流使用 Omniverse Sensor RTX API 來渲染自動駕駛汽車開發(fā)和驗證所需的攝像頭、雷達(dá)和激光雷達(dá)數(shù)據(jù)。

自動駕駛汽車工具鏈提供商 Foretellix 已將該藍(lán)圖集成到其 Foretify AV 開發(fā)工具鏈中，將對象級仿真轉(zhuǎn)換為物理精確的傳感器仿真。

Foretify 工具鏈可以同時生成任意數(shù)量的測試場景。通過為這些場景添加傳感器仿真功能，F(xiàn)oretify 現(xiàn)可以讓開發(fā)者評估其自動駕駛汽車開發(fā)的完整性，并在實現(xiàn)大規(guī)模安全部署所需的保真度和規(guī)模水平上進(jìn)行訓(xùn)練和測試。此外，F(xiàn)oretellix 將使用新發(fā)布的 NVIDIA Cosmos 平臺，為各種認(rèn)證和驗證生成更為多樣化的場景。

Nuro 是一家擁有 L4 級自動駕駛技術(shù)的大型供應(yīng)商，正在使用 Foretify 工具鏈在部署前對其自動駕駛車輛進(jìn)行培訓(xùn)、測試和驗證。

此外，研究機構(gòu) MITRE 正在與密歇根大學(xué)的 Mcity 測試中心合作，以建立一個用于監(jiān)管的數(shù)字自動駕駛汽車驗證框架，包括 Mcity 占地 32 英畝的自動駕駛汽車試驗場的數(shù)字孿生。該項目使用自動駕駛汽車仿真藍(lán)圖，在虛擬環(huán)境中大規(guī)模渲染物理精確的傳感器數(shù)據(jù)，以提高訓(xùn)練效率。

得益于高保真度傳感器模擬的強大功能，機器人和自主化正成為未來的焦點。在 CES 訪問埃森哲和 Foretellix 展位，了解更多關(guān)于這些解決方案的詳情。