NVIDIA 通過全新 Omniverse 庫、Cosmos 物理 AI 模型及 AI 計算基礎(chǔ)設(shè)施，為機(jī)器人領(lǐng)域開啟新篇章

·全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）庫支持大規(guī)模世界重建
·全新 NVIDIA Cosmos 模型支持世界生成與空間推理
·全新 NVIDIA RTX PRO Blackwell 服務(wù)器和 NVIDIA DGX Cloud 讓開發(fā)者能夠在任何地方運行需求嚴(yán)苛的仿真
·物理 AI 領(lǐng)先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數(shù)據(jù)生成技術(shù)

廠商供圖

SIGGRAPH——2025 年 8 月11日 ——NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫和 NVIDIA Cosmos? 世界基礎(chǔ)模型 (WFM)，加速機(jī)器人解決方案的開發(fā)和部署。

這些庫和模型由全新 NVIDIA RTX PRO? 服務(wù)器和 NVIDIA DGX? Cloud提供支持，可幫助開發(fā)者在任何地方開發(fā)物理精確的數(shù)字孿生，在仿真中捕捉和重建現(xiàn)實世界，生成用于訓(xùn)練物理 AI模型的合成數(shù)據(jù)，并構(gòu)建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術(shù)副總裁 Rev Lebaredian 表示：“計算機(jī)圖形與 AI 的融合，從根本上改變著機(jī)器人。通過將 AI 推理與物理精準(zhǔn)的可擴(kuò)展仿真相結(jié)合，我們正幫助開發(fā)者打造未來的機(jī)器人和智能汽車，這將為各行業(yè)帶來價值數(shù)萬億美元的改變?！?br />
全新 NVIDIA Omniverse 庫助力世界構(gòu)建應(yīng)用

全新 NVIDIA Omniverse 軟件開發(fā)套件 (SDK) 和庫現(xiàn)已推出，可用于構(gòu)建和部署工業(yè) AI和機(jī)器人開發(fā)仿真應(yīng)用。

●全新 Omniverse SDK推出了 MuJoCo (MJCF) 與通用場景描述 (OpenUSD)之間的數(shù)據(jù)互操作性，幫助超過 250,000 名 MJCF 機(jī)器人學(xué)習(xí)開發(fā)者無縫地模擬各平臺的機(jī)器人。
●全新 Omniverse NuRec 庫和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術(shù)，這種渲染技術(shù)可幫助開發(fā)者利用傳感器數(shù)據(jù)，在 3D 中截取、重建和模擬現(xiàn)實世界。
●NVIDIA Isaac Sim? 5.0和 NVIDIA Isaac Lab 2.2開源機(jī)器人仿真和學(xué)習(xí)框架現(xiàn)已在 GitHub 上提供。Isaac Sim現(xiàn)在包括 NuRec 神經(jīng)渲染和基于 OpenUSD 的全新機(jī)器人及傳感器模式，幫助機(jī)器人開發(fā)者縮小仿真與現(xiàn)實之間的差距。

Omniverse NuRec 渲染現(xiàn)已集成到超過 15 萬名開發(fā)者使用的領(lǐng)先開源模擬器 CARLA中。 智能汽車(AV) 工具鏈領(lǐng)先者 Foretellix正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強(qiáng)其可擴(kuò)展的合成數(shù)據(jù)生成能力，提供物理精準(zhǔn)的場景。 Voxel51的視覺和多模態(tài) AI 數(shù)據(jù)引擎 FiftyOne 支持 NuRec，幫助簡化重建的數(shù)據(jù)準(zhǔn)備工作。 FiftyOne 的客戶包括福特和保時捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫、Isaac Sim 和 Isaac Lab，加速其 AI 機(jī)器人開發(fā)。 Amazon Devices & Services 正在使用它們來支持新的制造解決方案。

Cosmos 推動機(jī)器人世界生成進(jìn)步

Cosmos WFM 下載量超過 200 萬次，可幫助開發(fā)者通過文本、圖像和視頻提示大規(guī)模生成各種用于訓(xùn)練機(jī)器人的數(shù)據(jù)。

NVIDIA 在 SIGGRAPH 大會上宣布的新模型在合成數(shù)據(jù)生成速度、模型精度、語言支持和控制方面取得了重大進(jìn)步：

●Cosmos Transfer-2即將發(fā)布，它簡化了提示并能從地面實況 3D 仿真場景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數(shù)據(jù)。
●Cosmos Transfer 的精簡版本將 70 個步驟的蒸餾過程簡化為一個步驟，開發(fā)者能夠以前所未有的速度在 NVIDIA RTX PRO 服務(wù)器上運行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規(guī)模模擬各種條件，加速物理 AI 訓(xùn)練。

Cosmos Reason 突破對世界的理解

自 OpenAI 的 CLIP 模型推出以來，視覺語言模型(VLM) 改變了物體和模式識別等計算機(jī)視覺任務(wù)。但是，它們尚未能夠解決多步驟任務(wù)，也無法處理模糊或新穎的體驗。

NVIDIA Cosmos Reason是一款面向物理 AI 和機(jī)器人開發(fā)的全新開源、可定制的 70 億參數(shù)推理 VLM，可讓機(jī)器人和視覺 AI 智能體像人類一樣推理，利用先驗知識、物理理解和常識，理解現(xiàn)實世界并付諸行動。

Cosmos Reason 可用于機(jī)器人開發(fā)和物理 AI 應(yīng)用，包括：

●數(shù)據(jù)管理與注釋，幫助開發(fā)者自動對海量、多樣化的訓(xùn)練數(shù)據(jù)集進(jìn)行高質(zhì)量管理與注釋。
●機(jī)器人規(guī)劃和推理，在機(jī)器人視覺語言行為 (VLA) 模型中，充當(dāng)有意識、有條理決策的大腦。Cosmos Reason 讓機(jī)器人能夠解讀環(huán)境，并在收到復(fù)雜指令時，將其分解為任務(wù)，并運用常識執(zhí)行這些任務(wù)，即使是在不熟悉的環(huán)境中。
●視頻分析 AI 智能體基于可用于視頻搜索和總結(jié)的 NVIDIA Blueprint 構(gòu)建，能夠從海量視頻數(shù)據(jù)中提取有價值的洞察并進(jìn)行根本原因分析。

NVIDIA 的機(jī)器人和 NVIDIA DRIVE? 團(tuán)隊正在使用 Cosmos Reason 進(jìn)行數(shù)據(jù)管理和篩選、注釋和 VLA 后訓(xùn)練。Uber 正使用它為輔助駕駛訓(xùn)練數(shù)據(jù)添加注釋和字幕。

Magna正在其城市配送平臺（City Delivery platform）中使用 Cosmos Reason 進(jìn)行開發(fā)。該平臺是一種完全自主、低成本的即時配送解決方案，旨在幫助車輛更快地適應(yīng)新城市。Cosmos Reason 為車輛的長期軌跡規(guī)劃器增加了對世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision正在采用 Cosmos Reason 實現(xiàn)城市和工業(yè)環(huán)境的自動化交通監(jiān)控，提高安全性，并提升視覺檢查能力。

全新 NVIDIA AI 基礎(chǔ)設(shè)施為任何地方的機(jī)器人開發(fā)工作負(fù)載提供支持

為幫助開發(fā)者充分利用這些先進(jìn)技術(shù)和軟件庫，NVIDIA 宣布推出專為極高要求工作負(fù)載而設(shè)計的 AI 基礎(chǔ)設(shè)施。

●NVIDIA RTX PRO Blackwell 服務(wù)器為訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真等所有機(jī)器人開發(fā)工作負(fù)載提供統(tǒng)一架構(gòu)。
●NVIDIA DGX Cloud現(xiàn)已在 Microsoft Azure Marketplace上提供，為 Omniverse 開發(fā)者提供一個完全托管的平臺，簡化從云端大規(guī)模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應(yīng)用，從而最大限度地減少基礎(chǔ)設(shè)施編排和管理。Accenture 和 Hexagon 是首批采用該平臺的行業(yè)領(lǐng)先者。

加速開發(fā)者生態(tài)系統(tǒng)

為了幫助機(jī)器人開發(fā)者和物理 AI 開發(fā)者推動 3D 和仿真技術(shù)的采用，NVIDIA 還宣布：

●OpenUSD 課程和認(rèn)證：滿足對通用場景描述專業(yè)知識的需求，由 OpenUSD 聯(lián)盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業(yè)領(lǐng)先者的支持。
●與 Lightwheel 開源協(xié)作，將機(jī)器人策略訓(xùn)練和評估框架集成到 NVIDIA Isaac Lab 中，具備并行強(qiáng)化學(xué)習(xí)訓(xùn)練功能，以及機(jī)器人操作和運動的基準(zhǔn)測試和仿真就緒資產(chǎn)。