在 COMPUTEX 2025 上，NVIDIA 宣布了機器人仿真參考應(yīng)用NVIDIA Isaac Sim和機器人學(xué)習(xí)框架NVIDIA Isaac Lab的更新，以加速各種形態(tài)機器人的開發(fā)。

本文將介紹 Isaac Sim 和 Isaac Lab 的更新（將于今年二季度推出），以及這些更新如何加速機器人工作流。

Isaac Sim 5.0 的更新

基于NVIDIA Omniverse和 OpenUSD 構(gòu)建的新版 Isaac Sim，將具備開源及可定制的特點，可以通過NVIDIA Launchable加快開發(fā)速度，并支持先進的合成數(shù)據(jù)生成流程以加速機器人仿真。

開源且完全可定制

即將在 GitHub 上推出的 Isaac Sim 5.0 將具備開源、完全可定制以及可擴展的特性，用戶能夠針對特定需求自定義仿真，比如針對合成數(shù)據(jù)生成 (SDG) 和軟件在環(huán) (Software-in-the-Loop) 測試。

如果需要對基礎(chǔ) Omniverse Kit 的其他企業(yè)級支持以及商業(yè)再分發(fā)權(quán)限，需要有 Omniverse Enterprise 許可證。

通過 NVIDIA Brev快速啟動開發(fā)項目

Isaac Sim 5.0 將可以通過 NVIDIA Brev 訪問，通過 NVIDIA Brev，開發(fā)者可以直接訪問主要云服務(wù)商的 NVIDIA GPU 實例。Brev 提供了快速啟動 Isaac Sim 的快捷方式，無需搭建基礎(chǔ)設(shè)施，并加速了迭代周期。

開發(fā)者可以選擇一鍵啟動部署，或通過選擇實例類型和端口配置來自定義部署。

先進的合成數(shù)據(jù)生成流程

通過仿真生成的合成數(shù)據(jù)可確保對真實世界物理特性（包括運動數(shù)據(jù)和環(huán)境交互）進行精確建模，因存在危險而難以在真實世界中采集的罕見場景，也可通過這種方式進行捕獲。

MobilityGen

高質(zhì)量的運動數(shù)據(jù)是訓(xùn)練更智能、適應(yīng)性更強的機器人的基礎(chǔ)，這些機器人能夠在真實環(huán)境中安全高效地運行。這需要逼真的運動動力學(xué)和豐富的 ground-truth 數(shù)據(jù)，以開發(fā)可在機器人和環(huán)境中泛化的適應(yīng)性強、高效的運動模型。

MobilityGen 將作為 Isaac Sim 中的擴展程序提供，用于創(chuàng)建多樣化的基于物理性質(zhì)的數(shù)據(jù)和感知模型訓(xùn)練數(shù)據(jù)，比如占據(jù)地圖、機器人狀態(tài)、位姿、速度和圖像等。它還將支持各種數(shù)據(jù)收集方法，如遠程操作、自動動作和可定制的路徑規(guī)劃。生成的數(shù)據(jù)可用于訓(xùn)練自主移動機器人、四足機器人和人形機器人。MobilityGen 的數(shù)據(jù)已用于訓(xùn)練端到端通用導(dǎo)航模型 X-Mobility。

將合成數(shù)據(jù)生成擴展到物理空間

物理 AI 使機器人、自動駕駛汽車和智能空間等系統(tǒng)能夠在工廠、倉庫和城市等真實環(huán)境中感知和行動。為了更好地從空間角度理解環(huán)境，開發(fā)者需要訓(xùn)練數(shù)據(jù)來準(zhǔn)確模擬這些復(fù)雜 3D 環(huán)境中的攝像頭所拍攝到的多個移動主體和物體。

Isaac Sim 中的新擴展程序可生成用于訓(xùn)練視覺 AI 模型的合成圖像和視頻數(shù)據(jù)，包括：

Isaacsim.Replicator.Agent：對人類和機器人在 3D 環(huán)境中執(zhí)行行走、坐下或舉起物體等動作進行仿真。

Isaacsim.Replicator.Object：生成合成數(shù)據(jù)集，用于使用可配置場景和域隨機化進行物體檢測。

Incident extension（將在 Isaac 5.0 中推出）：生成基于事件的數(shù)據(jù)，如火災(zāi)、泄漏或物體掉落。

Caption extension（將在 Isaac 5.0 中推出）：創(chuàng)建圖像 – 文本對 (image-caption pairs)，用于訓(xùn)練基于場景理解的視覺語言模型。

Cosmos 世界基礎(chǔ)模型

數(shù)據(jù)格式兼容性的優(yōu)化

NVIDIA Cosmos Transfer等世界基礎(chǔ)模型 (WFM) 可幫助將 Isaac Sim 生成的合成數(shù)據(jù)增強到模型訓(xùn)練所需的逼真程度。新的NVIDIA Omniverse Replicatorwriter 針對 Cosmos Transfer 輸入進行了優(yōu)化，使用戶能夠輕松生成并導(dǎo)出高質(zhì)量合成數(shù)據(jù)用于模型訓(xùn)練。它支持獨立工作流和腳本編輯器，還能無縫集成到現(xiàn)有的 Isaac Sim 合成數(shù)據(jù)生成腳本中。

增強型傳感器仿真

準(zhǔn)確的傳感器仿真對于在真實世界中成功部署機器人和計算機視覺應(yīng)用至關(guān)重要。Isaac Sim 將支持通用深度圖噪聲模型，使開發(fā)者能夠逼真地對立體攝像頭的噪聲特性進行仿真。此功能有助于生成噪聲模式接近真實傳感器數(shù)據(jù)的深度圖像，進一步提升合成輸出的真實感。

改進的執(zhí)行器模型

Isaac Sim 現(xiàn)在支持通過 OpenUSD 架構(gòu)定義的新關(guān)節(jié)摩擦模型，包括與 Hexagon Robotics 和 maxon 合作開發(fā)的執(zhí)行器和摩擦參數(shù)。這些模型利用制造商數(shù)據(jù)表中的真實世界數(shù)據(jù)，確保仿真中關(guān)節(jié)和電機的驅(qū)動行為與實際高度一致，從而縮小仿真與現(xiàn)實之間的差距。通過更準(zhǔn)確的執(zhí)行器建模，可以更好地訓(xùn)練強化學(xué)習(xí) (RL) 策略，實現(xiàn)從仿真到物理硬件的平滑過渡，并提升機器人在真實世界中性能的可靠性。

借助標(biāo)準(zhǔn)化 ROS 2 接口和

ZMQ 橋接器簡化機器人工作流

為了解決機器人技術(shù)長期面臨的挑戰(zhàn)，新的標(biāo)準(zhǔn)化 ROS 2 仿真接口通過引入一種一致的方法，通過 ROS 2 控制不同的仿真器。這個新的標(biāo)準(zhǔn)化接口由 Robotec.ai 牽頭，由 Gazebo、Open 3D Engine 和 NVIDIA 共同合作開發(fā)，通過為開發(fā)者提供一種一致的方法來控制 ROS 2 中的仿真，從而簡化集成過程。

ZMQ 橋接器是為 Isaac Sim 4.5 添加的擴展程序，可實現(xiàn)與 ROS 之外的外部應(yīng)用程序進行快速雙向通信。它支持軟件在環(huán)測試，并且可以擴展到邊緣設(shè)備上的硬件在環(huán)。用例包括流式傳輸攝像頭數(shù)據(jù)、傳輸 ground truth、發(fā)送控制指令及交換輔助數(shù)據(jù)等。

Isaac Lab 2.2 的更新

最新的 Isaac Lab 更新包括 GR00T N1 模型的基準(zhǔn)測試腳本、增強的合成運動數(shù)據(jù)生成、通過 Omniverse Fabric 加快加載速度，以及改進的吸盤夾具建模。

對 NVIDIA Isaac GR00T N 模型

進行基準(zhǔn)測試和評估

最新版本的 Isaac Lab 將支持用于對 Isaac GR00T N系列基礎(chǔ)模型進行閉環(huán)評估的環(huán)境基準(zhǔn)測試腳本。開發(fā)者可以加載這些預(yù)構(gòu)建的環(huán)境和工業(yè)任務(wù)，比如螺母澆注和管道分揀等，來運行閉環(huán)基準(zhǔn)測試。

除了新環(huán)境和基準(zhǔn)測試外，Isaac Lab 還將支持 LeRobot 數(shù)據(jù)格式，能夠?qū)saac GR00T Blueprint生成的合成數(shù)據(jù)轉(zhuǎn)換為合成操作運動生成 ，用于Isaac GR00T N1模型的后訓(xùn)練。然后，經(jīng)過訓(xùn)練的策略可以在 Isaac Sim 中針對多種 “假設(shè)” 場景進行進一步驗證。

使用 GR00T-Mimic 增強合成運動生成

Isaac Lab 2.1 中引入了雙手操作，Isaac Lab 2.2 將新增預(yù)構(gòu)建環(huán)境。NVIDIA 在 2025 年 GTC 大會上進行了有關(guān)演示。

這些專為數(shù)據(jù)采集設(shè)計的示例環(huán)境已預(yù)先配置在傅利葉 GR1 人形機器人上，便于收集合成運動數(shù)據(jù)以訓(xùn)練機器人策略模型。這些新的訓(xùn)練環(huán)境使用來自人形機器人視角的視覺輸入，同時結(jié)合機器人狀態(tài)信息（如 GR00T N 模型的關(guān)節(jié)位置數(shù)據(jù)）。

此外，還將提供樣例數(shù)據(jù)、腳本、提示詞及模型檢查點，用以增強來自 Cosmos-Transfer1 的合成數(shù)據(jù)。

提升使用體驗

新版本的 Isaac Lab 將使用NVIDIA Fabric。這個 Omniverse 庫支持高性能創(chuàng)建、修改和訪問場景數(shù)據(jù)，以及在網(wǎng)絡(luò)中的 CPU、GPU 和其他 Fabric 客戶端之間的高效通信場景數(shù)據(jù)。

Fabric 可對數(shù)據(jù)建立索引并提供查詢 API，使物理引擎和渲染系統(tǒng)等僅需訪問所需數(shù)據(jù)，而無需在每幀中遍歷整個場景。這將加快加載速度并提升可擴展性，支持物理仿真、傳感器數(shù)據(jù)采集等任務(wù)與用戶交互并行運行。

張量吸盤

表面夾具是機器人操作中的重要組件。物理上準(zhǔn)確的仿真和張量化訪問對于實現(xiàn)基于吸盤的強化學(xué)習(xí)任務(wù)和控制行為至關(guān)重要。

以前，表面夾具僅限于單個關(guān)節(jié)連接點，因此導(dǎo)致無法拾取多個物體。它還缺乏調(diào)整物理行為的靈活性，比如使用吸力吸引動物體，而只能在當(dāng)前位置靜態(tài)地抓取物體。此外，每個夾具必須針對每個環(huán)境單獨映射，而不是使用更簡化的張量化訪問方法。

現(xiàn)在，Isaac Sim 和 Isaac Lab 將允許用戶創(chuàng)建和配置可變形的表面夾具，能夠測量抓力并以張量化方式更新吸盤參數(shù)。

Isaac Sim 5.0 和 Isaac Lab 2.2 將于今年夏天推出。

生態(tài)系統(tǒng)采用情況

Agility Robotics、波士頓動力、傅利葉、Mentee Robotics、Neura Robotics 和小鵬機器人等公司正在使用 Isaac Sim 和 Isaac Lab 對其人形機器人進行仿真和驗證。Skild AI 正在使用該仿真框架開發(fā)通用機器人智能，General Robotics 正在將其集成到其機器人仿真平臺中。

此外，臺灣地區(qū)領(lǐng)先的電子和機器人制造商，比如威剛科技 (Adata)、研華科技 (Advantech)、臺達電子 (Delta Electronics)、Foxconn、Foxlink、所羅門 (Solomon)、達明機器人 (Techman) 和緯創(chuàng) (Wistron) 正在使用 Isaac Sim 和 Lab 開發(fā)下一代 AI 機器人。