NVIDIA 發(fā)布了機器人仿真參考應(yīng)用Isaac Sim和機器人學(xué)習(xí)框架Isaac Lab的開發(fā)者預(yù)覽版。開發(fā)者現(xiàn)在可以通過 GitHub 訪問早期版本，搶先體驗先進功能，用于在基于物理的仿真環(huán)境中構(gòu)建、訓(xùn)練和測試 AI 驅(qū)動的機器人。

Isaac Sim 的更新

Isaac Sim 是基于NVIDIA Omniverse構(gòu)建的參考應(yīng)用，使開發(fā)者能夠在基于物理的仿真環(huán)境中開發(fā)、仿真和測試 AI 驅(qū)動的機器人。Isaac Sim 5.0 的主要更新包括以下：

開源可用性

Isaac Sim 專用的擴展程序正在一個新的公共 Github 庫中開源，這將允許開發(fā)者構(gòu)建和運行 Isaac Sim。此資源庫將作為社區(qū)的早期訪問版，通過公共開發(fā)分支提供新功能的訪問權(quán)限。但是，Omniverse Kit 的組件仍是非開源的，目前不接受外部貢獻。

此公共開發(fā)分支將通過修復(fù)錯誤不斷更新。當所有組件通過 NVIDIA 的質(zhì)量保證標準后，將為官方 5.0 版本提供二進制發(fā)布版本。

先進的合成數(shù)據(jù)生成流程

Isaac Sim 引入了幾個新的擴展程序，進一步擴展了合成數(shù)據(jù)生成能力，以用于訓(xùn)練、測試和驗證 AI 驅(qū)動的機器人。

MobilityGen 將作為 Isaac Sim 中的擴展程序提供，支持生成各種基于物理的數(shù)據(jù)和感知模型訓(xùn)練數(shù)據(jù)，例如占用地圖、機器人狀態(tài)、位姿、速度和圖像。

Grasp 數(shù)據(jù)生成將作為新教程推出，其介紹的工作流支持自動生成抓取候選項，仿真每次抓取嘗試，并記錄用于訓(xùn)練和評估的成功指標。

新的NVIDIA Omniverse Replicatorwriter 針對NVIDIA Cosmos Transfer輸入進行了優(yōu)化，使開發(fā)者能夠輕松生成并導(dǎo)出高質(zhì)量合成數(shù)據(jù)。它支持獨立工作流和腳本編輯器，并可以無縫集成到現(xiàn)有的 Isaac Sim 合成數(shù)據(jù)生成腳本中。

Isaac Sim 中的新工作流現(xiàn)在可以支持大規(guī)模物理環(huán)境的合成數(shù)據(jù)生成。其中包括觸發(fā)多樣化真實場景的 Incident Simulation，以及自動標記事件數(shù)據(jù)以豐富訓(xùn)練數(shù)據(jù)集的 Caption Generation，二者共同增強了對用于視覺 AI 模型開發(fā)的場景的理解。此外，現(xiàn)有的 Actor 和 Object Simulation 工作流已經(jīng)過優(yōu)化，可進一步提高合成數(shù)據(jù)的質(zhì)量和效率。

新的機器人模型

Isaac Sim 5.0 引入新的機器人模型和導(dǎo)入工具，使仿真設(shè)置更快、更一致，并更接近真實世界行為。

新的機器人模式將 OpenUSD 中的機器人定義標準化，該模式已被 NVIDIA 的擴展機器人資產(chǎn)庫采用，其中包含新的機器人模型。機器人導(dǎo)入器現(xiàn)在使用新的機器人模式，新的 Robot Import Wizard 提供了一個簡化的分步流程，用于裝配和導(dǎo)入用于仿真的機器人。

Isaac Sim 5.0 中的新模式還支持通過 OpenUSD 模式定義的新關(guān)節(jié)摩擦模型，包括執(zhí)行器和摩擦參數(shù)，該模型由 NVIDIA 與?？怂箍岛?maxon 合作開發(fā)。這些模型能夠確保仿真中關(guān)節(jié)和電機的驅(qū)動更接近真實世界的系統(tǒng)動態(tài)，從而縮小仿真與現(xiàn)實之間的差距。

改進的傳感器仿真

Isaac Sim 在傳感器仿真方面取得了重大進步，使定義和測試傳感器模型變得比以往更容易，具有更高的真實感和可控性。

新的 OmniSensor USD 架構(gòu)將直接在 USD 中定義 RTX 傳感器，同時引入一種新的深度傳感器模型，這種模型能夠仿真出具有詳細差異偽影的逼真立體深度。此外，資產(chǎn)庫也得到擴展，包含了多種新的傳感器模型。

標準化的 ROS 2 接口和 ZMQ 橋接器

Isaac Sim 5.0 全面支持 ROS 2 Jazzy Jalisco，兼容標準化的 ROS 2 仿真接口，以及用于運動規(guī)劃工作流的更新版 MoveIt 2 教程。此外，新的 ZeroMQ 橋接器便于 Isaac Sim 與外部系統(tǒng)之間的通信，還可以作為開發(fā)自定義中間件橋接器的參考示例。

Isaac Lab 的更新

Isaac GR00T N1 部署在 Isaac Lab 中的傅利葉 GR1 人形機器人上，用于雙手操作任務(wù)

Isaac Lab 是專為訓(xùn)練和評估機器人學(xué)習(xí)策略而構(gòu)建的開源框架。Isaac Lab 2.2 的更新支持以下功能：

增強的合成動作生成：利用Isaac GR00T-Mimic的雙臂訓(xùn)練環(huán)境，放大收集的數(shù)據(jù)以用于機器人操作。

Omniverse Fabric 集成：Isaac Lab 現(xiàn)在支持 Fabric，可加快加載時間，更高效地執(zhí)行物理仿真和傳感器數(shù)據(jù)采集。

張量化吸盤夾具：提供靈活的動態(tài)抓取仿真，這對于準確的強化學(xué)習(xí)和操作任務(wù)至關(guān)重要。

開始開發(fā)

從 Github 下載源代碼，即可開始使用 Isaac Sim 5.0 和 Isaac Lab 2.2 的早期開發(fā)版。