本文是洞悉 Omniverse系列文章?！岸聪?Omniverse”重點(diǎn)介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用OpenUSD和NVIDIA Omniverse的最新進(jìn)展從根本上變革他們的工作流程。

開源已成為推動(dòng)機(jī)器人和自主系統(tǒng)創(chuàng)新的關(guān)鍵因素。通過提供從仿真框架到 AI 模型等關(guān)鍵基礎(chǔ)設(shè)施的訪問權(quán)限，NVIDIA 正在推動(dòng)協(xié)作式開發(fā)，加速構(gòu)建更安全、更強(qiáng)大的自主系統(tǒng)。

在 1 月初的 CES 上，NVIDIA 推出了一套全新的開放物理 AI模型和框架，旨在加速人形機(jī)器人、智能汽車和其他物理 AI 具身系統(tǒng)的開發(fā)。這些工具覆蓋了機(jī)器人開發(fā)的整個(gè)生命周期——從高保真世界仿真和合成數(shù)據(jù)生成，到云原生編排和邊緣部署——為開發(fā)者提供了一套模塊化工具包，助力構(gòu)建能夠在現(xiàn)實(shí)世界中進(jìn)行推理、學(xué)習(xí)和行動(dòng)的自主系統(tǒng)。

OpenUSD提供了一個(gè)通用框架，對(duì)這些物理 AI 工具間的 3D 數(shù)據(jù)在共享方式進(jìn)行了標(biāo)準(zhǔn)化，使開發(fā)者能夠構(gòu)建精確的數(shù)字孿生，并實(shí)現(xiàn)從仿真到部署的各個(gè)環(huán)節(jié)中實(shí)現(xiàn)無縫復(fù)用?；?OpenUSD 構(gòu)建的NVIDIA Omniverse庫作為 ground?truth 仿真數(shù)據(jù)源，為整個(gè)技術(shù)棧提供支持。

從實(shí)驗(yàn)室到展廳

在 CES 2026 上，開發(fā)者們將 NVIDIA 物理 AI 堆棧從實(shí)驗(yàn)室?guī)У秸箯d，首次展示了從重型設(shè)備、工廠助手到社交和服務(wù)機(jī)器人的各類設(shè)備。

該堆棧整合了NVIDIA Cosmos世界模型；NVIDIA Isaac 技術(shù)，包括用于策略評(píng)估的全新Isaac Lab-Arena開源框架；用于智能汽車的NVIDIA Alpamayo開放 AI 模型、仿真框架和物理 AI 數(shù)據(jù)集組合；以及用于跨計(jì)算環(huán)境協(xié)調(diào)訓(xùn)練的NVIDIA OSMO框架。

Caterpillar 的 Cat AI 助手搭載面向代理式 AI 的NVIDIA Nemotron開放模型，并運(yùn)行于 NVIDIA Jetson Thor 邊緣 AI 模組上，將自然語言交互直接引入重型車輛駕駛室。操作員可以像使用“Hey Cat”式語音指令獲取分步指導(dǎo)，還可以通過語音調(diào)整安全參數(shù)。

在幕后，Caterpillar利用 Omniverse 庫構(gòu)建工廠和作業(yè)現(xiàn)場(chǎng)的數(shù)字孿生，以幫助模擬布局、交通流線和多機(jī)工作流。在變更部署到作業(yè)現(xiàn)場(chǎng)之前，這些洞察會(huì)被反饋到設(shè)備和車隊(duì)中，從而使 AI 輔助作業(yè)更加安全高效。

LEM Surgical展示了其 Dynamis 機(jī)器人手術(shù)系統(tǒng)，該系統(tǒng)已獲得 FDA 批準(zhǔn)，并已在脊柱手術(shù)中投入常規(guī)臨床應(yīng)用。新一代系統(tǒng)采用 NVIDIA Jetson AGX Thor 進(jìn)行計(jì)算，NVIDIA Holoscan進(jìn)行實(shí)時(shí)傳感器處理，并借助 NVIDIA Isaac for Healthcare 來訓(xùn)練其自主機(jī)械臂。

LEM Surgical 還采用了 NVIDIA Cosmos Transfer (一個(gè)開放且完全可定制的世界模型，能夠生成基于物理學(xué)的合成數(shù)據(jù)) 來生成合成訓(xùn)練數(shù)據(jù)，并使用 NVIDIA Isaac Sim 框架進(jìn)行數(shù)字孿生仿真。Dynamis 系統(tǒng)是一款專為硬組織手術(shù)設(shè)計(jì)的雙臂人形手術(shù)機(jī)器人，它能夠模擬人類外科醫(yī)生的靈巧操作，并以更高的精度完成復(fù)雜的脊柱手術(shù)，從而減輕外科醫(yī)生和手術(shù)助手的體力負(fù)擔(dān)。

NEURA Robotics正在基于 NVIDIA 全套堆棧構(gòu)建認(rèn)知機(jī)器人，利用Isaac Sim和Isaac Lab，在基于 OpenUSD 的數(shù)字孿生中訓(xùn)練其 4NE1 人形機(jī)器人和 MiPA 服務(wù)機(jī)器人，然后再將其部署到家庭和工作場(chǎng)所。該公司還使用 NVIDIA Isaac GR00T-Mimic 對(duì)其平臺(tái)的Isaac GR00T 基礎(chǔ)模型進(jìn)行后訓(xùn)練。

此外，NEURA Robotics 正在與 SAP 和 NVIDIA 協(xié)作，將 SAP 的 Joule 智能體集成到其機(jī)器人中，通過 Mega NVIDIA Omniverse Blueprint 在復(fù)雜、真實(shí)的運(yùn)行場(chǎng)景中模擬和改進(jìn)機(jī)器人行為，然后再將這些智能體和行為部署到公司的 Neuraverse 生態(tài)系統(tǒng)以及現(xiàn)實(shí)世界的機(jī)隊(duì)中。

智元機(jī)器人使用 NVIDIA Cosmos Predict 2 作為其 Genie Envisioner (GE-Sim) 平臺(tái)的世界建模基礎(chǔ)，使該平臺(tái)能夠基于強(qiáng)大的視覺和物理先驗(yàn)知識(shí)，生成受動(dòng)作控制的視頻。通過將該數(shù)據(jù)與 Isaac Sim 和 Isaac Lab 相結(jié)合，并利用智元機(jī)器人自身的數(shù)據(jù)進(jìn)行后訓(xùn)練，使得在 Genie Envisioner 中開發(fā)的策略能夠更可靠地遷移到 Genie2 人形機(jī)器人和 Jetson Thor 驅(qū)動(dòng)的緊湊型桌面機(jī)器人。

Intbot正使用 NVIDIA Cosmos Reason 2 開放模型為其社交機(jī)器人賦予現(xiàn)實(shí)世界的“第六感”——通過該模型的推理能力，識(shí)別超越簡(jiǎn)單腳本任務(wù)的簡(jiǎn)單社交信號(hào)和安全情境。在其Cosmos Cookbook中，Intbot 展示了推理視覺語言模型如何協(xié)助機(jī)器人判斷何時(shí)開口，并實(shí)現(xiàn)更自然的人機(jī)交互。

機(jī)器人開發(fā)者如何利用新的工具包和框架

NVIDIA 近期推出了基于 Isaac Lab 的人形機(jī)器人操作引擎 Agile，該引擎整合了完整的仿真到現(xiàn)實(shí)驗(yàn)證工作流，可在宇樹 G1 和?逐際動(dòng)力 TRON 等平臺(tái)上訓(xùn)練穩(wěn)健的強(qiáng)化學(xué)習(xí)策略。

機(jī)器人開發(fā)者可以利用 Agile 內(nèi)置的任務(wù)配置、用于決策的馬爾可夫決策過程 (Markov Decision Process) 數(shù)學(xué)模型、訓(xùn)練實(shí)用工具及確定性評(píng)估工具來調(diào)整策略。然后，開發(fā)者可在 Isaac Lab 中對(duì)這些策略進(jìn)行壓力測(cè)試，并將運(yùn)動(dòng)控制與全身行為更可靠、更高效地轉(zhuǎn)移至真實(shí)世界中的機(jī)器人。

Hugging Face 與 NVIDIA 正通過將 NVIDIA Isaac GR00T N 系列模型及仿真框架整合至LeRobot 生態(tài)系統(tǒng)，實(shí)現(xiàn)雙方機(jī)器人社區(qū)的融合。開發(fā)者現(xiàn)可直接在 LeRobot 平臺(tái)訪問 Isaac GR00T N1.6 模型與 Isaac Lab-Arena，從而簡(jiǎn)化策略訓(xùn)練與評(píng)估流程。

此外，Hugging Face 的開源 Reachy 2 人形機(jī)器人已經(jīng)與 NVIDIA Jetson Thor 實(shí)現(xiàn)了全面互操作，可以直接部署高級(jí)視覺語言動(dòng)作 (VLA) 模型，從而實(shí)現(xiàn)強(qiáng)大的現(xiàn)實(shí)世界性能。

ROBOTIS是一家領(lǐng)先的智能伺服電機(jī)、工業(yè)執(zhí)行器、機(jī)械臂、開源人形機(jī)器人平臺(tái)和教育機(jī)器人套件開發(fā)商，該公司利用 NVIDIA Isaac 技術(shù)構(gòu)建了一個(gè)開源的仿真到現(xiàn)實(shí)的工作流。該工作流首先在 Isaac Sim 中生成高保真數(shù)據(jù)，然后使用 GR00T-Mimic 進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)展訓(xùn)練集，最后對(duì)基于 VLA 的 Isaac GR00T N 模型進(jìn)行微調(diào)，該模型可直接部署至硬件設(shè)備——從而加速?gòu)姆抡姝h(huán)境向穩(wěn)健實(shí)際任務(wù)的遷移。