用于合成數(shù)據(jù)的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基礎(chǔ)模型，為通用人形機器人的開發(fā)注入強大動力。

未來二十年，預(yù)計人形機器人市場將達到 380 億美元。為了滿足這一巨大需求，尤其是工業(yè)和制造業(yè)領(lǐng)域的需求，NVIDIA 發(fā)布了一系列機器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架，以加速下一代人形機器人的開發(fā)進程。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 CES 上宣布 NVIDIA 正式推出用于合成運動生成的NVIDIA Isaac GR00T Blueprint，該 Blueprint 可幫助開發(fā)者生成海量的合成運動數(shù)據(jù)，以便通過模仿學(xué)習(xí)來訓(xùn)練人形機器人。

模仿學(xué)習(xí)是機器人學(xué)習(xí)的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能。在真實世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時，而且成本往往高得令人卻步。通過用于合成運動生成的 Isaac GR00T Blueprint，開發(fā)者只需少量人類示范，就能輕松生成海量的合成數(shù)據(jù)集。

首先通過 GR00T-Teleop 工作流，用戶可以借助 Apple Vision Pro 在數(shù)字孿生環(huán)境中捕捉人類動作。這些人類動作會被記錄下來作為金標(biāo)準，并在仿真環(huán)境中由機器人模仿學(xué)習(xí)。

然后，GR00T-Mimic 工作流會將捕捉到的人類示范擴展成更大的合成運動數(shù)據(jù)集。最后，基于NVIDIA Omniverse和NVIDIA Cosmos平臺構(gòu)建的 GR00T-Gen 工作流，會通過域隨機化和 3D 提升技術(shù)，指數(shù)級擴增這個數(shù)據(jù)集。

之后，該數(shù)據(jù)集可作為機器人策略的輸入，在NVIDIA Isaac Lab（一個用于機器人學(xué)習(xí)的開源模塊化框架）中，教會機器人如何在其環(huán)境中高效且安全地移動和互動。

世界基礎(chǔ)模型

縮小仿真與現(xiàn)實的差距

NVIDIA 在 CES 上還發(fā)布了 Cosmos 平臺，該平臺擁有一系列開放的預(yù)訓(xùn)練世界基礎(chǔ)模型，專為生成具有物理感知的視頻和物理 AI 開發(fā)所需的世界狀態(tài)而設(shè)計。它包含自回歸模型和擴散模型，有各種模型尺寸并適用于多種輸入數(shù)據(jù)格式。這些模型基于 1800 萬億個數(shù)據(jù)單元進行訓(xùn)練，其中包括 200 萬小時的自動駕駛、機器人、無人機拍攝的視頻以及合成數(shù)據(jù)。

除了幫助生成大型數(shù)據(jù)集外，Cosmos 還能通過將圖像從 3D 擴展到真實場景，縮小仿真與現(xiàn)實之間的差距。將 Omniverse（一個用于構(gòu)建 3D 應(yīng)用程序和服務(wù)的應(yīng)用程序編程接口和微服務(wù)開發(fā)平臺）與 Cosmos 相結(jié)合至關(guān)重要，通過其高度可控、物理精確的仿真提供關(guān)鍵保障，有助于最大限度地減少世界模型常見的幻覺問題。

不斷擴展的生態(tài)系統(tǒng)

NVIDIA Isaac GR00T、Omniverse 和 Cosmos 正在助力物理 AI 和人形機器人創(chuàng)新實現(xiàn)巨大飛躍。包括波士頓動力和 Figure 在內(nèi)的主要機器人公司已開始采用 Isaac GR00T，并展示了相關(guān)成果。

人形機器人的軟件、硬件制造商以及機器人廠商可以申請?zhí)崆凹尤?NVIDIA 的人形機器人開發(fā)者計劃。