NVIDIA DGX、基于NVIDIA RTX PRO服務器的Omniverse和Cosmos，以及Jetson AGX Thor，正全面加速從人形機器人到機器人工廠等基于物理 AI 的系統(tǒng)的開發(fā)，貫穿訓練、仿真和推理全流程。

物理 AI，即AI 在機器人、視覺 AI 智能體、倉庫與工廠等在現(xiàn)實世界中運行的自主系統(tǒng)中的具體體現(xiàn)，正迎來突破性時刻?。

為助力開發(fā)者在交通運輸、工業(yè)制造、物流及機器人等領(lǐng)域構(gòu)建高效的物理 AI 系統(tǒng)，NVIDIA 推出了三臺計算機解決方案，全面推動物理 AI 在訓練、仿真與推理領(lǐng)域的進階發(fā)展。

NVIDIA 的三臺計算機分別是什么？

NVIDIA 的三臺計算機解決方案由以下三個核心構(gòu)成：用于 AI 訓練的?NVIDIA DGXAI超級計算機；用于仿真的基于NVIDIA RTX PRO服務器的NVIDIA Omniverse和Cosmos；部署在機器人上，用于推理的NVIDIA Jetson AGX Thor。這一架構(gòu)實現(xiàn)了物理 AI 從模型訓練到部署的全生命周期開發(fā)閉環(huán)。

什么是物理 AI，為什么它很重要？

與在數(shù)字環(huán)境中運行的代理式 AI 不同，物理 AI 是一種端到端模型，能夠全方面感知物理世界、執(zhí)行實時推理、主動交互并自主導航。

60 年來，“軟件 1.0”（由人類程序員編寫的串行代碼）在 CPU 驅(qū)動的通用計算機上運行。

隨后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導下，開發(fā)了革命性的圖像分類深度學習模型 AlexNet，在 ImageNet 計算機圖像識別大賽中獲勝。

這標志著該行業(yè)與 AI 的首次相遇。機器學習的突破，即在 GPU 上運行神經(jīng)網(wǎng)絡，正式開啟了軟件 2.0 時代。

如今，軟件自己就可以編寫軟件。全球的計算工作負載正從 CPU 上的通用計算轉(zhuǎn)向 GPU 上的加速計算，這一轉(zhuǎn)變早已讓摩爾定律難以企及。

借助生成式 AI，經(jīng)過訓練的多模態(tài) transformer 和擴散模型已經(jīng)可以生成響應。

大語言模型本質(zhì)上是一維的，能夠以字母或單詞等模式預測下一個 token。而圖像和視頻生成模型則是二維的，能夠預測下一個像素?。

這些模型都無法理解或解釋三維世界。而這就是物理 AI 大顯身手之處。

機器人是一種能夠?感知、推理、規(guī)劃、行動和學習?的系統(tǒng)。通常，人們把自主移動機器人（AMR）、機械臂或人形機器人看作機器人，但機器人體現(xiàn)類型還有很多。

在不久的將來，任何能夠移動或監(jiān)測移動物體的實體都可以成為自主機器系統(tǒng)。這些系統(tǒng)將具備感知環(huán)境并作出響應的能力。

從自動駕駛汽車、手術(shù)室，到數(shù)據(jù)中心、倉庫、工廠，甚至交通控制系統(tǒng)以及整個智慧城市，一切都將從由人工操作的靜態(tài)系統(tǒng)轉(zhuǎn)變?yōu)橛晌锢?AI 驅(qū)動的自主交互系統(tǒng)。

為什么人形機器人是下一個前沿領(lǐng)域？

人形機器人是一種理想的通用機器人形態(tài)，因為它們能在為人類設計的環(huán)境中高效運作，同時在部署和操作過程中只需極少的調(diào)整。

據(jù)高盛的數(shù)據(jù)，到 2035 年，全球人形機器人市場規(guī)模預計將達到 380 億美元，相比近兩年前預測的約 60 億美元增長了六倍多。

全球的研究人員和開發(fā)者正競相制造下一代機器人。

NVIDIA 的三臺計算機如何協(xié)同助力機器人技術(shù)？

機器人通過三種不同的計算智能學習理解物理世界，每一個都在機器人開發(fā)流程中扮演著關(guān)鍵角色。

訓練計算機：NVIDIA DGX

想要教會機器人理解自然語言、識別物體并規(guī)劃復雜動作等，這類訓練需要的龐大計算能力，只有依靠專門的超級計算基礎(chǔ)設施才能實現(xiàn)，因此用于訓練的計算機至關(guān)重要。

開發(fā)者可以在 NVIDIA DGX 平臺上預訓練自己的機器人基礎(chǔ)模型，也可以把 NVIDIA Cosmos 開放世界基礎(chǔ)模型或NVIDIA Isaac GR00T人形機器人基礎(chǔ)模型用作基準模型，在此基礎(chǔ)上對新的機器人策略進行后訓練。

仿真與合成數(shù)據(jù)生成平臺：

基于 NVIDIA RTX PRO 服務器的Omniverse 和 Cosmos

開發(fā)通用機器人的最大挑戰(zhàn)在于數(shù)據(jù)鴻溝。對于大語言模型研究人員，他們有幸可以使用海量互聯(lián)網(wǎng)數(shù)據(jù)用于預訓練，但是物理 AI 領(lǐng)域卻沒有這類資源。

真實世界中的機器人數(shù)據(jù)不僅數(shù)量有限、獲取成本高昂，且收集難度極大，尤其是在應對超出預訓練覆蓋范圍的特殊場景時。同時，數(shù)據(jù)收集工作耗時耗力，這使得其成本極高，且難以實現(xiàn)規(guī)?；瘮U展。

開發(fā)者可利用 Omniverse 和 Cosmos 生成海量基于物理特性的多樣化合成數(shù)據(jù)，例如 2D 或 3D 圖像、分割掩碼、深度圖或運動軌跡數(shù)據(jù)，為模型訓練和性能優(yōu)化奠定基礎(chǔ)。

為確保機器人模型在實際部署前的?安全性與高性能?，開發(fā)者必須在數(shù)字孿生環(huán)境中進行仿真測試?；?Omniverse 構(gòu)建的、運行在 NVIDIA RTX PRO 服務器上的NVIDIA Isaac Sim，使開發(fā)者能夠在零風險的仿真環(huán)境中驗證其機器人策略。在此環(huán)境中，機器人可以反復嘗試執(zhí)行任務并從錯誤中學習，而不會危及人類安全或造成昂貴的硬件損壞。

研究人員和開發(fā)者還可以使用NVIDIA Isaac Lab，這是一個推動機器人強化學習與模仿學習的開源機器人學習框架?，有助于提升機器人策略的訓練效率?。

運行時計算平臺：NVIDIA Jetson Thor

要實現(xiàn)安全、高效的部署，物理 AI 系統(tǒng)需要一臺能支持機器人實時自主運行的計算機。該計算機必須具備在毫秒級時間內(nèi)處理傳感器數(shù)據(jù)、完成推理、規(guī)劃并執(zhí)行動作的強大算力。

機器人搭載的推理計算機需要運行多模態(tài) AI 推理模型，才能讓機器人與人類及物理世界進行實時、智能的交互。Jetson AGX Thor 設計緊湊，不僅能滿足機載 AI 性能計算和能效需求，還支持控制策略、視覺和語言處理等多種模型的協(xié)同運行。

數(shù)字孿生如何加速機器人開發(fā)？

機器人設施是所有這些技術(shù)整合的產(chǎn)物。

Foxconn 等制造企業(yè)以及 Amazon Robotics 等物流企業(yè)，能夠協(xié)調(diào)多組自主機器人與人類員工共同協(xié)作，并通過數(shù)百或數(shù)千個傳感器監(jiān)測工廠運營。

這些自主倉庫、廠房和工廠將配備數(shù)字孿生系統(tǒng)，可用于布局規(guī)劃與優(yōu)化、操作仿真，最重要的是，可以用于機器人集群的軟件在環(huán)測試。

基于 Omniverse 平臺構(gòu)建的Mega，是用于工廠數(shù)字孿生的藍圖。它能讓工業(yè)企業(yè)在將機器人集群部署到實體工廠前，先在仿真環(huán)境中對其進行測試和優(yōu)化。這有助于確保機器人實現(xiàn)無縫集成、發(fā)揮最佳性能，同時將干擾降至最低。

Mega 允許開發(fā)者把虛擬機器人及其 AI 模型或機器人的大腦放入他們的工廠數(shù)字孿生中。數(shù)字孿生中的機器人通過感知環(huán)境、決策推理、規(guī)劃下一步動作，并最終完成預定動作來執(zhí)行各種任務。

這些動作通過 Omniverse 中的世界仿真器，在數(shù)字環(huán)境中進行仿真。其結(jié)果再通過 Omniverse 傳感器仿真被機器人大腦感知。

通過傳感器仿真，機器人大腦決定下一個動作，循環(huán)繼續(xù)進行。與此同時，Mega 會精確追蹤工廠數(shù)字孿生體內(nèi)所有元素的實時狀態(tài)和位置。

這種先進的軟件在環(huán)測試方法使工業(yè)企業(yè)能夠在 Omniverse 數(shù)字孿生的安全范圍內(nèi)來仿真和驗證更改，幫助他們預測和解決潛在問題，以在實際部署過程中降低風險和成本。

哪些企業(yè)正在使用 NVIDIA 的三臺計算機解決方案？

NVIDIA 通過三臺計算機解決方案，加速全球機器人開發(fā)者和機器人基礎(chǔ)模型構(gòu)建者的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速庫和 AI 模型以及NVIDIA Jetson Orin，泰瑞達旗下的優(yōu)傲機器人公司構(gòu)建了 UR AI 加速器，這是一個即用型硬件和軟件工具包，使協(xié)作機器人開發(fā)者能夠開發(fā)應用程序、加速開發(fā)，并縮短 AI 產(chǎn)品的上市時間。

RGo Robotics 使用NVIDIA Isaac Perceptor來幫助其 wheel.me 自主移動機器人隨時隨地工作，并通過賦予它們類似人類的感知能力和視覺空間信息，來做出明智的決策。

1X Technologies、Agility Robotics、Apptronik、波士頓動力、傅利葉、銀河通用、Mentee、Sanctuary AI、宇樹科技和小鵬機器人等人形機器人制造商正在采用 NVIDIA 的機器人開發(fā)平臺。

波士頓動力正在使用 Isaac Sim 和 Isaac Lab 制造四足機器人，并使用 Jetson Thor 制作人形機器人，以提高人類生產(chǎn)力，解決勞動力短缺問題，并優(yōu)先解決倉庫的安全問題。

傅利葉正在利用 Isaac Sim 來訓練人形機器人，使其能夠在科學研究、醫(yī)療和制造業(yè)等需要高水平互動和適應性的領(lǐng)域中運行。

利用 Isaac Lab 和 Isaac Sim，銀河通用開發(fā)了名為 DexGraspNet 的大型機器人靈巧抓取數(shù)據(jù)集，該數(shù)據(jù)集可應用于各種靈巧機器手，以及用于評估靈巧抓取模型的仿真環(huán)境；同時基于 Jetson Thor 實現(xiàn)靈巧手的實時精準控制。

使用 Isaac 平臺和 Isaac Lab，F(xiàn)ield AI 開發(fā)了風險受限的多任務和多用途基礎(chǔ)模型，使機器人能夠在戶外現(xiàn)場環(huán)境中安全地運行。

各行業(yè)中物理 AI 的未來展望

隨著全球各行業(yè)不斷拓展機器人技術(shù)的應用場景，NVIDIA 面向物理 AI 提出的三臺計算機解決方案展現(xiàn)出巨大的潛力，有望在制造業(yè)、物流、服務及醫(yī)療健康等多個行業(yè)中更好地幫助人類進行工作。