以下文章來源于NVIDIA英偉達企業(yè)解決方案，作者NVIDIA

借助機器人仿真，開發(fā)人員能夠在基于物理學的現(xiàn)實世界數(shù)字呈現(xiàn)中對機器人進行虛擬訓練、測試和驗證。

如今，機器人已經(jīng)能夠搬運倉庫中的貨物、包裝食品、幫助組裝車輛等，提高了各行各業(yè)用例的自動化水平。

物理 AI 和機器人仿真是決定機器人成功的兩大關鍵要素。

物理 AI指的是能夠理解物理世界并與之互動的 AI 模型。物理 AI 代表了下一代自主機械與機器人，例如無人駕駛汽車、工業(yè)機械臂、移動機器人、人形機器人，甚至工廠、倉庫等依靠機器人運行的基礎設施。

現(xiàn)在可以在數(shù)字世界中對機器人進行虛擬調(diào)試，在將機器人部署到現(xiàn)實世界的用例之前，先使用機器人仿真軟件訓練機器人。

1機器人仿真概述

先進的機器人仿真平臺有助于機器人學習和無需實體機器人的虛擬機器人測試。通過應用物理原理和復制現(xiàn)實條件，這些仿真平臺能夠生成合成數(shù)據(jù)集，并使用這些數(shù)據(jù)集訓練機器學習模型，從而使這些模型能夠部署到實體機器人上。

仿真被用于初始 AI 模型訓練以及之后整個軟件棧的驗證，最大程度地減少了測試過程中對物理機器人的需求。NVIDIA Isaac Sim 是一個基于 NVIDIA Omniverse 平臺構建的參考應用，該應用提供準確的可視化效果，并支持基于通用場景描述(OpenUSD)的先進機器人仿真和驗證工作流。

2NVIDIA 的“三臺計算機”框架

推動機器人仿真

訓練和部署機器人技術需要三臺計算機。

一臺超級計算機：用于訓練和微調(diào)強大的基礎和生成式 AI 模型。

一個用于機器人仿真和測試的開發(fā)平臺。

一臺機載運行時計算機，用于將訓練好的模型部署到實體機器人上。

只有在仿真環(huán)境中經(jīng)過充分訓練的實體機器人才能投入使用。

專為機載計算設計的 NVIDIA Jetson Thor 機器人計算機可作為第三臺運行時計算機。

3誰在使用機器人仿真?

如今，機器人技術和機器人仿真大大促進了各種用例的運行。

全球領先的電源和熱能技術公司臺達電子使用仿真測試其光學檢測算法，該算法將被用于檢測生產(chǎn)線上的產(chǎn)品缺陷。

深度技術初創(chuàng)公司 Wandelbots 正通過將 Isaac Sim 集成到其應用中構建一個定制仿真平臺。借助該仿真平臺，終端用戶能夠輕松地對仿真中的機器人工作單元進行編程，并將模型無縫轉(zhuǎn)移到真實機器人上。

波士頓動力正通過其強化學習研究者套件助力研究人員和開發(fā)人員。

傅利葉公司正在對現(xiàn)實條件進行仿真，以便訓練人形機器人，使之獲得與人類密切協(xié)作所需的精確性和敏捷性。

銀河通用使用 NVIDIA Isaac Sim 構建了 DexGraspNet。這個用于靈巧機器人抓取的綜合仿真數(shù)據(jù)集包含 100 多萬次對 5,300 多個物體的 ShadowHand 抓取。該數(shù)據(jù)集可應用于任何靈巧機器人手，使其完成需要精細運動技能的復雜任務。

4使用機器人仿真提高規(guī)劃和控制效果

在復雜多變的工業(yè)環(huán)境中，不斷發(fā)展的機器人仿真集成了數(shù)字孿生，從而提高了規(guī)劃、控制和學習的效果。

開發(fā)人員先是將計算機輔助設計模型導入機器人仿真平臺以構建虛擬場景，然后使用算法創(chuàng)建機器人操作系統(tǒng)并進行任務和運動規(guī)劃。傳統(tǒng)方法需要規(guī)定控制信號，而在采用機器學習后，機器人可以通過模仿和強化學習等方法，利用仿真傳感器信號學習行為。

這一發(fā)展還在繼續(xù)。通過將數(shù)字孿生應用于裝配生產(chǎn)線等復雜的設施，開發(fā)人員可以完全在仿真中測試和完善實時 AI。這種方法節(jié)省了軟件開發(fā)時間和成本，并通過預測問題減少了停機時間。例如借助 NVIDIA Omniverse、Metropolis 和 cuOpt，開發(fā)人員可以使用數(shù)字孿生在仿真中開發(fā)、測試和完善物理 AI，然后再將其部署到工業(yè)基礎設施中。

NVIDIA 將數(shù)字孿生與實時 AI 結合以用于工業(yè)自動化

5基于物理學的突破性高保真仿真技術

基于物理學的高保真仿真通過在虛擬環(huán)境中進行現(xiàn)實世界的實驗，大大推動了工業(yè)機器人技術的發(fā)展。

集成在 Omniverse 和 Isaac Sim 中的 NVIDIA PhysX 可幫助機器人專家開發(fā)機器人機械手的精細運動和大運動技能、剛體和軟體動力學、車輛動力學等其他確保機器人遵守物理定律的關鍵功能。其中包括對機器人運動精確性至關重要的精準執(zhí)行器控制和運動學建模。

為了縮小仿真與現(xiàn)實世界之間的差距，Isaac Lab 提供了一個高保真開源強化學習和模仿學習框架，實現(xiàn)了策略從仿真環(huán)境到實體機器人的無縫遷移。Isaac Lab 通過 GPU 并行化加快訓練速度和提高性能，使工業(yè)機器人能夠更加安全地完成復雜的任務。

如要了解關于使用 Isaac Sim 和 Isaac Lab 創(chuàng)建機器人移動強化學習策略的更多信息，請閱讀《開發(fā)者專區(qū)丨如何訓練 Spot 四足機器人運動?》(點擊跳轉(zhuǎn)推文)。

6通過無碰撞運動訓練實現(xiàn)自主運行

工業(yè)機器人訓練通常在工廠或訂單履行中心等特定環(huán)境中進行。在這些環(huán)境中，仿真能夠幫助解決與各種機器人類型和混亂環(huán)境相關的挑戰(zhàn)，其中的一個重點是在未知、雜亂的環(huán)境中生成無碰撞運動。

在未知或動態(tài)環(huán)境中，如果使用傳統(tǒng)的運動規(guī)劃方法應對這些挑戰(zhàn)，那么結果可能會差強人意。SLAM(同步定位和映射)能夠使用多個視角的攝像機圖像生成環(huán)境的 3D 地圖。但每當物體移動和環(huán)境發(fā)生變化時，就需要對這些地圖進行修改。

NVIDIA Robotics 研究團隊和華盛頓大學推出了運動策略網(wǎng)絡(MπNets)。這項端到端神經(jīng)策略使用一個固定攝像頭的數(shù)據(jù)流生成實時、無碰撞的運動。經(jīng)過 300 多萬次運動規(guī)劃問題和 7 億次仿真點云的訓練，MπNets 可在未知的現(xiàn)實環(huán)境中進行有效的導航。

除了直接學習軌跡的 MπNets 模型之外，該團隊還開發(fā)了基于點云的碰撞模型 CabiNet。該模型在超過 65 萬個程序化生成的仿真場景中訓練而成。

憑借 CabiNet 模型，開發(fā)人員可以在平面桌面設置之外部署通用的未知物體拾放策略。在使用大型合成數(shù)據(jù)集進行訓練后，該模型無需任何真實數(shù)據(jù)，就能在真實廚房環(huán)境中泛化到分布外場景。

7開發(fā)人員如何開始構建機器人仿真平臺

訪問 NVIDIA 機器人仿真用例頁面，了解開發(fā)達到物理學精度的仿真流程所需的技術資源、參考應用和其他解決方案：

機器人開發(fā)人員可以使用 NVIDIA Isaac Sim，該應用支持多種機器人訓練技術：

用于訓練感知 AI 模型的合成數(shù)據(jù)生成

整個機器人堆棧的軟件在環(huán)測試

使用 Isaac Lab 進行的機器人策略訓練

開發(fā)人員還可以同時使用 ROS 2 與 Isaac Sim 進行機器人系統(tǒng)的訓練、仿真和驗證。Isaac Sim - ROS 2 工作流與使用 Gazebo 等其他機器人仿真平臺執(zhí)行的工作流類似。該工作流首先將機器人模型載入預構建的 Isaac Sim 環(huán)境，為機器人添加傳感器，然后將相關組件連接到 ROS 2 行動圖并通過 ROS 2 軟件包控制機器人實現(xiàn)機器人仿真。