在即將蓬勃發(fā)展的機器人行業(yè)中，仿真器會是核心的生產(chǎn)力工具和極大提升用戶體驗的產(chǎn)品。

“Isaac Sim 的這些特性讓它在目前成為市面上性能最好的機器人仿真器。相信隨著用戶的增多、版本的繼續(xù)迭代，Isaac Sim 可以成為徹底改變機器人行業(yè)的核心生產(chǎn)力工具?！?這是知乎大咖 YY碩（知乎粉絲 9.7 萬+，機器人工程師）對于 Isaac Sim 特性的評價和展望。本期文章我們將分享 YY碩的深度文章《機器人仿真技術(shù)淺淡和 NVIDIA Omniverse Isaac Sim 介紹》。

去年 6 月到今年 5 月我都在 NVIDIA 總部的機器人仿真團隊參與開發(fā) Omniverse 中的機器人仿真工具 Isaac Sim。在 5 月底的時候 Isaac Sim 發(fā)布了 2022 年的最新一個版本，作為參與了這個版本全開發(fā)過程的工程師我來給大家介紹一下這個產(chǎn)品。

機器人行業(yè)的核心生產(chǎn)力工具——仿真器

很早以前在開發(fā)多軸飛行器的時候，我們就在大疆花了很大的功夫做仿真器，一共做了兩套，一套自用，另一套半自用半對外。自用的仿真器用來幫助內(nèi)部研發(fā)團隊開發(fā)，除了基本的飛行器動力學以外還進行了 GPS 和 IMU 的仿真、自動邏輯和模塊故障注入、支持硬件在環(huán)仿真等等，依托仿真器我足不出戶地重構(gòu)優(yōu)化了 DJI 飛行器所有的基于 GPS 的航跡規(guī)劃功能。另一套半對外的仿真器我們用了 unreal engine 實現(xiàn)精細的場景圖形仿真和相機圖像生成，內(nèi)部可以用來測試視覺系統(tǒng)，對外則讓用戶更好地練習飛行。

后來微軟 Redmond 研究院的幾位朋友也利用 unreal engine 開發(fā)了飛行器的仿真軟件 AirSim，適配幾款 DJI 的飛機，也適配一些開源飛控，一時間受到很多關(guān)注。

?

Air Sim 仿真飛行

近年來隨著自動駕駛的蓬勃發(fā)展，仿真器在機器人系統(tǒng)開發(fā)過程中的地位越來越重要。在仿真中驗證機器人的程序邏輯是否準確是一個歷久彌新的需求，此外近年來基于深度學習技術(shù)的控制器設(shè)計需要大量的訓練數(shù)據(jù)來支持，這些訓練數(shù)據(jù)在真實世界中并不好獲得，使用能夠渲染精細場景的仿真器來模擬真實駕駛場景來收集數(shù)據(jù)逐漸成為了業(yè)界的主流技術(shù)。除了一些能夠自研仿真器的大廠以外，其他從業(yè)者多半會采用已有的游戲引擎和仿真引擎來制作自己的開發(fā)平臺，也有一些專用的商業(yè)自動駕駛仿真器成為了兵家必爭之軍火。比如說老牌仿真器 CarSim 就在近期被收購了。

除了自動駕駛以外，部署在家庭環(huán)境的機器人需要先在仿真的家居場景里測試、工廠產(chǎn)線和工業(yè)機械臂可以用仿真來調(diào)度、實驗室自動化也需要仿真驗證來避免機器人在部署后破壞重要設(shè)備……任何一個商業(yè)化的機器人要在某個場景中工作，不管是開發(fā)人員和用戶都有在實際接觸機器人之前先通過仿真了解機器人的行為和性能的必要。因此，在即將蓬勃發(fā)展的機器人行業(yè)中，仿真器會是核心的生產(chǎn)力工具和極大提升用戶體驗的產(chǎn)品。

但是在今日包含自動駕駛的更廣泛的機器人行業(yè)中，成熟的商業(yè)仿真器產(chǎn)品并不存在，已有的仿真解決方案大多數(shù)都有這樣那樣的不足。一個完善的仿真器產(chǎn)品應(yīng)該具有哪些特性呢？我們可以從當代已有的一些成熟機器人應(yīng)用出發(fā)來思考一下。

首先，機器人仿真器必須能夠比較真實地仿真機器人本身的動力學物理定律，此外還能夠高效地解算機器人和環(huán)境交互時產(chǎn)生的碰撞。相同的需求在游戲行業(yè)中也存在，但游戲引擎通常會簡化被仿真的物體的物理模型和碰撞模型以追求實時性，而機器人仿真器的使用者可以接受仿真器解算得比真實時間慢，但是不能接受仿真器錯誤計算機器人本身的物理性質(zhì)。一個典型的例子是 Dzhanibekov 效應(yīng)，能夠正確仿真這個物理過程的游戲引擎少之又少。

其次，機器人仿真器需要能夠仿真 IMU、相機、GPS、激光雷達等傳感器，這些傳感器普遍應(yīng)用于成熟的無人機、掃地機器人、工業(yè)機器人系統(tǒng)當中。其中最復雜的是相機，因為仿真看起來真實的相機場景是游戲行業(yè)三十年來不懈追求的主要功能。比游戲更難的地方在于，通常游戲中我們只用仿真一個相機鏡頭（就是用戶操作的視角），而一臺機器人（比如一輛無人駕駛汽車）可能會安裝有十個以上的相機作為傳感器，仿真器需要能夠同時給這十個相機進行圖像渲染。我們允許機器人仿真引擎可以運行的比游戲引擎慢，但是也不希望它慢到不可接受的地步。顯然地相機渲染需要使用 GPU，于是機器人仿真器必須能夠整合 GPU 資源，在快速解算真實物理模型之外同步渲染相機圖像和其他傳感器信息。

另外，機器人仿真器要能夠和 ROS 的生態(tài)系統(tǒng)進行對接。ROS 作為當今最完善的機器人軟件系統(tǒng)，已經(jīng)成為了標準的開發(fā)機器人應(yīng)用的主流工具。在 ROS 生態(tài)中成長起來的仿真器 Gazebo 可以非常流暢地接收和發(fā)送ROS的消息包，讓用戶使用自己的程序控制 Gazebo 當中的機器人，因此成為大部分當代的機器人公司在開發(fā)項目時的首選。但是 Gazebo 的圖形渲染能力非常羸弱，只能夠用 CPU 資源仿真簡單的相機，一旦場景變復雜，仿真運行速度會急劇降低。

Gazebo 使用界面

最后，機器人仿真器需要提供一種通用的機器人和場景描述文件，方便用戶構(gòu)建不同的環(huán)境、導入不同的機器人進行測試。ROS 的開發(fā)團隊提出的 urdf（UnifiedRobot Description Format）是一種非常有效的機器人表示方法，但是這種格式不能表示除了剛體系統(tǒng)之外的復雜場景。Gazebo 的開發(fā)團隊提出了 SDF（SimulationDescription Format）來表示機器人之外的環(huán)境，但是這種格式的表現(xiàn)力非常有限。另外由于 ROS 和 Gazebo 始終由開源社區(qū)開發(fā)運營，缺乏良好的項目組織管理機制，sdf和urdf逐漸出現(xiàn)了多個版本并存、語法互相沖突等問題，限制了它們的進一步發(fā)展。

機器人行業(yè)的科研和開發(fā)人員面對這些問題，目前只能各顯神通拼湊仿真技術(shù)，比如說無人機通常不需要和環(huán)境進行交互，動力學仿真不精確影響不大，因此直接使用游戲引擎也可以；自動駕駛則把汽車動力學仿真和復雜傳感器仿真解耦開，用 Simulink 專門分析汽車本身，用游戲引擎只收集傳感器數(shù)據(jù)；多足和人形機器人研究者則通常會自研物理仿真引擎，如 MuJoCo、RaiSim 和 DART 等，然后想辦法把自己的物理引擎與 Unity 或者 Unreal 整合，很多這方面的工作都處在非常早期的階段，所以大家的仿真場景都看起來和玩具似的，仿真出來的圖像也遠遠達不到實際的相機傳感器的質(zhì)量。

Bullet 仿真引擎中的相機圖像仿真

Isaac Sim

在連續(xù)賭對 GPU 的通用科學計算能力和 AI 的價值之后，2021 年的英偉達已經(jīng)是公認的世界一流科技公司，時代把英偉達推到了一個非常好的位置來開發(fā)一款優(yōu)秀的機器人仿真器：主流游戲引擎 unreal 和 unity 以及其他不少游戲公司自研的引擎通常都基于英偉達的 PhysX 作為物理引擎，雖然前代的 PhysX 采用了簡化物理模型，但是正在開發(fā)的 PhysX 5 提升了物理仿真的性能。除了調(diào)集公司內(nèi)的工程師提升 PhysX 以外，英偉達還挖來了著名物理仿真引擎 Bullet 的作者 Erwin Coumans 參與物理仿真的開發(fā)。前面說相機傳感器的仿真是個難點，但這個技術(shù)正是英偉達的強項—— RTX 實時光線追蹤技術(shù)已經(jīng)成熟地應(yīng)用在了游戲和電影特效工業(yè)中。深耕游戲和電影特效多年，英偉達能夠從這些領(lǐng)域找到各種對仿真有幫助的技術(shù)方案。

在機器人領(lǐng)域，英偉達也進行了大手筆的布局，除了深度參與大大小小的自動駕駛公司的各層級業(yè)務(wù)以外，英偉達聘請了世界上最好的一些機器人學家到公司兼職工作，比如 Dieter Fox 和 Marco Hutter 等人，這些科學家利用英偉達的生態(tài)進行科研，同時也給機器人仿真器的開發(fā)提供思路和方向。在物理仿真、圖形渲染、自動駕駛和機器人研究的積累之上，Isaac Sim 應(yīng)運而生。

針對上述的機器人仿真器的問題，Isaac Sim 整合了最新的 PhysX 和 RTX 引擎進行物理仿真和圖像仿真，其次引入了 Pixar 公司開發(fā)的 USD（UniversalScene Description）描述格式作為機器人和復雜場景的描述方式。這種格式被 Pixar 應(yīng)用于動畫電影場景的描述已經(jīng)有很多年時間，現(xiàn)在拿來處理機器人仿真場景的表示可以說是降維打擊，效果非常好，許多機器人運轉(zhuǎn)于極其復雜的場景中，這些場景都是通過 USD 表示和載入的。另外 Isaac Sim 還投入了巨大的資源與 ROS 生態(tài)進行整合，Isaac Sim 能夠與 ROS1 和 ROS2 系統(tǒng)進行自由通信。由于英偉達的業(yè)界地位，Pixar 和 ROS 生態(tài)圈對于 IsaacSim 提供了很大的支持。

接下來我想用四足機器人仿真談?wù)?Isaac Sim 如何解決上面說到的幾個仿真器的問題。

Isaac Sim 四足機器人仿真

四足機器人是當代有商業(yè)應(yīng)用的機器人中最復雜的一種，和一般的移動機器人相比，它會較快地移動和旋轉(zhuǎn)，還會與環(huán)境發(fā)生頻繁的碰撞和交互。四足機器人基本的控制需要用到 IMU、關(guān)節(jié)傳感器和足端力傳感器；如果想讓機器人具有更智能的行為，還需要安裝相機、激光雷達等傳感器進行定位和地圖重建。由于直接調(diào)試實際機器人比較危險，仿真器能夠極大加速四足機器人的程序開發(fā)過程。

在最新的 Isaac Sim 官方文檔中有一個和四足機器人相關(guān)的頁面，其中包括了若干個和四足機器人相關(guān)的示例，有三種機器人可以選擇：Unitree A1，Unitree Go1 和 Anybotics Anymal?？梢栽诶讨姓业?standalone_examples/api/omni.isaac.quadruped 路徑下的幾個例子，每個例子的詳細介紹都在下面的文檔中：

2.1 - 在例程 standalone_examples/api/omni.isaac.quadruped/go1_ros1_standalone.py 中，我們演示如何把 Isaac Sim 中的機器人傳感器數(shù)據(jù)發(fā)布到 ROS 中。這個例程初始化一個 Unitree Go1 機器人，然后對它進行基本的運動控制，此外還會把機器人的 IMU 和足端力傳感器發(fā)布成 ROS topic，然后我們就可以使用 ROS 中的可視化工具如 rqt_plot 或 plotjuggler 查看這些數(shù)據(jù)。力傳感器的仿真得益于 PhysX 改進的物理計算能力和借助顯卡實現(xiàn)的碰撞檢測功能。

2.2 - 例程 standalone_examples/api/omni.isaac.quadruped/anymal_standalone.py 包含的是由蘇黎世聯(lián)邦理工學院開發(fā)的 Anymal 機器人的仿真和它備受關(guān)注的神經(jīng)網(wǎng)絡(luò)控制器，相關(guān)工作曾經(jīng)發(fā)表在 Science Robotics 上。和 A1 / Go1 上基于模型的控制器相比，Anymal 的控制器程序異常地簡單，只有兩個神經(jīng)網(wǎng)絡(luò)的輸入和輸出。當然它的缺點也非常明顯，用戶可以自行調(diào)整 A1 / Go1 上基于模型的控制器的參數(shù)來改變機器人運動速度、動腿頻率等參數(shù)，但是沒法直接去修改 Anymal 的神經(jīng)網(wǎng)絡(luò)來產(chǎn)生新的行為（必須重新訓練網(wǎng)絡(luò)）。

2.3 - 例程 standalone_examples/api/omni.isaac.quadruped/a1_direct_ros1_standalone.py 提供了直接從 ROS1 系統(tǒng)內(nèi)獲取力控指令的程序框架，這個框架可以配合我前段時間開源的四足機器人 C++ 控制器來使用：

https://link.zhihu.com/？target=https%3A//github.com/ShuoYangRobotics/A1-QP-MPC-Controller

2.4 - 例程 standalone_examples/api/omni.isaac.quadruped/a1_vision_ros1_standalone.py 是我最喜歡的一個工作，在這個例子中我們演示如何在四足機器人上安裝額外的相機傳感器來進行基于視覺的定位。我們使用的是 VINS-Fusion，由香港科技大學沈劭劼教授的團隊開發(fā)的機器人定位算法。例程的詳細指南在下面的文檔中：

https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/tutorial_ros_quadruped_vio.html

在這個例程中我們仿真了三個相機，一個是用戶查看仿真的主視角（右下），另外兩個是機器人上安裝的相機所看到的圖像（右上）。相機圖像以及機器人上的 IMU 的數(shù)據(jù)在 Isaac Sim 中打包成 ROS 消息發(fā)布到 ROS 當中，ROS 中運行的視覺慣導里程計 VINS-Fusion 接收到圖像后進行特征點檢測和匹配（左下），然后把通過圖像和 IMU 信息計算出的機器人位姿和點云地圖發(fā)布到 Rviz 當中可視化（左上）。

由于 Isaac Sim 仿真出來的圖像非常真實，VINS-Fusion 的特征點提取和匹配算法工作得非常穩(wěn)定，定位效果極佳。這個同時渲染三個相機的例程在僅有一塊 RTX2070 顯卡的情況下即可流暢地運行。值得一提的是，例程具有很好的擴展性，我們不難基于這個例程加入更多的相機和激光雷達傳感器，因為 Isaac Sim 底層能夠動態(tài)調(diào)用系統(tǒng)的顯存資源，把相機的渲染任務(wù)分配給所有可用的顯卡，增加相機不會太多降低仿真運行的速度。

Isaac Sim的其他特性

Isaac Sim 提供了足夠多的功能支持進行四足機器人的仿真，這些功能也可以被用于仿真其他的機器人，比如機械臂和移動機器人等等，在如下文檔中可以找到其他機器人的例程：

https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/manual_omni_isaac_demos.html

除此以外，Isaac Sim 還有非常多其他激動人心的新特性是一般模擬器不具備的。

3.1 - 便利的調(diào)試方式

Isaac Sim 提供了 VSCode 的環(huán)境配置文件，使得用戶可以直接對任何 Python 腳本例程進行調(diào)試運行：

https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/tutorial_advanced_python_debugging.html

很多其他的仿真器是獨立運行的，沒有辦法把仿真器每一幀的運行都暫停下來然后查看仿真的輸出。然而 Isaac Sim 的調(diào)試運行可以讓用戶精細地查看仿真器的每一個運行的 step 的所有細節(jié)：

3.2 - Isaac Gym 并行強化學習訓練

Isaac Sim 中有一個功能叫做 Isaac Gym，它早期是一個獨立的實驗性程序，后來在 Isaac Sim 最新發(fā)布的版本中合并進入 Isaac Sim 成為一個插件，這個插件可以讓用戶同時仿真大量相同的機器人，同時獲得這些機器人的運行數(shù)據(jù)來進行強化學習控制器的訓練，例程的介紹在這里：

https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/tutorial_gym_external_rl_examples.html

前面所說的 Anymal 神經(jīng)網(wǎng)絡(luò)控制器有一部分也是通過 Isaac Gym來訓練的。

3.3 - 豐富的相機信息輸出

Isaac Sim 中的相機除了能輸出基本的 RGB 圖像和深度圖像以外，還可以輸出圖像的語義分割表示、特征輪廓等等其他信息，這些都來自于各種英偉達開發(fā)的 GPU 圖像識別工具包。更豐富的圖像信息能夠幫助用戶整合 AI 技術(shù)進入機器人的控制器，幫助開發(fā)更多的智能機器人應(yīng)用。

總結(jié)

Isaac Sim 的這些特性讓它在目前成為市面上性能最好的機器人仿真器。相信隨著用戶的增多、版本的繼續(xù)迭代，Isaac Sim 可以成為徹底改變機器人行業(yè)的核心生產(chǎn)力工具?！　?/p>