在ROSCon 2023 上，NVIDIA 發(fā)布了NVIDIA Isaac Robotics平臺(tái)的重大更新。該平臺(tái)可為全球機(jī)器人開(kāi)發(fā)者提供高性能感知和高保真仿真，本次更新針對(duì)NVIDIA Isaac ROS 2.0和NVIDIA Isaac Sim 2023.1以及感知和仿真升級(jí)進(jìn)行了發(fā)布，用以簡(jiǎn)化 ROS 開(kāi)發(fā)者對(duì)高性能 AI 機(jī)器人應(yīng)用的構(gòu)建與測(cè)試。

開(kāi)源機(jī)器人基金會(huì)首席技術(shù)官 Geoff Biggs 表示：“ROS 一直在持續(xù)發(fā)展壯大，并為整個(gè)機(jī)器人社區(qū)提供開(kāi)源軟件。此次發(fā)布的 NVIDIA 全新預(yù)構(gòu)建 ROS 2 軟件包，能夠讓廣大NVIDIA Jetson開(kāi)發(fā)者輕松上手 ROS 2，從而加速 ROS 的發(fā)展進(jìn)程?！?/span>

圖1. NVIDIA Isaac Robotics平臺(tái)集合了豐富的技術(shù)，將助推AI在機(jī)器人領(lǐng)域的應(yīng)用

Isaac ROS 2.0

機(jī)器人技術(shù)自主化程度日益提升，各種傳感器技術(shù)不斷涌現(xiàn)，CPU 密集型處理已經(jīng)顯示出局限性，而加速計(jì)算自然成為了克服這些瓶頸的解決方案。

為推動(dòng)開(kāi)發(fā)新一代機(jī)器人解決方案，ROS 社區(qū)急需加速計(jì)算能力，而 Isaac ROS 能夠滿(mǎn)足這一需求。除了提供一系列加速 ROS 軟件包，NVIDIA 也與 Open Robotics 密切合作，共同促進(jìn)中間件的自身效率提升。更多信息，請(qǐng)閱讀文章：通過(guò) NVIDIA Isaac ROS 傳輸改善 ROS 2 應(yīng)用的感知性能

Isaac ROS 2.0 版本已經(jīng)達(dá)到了生產(chǎn)就緒水平的品質(zhì)，主要的優(yōu)化升級(jí)包括：

• 原生 ROS 2 Humble 支持：NVIDIA 提供安裝就緒型 ROS 2 Humble 軟件包，用于 Ubuntu 20.04 上運(yùn)行 JetPack 5，而無(wú)需編譯源代碼。

• NITROS ROS 橋接器：將 Isaac ROS 加速擴(kuò)展到 ROS Noetic 應(yīng)用，優(yōu)化后的 ROS 橋接器比標(biāo)準(zhǔn) ROS 橋接器提速 2 倍。

• CUDA NITROS：支持開(kāi)發(fā)者使用帶有自定義編碼器和解碼器的 DNN 模型，以充分利用 NITROS 的加速功能。

• Stereolabs ZED 攝像機(jī)集成：Isaac ROS 現(xiàn)已與 Stereolabs ZED 相機(jī)集成。

• Nova Carter：Isaac ROS 軟件（包括 Nav 2 導(dǎo)航堆棧）現(xiàn)已支持 Nova Carter。Nova Carter 是用于機(jī)器人研發(fā)的參考 AMR，由 NVIDIA Jetson AGX Orin 驅(qū)動(dòng)。

• ESS 3.0 性能：全新 ESS 3.0 深度感知 DNN 模型具有更高的準(zhǔn)確性和更強(qiáng)的性能。

全球開(kāi)發(fā)者都可以使用 Isaac ROS 來(lái)創(chuàng)建高性能機(jī)器人解決方案，并將其應(yīng)用于農(nóng)業(yè)、倉(cāng)儲(chǔ)自動(dòng)化、最后一公里配送、服務(wù)機(jī)器人等多個(gè)領(lǐng)域。

圖2. NVIDIA Isaac ROS（NVIDIA Isaac機(jī)器人平臺(tái)的關(guān)鍵組件）中的軟件模塊

FarmX 機(jī)器人技術(shù)副總裁 Dan Hennage 表示：“NVIDIA 提供豐富的產(chǎn)品及功能，能夠完美適用于 FarmX。從 Isaac ROS 的運(yùn)行環(huán)境和程序庫(kù)，到可以在無(wú)人機(jī)、大型拖拉機(jī)等載具上部署的各種模塊，NVIDIA Jetson 和 Isaac ROS 使我們專(zhuān)注于應(yīng)用開(kāi)發(fā)，完全不必?fù)?dān)心平臺(tái)問(wèn)題。”

.lumen 首席執(zhí)行官兼創(chuàng)始人 Cornel Amariei 表示：“我們研發(fā)了目前最先進(jìn)的視障輔助技術(shù)，將自動(dòng)駕駛技術(shù)的應(yīng)用尺寸縮小，直到人們可以舒適地戴在頭上。實(shí)現(xiàn)這一切完全得益于 NVIDIA Jetson 平臺(tái)以及 Isaac ROS 中經(jīng)過(guò)優(yōu)化的軟件包、節(jié)點(diǎn)和功能。不論是視覺(jué)實(shí)時(shí)定位建模（vSLAM）還是立體感知，我們都無(wú)法通過(guò)其他平臺(tái)做到這樣的程度?！?/span>

Isaac Sim 2023.1

從制造到物流再到汽車(chē)，AI 在機(jī)器人領(lǐng)域的應(yīng)用日益廣泛，進(jìn)而加速了各行各業(yè)的自動(dòng)化進(jìn)程。起初，在開(kāi)發(fā)和測(cè)試用于機(jī)器人感知或控制的 AI 模型時(shí)，相關(guān)人員往往面臨數(shù)據(jù)稀缺的難題。解決這一問(wèn)題的關(guān)鍵技術(shù)便是高保真仿真。

建立于NVIDIA Omniverse的機(jī)器人仿真器 Isaac Sim，可用于開(kāi)發(fā)、訓(xùn)練、測(cè)試和部署 AI 機(jī)器人。其具備強(qiáng)大的內(nèi)置功能，包括用于生成合成數(shù)據(jù)的NVIDIA Omniverse Replicator和用于 GPU 加速?gòu)?qiáng)化學(xué)習(xí)的Isaac Gym等。通過(guò)最新發(fā)布的 Omniverse Replicator 1.10，開(kāi)發(fā)者利用基于 YAML 的低代碼配置器和異步渲染功能，就可以提高合成數(shù)據(jù)生成能力。

此外，Isaac Sim 的精準(zhǔn)傳感器仿真適用于當(dāng)今的多數(shù)主流傳感器。Isaac Sim 還支持 ROS 和 ROS 2，也可以通過(guò) Python 腳本進(jìn)行控制。

Isaac Sim 2023.1 提供眾多新功能與升級(jí)，以促進(jìn)基于 AI 的機(jī)器人發(fā)展，包括：

• 全新內(nèi)置機(jī)器人模型和傳感器：使用內(nèi)置機(jī)器人模型和傳感器快速入門(mén)。新機(jī)器人模型包括 FANUC 和 Techman。新傳感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

• 升級(jí)的 ROS 及 ROS 2 支持：為仿真應(yīng)用創(chuàng)建自定義 ROS 和 ROS 2 消息。URDF / MJCF 導(dǎo)入器現(xiàn)已開(kāi)源，便于將機(jī)器人導(dǎo)入 Isaac Sim 平臺(tái)。

• 增強(qiáng)的合成數(shù)據(jù)生成（SDG）支持：針對(duì)機(jī)械臂和移動(dòng)機(jī)器人應(yīng)用，現(xiàn)已添加仿真隨機(jī)化功能。進(jìn)一步了解新版 Omniverse Replicator 新增的 SDG 功能，請(qǐng)查看:

  https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

• 倉(cāng)庫(kù)構(gòu)建器模塊化 3D 資產(chǎn)：使用 SimReady 倉(cāng)庫(kù)場(chǎng)景和資產(chǎn)，快速創(chuàng)建強(qiáng)大的倉(cāng)庫(kù)環(huán)境，即可測(cè)試和演練機(jī)器人解決方案。

在開(kāi)發(fā)機(jī)器人和自動(dòng)化解決方案時(shí)，許多公司都采用“仿真先行”策略，這意味著在構(gòu)建解決方案之前，需要通過(guò)高保真仿真來(lái)驗(yàn)證設(shè)計(jì)和吞吐量。

Technology Strategy 的副總裁 Jon Battles 表示：“Collaborative Robotics 深信，協(xié)作機(jī)器人與人類(lèi)并肩工作的場(chǎng)景，將是機(jī)器人技術(shù)發(fā)展的未來(lái)圖景。我們采用了仿真優(yōu)先的開(kāi)發(fā)方法，通過(guò)廣泛使用 Isaac Sim 來(lái)加快開(kāi)發(fā)用時(shí)和部署節(jié)奏?！?/span>

RIOS 工程副總裁 Chris Paulson 表示：“RIOS 在構(gòu)建未來(lái)智能工廠(chǎng)時(shí)，對(duì)于如何設(shè)計(jì)、測(cè)試和實(shí)現(xiàn)先進(jìn)的 AI 機(jī)器人即服務(wù)（RaaS）工作單元，NVIDIA Isaac Sim 發(fā)揮著至關(guān)重要的作用。為降低項(xiàng)目風(fēng)險(xiǎn)，消除新工作單元設(shè)計(jì)風(fēng)險(xiǎn)，并針對(duì)復(fù)雜機(jī)器人任務(wù)執(zhí)行能力的開(kāi)發(fā)進(jìn)行簡(jiǎn)化，Isaac Sim 是關(guān)鍵平臺(tái)。我們面向客戶(hù)的內(nèi)部工具也是以 Isaac Sim 作為平臺(tái)，快速、高效地為客戶(hù)提供最先進(jìn)的機(jī)器人技術(shù)?！?/span>

圖3. NVIDIA Isaac Sim 2023.1新增的內(nèi)置機(jī)器人模型包括FANUC Robot Arm（左）、Fraunhofer EvoBOT（中）和Techman Cobot（右）

NVIDIA Isaac Robotics 平臺(tái)專(zhuān)為推動(dòng)機(jī)器人領(lǐng)域的 AI 應(yīng)用而開(kāi)發(fā)。最新版本的 Isaac ROS 將助力 ROS 開(kāi)發(fā)者更便捷地使用 NVIDIA AI 感知技術(shù)。全新版本的 Isaac Sim 已添加眾多新功能，在虛擬世界中，開(kāi)發(fā)者可以輕松開(kāi)發(fā)、測(cè)試和訓(xùn)練 AI 機(jī)器人，隨后再進(jìn)行現(xiàn)實(shí)世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的開(kāi)發(fā)者已有數(shù)千人，歡迎加入這一行列。

更多信息，請(qǐng)報(bào)名參加即將舉行的 Isaac ROS 網(wǎng)絡(luò)研討會(huì) —— Noetic 的提速需求：將 NITROS 引入 ROS：https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series