所有移動(dòng)的事物都將變得自主化。 所有自主化的事物都需要先進(jìn)的實(shí)時(shí)感知。

NVIDIA這一最新宣布，向ROS開發(fā)者社區(qū)提供整套感知技術(shù)。對(duì)于尋求將先進(jìn)計(jì)算機(jī)視覺和AI/ML功能納入基于ROS的機(jī)器人應(yīng)用程序的開發(fā)人員來說，這將縮短開發(fā)時(shí)間并提高性能。

?

Open Robotics將擴(kuò)展用于NVIDIA AI的ROS

Open Robotics首席執(zhí)行官Brian Gerkey表示：“隨著越來越多的ROS開發(fā)人員利用硬件平臺(tái)，這些平臺(tái)包含額外的計(jì)算功能，旨在減輕主機(jī)CPU的負(fù)擔(dān)，ROS正在發(fā)展，以更容易有效地利用這些先進(jìn)的硬件資源。我們與NVIDIA這樣的加速計(jì)算領(lǐng)導(dǎo)者合作，以及其在人工智能和機(jī)器人技術(shù)創(chuàng)新方面的豐富經(jīng)驗(yàn)，將為整個(gè)ROS社區(qū)帶來很大益處。”

NVIDIA和Open Robotics已達(dá)成協(xié)議，將在NVIDIA Jetson邊緣AI平臺(tái)和基于GPU的系統(tǒng)上加速ROS 2性能，并在 Omniverse 上實(shí)現(xiàn) Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之間的無縫模擬互操作性。

NVIDIA Jetson 平臺(tái)在很多應(yīng)用領(lǐng)域中被機(jī)器人專家廣泛采用。它旨在為機(jī)器人提供高性能、低延遲的處理，使其具有響應(yīng)性、安全性和協(xié)作性。Open Robotics將通過升級(jí)ROS 2來高效管理位于NVIDIA Jetson平臺(tái)上的GPU和其他處理器之間的數(shù)據(jù)流并共享內(nèi)存，使負(fù)責(zé)實(shí)時(shí)處理攝像頭和激光雷達(dá)等傳感器高帶寬數(shù)據(jù)的應(yīng)用性能得到大幅提升。

除了增強(qiáng)機(jī)器人應(yīng)用在Jetson上的部署，Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的計(jì)劃。NVIDIA Isaac Sim已支持開箱即用的ROS 1和2，并通過連接Blender和Unreal Engine 4等流行應(yīng)用來創(chuàng)建一個(gè)至關(guān)重要的3D內(nèi)容生態(tài)系統(tǒng)。

Ignition Gazebo數(shù)十年來在整個(gè)機(jī)器人界，包括在正在進(jìn)行的DARPA Subterranean Challenge等高知名度比賽中創(chuàng)造了許多紀(jì)錄。

通過連接這兩個(gè)模擬器，ROS開發(fā)者可以輕松地在Ignition Gazebo和Isaac Sim之間移動(dòng)他們的機(jī)器人和環(huán)境以運(yùn)行大型模擬，還可以使用高保真動(dòng)力學(xué)、精確傳感器模型和逼真渲染等兩個(gè)模擬器的先進(jìn)功能來生成用于訓(xùn)練和測(cè)試AI模型的合成數(shù)據(jù)。

此次合作所產(chǎn)生的軟件預(yù)計(jì)將于2022年春季發(fā)布。

為ROS發(fā)布的Isaac GEM速度顯著加快

用于ROS的Isaac GEM是一款使ROS開發(fā)者更容易在Jetson平臺(tái)上構(gòu)建高性能解決方案的硬件加速包。這些GEM專注于提高圖像處理和基于DNN的感知模型的吞吐量，而后者對(duì)機(jī)器人專家而言正變得日益重要。這些軟件包減少了主機(jī)CPU的負(fù)載，同時(shí)顯著提升了性能。

用于ROS的全新Isaac GEM包含：

● SGM Stereo Disparity和 Point Cloud

● Color Space Conversion和Lens Distortion Correction

● AprilTags Detection

圖1 ROS對(duì)立體相機(jī)的支持，在ROS的Rviz工具中可以看到左側(cè)和右側(cè)相機(jī)視圖。Rviz能顯示RGB和深度圖像。

Isaac Sim的新功能為ROS開發(fā)者提供便利

最新版本的Isaac Sim包含對(duì)ROS開發(fā)者社區(qū)的重要支持，其中比較引人注目的是ROS2導(dǎo)航棧和MoveIt運(yùn)動(dòng)規(guī)劃框架。這些示例今天即開放使用，并可在Isaac Sim文檔中找到：

Isaac Sim中的ROS示例列表

● ROS April Tag

● ROS Stereo Camera

● ROS Navigation

● ROS TurtleBot3 Sample

● ROS Manipulation和Camera Sample

● ROS Services

● MoveIt Motion Planning Framework

● Native Python ROS Usage

● ROS2 Navigation

圖2 Isaac Sim on Omniverse功能模塊圖，包含機(jī)器人模型、環(huán)境模型和3D資料輸入。

Isaac Sim生成用于訓(xùn)練感知的合成數(shù)據(jù)集

除了作為一個(gè)機(jī)器人模擬器之外，Isaac Sim還具備一套強(qiáng)大的功能，可以生成合成數(shù)據(jù)來訓(xùn)練和測(cè)試感知模型。隨著機(jī)器人專家將更多的感知功能集成到他們的平臺(tái)，這些功能將變得更加重要。顯然，機(jī)器人對(duì)環(huán)境的感知能力越強(qiáng)，它的自主性就越強(qiáng)，所需的人為干預(yù)就越少。

一旦Isaac Sim生成了合成數(shù)據(jù)集，就可以將它們直接輸入NVIDIA TAO（一個(gè)AI模型自適應(yīng)平臺(tái)），從而根據(jù)機(jī)器人的具體工作環(huán)境調(diào)整感知模型。在從目標(biāo)環(huán)境中采集任何實(shí)際數(shù)據(jù)之前，就可以確保機(jī)器人的感知棧在特定工作環(huán)境中的表現(xiàn)。

長(zhǎng)期以來，機(jī)器人專家在連接和集成經(jīng)典機(jī)器人任務(wù)（如導(dǎo)航）和AI感知棧方面一直面臨著各種挑戰(zhàn)。Isaac Sim通過同時(shí)作為機(jī)器人和合成數(shù)據(jù)生成工具并與TAO訓(xùn)練平臺(tái)進(jìn)行集成解決了這一工作流程挑戰(zhàn)。

https://www.ixigua.com/7010968939471569416？utm_source=xiguastudio

更多精彩內(nèi)容，敬請(qǐng)期待 ROS World和2021年GTC大會(huì)

NVIDIA正在為2021年10月21日至22日的ROS World做準(zhǔn)備。我們計(jì)劃為Jetson開發(fā)者發(fā)布更多新的GEM，包括多個(gè)常用的DNN。我們還將發(fā)布多項(xiàng)支持ROS開發(fā)者社區(qū)的Isaac Sim功能。歡迎蒞臨我們的虛擬展臺(tái)，參加NVIDIA ROS圓桌會(huì)議，觀看關(guān)于Isaac Sim的技術(shù)演示等精彩內(nèi)容。

在即將于11月8日至11日舉行的GTC大會(huì)上，NVIDIA將為大家?guī)砭始姵实难葜v、講座和內(nèi)容。我們專為機(jī)器人開發(fā)者準(zhǔn)備了一個(gè)通道，其中包含Open Robotics首席執(zhí)行官兼聯(lián)合創(chuàng)始人Brian Gerkey的演講。此外，我們還將舉辦涵蓋NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主題的講座。

即刻啟程

即刻體驗(yàn)NVIDIA AI Perception，請(qǐng)使用以下鏈接：

點(diǎn)擊此處下載用于ROS 的Isaac GEM

點(diǎn)擊此處進(jìn)一步了解Isaac Sim

點(diǎn)擊此處獲取關(guān)于使用Isaac Sim生成合成數(shù)據(jù)的教程

點(diǎn)擊此處進(jìn)一步了解使用Tao工具包加速機(jī)器學(xué)習(xí)訓(xùn)練