自 2021 年 10 月起，NVIDIA 和 Open Robotics 開始合作并推出了兩項重要的改動，現(xiàn)已發(fā)布在Humble ROS 2版本中，以提高提供硬件加速器的計算平臺的性能。

新的 ROS 2 Humble 硬件加速特性包括類型適配和類型協(xié)商。NVIDIA 已于 2022 年 6 月底發(fā)布 NVIDIA Isaac ROS 并推出一個實現(xiàn)類型適配和類型協(xié)商的軟件包。

這些對框架的補充雖然簡單，但功能強大，并且能夠顯著提高性能。開發(fā)人員希望將 AI / 機器學習和計算機視覺功能納入其基于 ROS 的應用程序中。

Open Robotics 首席執(zhí)行官 Brian Gerkey 表示：“隨著 ROS 開發(fā)人員向其機器人應用程序添加更多的自主權，機器人上的計算機正變得更加強大。我們一直在努力改進 ROS 框架，以確保它能夠利用這些邊緣計算機中的高性能硬件資源?！?。

“我們與 NVIDIA 機器人團隊密切合作，并且很高興在 Humble 版本中分享新功能（類型適配和類型協(xié)商），這將有助于整個 ROS 社區(qū)去接受硬件加速?！?/p>

消除硬件加速的開銷

類型適配

硬件加速器通常需要不同的數(shù)據(jù)格式來提供最佳性能。類型適配（REP-2007）現(xiàn)在可用于 ROS 節(jié)點，使其以更適合硬件的格式工作。處理管道可以使用自適應類型消除 CPU 和內存加速器之間的內存拷貝。不必要的內存拷貝會消耗 CPU 計算、浪費電力并降低性能，尤其是隨著圖像大小的增加。

類型協(xié)商

另一個新的創(chuàng)新是類型協(xié)商（REP-2009）。處理管道中的不同 ROS 節(jié)點可以公布其支持的類型，以便選擇產(chǎn)生理想性能的格式。ROS 框架執(zhí)行此協(xié)商過程，并與不支持協(xié)商的遺留節(jié)點保持兼容性。

使用類型適配和協(xié)商加速處理管道，讓硬件加速器零拷貝成為可能。這減少了軟件開銷，并釋放了底層硬件的潛力。隨著機器人專家向 NVIDIA Jetson AGX Orin 等更強大的平臺遷移，他們可以期望實現(xiàn)更多硬件性能的提升。

這些改動完全在 ROS 2 內部完成，這確保了與現(xiàn)有工具、工作流和代碼庫的兼容性。

類型適配和類型協(xié)商已顯示出有希望的結果。在 ROS 2 Foxy 和 ROS 2 Humble 上運行了一個由 ROS 節(jié)點圖組成的基準測試，每個節(jié)點的計算量最小，因此我們可以觀察到底層框架的性能。我們在NVIDIAJetson AGX Xavier和新的NVIDIA Jetson AGX Orin運行了這一基準測試，我們觀察到 NVIDIA Jetson AGX Xavier 有 3 倍的提高，而 NVIDIA Jetson AGX Orin 有驚人的7 倍提高。

引入NVIDIA Issac用于ROS傳輸

NVIDIA 對類型適配和協(xié)商的實現(xiàn)稱為NITROS。這些是由 Isaac ROS 硬件加速模塊（又稱為 GEMs）組成的 ROS 處理管道。這些管道在 Isaac ROS 開發(fā)者預覽（DP）中提供，并且已于 2022 年 6 月底發(fā)布。NITROS 的首次發(fā)布將包括三條管道，計劃在今年晚些時候推出更多管道。

強大的新型GEMs輔助機器人感知

除了 NITROS 加速管道外，IsaacROS DP 版本還包含兩個新的基于 DNN 的 GEM，旨在幫助機器人專家完成常見的感知任務。

第一個 GEM——ESS是用于立體相機視差預測的 DNN。該網(wǎng)絡為機器人應用提供基于視覺的連續(xù)深度感知。

另一個 GEM——Bi3D是用于基于視覺的障礙預測的 DNN ?；?NVIDIA Research 的開創(chuàng)性工作，對 DNN 進行了改進，以檢測自由空間，同時預測障礙物。該網(wǎng)絡可預測障礙物是否位于立體攝像頭的四個可編程鄰近區(qū)域之一。

Bi3D 經(jīng)過優(yōu)化，可在 NVIDIADLA 硬件上運行。利用 DLA，可以同時保留 GPU 和 CPU 計算資源。

Bi3D 和 ESS 都經(jīng)過預訓練，可應用于使用合成和真實數(shù)據(jù)的機器人，并擬用于商業(yè)用途。這兩款新的Isaac ROS GEM加入了stereo_image_proc，這是此前發(fā)布的經(jīng)典計算機視覺立體深度視差程序，為立體相機深度感知提供了三種不同的、獨立的功能。

快速入門

ROS 開發(fā)人員若有興趣將 NVIDIA AI 感知集成到其產(chǎn)品中，可以從今天開始使用 Isaac ROS。

審核編輯：湯梓紅