Q:

選用什么樣的系統(tǒng)或平臺開發(fā)機(jī)器人/機(jī)器臂？

A:

隨著人工智能技術(shù)的快速發(fā)展，開發(fā)機(jī)器人/機(jī)器臂的平臺或者系統(tǒng)也是越來越多，不同背景知識和不同需求的開發(fā)者對于平臺的性能要求也是各不相同。在這種情況下，NVIDIA 的開發(fā)平臺可一定不要錯過，總有一款方案適合你！

使用基于 Omniverse Enterprise 平臺的 Isaac Sim 工具進(jìn)行虛擬仿真

在現(xiàn)實(shí)世界中制造機(jī)器人需要從頭開始創(chuàng)建數(shù)據(jù)集，既費(fèi)時又費(fèi)錢，而且會減緩部署速度。

因此，為了降低成本和加快部署，開發(fā)人員正在轉(zhuǎn)向合成數(shù)據(jù)生成（SDG）、預(yù)訓(xùn)練 AI 模型、遷移學(xué)習(xí)和機(jī)器人仿真這幾種方式。

NVIDIA OVX服務(wù)器上運(yùn)行的 Omniverse Cloud 平臺即服務(wù)，為世界各地的 Azure 開發(fā)人員帶來各種先進(jìn)的功能，使企業(yè)能夠擴(kuò)展 SDG 等機(jī)器人仿真工作負(fù)載，并為開發(fā)團(tuán)隊(duì)提供持續(xù)集成和交付能力，讓他們在使用 Isaac Sim 的同時能夠在一個共享的資源庫中修改代碼。

Isaac Sim是一個機(jī)器人仿真應(yīng)用和 SDG 工具，驅(qū)動逼真的、物理準(zhǔn)確的虛擬環(huán)境。在 NVIDIA Omniverse 平臺的賦能下，Isaac Sim 使全球團(tuán)隊(duì)能夠開展遠(yuǎn)程協(xié)作，一起構(gòu)建、訓(xùn)練、仿真、驗(yàn)證和部署機(jī)器人。

除了現(xiàn)有的基于云的方法，如在自管理容器中使用 Isaac Sim，或者在虛擬工作站或AWS RoboMaker 等全代管服務(wù)上使用 Isaac Sim 等，Omniverse Cloud 將通過 Azure 為企業(yè)提供更多的云選項(xiàng)。

而工程師可以通過接入 Isaac Sim 中的 SDG 引擎Omniverse Replicator來建立生產(chǎn)級合成數(shù)據(jù)集，用于訓(xùn)練強(qiáng)大深度學(xué)習(xí)感知模型。

使用 Jetson Orin 打造高效率、高性能邊緣 AI 和機(jī)器人

NVIDIA Jetson Orin 模組現(xiàn)已可用于量產(chǎn)，可支持各種邊緣 AI 和機(jī)器人技術(shù)應(yīng)用，包括可提供每秒 40 萬億次運(yùn)算（TOPS）AI 性能的最小 Jetson 模組Jetson Orin Nano，以及為先進(jìn)自主機(jī)器提供 275 TOPS 性能的Jetson AGX Orin。

與上一代 Jetson Nano 相比，全新 Jetson Orin Nano 開發(fā)者套件的性能提高了 80 倍，使開發(fā)人員能夠運(yùn)行先進(jìn)的轉(zhuǎn)換器和機(jī)器人模型。由于每瓦性能提高了 50 倍，剛開始使用 Jetson Orin Nano 模組的開發(fā)人員可以構(gòu)建和部署節(jié)能的入門級 AI 機(jī)器人、智能無人機(jī)，以及智能視覺系統(tǒng)等。

在 Jetson 平臺上運(yùn)行的NVIDIA Isaac ROS和DeepStream等特定應(yīng)用框架與云框架緊密集成，如 Omniverse 平臺上的 Isaac Sim 和NVIDIA Metropolis等。開發(fā)人員還可使用最新NVIDIA TAO工具套件對 NVIDIA NGC 產(chǎn)品目錄中的預(yù)訓(xùn)練 AI 模型進(jìn)行微調(diào)，縮短部署時間。

已有超過 100 萬名開發(fā)人員和 6000 多家客戶選擇 NVIDIA Jetson 平臺。70 多家 Jetson 生態(tài)合作伙伴正在提供基于 Orin 的解決方案，以及覆蓋硬件、AI 軟件和應(yīng)用設(shè)計服務(wù)、傳感器、連接和開發(fā)者工具的全方位支持。

Q:

如何制作一個機(jī)器人？

A:

提到制作一個機(jī)器人，許多人都會認(rèn)為是一件非常高大上的事情，但其實(shí)并沒有那么困難，就像風(fēng)靡全球的漫威電影《鋼鐵俠》中的主人公一樣，我們也可以自己動手制作一個機(jī)器人。接下來 NVIDIA 就為大家?guī)?a target="_blank">創(chuàng)客 Kris Kersey 的故事，他真的自己制作出了《鋼鐵俠》中的超級英雄頭盔。

Kris Kersey 是一名擁有 20 多年經(jīng)驗(yàn)的嵌入式軟件開發(fā)人員，同時也是一個擁有 3 萬多名訂閱者的 YouTube 教育頻道主播，以及漫畫與 COSPLAY 狂熱愛好者。

他在自己的首個項(xiàng)目中使用NVIDIA Jetson 邊緣 AI 和機(jī)器人技術(shù)平臺將這些興趣和專長糅合到一起，完整還原了《鋼鐵俠》中的超級英雄頭盔。

這個 3D 打印頭盔 HUD 配備了計算機(jī)視覺功能，可以像電影中那樣顯示用戶所見之物的信息。

NVIDIA Jetson 平臺負(fù)責(zé)處理來自兩個攝像頭的數(shù)據(jù)（每個眼槽一個），這兩個攝像頭可以“看到”頭盔佩戴者目光所及的東西。然后，HUD 會顯示當(dāng)前溫度、濕度、高度和 GPS 位置等信息，還可以基于用于物體檢測的深度神經(jīng)網(wǎng)絡(luò)，對用戶視野中的物體進(jìn)行分類。

為了與他人分享這份快樂，Kersey 在他的 YouTube 頻道—— Kersey Fabrications 上分享了整個制作流程。

他表示，超級英雄電影和科幻小說都提醒自己，實(shí)現(xiàn)尖端技術(shù)需要跨學(xué)科協(xié)作。

他還提到：“就像這個項(xiàng)目一樣，一般情況下藝術(shù)家和故事講述者負(fù)責(zé)發(fā)揮自己的想象力，構(gòu)思出精彩的想法，然后由科學(xué)家和工程師把這些想法變成現(xiàn)實(shí)”。

Kersey 曾在佐治亞州的南方理工大學(xué)（現(xiàn)隸屬于肯尼索州立大學(xué)學(xué)習(xí)計算機(jī)科學(xué)，他在嵌入式微處理器架構(gòu)方面積累了豐富的工作經(jīng)驗(yàn)，且專門研究與 NVIDIA Jetson 平臺兼容的 Linux 操作系統(tǒng)。

Kersey 表示：“在 Jetson 平臺上編寫軟件不需要學(xué)習(xí)新的編程語言或操作系統(tǒng)，所以對我來說是很容易的?！?/span>

白天，他是一家亞特蘭大初創(chuàng)企業(yè)的軟件工程師。晚上，他在自己的個人創(chuàng)客空間做自己的項(xiàng)目。

“我的車庫從不是用來停車的?！毕喾?，他的車庫中充滿著讓他的奇思妙想得以實(shí)現(xiàn)的各種工具、電路板和其他設(shè)備。

Kersey 小時候就癡迷于技術(shù)。他的母親是一位計算機(jī)輔助繪圖和機(jī)械設(shè)計教師。

“從很小的時候起，我就可以擺弄她用的電腦，我對電腦十分著迷。堂兄曾給了我一臺舊的 8 位電腦，剛開始不太會用，我就掏出說明書讀完整本，學(xué)會了基本的編程。”

后來，在幫助兒子完成一個科學(xué)奧林匹克競賽項(xiàng)目時，Kersey 開始接觸 3D 打印。

他表示：“從那時候起，我開始真正喜歡上了 3D 打印，不過我兒子不怎么喜歡?！?/span>

2018 年，Kersey 開設(shè)了自己的 YouTube 頻道，主要分享 3D 打印方面的內(nèi)容。在此過程中，他逐漸成為了一名資深創(chuàng)客，同時也將個人所學(xué)教給觀眾。

Kersey 完整還原的 3D 打印無線鋼鐵俠頭盔，簡直與這個經(jīng)典電影系列中的頭盔如出一轍，就連頭盔的打磨和上色也是他親力親為完成。

頭盔模型以NVIDIA Jetson Xavier NX開發(fā)套件為核心，驅(qū)動頭盔的 HUD。

他提到：“為了讓頭盔戴起來與《鋼鐵俠》中的一樣拉風(fēng)，必須擁有實(shí)時、低延遲、高分辨率和高幀數(shù)的特點(diǎn)。屏幕上還必須顯示大量信息，這就需要有強(qiáng)大的圖形處理器，所以我選擇了 Jetson 平臺。”

Jetson 開發(fā)者套件配備了強(qiáng)大的板載NVIDIA GPU和 AI 功能來加速嵌入式應(yīng)用。

Kersey 還使用NVIDIA TensorRT軟件開發(fā)套件，讓項(xiàng)目實(shí)現(xiàn)了低延遲、高吞吐量的高性能深度學(xué)習(xí)推理。

為了打造出新一代頭盔 HUD，Kersey 使用了NVIDIA Jetson Orin Nano開發(fā)者套件，并表示這個項(xiàng)目“直到最后一刻才見分曉”。NVIDIA Jetson Orin Nano 套件于 2022 年 9 月推出，為創(chuàng)建入門級 AI 機(jī)器人、智能相機(jī)等制定了新的標(biāo)準(zhǔn)。

Kersey 表示，從打開 Jetson Orin Nano 包裝盒到部署和運(yùn)行軟件，只花了他兩個小時。

他目前想要使用Jetson Orin NX 16GB系統(tǒng)級模組升級項(xiàng)目，并從鋁制鋼鐵俠手炮（Repulsor）原型開始，打造一整套包含頭盔的鋼鐵俠盔甲。

他表示很快將開源該項(xiàng)目的代碼，這樣其他人也可以輕松地把自己變成超級英雄。