NVIDIA Jetson Orin Nano Developer Kit為創(chuàng)建入門級(jí) AI 機(jī)器人、智能無人機(jī)和智能視覺系統(tǒng)設(shè)定了一個(gè)新標(biāo)準(zhǔn)，同時(shí)簡(jiǎn)化了NVIDIA Jetson Orin Nano系列的入門。這款開發(fā)套件緊湊的設(shè)計(jì)、眾多的連接器以及高達(dá) 40 TOPS 的 AI 性能，非常適合將您富有遠(yuǎn)見的概念轉(zhuǎn)化為現(xiàn)實(shí)。

這款開發(fā)套件由一個(gè) Jetson Orin Nano 8GB 模塊和一個(gè)參考載板組成，可容納所有 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Orin NX 模塊，為下一代邊緣 AI 產(chǎn)品的原型設(shè)計(jì)提供了理想的平臺(tái)。

Jetson Orin Nano 8GB 模塊采用NVIDIA Ampere architectureGPU，具有 1024 個(gè) CUDA 內(nèi)核、32 個(gè)第三代 Tensor Core和一個(gè) 6 核 Arm CPU ，可實(shí)現(xiàn)多個(gè)并發(fā) AI 應(yīng)用管線和高性能推理。開發(fā)套件載板擁有廣泛的連接器陣列，包括兩個(gè) MIPI CSI 連接器，支持多達(dá)四個(gè)通道的相機(jī)模塊，實(shí)現(xiàn)了比以前更高的分辨率和幀速率。

上一代 Jetson Nano 開發(fā)套件讓 AI 變得平易近人。而新的 Jetson Orin Nano 開發(fā)套件以 80 倍的性能提高了入門級(jí) AI 開發(fā)的門檻，使開發(fā)人員能夠運(yùn)行任何類型的現(xiàn)代 AI 模型，包括 Transformer 和高級(jí)機(jī)器人模型。與上一代 Jetson Nano 相比，不僅大大提高了 AI 性能，Jetson Orin Nano 還提供了 5.4 倍的 CUDA 計(jì)算能力、6.6 倍的 CPU 性能和每瓦 50 倍的性能。

圖 1 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Nano 的性能和效率比較

NVIDIA Jetson Orin Nano 開發(fā)套件功能

圖 2 Jetson Orin Nano 開發(fā)套件包括一個(gè) Jetson Orin Nano 8GB 計(jì)算模塊、參考載板、散熱器/風(fēng)扇、直流電源和 802.11ac / abgn WLAN + BT 模塊

表 1 和表 2 顯示了套件載板的主要功能和接口。

表 1 NVIDIA Jetson Orin Nano 開發(fā)套件模塊說明

表 2 NVIDIA Jetson Orin Nano 開發(fā)套件載板規(guī)格

Jetson Orin Nano 開發(fā)套件現(xiàn)在可以預(yù)訂，將于 4 月開始發(fā)貨。欲查閱 Jetson Orin Nano 技術(shù)文檔、參考設(shè)計(jì)文件和軟件，請(qǐng)?jiān)L問 Jetson Download Center (https://developer.nvidia.com/embedded/downloads) 。

Jetson Orin Nano 運(yùn)行所有現(xiàn)代 AI 模型

Jetson Orin Nano 開發(fā)套件具有高達(dá) 40 TOPS 的 AI 性能，可以運(yùn)行所有現(xiàn)代 AI 模型。這一計(jì)算上的重大飛躍使要求最苛刻的 AI 應(yīng)用成為可能，包括在邊緣運(yùn)行 Transformer 模型，這在此前是不可能的。

Transformer 模型是近來生成式 AI 應(yīng)用程序的基礎(chǔ)，如正在席卷世界的 ChatGPT 和 DALL-E。Transformer 模型通過跟蹤序列數(shù)據(jù)中元素之間的關(guān)系來學(xué)習(xí)上下文和意義，無需大型標(biāo)記數(shù)據(jù)集。

今天就開始著手吧：

• City Segmentation (https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/citysemsegformer) 用于將城市景觀劃分為不同類別

• PeopleNet Transformer(https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/peoplenet_transformer) 基于 Deformable Detection Transformer

• BERT (https://docs.nvidia.com/deeplearning/riva/user-guide/docs/reference/models/nlp.html#bert) 用于自然語言處理

Jetson 軟件加速 AI 和 TTM

Jetson Orin Nano 開發(fā)套件具有特定于用例的可用應(yīng)用程序框架，可運(yùn)行 NVIDIA AI 軟件堆棧。其中包括用于機(jī)器人的 NVIDIA Isaac 、用于視覺 AI 的 NVIDIA DeepStream 和用于會(huì)話 AI 的 NVIDIA Riva。使用 NVIDIA Omniverse Replicator 進(jìn)行合成數(shù)據(jù)生成（SDG ）可以節(jié)省大量時(shí)間，使用 NVIDIA TAO Toolkit 還可以從 NGC 目錄中微調(diào)預(yù)訓(xùn)練的 AI 模型。

圖 3 顯示了基于 Jetson Orin Nano 使用即將推出的 NVIDIA JetPack 5.1.1 運(yùn)行一些計(jì)算機(jī)視覺基準(zhǔn)測(cè)試的結(jié)果。這些結(jié)果表明開發(fā)套件提高了入門級(jí)計(jì)算機(jī)視覺的標(biāo)準(zhǔn)。測(cè)試包括 NGC 的一些密集 INT8 和 FP16 預(yù)訓(xùn)練模型，以及 Industry Resnet-50 基準(zhǔn)。基準(zhǔn)測(cè)試包括以下內(nèi)容：

• NVIDIA PeopleNet v2.5用于最高精度人員檢測(cè)

• NVIDIA ActionRecognitionNet二維和三維模型

• NVIDIA LPRNet用于車牌識(shí)別

• 用于多人體態(tài)判斷的NVIDIA DashCamNet 及BodyPoseNet

• ResNet-50（ 224 × 224 ）物體檢測(cè)模型

Jetson Orin Nano 開發(fā)套件是一個(gè)多功能平臺(tái)，支持使用 NVIDIA TAO Toolkit 4.0 訓(xùn)練的模型，很快還將支持 TAO Toolkit 5.0 中新發(fā)布的模型。使用 TAO Toolkit 5.0，開發(fā)人員可以利用幾種最先進(jìn)的視覺 Transformer 模型進(jìn)行圖像分類、對(duì)象檢測(cè)和分割用例。了解更多信息，請(qǐng)參閱：

https://developer.nvidia.com/blog/access-the-latest-in-vision-ai-model-development-workflows-with-nvidia-tao-toolkit-5-0/

NVIDIA Jetson Orin Nano 和 NVIDIA DeepStream 是邊緣應(yīng)用的理想組合，如智能零售、智能城市十字路口和工業(yè)自動(dòng)化。隨著 DeepStream 即將推出的版本以及 GXF 運(yùn)行時(shí)的引入，Jetson Orin Nano 將是運(yùn)行 AI 圖形的理想平臺(tái)，這些圖形需要與確定性系統(tǒng)緊密集成，在工廠自動(dòng)化用例中很常見。

此外，想要快速熟悉 DeepStream，您可以使用最新版本的 Jetson Graph Composer 構(gòu)建應(yīng)用程序，并通過單擊按鈕將其部署到 Jetson Orin Nano。

圖 4 在 DeepStream Graph Composer 中構(gòu)建應(yīng)用程序，并將其部署到 Jetson Orin Nano

在 NVIDIA Jetson Orin 上使用

NVIDIA Isaac 加速機(jī)器人應(yīng)用

NVIDIA Isaac 機(jī)器人平臺(tái)是一個(gè)強(qiáng)大的端到端平臺(tái)，用于開發(fā)、模擬和部署 AI 機(jī)器人。特別是硬件加速包NVIDIA Isaac ROS，使 ROS 2 開發(fā)人員更容易在 Jetson Orin Nano 開發(fā)套件上構(gòu)建高性能解決方案。新的 NVIDIA Isaac ROS DP 優(yōu)化了 ROS 2 節(jié)點(diǎn)處理管線，可以在 Jetson Orin 平臺(tái)上執(zhí)行。它還提供了新的基于 DNN 的 GEMS ，旨在提高吞吐量。

圖 4 顯示了使用即將發(fā)布的 NVIDIA Isaac ROS DP3 在 Jetson Orin Nano 上運(yùn)行這些機(jī)器人軟件包的結(jié)果。性能是在負(fù)載情況下測(cè)量的，包括 RCL 中的消息傳輸成本，用于指示真實(shí)世界性能的實(shí)際基準(zhǔn)測(cè)試。測(cè)試包括圖表中所示的算法（圖 4 ），包括：

• Visual SLAM使機(jī)器人能夠通過跟蹤環(huán)境周圍的視覺特征，基于圖像計(jì)算其位置和運(yùn)動(dòng)

• April Tags用于 AprilTag 檢測(cè)和姿態(tài)判斷

• Image Detection

• Image Segmentation

• Proximity Segmentation確定障礙物是否在近場(chǎng)內(nèi)，并避免在導(dǎo)航過程中與障礙物碰撞

• Stereo Disparity用于拍攝立體輸入圖像并生成視差圖，用于機(jī)器人導(dǎo)航

了解如何開始使用 NVIDIA Jetson Orin Nano 開發(fā)套件：

開始構(gòu)建下一代應(yīng)用程序原型，預(yù)訂 NVIDIA Jetson Orin Nano 開發(fā)套件（https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/）并安裝最新的 NVIDIA JetPack。

圖 6 NVIDIA Jetson Orin Nano 開發(fā)套件

全線可用于量產(chǎn)的 NVIDIA Jetson Orin 系列模塊現(xiàn)已上市，包括 Jetson AGX Orin 系列、 Jetson Orin NX 系列和 Jetson Orin Nano 系列。Jetson AGX Orin 開發(fā)套件現(xiàn)已升級(jí)，包含 64GB 內(nèi)存。

額外資源：

有關(guān) NVIDIA Jetson Orin Nano 開發(fā)套件的更多信息，請(qǐng)觀看 NVIDIA GTC23 分會(huì)：Connect with the Experts: A Deep-Dive Q&A on Jetson Orin and Edge AI (https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=CWES52132#/session/1670472065129001rf2z).

要了解有關(guān)該模塊的更多信息，請(qǐng)參閱 Solving Entry-Level Edge AI Challenges with NVIDIA Jetson Orin Nano (https://developer.nvidia.com/blog/solving-entry-level-edge-ai-challenges-with-nvidia-jetson-orin-nano/#:~:text=Jetson%20Orin%20Nano%20series%20%20%20%20,CPU%20%20...%20%2014%20more%20rows%20) 和 Jetson Orin Nano Series Data Sheet (https://developer.nvidia.com/embedded/downloads#?search=Jetson%20Orin%20Nano%20Series%20Module%20Data%20Sheet).

訪問 NVIDIA Embedded Developer 頁面 (https://developer.nvidia.com/embedded-computing) 和 forums (https://forums.developer.nvidia.com/c/agx-autonomous-machines/jetson-embedded-systems/70) 以獲得社區(qū)專家的幫助。

掃描海報(bào)二維碼，或點(diǎn)擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！