GPU 在 2019 年 NVIDIA NVIDIA 技術(shù)會(huì)議（ GTC ）上宣布推出了 Jetson Nano 開(kāi)發(fā)者套件 ，這是一款售價(jià) 99 美元的計(jì)算機(jī)，目前可供嵌入式設(shè)計(jì)師、研究人員和 DIY 制造商使用，在一個(gè)緊湊、易于使用的平臺(tái)上實(shí)現(xiàn)了現(xiàn)代人工智能的強(qiáng)大功能，具有完全的軟件可編程性。 Jetson Nano 通過(guò)一個(gè)四核 64 位 ARMCPU 和一個(gè) 128 核集成的 NVIDIA GPU ，提供 472 GFLOPS 的計(jì)算性能。它還包括 4GB LPDDR4 內(nèi)存在一個(gè)高效的低功耗封裝中，具有 5W / 10W 電源模式和 5V 直流輸入。

最新發(fā)布的 JetPack 4 。 2 SDK 開(kāi)發(fā)包 為基于 Ubuntu 18 。 04 的 Jetson Nano 提供了一個(gè)完整的桌面 Linux 環(huán)境，支持加速的圖形，支持 NVIDIA CUDA toolk10 。 0 ，以及 cuDNN 7 。 3 和 TensorRT 5 等庫(kù)。 SDK 還包括在本地安裝流行的開(kāi)源機(jī)器學(xué)習(xí)（ ML ）框架，如 TensorFlow ， PyTorch 、 Caffe 、 Keras 和 MXNet ，以及 OpenCV 和 ROS 等計(jì)算機(jī)視覺(jué)和機(jī)器人開(kāi)發(fā)框架。

與這些框架和 NVIDIA 領(lǐng)先的人工智能平臺(tái)完全兼容，使得將基于人工智能的推理工作負(fù)載部署到 Jetson 上比以往任何時(shí)候都容易。 Jetson Nano 為各種復(fù)雜的深層神經(jīng)網(wǎng)絡(luò)（ DNN ）模型帶來(lái)了實(shí)時(shí)計(jì)算機(jī)視覺(jué)和推理。這些功能使多傳感器自主機(jī)器人、具有智能邊緣分析的物聯(lián)網(wǎng)設(shè)備和先進(jìn)的人工智能系統(tǒng)成為可能。甚至傳輸學(xué)習(xí)也可以使用 ML 框架在 Jetson Nano 上重新訓(xùn)練網(wǎng)絡(luò)。

Jetson Nano 開(kāi)發(fā)套件的尺寸僅為 80×100 毫米，具有四個(gè)高速 USB 3 。 0 端口、 MIPI CSI-2 攝像頭接口、 HDMI 2 。 0 和 DisplayPort 1 。 3 、千兆以太網(wǎng)、 M 。 2 Key-E 模塊、 MicroSD 卡插槽和 40 針 GPIO 頭。端口和 GPIO 頭可以與各種流行的外圍設(shè)備、傳感器和現(xiàn)成的項(xiàng)目一起使用，例如 NVIDIA 在 GitHub 上開(kāi)源的 3D 可打印深度學(xué)習(xí) 噴氣式飛機(jī)。 。

devkit 從一個(gè)可移動(dòng) MicroSD 卡啟動(dòng)，該卡可以在任何帶有 SD 卡適配器的 PC 上格式化和成像。 devkit 可以方便地通過(guò) Micro-USB 端口或 5V 直流桶形插孔適配器供電。攝像頭連接器與價(jià)格合理的 MIPI CSI 傳感器兼容，包括基于 8MP IMX219 的模塊，可從 Jetson 生態(tài)系統(tǒng)合作伙伴處獲得。同時(shí)支持的還有 Raspberry Pi 攝像頭模塊 v2 ，它包括 JetPack 中的驅(qū)動(dòng)程序支持。主要規(guī)格見(jiàn)表 1 。

devkit 是圍繞一個(gè) 260 針 SODIMM 風(fēng)格的系統(tǒng) on Module （ SoM ）構(gòu)建的，如圖 2 所示。 SoM 包含處理器、內(nèi)存和電源管理電路。 Jetson 納米計(jì)算模塊尺寸為 45x70mm ，將于 2019 年 6 月開(kāi)始發(fā)貨，售價(jià) 129 美元（ 1000 單位體積），供嵌入式設(shè)計(jì)師集成到生產(chǎn)系統(tǒng)中。生產(chǎn)計(jì)算模塊將包括 16GB eMMC 板載存儲(chǔ)和增強(qiáng) I / O ， PCIe Gen2 x4 / x2 / x1 、 MIPI DSI 、附加 GPIO 和 12 通道 MIPI CSI-2 在 x4 / x2 配置中，最多可連接三個(gè) x4 攝像頭或四個(gè)攝像頭。 Jetson 的統(tǒng)一內(nèi)存子系統(tǒng)在 CPU 、 GPU 和多媒體引擎之間共享，提供了流線(xiàn)型的零拷貝傳感器攝取和高效的處理管道。

深度學(xué)習(xí)推理基準(zhǔn)

Jetson Nano 可以運(yùn)行多種高級(jí)網(wǎng)絡(luò)，包括流行 ML 框架的完整本機(jī)版本，如 TensorFlow 、 PyTorch 、 Caffe / Caffe2 、 Keras 、 MXNet 等。這些網(wǎng)絡(luò)可用于構(gòu)建自主機(jī)器和復(fù)雜的人工智能系統(tǒng)，實(shí)現(xiàn)強(qiáng)大的功能，如圖像識(shí)別、目標(biāo)檢測(cè)和定位、姿勢(shì)估計(jì)、語(yǔ)義分割、視頻增強(qiáng)和智能分析。

圖 3 顯示了來(lái)自在線(xiàn)可用的流行模型的推理基準(zhǔn)測(cè)試的結(jié)果。有關(guān)在您的 Jetson Nano 上運(yùn)行這些基準(zhǔn)測(cè)試的說(shuō)明，請(qǐng)參見(jiàn) 在這里 。該推斷使用批次大小 1 和 FP16 精度，使用了 Jetpack4 。 2 中包含的 NVIDIA 的 TensorRT 加速器庫(kù)。 Jetson Nano 在許多場(chǎng)景下都能達(dá)到實(shí)時(shí)性能，并且能夠處理多個(gè)高清視頻流。

圖 3 。使用 Jetson Nano 和 TensorRT ，使用 FP16 精度和批量大小 1 的各種深度學(xué)習(xí)推理網(wǎng)絡(luò)的性能

表 2 提供了完整的結(jié)果，包括 Raspberry Pi3 、 Intel Neural Compute Stick 2 和 Google Edge TPU Coral Dev Board 等其他平臺(tái)的性能：

由于內(nèi)存容量有限、不受支持的網(wǎng)絡(luò)層或硬件/軟件限制，經(jīng)常出現(xiàn) DNR （未運(yùn)行）結(jié)果。固定函數(shù)神經(jīng)網(wǎng)絡(luò)加速器通常支持相對(duì)狹窄的用例集，硬件支持專(zhuān)用層操作，網(wǎng)絡(luò)權(quán)重和激活需要適應(yīng)有限的片上緩存，以避免嚴(yán)重的數(shù)據(jù)傳輸損失。它們可以依靠主機(jī) CPU 來(lái)運(yùn)行硬件不支持的層，并且可能依賴(lài)于支持框架的簡(jiǎn)化子集的模型編譯器（例如 TFLite ）。

Jetson Nano 靈活的軟件和完整的框架支持、內(nèi)存容量和統(tǒng)一的內(nèi)存子系統(tǒng)，使其能夠運(yùn)行各種不同的網(wǎng)絡(luò)，達(dá)到全高清分辨率，包括同時(shí)在多個(gè)傳感器流上運(yùn)行可變的批量大小。這些基準(zhǔn)測(cè)試代表了流行網(wǎng)絡(luò)的一個(gè)樣本，但是用戶(hù)可以在 Jetson Nano 上部署各種模型和定制架構(gòu)，從而提高性能。而且 Jetson Nano 不僅僅局限于 DNN 推斷。它的 CUDA 體系結(jié)構(gòu)可用于計(jì)算機(jī)視覺(jué)和數(shù)字信號(hào)處理（ DSP ），使用包括 FFT 、 BLAS 和 LAPACK 運(yùn)算在內(nèi)的算法，以及用戶(hù)定義的 CUDA 內(nèi)核。

多流視頻分析

Jetson Nano 可實(shí)時(shí)處理多達(dá) 8 個(gè)高清全動(dòng)態(tài)視頻流，可作為網(wǎng)絡(luò)視頻錄像機(jī)（ NVR ）、智能攝像頭和物聯(lián)網(wǎng)網(wǎng)關(guān)的低功耗邊緣智能視頻分析平臺(tái)進(jìn)行部署。 NVIDIA 的 DeepStream 軟件開(kāi)發(fā)工具包 使用 ZeroCopy 和 TensorRT 優(yōu)化端到端推斷管道，以在邊緣和本地服務(wù)器上實(shí)現(xiàn)最終性能。下面的視頻顯示 Jetson Nano 在 8 個(gè) 1080p30 流上同時(shí)執(zhí)行目標(biāo)檢測(cè)，基于 ResNet 的模型以全分辨率運(yùn)行，吞吐量為每秒 5 億像素（ MP / s ）。

基于 ResNet 在 Jetson Nano 上運(yùn)行的 DeepStream 應(yīng)用程序

在八個(gè)獨(dú)立的 1080p30 視頻流上并發(fā)的目標(biāo)檢測(cè)器。

圖 4 中的框圖顯示了一個(gè)使用 Jetson Nano 的 NVR 架構(gòu)示例，該架構(gòu)使用深度學(xué)習(xí)分析技術(shù)，通過(guò)千兆以太網(wǎng)接收和處理多達(dá) 8 個(gè)數(shù)字流。該系統(tǒng)可以解碼 500mp / s 的 H 。 264 / H 。 265 視頻和 250mp / s 的 H 。 264 / H 。 265 視頻。

圖 4 。具有 Jetson 納米和 8x 高清攝像頭輸入的參考 NVR 系統(tǒng)架構(gòu)

Jetson Nano 的 DeepStream SDK 支持計(jì)劃于 2019 年第 2 季度發(fā)布。請(qǐng)加入 DeepStream 開(kāi)發(fā)者計(jì)劃 以接收有關(guān)即將發(fā)布的通知。

噴氣式飛機(jī)。

圖 5 中所示的 NVIDIA 噴氣式飛機(jī)。 是一個(gè)新的開(kāi)源自主機(jī)器人工具包，它提供了所有的軟件和硬件計(jì)劃，以低于 250 美元的價(jià)格構(gòu)建一個(gè)人工智能驅(qū)動(dòng)的深度學(xué)習(xí)機(jī)器人。硬件材料包括 Jetson Nano 、 IMX219 8MP 攝像頭、 3D 打印機(jī)箱、電池組、電機(jī)、 I2C 電機(jī)驅(qū)動(dòng)器和配件。

該項(xiàng)目通過(guò) Jupyter 筆記本為您提供了簡(jiǎn)單易學(xué)的示例，介紹了如何編寫(xiě) Python 代碼來(lái)控制電機(jī)，如何訓(xùn)練 JetBot 來(lái)檢測(cè)障礙物，如何跟蹤人和家庭對(duì)象等對(duì)象，以及如何訓(xùn)練 JetBot 跟蹤地板周?chē)穆窂健Ｍㄟ^(guò)擴(kuò)展代碼和使用 AI 框架，可以為 JetBot 創(chuàng)建新的功能。

還有 ROS 節(jié)點(diǎn) 可用于 JetBot ，為那些希望集成基于 ROS 的應(yīng)用程序和功能（如 SLAM 和高級(jí)路徑規(guī)劃）的用戶(hù)提供 ROS Melodic 支持。包含 JetBot ROS 節(jié)點(diǎn)的 GitHub 存儲(chǔ)庫(kù)還包括 Gazebo 3D 機(jī)器人模擬器的模型，允許在虛擬環(huán)境中開(kāi)發(fā)和測(cè)試新的 AI 行為，然后再部署到機(jī)器人上。 Gazebo 模擬器生成合成相機(jī)數(shù)據(jù)，并在 Jetson 納米上運(yùn)行。

你好，人工智能世界

你好，人工智能世界 為開(kāi)始使用 TensorRT 和體驗(yàn)人工智能的力量提供了一個(gè)很好的方法。只需幾個(gè)小時(shí)，您就可以在帶有 JetPack SDK 和 NVIDIA NVIDIA 的 Jetson Nano Developer Kit 上建立并運(yùn)行一組用于實(shí)時(shí)圖像分類(lèi)和對(duì)象檢測(cè)的深度學(xué)習(xí)推理演示。本教程側(cè)重于與計(jì)算機(jī)視覺(jué)相關(guān)的網(wǎng)絡(luò)，并包括實(shí)時(shí)攝像機(jī)的使用。你還可以在 C ++中編寫(xiě)自己易于理解的識(shí)別程序。可用的 深度學(xué)習(xí) ROS 節(jié)點(diǎn) 將這些識(shí)別、檢測(cè)和分段推斷功能與 ROS 公司 集成，以集成到先進(jìn)的機(jī)器人系統(tǒng)和平臺(tái)中。這些實(shí)時(shí)推斷節(jié)點(diǎn)可以很容易地放入現(xiàn)有的 ROS 應(yīng)用程序中。

想要嘗試訓(xùn)練自己模型的開(kāi)發(fā)人員可以按照完整的“ 還有兩天就要演示了 ”教程進(jìn)行，該教程涵蓋了圖像分類(lèi)、對(duì)象檢測(cè)和語(yǔ)義分割模型的再培訓(xùn)和定制，并使用轉(zhuǎn)移學(xué)習(xí)。傳輸學(xué)習(xí)微調(diào)特定數(shù)據(jù)集的模型權(quán)重，避免了從頭訓(xùn)練模型。傳輸學(xué)習(xí)最有效地在帶有 NVIDIA 離散 GPU 的 PC 或云實(shí)例上執(zhí)行，因?yàn)榕嘤?xùn)需要比推斷更多的計(jì)算資源和時(shí)間。

然而，由于 Jetson Nano 可以運(yùn)行完整的培訓(xùn)框架，如 TensorFlow 、 PyTorch 和 Caffe ，它還可以通過(guò)轉(zhuǎn)移學(xué)習(xí)為那些可能無(wú)法訪(fǎng)問(wèn)另一臺(tái)專(zhuān)用培訓(xùn)機(jī)器并愿意等待更長(zhǎng)時(shí)間等待結(jié)果的人進(jìn)行再培訓(xùn)。表 3 列出了將兩天的學(xué)習(xí)轉(zhuǎn)移到演示教程中的一些初步結(jié)果，其中 PyTorch 使用 Jetson Nano 在 20 萬(wàn)張圖像上訓(xùn)練 Alexnet 和 ResNet-18 ， ImageNet 的 22 。 5GB 子集：

每個(gè)歷元的時(shí)間是完全通過(guò) 200K 圖像的訓(xùn)練數(shù)據(jù)集所需的時(shí)間。分類(lèi)網(wǎng)絡(luò)可能只需要 2-5 個(gè)周期就可以得到可用的結(jié)果，生產(chǎn)模型應(yīng)該在離散 GPU 系統(tǒng)上為更多的時(shí)代進(jìn)行訓(xùn)練，直到它們達(dá)到最大的精度。然而， Jetson Nano 可以讓你在一個(gè)低成本的平臺(tái)上進(jìn)行深度學(xué)習(xí)和人工智能的實(shí)驗(yàn)，讓網(wǎng)絡(luò)在一夜之間重新訓(xùn)練。并非所有的自定義數(shù)據(jù)集都可能像這里使用的 22 。 5GB 示例那樣大。因此，圖像/秒表示 Jetson Nano 的訓(xùn)練性能，每歷元時(shí)間隨數(shù)據(jù)集大小、訓(xùn)練批大小和網(wǎng)絡(luò)復(fù)雜性而變化。隨著訓(xùn)練時(shí)間的增加，其他模型也可以在 Jetson Nano 上重新訓(xùn)練。

所有人的 AI

Jetson Nano 的計(jì)算性能、緊湊的占地面積和靈活性為開(kāi)發(fā)人員創(chuàng)造以人工智能為動(dòng)力的設(shè)備和嵌入式系統(tǒng)帶來(lái)了無(wú)限的可能性。

關(guān)于作者

Dustin Franklin 是 NVIDIA 的 Jetson 團(tuán)隊(duì)的開(kāi)發(fā)人員布道者。 Dustin 擁有機(jī)器人和嵌入式系統(tǒng)方面的背景，他樂(lè)于在社區(qū)中提供幫助，并與 Jetson 一起參與項(xiàng)目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。

審核編輯：郭婷