NVIDIA 發(fā)布了基于 Jetson Xavier NX 模塊的 NVIDIA Jetson Xavier NX 開發(fā)工具包 。 Jetson Xavier NX 以低于 15W 的功率，以緊湊的外形提供多達(dá) 21 臺(tái)計(jì)算之巔，為邊緣AI設(shè)備和自主機(jī)器帶來服務(wù)器級(jí)性能和云原生工作流。

借助 Jetson Xavier NX 開發(fā)者工具包，您可以創(chuàng)建令人驚嘆的人工智能驅(qū)動(dòng)應(yīng)用程序，并快速將深度神經(jīng)網(wǎng)絡(luò)（ DNN ）模型和流行的機(jī)器學(xué)習(xí)框架部署到該領(lǐng)域。 NVIDIA JetPack 4 . 4 開發(fā)者預(yù)覽版 的初始軟件支持包括 CUDA Toolkit 10 . 2 和 cuDNN 8 . 0 、 TensorRT 7 . 1 和 DeepStream 5 . 0 的預(yù)覽版，以及用于機(jī)器學(xué)習(xí)的新 Docker 容器和預(yù)訓(xùn)練的 DNN 模型。

Jetson Xavier NX 基于 NVIDIA 開創(chuàng)性的 Xavier SoC ，可以并行運(yùn)行多個(gè)復(fù)雜模型和多個(gè)高清傳感器流。它包括以下功能：

具有 48 色張量的集成 NVIDIA volta384 核 Volta GPU

兩個(gè) NVIDIA 深度學(xué)習(xí)加速器引擎

七路 VLIW 視覺加速器

六核 NVIDIA Carmel 64 位 ARMv8 . 2 CPU

8-GB 128-bit LPDR4x

為了進(jìn)一步簡(jiǎn)化邊緣人工智能應(yīng)用程序在生產(chǎn)環(huán)境中的部署， 預(yù)訓(xùn)練模型 將云原生技術(shù)引入 Jetson ，包括基于 Docker 的集裝箱化，以及 Kubernetes 等硬件傳遞和編排服務(wù)，以及 NVIDIA NGC 注冊(cè)表提供的 預(yù)訓(xùn)練模型 和 NVIDIA 。

Jetson Xavier NX 開發(fā)工具包

Jetson Xavier NX 開發(fā)工具包捆綁了一個(gè)開源的 參考載體板 和預(yù)裝配的散熱片/風(fēng)扇，如圖 2 所示，包括 19V 電源和基于 M.2 的 802.11 WLAN + BT 模塊。除了可引導(dǎo) microSD 卡插槽外，在載體底部還提供了一個(gè) M . 2 Key-M NVMe 插槽，用于擴(kuò)展高速存儲(chǔ)。

因?yàn)?Xavier NX 模塊向后兼容 Jetson Nano （ B01 ），它們的載體板有一些共同點(diǎn) – 還包括雙 MIPI CSI 攝像頭連接器，以及四個(gè) USB 3.1 端口、 HDMI 、 DisplayPort 、千兆以太網(wǎng)和一個(gè) 40 針 GPIO 頭。

套件載體板的主要特性和接口如表 1 所示。有關(guān) Jetson Xavier NX 計(jì)算模塊的核心處理能力和規(guī)格的更多信息，請(qǐng)參閱 介紹世界上最小的人工智能超級(jí)計(jì)算機(jī) Jetson Xavier NX post 和 Jetson Xavier NX 模塊數(shù)據(jù)表 。

表 1 . Jetson Xavier NX 開發(fā)者工具包載體板連接和接口。

Jetpack4 . 4 開發(fā)者預(yù)覽版

NVIDIA JetPack SDK 包含在Jetson上構(gòu)建AI應(yīng)用程序的庫、工具和核心操作系統(tǒng)。Jetpack4.4開發(fā)者預(yù)覽版增加了對(duì)JetsonXavierNX的支持。它包括CUDA Toolkit 10.2以及cuDNN 8.0、TensorRT 7.1、DeepStream 5.0的預(yù)覽版，以及用于部署云原生服務(wù)的NVIDIA容器運(yùn)行時(shí)，以及表2中所示的其他組件。 為流行的機(jī)器學(xué)習(xí)框架（如TensorFlow和Pythorch）預(yù)構(gòu)建的包安裝程序也可以在 Jetson ZOO 獲取 , 還有 NGC 上 JetPack 的新框架容器

表 2 . NVIDIA Jetpack4 . 4 開發(fā)者預(yù)覽版 SDK 中可用的軟件組件。

為 Jetson Xavier NX 、 Jetson AGX Xavier 、 Jetson TX1 / TX2 和 Jetson Nano 下載 Jetpack4 . 4 開發(fā)者預(yù)覽版 。在收到新的 Jetson Xavier NX 開發(fā)工具包后，請(qǐng)按照 入門 指南中的說明，使用 JetPack 映像閃存 microSD 卡。

這個(gè)開發(fā)者預(yù)覽版可以用來安裝和運(yùn)行 Jetson Xavier NX 開發(fā)者工具包并開始應(yīng)用程序開發(fā)，而生產(chǎn) Jetpack4 . 4SDK 計(jì)劃在今年夏天晚些時(shí)候發(fā)布。安裝 JetPack 之后，您可以跟隨一些 AI 驅(qū)動(dòng)的 Jetson 社區(qū)項(xiàng)目 。

深度學(xué)習(xí)推斷基準(zhǔn)

Jetson 可用于將廣泛流行的 DNN 模型和 ML 框架部署到邊緣，并具有高性能的推斷，用于實(shí)時(shí)分類和目標(biāo)檢測(cè)、姿勢(shì)估計(jì)、語義分割和自然語言處理（ NLP ）等任務(wù)。

JetPack SDK 和 NVIDIA CUDA -X 對(duì) Jetson 和 NVIDIA 離散的 GPU 的共同支持意味著您可以輕松地將性能和尺寸、重量和功耗（交換）消耗降低到 5W ，而無需重新編寫應(yīng)用程序。圖 3 顯示了 Jetson Nano 上流行的視覺 DNN 的推斷基準(zhǔn)， Jetson TX2 、 Jetson Xavier NX 和 Jetson AGX Xavier 以及 Jetpack4 . 4 開發(fā)者預(yù)覽版和 TensorRT 7 . 1 。這些結(jié)果可以通過從 GitHub 運(yùn)行開放的 jetson_benchmarks 項(xiàng)目來復(fù)制。

圖 3 。用 TensorRT 來推斷 Jetson 家族中各種基于視覺的 DNN 模型的性能。

在 Jetson Xavier NX 和 Jetson AGX Xavier 上， NVIDIA 深度學(xué)習(xí)加速器（ NVDLA ）發(fā)動(dòng)機(jī)和 GPU 同時(shí)以 INT8 精度運(yùn)行，而在 Jetson Nano 和 Jetson TX2 上， GPU 以 FP16 精度運(yùn)行。 Jetson Xavier NX 的性能比 Jetson TX2 高 10 倍，功耗相同，占地面積小 25% 。

在這些基準(zhǔn)測(cè)試期間，每個(gè)平臺(tái)都以最高性能運(yùn)行（ MAX-N 模式用于 Jetson AGX Xavier ， Xavier NX 和 TX2 為 15W ， Nano 為 10W ）。這些基于視覺的任務(wù)的最大吞吐量是在批大小不超過 15ms 的延遲閾值的情況下獲得的。 – 否則，對(duì)于平臺(tái)超過此延遲閾值的網(wǎng)絡(luò)，批處理大小為 1 。這種方法在實(shí)時(shí)應(yīng)用程序的確定性低延遲需求和多流用例場(chǎng)景的最大性能之間提供了平衡。

我們還為 BERT 提供問題回答方面的基準(zhǔn)測(cè)試結(jié)果。 BERT 是一種多功能架構(gòu)，在多個(gè) NLP 任務(wù)（包括 QA 、意圖分類、情感分析、翻譯、名稱/實(shí)體識(shí)別、釋義、推薦系統(tǒng)、自動(dòng)完成）中得到了廣泛的應(yīng)用，還有更多。

TensorRT 傳統(tǒng)上過于復(fù)雜，無法在本地部署機(jī)載邊緣設(shè)備，尤其是 BERT 大型變體。然而，在 BERT 中包含 BERT 的張量核心優(yōu)化后， BERT 可以很容易地在 Jetson Xavier NX 和 Jetson AGX Xavier 上運(yùn)行。

將 BERT 部署到邊緣對(duì)于低延遲、智能人機(jī)交互（ HMI ）和會(huì)話式人工智能非常有用，正如本文后面的多容器演示的 chatbot 部分一樣，它也在本地執(zhí)行自動(dòng)語音識(shí)別（ ASR ），而不依賴云連接。

圖 4 。 BERT Base 和 BERT 在回答問題時(shí)的運(yùn)行時(shí)性能很高，使用 NLP 任務(wù)的 50ms 延遲閾值。

圖 4 顯示了 BERT Base 和 BERT Large 在回答問題時(shí)的運(yùn)行時(shí)性能，使用了 NLP 任務(wù)的 50ms 延遲閾值。這些結(jié)果是以每秒的順序來衡量的，其中每一個(gè)文本序列都是 BERT 回答的一個(gè)查詢或問題。 BERT 在 Jetson 上的性能為用戶提供了近乎即時(shí)的反饋，延遲低至 5 . 9ms ，這使得 BERT 處理可以與視頻等其他實(shí)時(shí)處理流同時(shí)執(zhí)行。

將云計(jì)算原生方法帶到邊緣

到目前為止，嵌入式和邊緣設(shè)備的軟件都是以單片系統(tǒng)的形式編寫的。升級(jí)單片軟件映像的復(fù)雜性增加了 bug 的風(fēng)險(xiǎn)，并使更新的節(jié)奏難以加快。對(duì)于具有人工智能的邊緣設(shè)備來說，這一點(diǎn)尤其有問題，它需要頻繁更新以維持快速的能力改進(jìn)?，F(xiàn)代對(duì)敏捷能力和零停機(jī)時(shí)間持續(xù)創(chuàng)新的期望要求改變嵌入式和邊緣設(shè)備軟件的開發(fā)和部署方式。

在邊緣采用云本地的范例，如微服務(wù)、容器化和容器編排是前進(jìn)的方向。

微服務(wù)架構(gòu)、容器化和編排使云應(yīng)用程序能夠擺脫單一工作流的約束。現(xiàn)在， Jetson 正在將云原生轉(zhuǎn)換思想引入 AI 邊緣設(shè)備。

Jetson 是領(lǐng)先的人工智能邊緣計(jì)算平臺(tái)，擁有近 50 萬開發(fā)者。它由 JetPack SDK 提供支持，該 SDK 具有與世界各地?cái)?shù)據(jù)中心和工作站相同的 CUDA -X 加速計(jì)算堆棧和 NVIDIA 容器運(yùn)行時(shí)。

通過 Jetson 的幾個(gè)開發(fā)和部署容器、容器化框架和托管在 NVIDIA NGC 上的預(yù)先訓(xùn)練的 AI 模型，它可以作為 AI 應(yīng)用程序開發(fā)的構(gòu)建塊。最新的 Jetson Xavier NX 以盡可能小的外形尺寸實(shí)現(xiàn)全功能、多模式人工智能應(yīng)用。

我們歡迎使用云本地技術(shù)，使客戶具有擴(kuò)展業(yè)務(wù)所需的生命周期靈活性?？蓴U(kuò)展軟件開發(fā)加快了上市時(shí)間。為什么？因?yàn)楫?dāng)您不必同時(shí)更新其他應(yīng)用程序組件時(shí)，更新產(chǎn)品生命周期的過程會(huì)變得不那么繁重。

多容器演示

Jetson Xavier NX 的 NVIDIA 多容器演示 展示了使用云本地方法開發(fā)和部署服務(wù)機(jī)器人 AI 應(yīng)用程序的過程。服務(wù)機(jī)器人是一種自主機(jī)器人，通常與零售、酒店、醫(yī)療保健或倉庫中的人互動(dòng)。

視頻。 Jetson Xavier NX 的云原生多容器演示，并行運(yùn)行七個(gè)深度學(xué)習(xí)模型。

考慮一個(gè)服務(wù)機(jī)器人，它的目的是通過與購物者交互來改善零售百貨公司的客戶服務(wù)。機(jī)器人只有在能夠執(zhí)行包括人體識(shí)別、交互檢測(cè)、人體姿態(tài)檢測(cè)、語音檢測(cè)和自然語言處理在內(nèi)的許多計(jì)算任務(wù)時(shí)，才能為客戶的查詢提供有用的答案。機(jī)器人必須運(yùn)行支持這些功能所需的多個(gè)人工智能模型。

有了云原生方法，人工智能模型可以獨(dú)立開發(fā)，包含所有依賴項(xiàng)的容器化，并部署到任何 Jetson 設(shè)備上。

該演示程序在 Jetson Xavier NX 上同時(shí)運(yùn)行四個(gè)容器，具有七個(gè)深度學(xué)習(xí)模型，包括姿勢(shì)估計(jì)、面部和凝視檢測(cè)、人物計(jì)數(shù)、語音識(shí)別和 BERT 問答。結(jié)果是，這些服務(wù)構(gòu)建塊容器可以輕松地修改和重新部署，而不會(huì)造成中斷，從而提供零停機(jī)時(shí)間和無縫更新體驗(yàn)。

在沒有犧牲所有數(shù)據(jù)流的計(jì)算能力的情況下，[zd-9]提供了一個(gè)傳感器的計(jì)算能力。您可以使用 NGC 上托管的容器從 NVIDIA-AI-IOT/jetson-cloudnative-demo GitHub repo 下載演示。

在邊緣計(jì)算領(lǐng)域?qū)崿F(xiàn)下一個(gè)飛躍

計(jì)算性能、緊湊、省電的外形和全面的軟件支持使 Jetson Xavier NX Developer Kit 成為創(chuàng)建高級(jí) AI 驅(qū)動(dòng)應(yīng)用程序并部署到邊緣的理想平臺(tái)。

關(guān)于作者

達(dá)斯汀是 NVIDIA 的 Jetson 團(tuán)隊(duì)的開發(fā)人員布道者。 Dustin 擁有機(jī)器人和嵌入式系統(tǒng)方面的背景，他樂于在社區(qū)中提供幫助，并與 Jetson 一起參與項(xiàng)目。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團(tuán)隊(duì)合作，為 NVIDIA 驅(qū)動(dòng)平臺(tái)優(yōu)化系統(tǒng)軟件。在業(yè)余時(shí)間，蘇哈斯喜歡讀量子物理學(xué)和博弈論方面的書籍。

Sarah Todd 是 NVIDIA 嵌入式團(tuán)隊(duì)的營銷經(jīng)理。 Sarah 對(duì)推動(dòng)人工智能應(yīng)用程序?qū)崿F(xiàn)真正的解決方案非常感興趣，她負(fù)責(zé)邊緣技術(shù)的營銷，包括與 Jetson 平臺(tái)相關(guān)的軟件和硬件、自主機(jī)器和 NVIDIA 機(jī)器人技術(shù)。

Dustin Franklin 是 NVIDIA 的 Jetson 團(tuán)隊(duì)的開發(fā)人員布道者。 Dustin 擁有機(jī)器人和嵌入式系統(tǒng)方面的背景，他樂于在社區(qū)中提供幫助，并與 Jetson 一起參與項(xiàng)目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團(tuán)隊(duì)合作，為 NVIDIA 驅(qū)動(dòng)平臺(tái)優(yōu)化系統(tǒng)軟件。

審核編輯：郭婷