新的 Jetson AGX Orin 開發(fā)人員套件在 15-60 W 下提供 275 TOPS 的性能，并與 NVIDIA Isaac 和 JetPack SDK 的進步相結(jié)合，以加速 AI 開發(fā)和部署，并將 Omniverse 工具的輸出帶到邊緣的自主機器人。

幾年前，每個人的老板都在向他們詢問物聯(lián)網(wǎng)戰(zhàn)略、原型，然后不可避免地需要一個產(chǎn)生顯著投資回報率的實施方案。這個循環(huán)正在重復，只是這次是人工智能和機器學習。最大的問題是人工智能更難，需要更長的時間。

在技術(shù)和業(yè)務領導層開始要求它們時，創(chuàng)建物聯(lián)網(wǎng)概念驗證所需的大多數(shù)支持技術(shù)已經(jīng)到位。另一方面，使用人工智能，創(chuàng)建一個甚至遠程有用的模型的過程是漫長而乏味的，包括收集大量數(shù)據(jù)集、用標簽標記數(shù)據(jù)、比較不同的模型類型，然后再選擇最適合您使用的模型案例，然后針對標記的數(shù)據(jù)集訓練所選模型。然后一次又一次地重復該過程，直到達到可接受的性能和準確性水平。

這個過程可能需要一年或更長時間，這甚至不考慮硬件。

NVIDIA 在過去六個月中發(fā)布了一系列產(chǎn)品和功能，以幫助 AI 開發(fā)人員加速這一進程。值得注意的是，在 GTC 2021 年秋季，該公司推出了 Omniverse Replicator 引擎，這是一種合成數(shù)據(jù)生成工具，可幫助開發(fā)人員訓練 AI。作為公司 Isaac 和 Drive Sim 模擬環(huán)境的一部分，Replicator 生成和標記特定領域的真實數(shù)據(jù)，這些數(shù)據(jù)可以增強由人類工程師和數(shù)據(jù)科學家手動捕獲和分類的真實世界數(shù)據(jù)集。僅此一項就可以將自動駕駛汽車、機器人和其他人工智能驅(qū)動機器的開發(fā)時間縮短數(shù)月。

但這只是第一步。Replicator 生成數(shù)據(jù)后，需要通知模型。訓練、適應、優(yōu)化 （TAO） 工具包解決了這一問題，該工具包在過去幾年中得到了增強，以支持使用來自 Omniverse Replicator 等工具的合成數(shù)據(jù)對現(xiàn)有模型進行訓練。正如您在上圖中所見，工作流將這些模型與應用程序框架集成在一起，例如用于計算機視覺的 NVIDIA DeepStream、用于支持人工智能的語音用例的 NVIDIA Riva 以及通過與開源機器人基金會 （OSRF） 合作的 Isaac ROS ）現(xiàn)在支持機器人操作系統(tǒng) （ROS），以加速自主移動機器人 （AMR） 的開發(fā)。

這些 SDK 和工具鏈經(jīng)過優(yōu)化，可與 NVIDIA JetPack SDK 配合使用，該 SDK 是為公司的 Jetson 系列嵌入式系統(tǒng)模塊 （SoM） 和開發(fā)套件量身定制的操作系統(tǒng)和應用程序開發(fā)環(huán)境。

介紹 Orin：縮短 AI 開發(fā)生命周期的又一步

NVIDIA 更加強調(diào)應用程序框架和 OS SDK 的集成并不是什么新鮮事，但不應被忽視，因為它代表了 AI 系統(tǒng)工程生命周期的又一步，并縮短了自主機器的上市時間。例如，前面提到的 ROS 和 Isaac 環(huán)境的融合催生了 Isaac Nova Orin等創(chuàng)新，這是一個利用基于 ROS 的 GEM 的計算和傳感器參考平臺，這些 GEM 是用于 AMR 感知堆棧中的計算機視覺和圖像處理的軟件包。

正如 Nova Orin 參考平臺所定義的，這些功能所需的輸入使用了一個傳感器套件，該套件最多包含六個攝像頭、三個激光雷達和八個超聲波傳感器。當然，這些都是可以模擬的，Nova Orin 包含允許開發(fā)人員在 NVIDIA Omniverse 中測試他們的設計的工具，這些工具與 Omniverse Replicator 的功能完美搭配。然而，據(jù)該公司稱，在真實世界中對這個參考平臺進行原型設計需要大約 550 TOPS 的計算能力。

將 AI 開發(fā)時間從數(shù)月或數(shù)年縮短至數(shù)周或數(shù)天的驅(qū)動力推動了 NVIDIA 軟件套件的發(fā)展，該套件現(xiàn)在可以解決從數(shù)據(jù)采集到驅(qū)動的所有問題。該軟件套件的發(fā)展保證了高性能、注重功耗的邊緣 AI 計算硬件的又一次迭代，該硬件昨天在公司兩年一度的 GTC 活動中宣布：NVIDIA Jetson AGX Orin 開發(fā)人員套件和 SoM。

Jetson AGX Orin 開發(fā)人員套件可提供您對新 NVIDIA 硬件平臺的期望——更高的性能、同等的功率和合理的價格點，適合希望在邊緣推理目標上實施流線型 AI 模型的開發(fā)人員。該開發(fā)工具包現(xiàn)在售價 1，999 美元，憑借以下計算子系統(tǒng)，可在 15 至 60 W 的可配置功耗下提供高達 275 TOPS 的 INT8 稀疏計算性能：

具有 2048 個 CUDA 核心和 64 個 Tensor 核心的 Ampere GPU

12核Arm Cortex-A78AE CPU

雙 NVIDIA 深度學習加速器 （DLA）

雙可編程視覺加速器 （PVA）

H.265 視頻編碼/解碼（4K60 至 1080p30 兼容解碼高達 8K30）

這些由 32 GB 的 256 位 LPDDR5 內(nèi)存支持，帶寬高達 204.8 GBps，足以在要求苛刻的 AI 推理部署中利用 GPU 和張量核心的大規(guī)模并行性。板載還有 64 GB 的 eMMC 5.1 存儲。

與 NVIDIA Jetson AGX Xavier 相比，該產(chǎn)品線的性能提升了 8 倍，其中包括 3.3 倍的 AI 執(zhí)行性能提升，與即將推出的 NVIDIA JetPack SDK 5.0 版配合使用時可躍升至 4.9 倍。盡管占用與 Xavier 相同的 110 毫米 x 110 毫米 x 71.65 毫米外形尺寸（包括模塊、載體和散熱解決方案），但仍能實現(xiàn)這一目標。

在 Jetson AGX Orin 開發(fā)人員套件上，這些功能可通過各種接口訪問，這些接口能夠支持 Nova Orin 參考設計等用例，包括：

16 通道 MIPI CSI-2 連接器

x16 PCIe 插槽（x8 PCIe Gen4）

10 GbE 通過 RJ45 端口

2x USB 3.2 Gen2 支持 USB-PD （Type C）， 2x USB 3.2 Gen2 （Type A）， 2x USB 3.2 Gen1 （Type A）， USB 2.0 （Micro B）

用于串行通信、自動化、音頻、調(diào)試、風扇等的各種排針。

用于擴展、存儲的 M.2 Key（M、E）和 microSD 插槽

此外，開發(fā)人員套件還附帶一個 802.11ac/abgn 無線網(wǎng)絡接口控制器和 USB-C 電源適配器和電源線。它還保持與Jetson AGX Xavier 平臺的引腳和軟件兼容性，以實現(xiàn)最大的應用程序可移植性。

人工智能：從元界開發(fā)到邊緣部署

兩個 Jetson AGX Orin 開發(fā)工具包足以滿足 Nova Orin 參考設計的要求，直到現(xiàn)在，這可能需要一個成熟的邊緣服務器。消除這些外形尺寸和功耗限制是實現(xiàn)從 AMR 到自動駕駛汽車等系統(tǒng)中準確、低延遲的邊緣 AI 擴散的關鍵。

但由于您實際上無法將開發(fā)人員套件放入生產(chǎn)系統(tǒng)中，因此 NVIDIA 宣布了基于 Jetson AGX Orin 的新 SoM 系列，將于今年第四季度上市。在下面的幻燈片中可以看到，這些模塊是開發(fā)人員套件的子集，具有不同的緊湊型（AGX 或 NX）和性能級別，但具有與 Jetson 系列模塊的其余部分相同的連接器。

對于那些從 AGX Xavier 平臺遷移的用戶，最接近的模擬是 Jetson AGX Orin 32 GB，1，000 多片的售價為 899 美元。

嵌入式硬件公司已經(jīng)通過載板解決方案來支持這些模塊，例如用于 NVIDIA Jetson AGX Orin 的 ConnectTech Forge Carrier，它帶來了模塊的 16 通道 MIPI 連接器、M.2 Key 插槽、USB 3.2 接口和用于系統(tǒng)設計和擴張。

當然，這不是結(jié)束?；谶@樣的技術(shù)設計和部署生產(chǎn)系統(tǒng)實際上更多的是一個開始。

NVIDIA Metropolis等軟件功能繼續(xù)將這些邊緣 AI 平臺轉(zhuǎn)變?yōu)樽罱咏阎嬖诘娜祟惛兄芰Φ钠脚_。Metropolis 是另一個應用程序框架，它將來自“數(shù)萬億個端點”的視覺傳感器數(shù)據(jù)與人工智能相結(jié)合，以幫助為系統(tǒng)設計和操作提供信息。換句話說，對于 Metropolis，工廠監(jiān)控攝像頭可以作為輔助 AMR 導航的輸入。

如果你覺得事情正在發(fā)生變化，而且變化很快，那你是對的。他們是。沒關系。正如 NVIDIA 首席執(zhí)行官 Jensen Huang 在新聞發(fā)布會上所說，“深度學習不僅僅是像光柵化或紋理映射這樣的新應用或技術(shù)的某些特征。深度學習和機器學習是計算的基本重新設計。這是一種全新的計算方式，其意義非常重要。

“我們編寫軟件的方式、我們維護軟件的方式、我們不斷改進軟件的方式都發(fā)生了變化，這是第一位的，”他繼續(xù)說道?！暗诙?，我們可以編寫的軟件類型發(fā)生了變化。它是超人的能力，我們以前從未編寫過的軟件。第三件事是為軟件工程師和操作提供的整個基礎設施，即所謂的 MLOps，即與開發(fā)這種端到端從根本上改變公司有關。”

幸運的是，像 Jetson AGX Orin 這樣的工具包、像 JetPack 和 Isaac Sim 這樣的環(huán)境，以及像 Omniverse Replicator 這樣的元宇宙開發(fā)的工具現(xiàn)在都可以用來促進這種過渡，從而簡化 AI 開發(fā)并縮短部署時間這在一年前是不可想象的。

審核編輯：郭婷