Orin Nano 模塊擁有多達 40 個 AI 性能 TOPS ，為入門級 AI 設(shè)定了新標準，正如 Jetson AGX Orin 已經(jīng)通過 275 個服務(wù)器級計算 TOPS 重新定義了機器人和其他自主邊緣用例一樣。

所有 Jetson Orin 模塊和 Jetson AGX Orin Developer Kit 基于單個 SoC 架構(gòu)，帶有 NVIDIA 安培架構(gòu) GPU 、高性能 CPU 和最新加速器。這種共享架構(gòu)意味著您可以為一個 Jetson Orin 模塊開發(fā)軟件，然后輕松地將其部署到任何其他模塊。

您可以使用 Jetson AGX Orin 開發(fā)工具包立即開始開發(fā)任何 Jetson Orin 模塊。開發(fā)人員工具包能夠以本機方式模擬任何模塊的性能，因此您可以立即開始，縮短上市時間。通過配置硬件特性和時鐘以匹配目標模塊的時鐘，開發(fā)人員工具包可以精確模擬任何 Jetson Orin 模塊的性能。

開發(fā)團隊受益于只需要一種類型的開發(fā)人員工具包的簡單性，而不管生產(chǎn)的目標是什么模塊。這也簡化了 CI / CD 基礎(chǔ)架構(gòu)。無論您是在開發(fā)機器人技術(shù)、視頻分析還是任何其他用例，這一開發(fā)工具包的功能都會帶來許多好處。

將 Jetson AGX Orin 開發(fā)工具包轉(zhuǎn)換為任何 Jetson Orin 模塊

只需一步，您就可以將 Jetson AGX Orin Developer Kit 轉(zhuǎn)換為任何一個 Jetson Orin 模塊。我們?yōu)檫@個過程提供了閃存配置文件。

在 Jetson AGX Orin Developer Kit 上模擬 Jetson Orin 模塊，遵循中提到的相同步驟 to flash a Jetson AGX Orin Developer Kit using the flashing utilities 。在將開發(fā)工具包放入 Force Recovery Mode 后，閃光燈會閃爍。 sh 命令行工具用于用新圖像刷新它。例如，以下命令使用默認配置刷新開發(fā)人員工具包：

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

您使用的確切命令應(yīng)修改為適用于您要模擬的目標 Jetson Orin 模塊的閃存配置名稱。例如，要模擬 Jetson Orin NX 16GB 模塊，請使用以下命令：

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

表 1 列出了 Jetson Orin 模塊和閃存。適用于每個命令的 sh 命令。

自版本 5.0.2 起， Jetson Orin Nano 模塊的閃存配置尚未包含在 NVIDIA JetPack 中。請在downloading them之后使用這些新配置，并根據(jù)下載文件中的說明在 NVIDI JetPack 5.0.2 之上應(yīng)用覆蓋補丁。

閃存完成后，完成初始啟動和配置。然后，您可以使用 SDK Manager 安裝其余的 NVIDIA JetPack 組件，或者只需在運行的開發(fā)人員工具包上使用軟件包管理器即可：

sudo apt update
sudo apt install nvidia-jetpack

現(xiàn)在您已經(jīng)運行了開發(fā)人員工具包并安裝了 NVIDIA JetPack 。您的 Jetson AGX Orin Developer Kit 現(xiàn)在可以模擬指定的 Jetson Orin 模塊的性能和功率。

準確模擬任何 Jetson Orin 模塊

本機模擬非常準確，因為它將開發(fā)人員工具包配置為與時鐘頻率、 GPU 和 CPU 內(nèi)核的數(shù)量以及目標模塊可用的硬件加速器相匹配。

例如，在模擬 Jetson Orin NX 16GB 模塊時：

顯影劑套件 GPU 配置有 1024 個 CUDA 核和 32 個 Tensor 核，最大頻率為 918 MHz 。

CPU 復(fù)合體配置有 8 個 Arm Cortex-A78AE 內(nèi)核，運行頻率為 2 GHz 。

DRAM 配置為 16 GB ，帶寬為 102 GB / s 。

系統(tǒng)提供了 Jetson Orin NX 16GB 模塊支持的相同電源配置文件。

圖 1 可用電源模式

從桌面上的頂部菜單打開 Jetson Power 圖形用戶界面，您會看到系統(tǒng)已根據(jù)模擬的目標模塊進行了準確配置。通過運行以下命令可以配置最大時鐘， Jetson Power 圖形用戶界面將顯示更改。

sudo jetson_clocks

圖 2 顯示了當(dāng) Jetson AGX Orin Developer Kit 閃存到模擬的 Jetson AGX-Orin 64GB 模塊時，與閃存到模擬 Jetson Orin NX 16GB 模塊時相比，配置最大時鐘后的 Jetson Power 圖形用戶界面。

通過運行 NVIDIA JetPack 提供的各種示例，您可以看到性能已調(diào)整為與模擬的模塊相匹配。例如，在配置 Jetson AGX Orin Developer Kit 以模擬相應(yīng)模塊后，與 VPI 庫打包的基準測試示例可用于顯示 Jetson AGX-Orin 64GB 、 Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模塊的 CPU 、 GPU 和 PVA 性能。

要運行 VPI 基準測試示例，請使用以下命令：

cd /opt/nvidia/vpi2/samples/05-benchmark
sudo cmake .
sudo make
sudo ./vpi_sample_05_benchmark 

VPI 基準測試示例輸出高斯算法的延遲（毫秒）。表 2 顯示了每個目標模塊的結(jié)果。

同樣，您可以運行多媒體樣本進行編碼和解碼。

要解碼，請運行以下命令：

cd /usr/src/jetson_multimedia_api/samples/00_video_decode
sudo make
sudo ./video_decode H264 --disable-rendering --stats --max-perf 

要進行編碼，請運行以下命令：

cd /usr/src/jetson_multimedia_api/samples/01_video_encode
sudo make
sudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

表 3 報告了使用 H.264 1080P 30FPS 視頻流運行這些編碼和解碼樣本后的 FPS 數(shù)。

* Jetson Orin Nano 不包括 NVEncoder 。對于表 3 ， Jetson Orin Nano 的編碼是使用 ffmpeg 在 CPU 上完成的。使用四個 CPU 磁芯時，可實現(xiàn) 110 FPS 。當(dāng)使用兩個 CPU 巖芯時， FPS 達到 73 ；當(dāng)使用單個 CPU 巖心時， FPS 達到 33 。

為了證明仿真的準確性，我們在 Jetson AGX Orin Developer Kit 上運行了一些 AI 模型基準測試，模擬為 Jetson AGX-Orin 32GB 。然后，我們將其與在實際 Jetson AGX-Orin 32GB 模塊上運行相同基準測試所獲得的結(jié)果進行比較。從結(jié)果中可以看出，模擬性能和實際性能之間的差異微不足道。

盡管 Jetson AGX Orin Developer Kit 包括 32GB 模塊，但它提供了相同級別的性能，并且配備了 275 個 TOPS ，與 Jetson AGX-Orin 64GB 相匹配。 Jetson AGX Orin 64 GB 仿真不需要特殊的閃存配置，但您必須使用適當(dāng)?shù)拈W存配置在 Jetson AGX-Orin Developer Kit 上仿真 Jetson AGX-Orin 32GB 。

對任何 Jetson Orin 模塊進行端到端開發(fā)

您可以在模擬 Jetson Orin 模塊時使用整個 Jetson 軟件堆棧。 NVIDIA DeepStream 、 NVIDIA -Isaac 和 NVIDIA Riva 等框架在仿真模式下工作，而 TAO Toolkit 等工具在 NGC 的預(yù)處理模型中的性能如預(yù)期。軟件堆棧與仿真無關(guān)，性能與被仿真的目標精確匹配。

如果您正在開發(fā)機器人用例或開發(fā)視覺 AI 管道，您現(xiàn)在可以使用 Jetson AGX Orin Developer Kit 和仿真模式對任何 Jetson Orin 模塊進行端到端開發(fā)。

使用 NVIDIA ISAAC ROS 為任何 Jetson Orin 模塊開發(fā)機器人應(yīng)用程序。只需使用正確的閃存配置來閃存并啟動 ROS 開發(fā)。

關(guān)于作者

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團隊合作，為 NVIDIA 驅(qū)動平臺優(yōu)化系統(tǒng)軟件。

審核編輯：郭婷