實時邊緣 AI 對于醫(yī)療、工業(yè)和科學(xué)計算至關(guān)重要，因為這些任務(wù)關(guān)鍵型應(yīng)用需要即時數(shù)據(jù)處理、低延遲和高可靠性，以確保作出及時準確的決策。這些挑戰(zhàn)不僅涉及硬件平臺上的高帶寬傳感器處理和 AI 計算，還需要企業(yè)級 AI 軟件來支持整個邊緣計算軟件堆棧。

NVIDIA IGX 專為工業(yè)和醫(yī)療環(huán)境而設(shè)計，可為企業(yè)提供邊緣 AI 所需的性能、耐用性、安全性和保密性。借助 NVIDIA AI Enterprise 上的 GPU 加速計算，IGX 加速了各行業(yè)先進的 AI 解決方案的開發(fā)，并大幅降低時間和成本，使企業(yè)無需花費數(shù)年時間設(shè)計自定義系統(tǒng)和定制 AI 模型。

在 COMPUTEX 2024 上，IGX 進行了一次重大更新，引入生產(chǎn)就緒型 NVIDIA AI Enterprise IGX 并擴展了 IGX 系統(tǒng)。所有相關(guān)的改進都提供長達 10 年的硬件和軟件支持，使企業(yè)能夠提供安全可靠的 AI，以支持人機協(xié)作。

NVIDIA IGX 軟件堆?，F(xiàn)已生產(chǎn)就緒

隨著 NVIDIA IGX-SW 1.0 的公開發(fā)布，NVIDIA IGX 上的軟件堆?，F(xiàn)已投入生產(chǎn)。您還可以獲得 NVIDIA AI Enterprise IGX 的長期支持，并在 NVIDIA 的支持下放心地部署您的產(chǎn)品。

為滿足對多模態(tài)生成式 AI 部署和高帶寬信號處理日益增長的需求，此版本將 AI 計算能力擴展到 1705 TOPS。相比使用板上集成 iGPU，AI 性能提升了 7 倍。借助此類高性能 AI 計算，您可以輕松運行要求嚴苛的 AI 任務(wù)，并支持生成式 AI 應(yīng)用。

此版本還提供一個簡單易用的 Web 界面來安裝所有固件，有效簡化了安裝過程：只需選擇所需的固件，然后單擊安裝按鈕。

從下載中心下載 NVIDIA IGX-SW 1.0 公開版本，所有軟件堆棧均可免費用于開發(fā)和評估。

在生產(chǎn)方面，軟件堆棧由 NVIDIA AI Enterprise IGX 提供支持，并通過 NVIDIA 專家提供企業(yè)級長期支持。訂閱 NVIDIA AI Enterprise IGX 后，您可以訪問以下選項：

生產(chǎn)分支：使用最新的 NVIDIA AI 堆棧，并利用最新的技術(shù)和優(yōu)化。每 6 個月發(fā)布一次新的生產(chǎn)分支，每個分支維護 9 個月。這為零售和機器人等用例提供了一個理想選擇，確保您可以引入最新的 AI 模型和生成式 AI 任務(wù)。

長期支持分支：版本鎖定，維護和支持長達 10 年。新的長期支持分支每 2.5 年發(fā)布一次，包含新版本的堆棧。這對于醫(yī)療和科學(xué)計算等受監(jiān)管行業(yè)來說是理想的選擇。

這兩個分支均可提供對安全漏洞、API 穩(wěn)定性、錯誤修復(fù)的持續(xù)監(jiān)控，并由 NVIDIA 專家和工程師提供技術(shù)支持和及時解決問題。有關(guān)更多信息，請參閱如何使用 NVIDIA AI Enterprise IGX 支持任務(wù)關(guān)鍵型邊緣 AI。

首先，將固件、操作系統(tǒng)和計算堆棧下載到 NVIDIA IGX Orin 開發(fā)者套件。有關(guān)安裝的更多信息，請參閱 NVIDIA IGX 用戶指南。

要開始使用 NVIDIA AI Enterprise IGX，請申請 NVIDIA AI Enterprise IGX 軟件試用版。

專為醫(yī)療、工業(yè)和機器人使用而設(shè)計的企業(yè)級應(yīng)用框架

NVIDIA IGX 支持 NVIDIA 提供的所有用于邊緣的 SDK、應(yīng)用框架和工具。

圖 . IGX Orin 硬件上的 NVIDIA 應(yīng)用框架

它包括以下應(yīng)用框架：

NVIDIA Holoscan 用于從邊緣到云端的實時傳感器處理

NVIDIA Metropolis 用于構(gòu)建、部署和擴展視覺 AI 應(yīng)用

NVIDIA Isaac 用于構(gòu)建高性能機器人應(yīng)用

使用 NGC 中的預(yù)訓(xùn)練模型縮短模型開發(fā)時間，使用合成數(shù)據(jù)生成器來創(chuàng)建用于模型訓(xùn)練的合成數(shù)據(jù)，并使用 NVIDIA TAO 工具套件快速訓(xùn)練和優(yōu)化模型，以實現(xiàn)最佳模型性能。

多模態(tài) AI 和生成式 AI 在處理非結(jié)構(gòu)化數(shù)據(jù)和多樣化環(huán)境方面變得越來越重要。

在醫(yī)療領(lǐng)域，醫(yī)療診斷、用于外科手術(shù)的 AI copilot、AI 手術(shù)機器人和用于患者護理的 AI 智能體現(xiàn)已成為可能。

在制造儀器中，可以進行實時晶圓檢測和高帶寬傳感器處理。

在科學(xué)計算領(lǐng)域，雷達處理和射電天文學(xué)將由 AI 提供動力。

在工業(yè)機器人領(lǐng)域，AI 將為工廠自動化和機器人協(xié)作提供安全防護。

您可以在 Omniverse 中找到許多此類應(yīng)用示例和生成式 AI 模型，在 /nvidia-holohub GitHub 庫中也有相關(guān)資源。

通過 NVIDIA 認證系統(tǒng)擴展 IGX 系列

NVIDIA IGX Orin 平臺引入了一款全新產(chǎn)品—— IGX Orin 500 系統(tǒng)模塊。它為 OEM 提供了設(shè)計載板和自定義配置的靈活性，以滿足客戶需求。在不犧牲企業(yè)軟件支持的情況下，IGX Orin 500 具有與 IGX Orin 700（此前名為 IGX Orin Boardkit）相同的 iGPU、CPU、內(nèi)存和存儲，并且能夠通過附加 sMCU 來實現(xiàn)功能安全，適用于機器人和智能農(nóng)業(yè)應(yīng)用。

表 1. 主要特性比較

* 1705 TOPS = 248 TOPS（GPU）+1457 TOPS（dGPU）

通過使用 NVIDIA IGX Orin 500 設(shè)計指南，OEM 和 ODM 合作伙伴可以開始進行定制載板設(shè)計。對于所有 IGX 系統(tǒng)，OEM 完整系統(tǒng)都需要通過相同的 NVIDIA 認證流程，以確保獲得企業(yè)級軟件支持和最佳的 AI 軟件性能。這種嚴格的測試和驗證降低了部署可支持復(fù)雜、計算密集型生成式 AI 任務(wù)的專用基礎(chǔ)設(shè)施所涉及的風(fēng)險和時間。