NVIDIA TAO 工具套件提供了一個低代碼 AI 框架，無論是新手還是數(shù)據(jù)科學(xué)專家都可以使用這個平臺加速視覺 AI 模型開發(fā)。有了 TAO 工具套件，開發(fā)人員可以進行遷移學(xué)習(xí)，通過適應(yīng)和優(yōu)化，在短時間內(nèi)達到最先進的精度和生產(chǎn)級吞吐量。

NVIDIA 發(fā)布了 NVIDIA TAO 套件 5.0 ，帶來了 AI 模型開發(fā)方面的突破性功能提升。新功能包括開源架構(gòu)、基于 Transformer 的預(yù)訓(xùn)練模型、AI 輔助的數(shù)據(jù)標注，以及在任何平臺上部署模型的能力。

發(fā)布亮點包括：

• 以開放的 ONNX 格式導(dǎo)出模型，支持在 GPU、CPU、MCU、神經(jīng)加速器等設(shè)備上部署。

• 先進的視覺 Transformer 訓(xùn)練，可提高準確性和魯棒性，防止圖像損壞和噪聲。

• 新增 AI 輔助數(shù)據(jù)注釋，加快了分割掩碼的標記任務(wù)。

• 支持例如光學(xué)字符檢測和連體網(wǎng)絡(luò)模型等用于光學(xué)檢測的新型計算機視覺任務(wù)和預(yù)訓(xùn)練模型。

• 開放源代碼，可提供定制解決方案，加快開發(fā)和集成速度。

使用指南：

• 訪問 TAO 工具套件入門頁面，查看教學(xué)視頻和快速入門指南。

• 從 NGC 下載 TAO 工具套件和預(yù)訓(xùn)練模型。

圖 1：NVIDIA TAO 工具套件工作流程圖

在任何平臺、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導(dǎo)出。無論是 GPU 、CPU 、MCU 、DLA 還是 FPGA 的邊緣或云上的任何計算平臺，都可以部署使用 NVIDIA TAO 工具套件訓(xùn)練的模型。NVIDIA TAO 工具套件簡化了模型訓(xùn)練過程，優(yōu)化了模型的推理吞吐量，為數(shù)千億臺設(shè)備的 AI 提供了動力。

圖 2：NVIDIA TAO 工具套件體系

用于構(gòu)建、完善和部署機器學(xué)習(xí)模型和算法的平臺 Edge Impulse 將 TAO 工具套件集成到其邊緣 AI 平臺中。通過整合，Edge Impulse 現(xiàn)在可以提供先進的視覺 AI 功能和模型，并對其現(xiàn)有產(chǎn)品進行補充。開發(fā)者可以利用 TAO，使用該平臺為任何邊緣設(shè)備構(gòu)建生產(chǎn)型 AI。

視頻 1. 利用NVIDIATAO 并部署在Cortex-M7 MCU 上的

Edge Impulse 平臺訓(xùn)練 AI 模型

全球領(lǐng)先的嵌入式微控制器制造商意法半導(dǎo)體，將 TAO 集成到其 STM32Cube AI 開發(fā)者工作流程中。借助 TAO，該公司能夠在 STM32 微控制器驅(qū)動的各種物聯(lián)網(wǎng)和邊緣用例中，根據(jù)它們的最大算力和內(nèi)存運行各種復(fù)雜 AI 功能。

有了 NVIDIA TAO 工具套件，即使是 AI 新手也可以在微控制器的計算和內(nèi)存預(yù)算內(nèi)優(yōu)化和量化 AI 模型，使其在 STM32 MCU 上運行。開發(fā)人員還可以導(dǎo)入自己的模型，并使用 TAO 工具套件進行微調(diào)。有關(guān)這項工作的更多信息，請參閱下面的視頻。

訪問 GitHub 頁面（https://github.com/STMicroelectronics/stm32ai-tao），了解更多關(guān)于意法半導(dǎo)體用例信息。

視頻 2: 了解如何在一個 STM 微控制器上

部署使用 TAO 工具套件優(yōu)化的模型

雖然 TAO 工具套件模型可以在任何平臺上運行，但這些模型在使用TensorRT進行推理的NVIDIA GPU上才能實現(xiàn)最高吞吐量。在 CPU 上，這些模型使用 ONNX-RT 進行推理。一旦軟件可用，將提供復(fù)制這些數(shù)字的腳本和配方。

表 1：幾種 NVIDIA TAO 工具套件

視覺模型的性能比較（以 FPS 為單位），

包括 NVIDIA GPU 上的新視覺 Transformer 模型

AI 輔助的數(shù)據(jù)標注和管理

對于所有 AI 項目來說，數(shù)據(jù)標注仍然是一個昂貴且耗時的過程。對于 CV 任務(wù)尤其如此，比如需要在標注對象周圍生成像素級別分割掩碼的分割任務(wù)。通常，分割掩碼的成本是對象檢測或分類的 10 倍。

通過 TAO 工具套件 5.0 ，用最新的 AI 輔助標注功能對分割掩碼進行標注，速度更快，成本更低。現(xiàn)在，您可以使用弱監(jiān)督分割架構(gòu) Mask Auto Labeler （MAL）來輔助進行分割注釋，以及固定和收緊用于對象檢測的邊界框。實況數(shù)據(jù)中對象周圍的松散邊界框可能會導(dǎo)致非最佳檢測結(jié)果。但是，通過 AI 輔助標注，您可以將邊界框收緊到對象上，從而獲得更準確的模型。

圖 3：TAO 工具套件的自動標記

MAL 是一個基于 Transformer 的掩碼自動標注框架，用于僅使用方框標注的實例分割。MAL 將方框裁剪圖像作為輸入內(nèi)容，并有條件地生成掩碼偽標簽。它對輸入和輸出標簽都使用了 COCO 注釋格式。

MAL 顯著縮小了自動標注和人工標注在掩碼質(zhì)量方面的差距。使用 MAL 生成的掩碼訓(xùn)練的實例分割模型幾乎可以匹配全監(jiān)督對應(yīng)模型的性能，保留了高達 97.4% 的全監(jiān)督模型的性能。

圖 4：MAL 網(wǎng)絡(luò)架構(gòu)

訓(xùn)練 MAL 網(wǎng)絡(luò)時，任務(wù)網(wǎng)絡(luò)和教師網(wǎng)絡(luò)（共享相同的轉(zhuǎn)換器結(jié)構(gòu)）協(xié)同工作以實現(xiàn)與類無關(guān)的自我訓(xùn)練。這樣就可以優(yōu)化具有條件隨機場（CRF）損失和多實例學(xué)習(xí)（MIL）損失的預(yù)測掩碼。

TAO 工具套件在自動標注流程和數(shù)據(jù)擴充流程中都使用了 MAL 。具體而言，用戶可以在空間增強的圖像上生成偽掩碼（例如，剪切或旋轉(zhuǎn)），并使用生成的掩碼細化和收緊相應(yīng)的邊界框。

最先進的視覺 Transformer

Transformer 已經(jīng)成為 NLP 中的標準架構(gòu)，這主要是因為自注意力架構(gòu)，同時它們還因一系列視覺 AI 任務(wù)而廣受歡迎。一般來說，基于 Transformer 的模型因為具有魯棒性、可推廣性和對大規(guī)模輸入執(zhí)行并行處理的能力，會優(yōu)于傳統(tǒng)的基于 CNN 的模型。所有這些優(yōu)點都提高了訓(xùn)練效率，對圖像損壞和噪聲提供了更好的魯棒性，并對不可視的對象更好地進行泛化。

TAO 工具套件 5.0 為流行的 CV 任務(wù)提供了幾種最先進的（SOTA）視覺 Transformer ，具體如下。

全注意力網(wǎng)絡(luò)

全注意力網(wǎng)絡(luò)（FAN）是 NVIDIA Research 的一個基于 Transformer 的主干，它在抵御各種破壞方面實現(xiàn)了最優(yōu)的魯棒性。這類主干可以很容易地推廣到新的領(lǐng)域，并且對噪聲、模糊等更具魯棒性。

FAN 模塊背后的一個關(guān)鍵設(shè)計是注意力通道處理模塊，它可以實現(xiàn)穩(wěn)健的表征學(xué)習(xí)。FAN 可以用于圖像分類任務(wù)以及諸如對象檢測和分割之類的下游任務(wù)。

圖 5 ：與 FAN Small （右）相比，

ResNet50 （中）損壞圖像的激活熱圖

FAN 系列支持四個主干，如表 2 所示。

表 2：具有尺寸和精度的 FAN 主干

全局視野視覺 Transformer

全局上下文視覺 Transformer（GC-ViT）是 NVIDIA Research 的一種新架構(gòu)，可實現(xiàn)非常高的準確性和計算效率。GC-ViT 解決了視覺 Transformer 中缺乏誘導(dǎo)性偏差的問題 。通過使用局部自注意，它在 ImageNet 上使用較少的參數(shù)獲得了更好的結(jié)果。

局部自我注意與全局視野自我注意相結(jié)合，可以有效地模擬長距離和短距離的空間交互。圖 6 顯示了 GC-ViT 模型體系結(jié)構(gòu)。有關(guān)更多詳細信息，請參見 Global Context Vision Transformers （https://arxiv.org/pdf/2206.09959.pdf）。

圖 6：GC-ViT 模型架構(gòu)

如表 3 所示，GC-ViT 家族包含六個主干，從 GC-ViT-xxTiny （計算效率高）到 GC-ViT-Large （非常準確）。GC-ViT 大型模型在 ImageNet-1K 數(shù)據(jù)集上可以實現(xiàn) 85.6 的 Top-1 精度，用于圖像分類任務(wù)。該體系結(jié)構(gòu)還可以用作其他 CV 任務(wù)的主干，如對象檢測、語義和實例分割。

表 3：具有尺寸和精度的 GC-ViT 主干

DINO

DINO（具有改進去噪錨框的檢測 Transformer）是最新一代檢測 Transformer（DETR），達到了一個比上一代更快的訓(xùn)練收斂時間。Deformable DETR （D-DETR）至少需要 50 個 epochs 才能收斂，而 DINO 可以在 COCO 數(shù)據(jù)集上在 12 個 epochs 內(nèi)收斂。而且，與 D-DETR 相比，它還實現(xiàn)了更高的精度。

DINO 通過在訓(xùn)練期間去噪實現(xiàn)更快的收斂，這有助于提案生成階段的二分匹配過程。由于二分匹配的不穩(wěn)定性，類 DETR 模型的訓(xùn)練收斂速度較慢。二分匹配減少了對人工和計算繁重的 NMS 操作的需求。但是，它通常需要更多的訓(xùn)練，因為在二分匹配期間，不正確的基本事實也可以與預(yù)測相匹配。

為了解決這個問題， DINO 引入了有噪聲的正負真實框來處理“無對象”場景。因此，DINO 的訓(xùn)練收斂得非?？?。更多信息，請參閱 DINO: 帶有改進的去噪錨框的 DETR，可用于端到端對象檢測（https://arxiv.org/pdf/2203.03605.pdf）。

圖 7：DINO 架構(gòu)

TAO 工具套件中的 DINO 是靈活的，可以與傳統(tǒng)的 CNNs 主干（如 ResNets ）和基于 Transformer 的主干（如 FAN 和 GC-ViT）相結(jié)合。表 4 顯示了在各種版本的 DINO 和常用的 YOLOv7 上 COCO 數(shù)據(jù)集的準確性。有關(guān)更多詳細信息，請參見 YOLOv7: 為實時物體檢測器設(shè)置了新的先進技術(shù)的可訓(xùn)練的免費套件（https://arxiv.org/pdf/2207.02696.pdf）。

表 4：COCO 數(shù)據(jù)集上的 DINO 和 D-DETR 準確性

SegFormer

SegFormer 是一種基于 Transformer 的輕量級語義分割方法。它的編碼器由輕量級 MLP 層制成，避免了使用位置編碼（主要由 Transformers 使用），這使得推理在不同分辨率下有效。

將 FAN 主干網(wǎng)添加到 SegFormer MLP 解碼器中會產(chǎn)生一個高度魯棒性和高效的語義分割模型。混合式 FAN-基站 + SegFormer 是 2022 年魯棒視覺挑戰(zhàn)大賽中語義分割項目的獲勝架構(gòu)。

圖 8：具有 FAN 預(yù)測功能的 SegFormer （右）

其在噪音輸入時的一個圖像情況（左）

表 5：SegPreer 與 PSPNet 的魯棒性對比

在下面的視頻中，您將看到 SegFormer 如何保持加速自動駕駛汽車開發(fā)的高效率的同時，生成強魯棒性的語義分割。

視頻 3. NVIDIA DRIVE 實驗室片段，

關(guān)于提升自動駕駛汽車安全的 AI 分割模型

目標檢測和分割之外的 CV 任務(wù)

除了傳統(tǒng)對象檢測和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務(wù)。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實現(xiàn)了自動化，并加速了在保險和金融等行業(yè)的用例。

當被分類的對象變化很大時，檢測圖像中的異常是有用的，但不可能用所有的變化進行訓(xùn)練。例如，在工業(yè)檢測中，缺陷可以是任何形式的。如果訓(xùn)練數(shù)據(jù)之前沒有發(fā)現(xiàn)缺陷，那么使用簡單的分類器可能會導(dǎo)致許多遺漏的缺陷。

對于這樣的用例，將測試對象直接與黃金參考進行比較將獲得更好的準確性。TAO 工具套件 5.0 的特點是暹羅神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，模型計算出被測對象和黃金參考之間的差異，以便在對象有缺陷時進行分類。

使用 AutoML 實現(xiàn)超參數(shù)優(yōu)化的

自動化培訓(xùn)

自動化機器學(xué)習(xí)（AutoML）自動執(zhí)行手動任務(wù)，即在給定數(shù)據(jù)集上查找所需 KPI 的最佳模型和超參數(shù)。它可以通過算法推導(dǎo)出最佳模型，并抽象出 AI 模型創(chuàng)建和優(yōu)化的大部分復(fù)雜性。

TAO 工具套件中的 AutoML 完全配置了用于自動優(yōu)化模型的超參數(shù)。無論是 AI 專家還是新手，都可以輕松使用。對于新手，Jupyter 使用指南提供了一種簡單且有效的創(chuàng)建準確的 AI 模型的方法。

對于專家來說，TAO 工具套件可讓您自由掌控要調(diào)整的超參數(shù)以及用于掃描的算法。TAO 工具套件目前支持兩種優(yōu)化算法：貝葉斯優(yōu)化和超參數(shù)優(yōu)化。這些算法可以掃描一系列超參數(shù)，以找到給定數(shù)據(jù)集的最佳組合。

AutoML 支持多種 CV 任務(wù)，包括一些新的視覺 Transformer，如 DINO、D-DETR、SegFormer 等。表 6 顯示了支持網(wǎng)絡(luò)的完整列表（標粗的項目是 TAO 工具套件 5.0 的新增項目）。

表 6 ：TAO 工具套件中 AutoML 支持的模型，

包括幾個新的視覺轉(zhuǎn)換器模型

（標粗的項目是 TAO 工具套件 5.0 的新項目）

用于工作流程集成的 REST API

TAO 工具套件是模塊化和云原生的，這意味著它可以作為容器使用，并且可以使用 Kubernetes 進行部署和管理。TAO 工具套件可以作為自管理服務(wù)部署在任何公共或私有云、DGX 或工作站上。此外 TAO 工具套件提供定義完善的 REST API，使其易于集成到您的開發(fā)工作流程中。開發(fā)人員可以調(diào)用 API 端點來執(zhí)行所有訓(xùn)練和優(yōu)化任務(wù)。這些 API 端點可以從任何應(yīng)用程序或用戶界面調(diào)用，然后通過遠程觸發(fā)進行訓(xùn)練作業(yè)。

圖 9：用于云原生部署的 TAO 工具套件架構(gòu)

更好的推理優(yōu)化方案

為了簡化產(chǎn)品化并提高推理吞吐量，TAO 工具套件提供了多種交鑰匙性能優(yōu)化技術(shù)。其中包括模型修剪、低精度量化和 TensorRT 優(yōu)化，與公共模型庫的同類模型相比，這些技術(shù)加起來可以提供一個 4 到 8 倍的性能提升。

圖 10：在各種 GPU 上優(yōu)化的 TAO 工具套件

和公共模型之間的性能比較

開放靈活，具有更好的支撐

因為 AI 模型是基于復(fù)雜的算法預(yù)測輸出的，這可能會使人們很難理解系統(tǒng)是如何做出決定的，并且很難調(diào)試、診斷和修復(fù)錯誤?？山忉?a target="_blank">人工智能（XAI）通過解釋 AI 模型如何做出決策來應(yīng)對這些調(diào)整。這不僅有助于人類理解 AI 輸出背后的推理過程，也使診斷和修復(fù)錯誤變得更容易。這種透明度有助于建立對 AI 系統(tǒng)的信任。

為了提高透明度和可解釋性，TAO 工具套件將以開源形式提供。開發(fā)人員將能夠從內(nèi)部層查看特征圖，并繪制激活熱圖，以更好地理解人工智能預(yù)測背后的推理過程。此外，訪問源代碼將使開發(fā)人員能夠靈活地創(chuàng)建定制的 AI，提高調(diào)試能力，并增加對其模型的信任。

NVIDIA TAO 工具套件現(xiàn)已推出，可通過 NVIDIA AI Enterprise （NVAIE） 購買。NVAIE 為公司提供關(guān)鍵業(yè)務(wù)支持、NVIDIA AI 專家答疑以及優(yōu)先安全修復(fù)。了解 NVAIE (https://www.nvidia.com/en-us/data-center/products/ai-enterprise/)并獲得 AI 專家的指導(dǎo)。

與云服務(wù)集成

NVIDIA TAO 工具套件可以集成到您使用的各種 AI 服務(wù)中，如 Google Vertex AI、AzureML、Azure Kubernetes 服務(wù)、Google GKE 和 Amazon EKS。

圖 11：TAO 工具套件 5.0 與各種 AI 服務(wù)集成

總結(jié)

TAO 工具套件提供了一個平臺，任何開發(fā)者在任何服務(wù)、任何設(shè)備上都可以使用，可以輕松地遷移學(xué)習(xí)他們的自定義模型，執(zhí)行量化和修剪，管理復(fù)雜的訓(xùn)練工作流程，并在無需編碼的情況下執(zhí)行人工智能輔助注釋。

*為提供 TAO 工具套件 5.0 版本的準確信息，本文已在原版基礎(chǔ)上進行了修訂。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。