提供合成數(shù)據(jù)生成工具和服務的公司以及開發(fā)人員現(xiàn)在可以使用 Omniverse Replicator SDK 。 Omniverse Replicator SDK 構建在 NVIDIA Omniverse 平臺上，在 Omniverse Code 。

Omniverse Replicator 是一個高度可擴展的 SDK ，構建在可擴展的 Omniverse 平臺上，用于物理精確的 3D 合成數(shù)據(jù)生成，以加速 AI perception Network 的訓練和性能。開發(fā)人員、研究人員和工程師現(xiàn)在可以使用 Omniverse Replicator 來引導現(xiàn)有的深度學習感知模型，并利用大規(guī)模真實照片合成數(shù)據(jù)提高其性能。

圖 1 ：。 Replicator 使用基于 Omniverse 開放標準的平臺以及 OmniGraph 和 Farm 體系結構提供的可擴展性和可伸縮性

Omniverse Replicator 為開發(fā)人員提供了一個非常出色的平臺，以構建特定于其神經(jīng)網(wǎng)絡需求的合成數(shù)據(jù)生成應用程序。它建立在開放標準上，如 通用場景描述 （ USD 、 PhysX 和 材料定義語言 （ MDL ），具有易于使用的 Python API ，還具有可擴展性，支持自定義隨機化器、注釋器和編寫器。通過基于 CUDA 的 OmniGraph 實現(xiàn)核心注釋器功能，支持閃電般的數(shù)據(jù)生成，這意味著可以立即預覽輸出。與組合時 Omniverse 農(nóng)場 和 SwiftStack 輸出， Replicator 在云中提供了巨大的可擴展性。

Omniverse Replicator SDK 由六個主要組件組成，用于定制合成數(shù)據(jù)工作流：

語義架構編輯器： 通過對 3D 資產(chǎn)及其 PRIM 進行語義標記， Replicator 可以在渲染和數(shù)據(jù)生成過程中注釋感興趣的對象。語義模式編輯器提供了一種通過用戶界面將這些標簽應用于舞臺上的 prim 的方法。

Visualizer： 這為分配給三維資源的語義標簽以及二維/三維邊界框、法線、深度等注釋提供了可視化功能。

Randomizers： 域隨機化是 Replicator 最重要的功能之一。使用隨機化器，您可以創(chuàng)建隨機化場景，從資源、材質、照明和攝影機位置以及其他隨機化功能進行采樣。

Omni.syntheticdata： 這提供了與 Omniverse RTX 渲染器和 OmniGraph 計算圖形系統(tǒng)的低級集成。它還支持 Replicator 的地面真相提取注釋器，將任意輸出變量（ AOV ）從渲染器傳遞到注釋器。

Annotators： 這些接收來自 Omni 的 AOV 和其他輸出。 syntheticdata extension 為深度神經(jīng)網(wǎng)絡（ DNN ）訓練生成精確標記注釋。

Writers： 處理來自注釋器的圖像和其他注釋，并生成 DNN 特定的數(shù)據(jù)格式以供培訓。

人工智能訓練中的合成數(shù)據(jù)

為感知任務訓練 DNN 通常涉及從數(shù)百萬張圖像中手動收集數(shù)據(jù)，然后手動注釋這些圖像和可選的增強。

圖 2 ：。數(shù)據(jù)收集和注釋任務圖

手動數(shù)據(jù)收集和注釋既費力又主觀。大規(guī)模收集和注釋真實圖像，即使是簡單的注釋，如二維邊界框，也會帶來許多后勤挑戰(zhàn)。涉及到的注釋（如分段）是資源受限的，手動執(zhí)行時精度要低得多。

圖 3 ：。語義分割任務的復雜性

收集和注釋后，數(shù)據(jù)將轉換為 DNN 可用的格式，然后對 DNN 進行感知任務培訓。網(wǎng)絡架構中的超參數(shù)調整或更改是優(yōu)化網(wǎng)絡性能的典型后續(xù)步驟。對模型性能的分析可能會導致數(shù)據(jù)集中的潛在更改，但在大多數(shù)情況下，這需要另一個手動數(shù)據(jù)收集和注釋周期。這種手動數(shù)據(jù)收集和注釋的迭代周期是昂貴、乏味和緩慢的。

利用合成生成的數(shù)據(jù)，團隊可以以經(jīng)濟高效的方式引導和增強大規(guī)模訓練數(shù)據(jù)的生成，并提供精確的注釋。此外，合成數(shù)據(jù)生成還有助于解決與長尾異常、缺乏可用培訓數(shù)據(jù)和在線強化學習相關的挑戰(zhàn)。與手動收集和注釋數(shù)據(jù)不同，合成生成的數(shù)據(jù)具有較低的攤銷成本，這有利于數(shù)據(jù)收集/注釋和模型訓練周期的典型迭代性質。

圖 4 ：。 Omniverse Replicator ，用于生成具有精確注釋的大規(guī)模訓練數(shù)據(jù)

Omniverse Replicator 通過利用 Omniverse 平臺的許多核心功能和最佳實踐，包括但不限于物理精確的照片級數(shù)據(jù)集和對超大數(shù)據(jù)集的訪問，解決了這些挑戰(zhàn)。

物理精確的光繪數(shù)據(jù)集要求使用 RTX 技術、基于物理的材料和物理引擎進行精確的光線跟蹤和路徑跟蹤，所有這些都是 Omniverse 平臺的核心技術。

圖 5 ：。使用 Omniverse Replicator 增強倉庫場景中的傳感器注釋

基于 通用場景描述 （ USD ）， Omniverse 無縫連接到其他 3D 應用程序，因此開發(fā)人員可以引入定制內容，或者編寫自己的工具來生成不同的域場景。 生成這些資產(chǎn)通常是一個瓶頸，因為它需要跨多個 GPU 和節(jié)點進行擴展。

Omniverse Replicator 通過利用 Omniverse Farm ，允許團隊一起使用多個工作站或服務器來支持渲染或合成數(shù)據(jù)生成等工作。合成數(shù)據(jù)生成工作流并非“一勞永逸”為了成功地使用合成數(shù)據(jù)訓練網(wǎng)絡，必須在真實數(shù)據(jù)集上對網(wǎng)絡進行迭代測試。 Replicator 通過將模擬世界轉換為一組可學習的參數(shù)來提供這種以數(shù)據(jù)為中心的 AI 培訓。

使用 Omniverse Replicator 和 TAO Toolkit 加速現(xiàn)有工作流

開發(fā)人員、工程師和研究人員可以將 Omniverse Replicator 與現(xiàn)有工具集成 加快 AI 模型培訓。例如，一旦生成了合成數(shù)據(jù)，開發(fā)人員就可以使用 NVIDIA TAO 工具包 。 TAO 工具包利用遷移學習的力量，讓開發(fā)人員在沒有人工智能專業(yè)知識的情況下，針對其用例培訓、調整和優(yōu)化模型。

圖 6 ：用于合成數(shù)據(jù)生成和模型培訓的 Omniverse Replicator 和 TAO toolkit 工作流

使用 Omniverse Replicator 構建應用程序

Kinetic Vision 是一家面向零售、內部物流、消費制造和消費包裝產(chǎn)品等大型工業(yè)客戶的系統(tǒng)集成商。他們正在開發(fā)基于 Omniverse Replicator SDK 將為客戶提供高質量的合成數(shù)據(jù)作為一項服務。

當深度學習模型訓練所需的數(shù)據(jù)不可用時， Omniverse Replicator 生成合成數(shù)據(jù)，可用于擴充有限的數(shù)據(jù)集。 閃電 AI （前身為 Grid.AI ）使用 NVIDIA Omniverse 復制器根據(jù)通用場景描述（ USD ）生成物理上精確的 3D 數(shù)據(jù)集，可用于訓練這些模型。用戶可以簡單地拖放 3D 資產(chǎn)，在生成數(shù)據(jù)集后，用戶可以從最新的最先進的計算機視覺模型中進行選擇，以自動對合成數(shù)據(jù)進行訓練。

圖 7 ： Lightning AI 應用程序顯示在 Replicator 生成的合成數(shù)據(jù)上訓練和測試的 DNN

在 NVIDIA， ISAAC Sim DRIVE Sim 團隊利用 Omniverse Replicator SDK 構建特定領域的合成生成工具，用于機器人的 ISAAC Replicator 和用于自主車輛培訓的 DRIVE Replicator 。 Omniverse Replicator SDK 為開發(fā)人員提供了一組核心功能，可以利用 Omniverse 平臺提供的所有優(yōu)勢構建任何特定于領域的合成數(shù)據(jù)生成管道。借助 Omniverse 作為 3D 模擬、渲染和 AI 開發(fā)功能的開發(fā)平臺， Replicator 提供了定制的合成數(shù)據(jù)生成管道。

可利用性

這個 Omniverse Replicator SDK 現(xiàn)已在中提供 Omniverse Code ，可從 Omniverse 啟動器下載。

關于作者

Nyla Worker 是 NVIDIA 的解決方案架構師，專注于嵌入式設備的模擬和深入學習。她在機器人和自動車輛的深度學習邊緣應用方面擁有豐富的經(jīng)驗，并為嵌入式設備開發(fā)了加速推理管道。

Bhumin Pathak 是 NVIDIA 合成數(shù)據(jù)生成 SDK （也稱為 Replicator ）的高級產(chǎn)品經(jīng)理。他喜歡在計算機圖形學、 3D 仿真和機器學習的交叉領域工作。在加入 NVIDIA 之前，他曾在迪士尼擔任人工智能的應用研究員，并在思科和三星擔任其他各種職務。

審核編輯：郭婷