AI 先鋒 Andrew Ng 呼吁廣泛轉向以數(shù)據(jù)為中心的機器學習（ ML ）方法。他最近舉辦了第一次以數(shù)據(jù)為中心的人工智能數(shù)據(jù)質量競賽，許多人聲稱這代表了人工智能 80% 的工作。

“我樂觀地認為，人工智能社區(qū)不久將對系統(tǒng)化改進數(shù)據(jù)和架構模型產生同樣大的興趣，” Ng 在他的時事通訊The Batch中寫道。

以數(shù)據(jù)為中心的合成數(shù)據(jù)方法

在使用合成數(shù)據(jù)時采用以數(shù)據(jù)為中心的模型開發(fā)方法是一個迭代過程。工程師評估訓練有素的模型并確定數(shù)據(jù)集中的改進。然后，他們生成新的數(shù)據(jù)集并開啟新的訓練周期。這個生成數(shù)據(jù)、訓練模型、評估模型和生成更多數(shù)據(jù)的過程會持續(xù)下去，直到模型按預期執(zhí)行。

每次迭代中的數(shù)據(jù)都是在模擬中生成的，而不是在真實世界中收集的，然后進行標記，從而加快了模型訓練的速度。這些可以大規(guī)模生成的數(shù)據(jù)集以培訓工具可以直接使用的格式輸出。該功能消除了在數(shù)據(jù)預處理中執(zhí)行額外步驟的麻煩。

合成數(shù)據(jù)生成過程的參數(shù)化為 ML 工程師提供了對每次迭代的更多控制，以及對數(shù)據(jù)集中已有內容的可追溯性。通過合成數(shù)據(jù)、大規(guī)模生成、理解數(shù)據(jù)集中存在的內容，將數(shù)據(jù)集改進結合在一起，它的生成方式縮短了開發(fā)人員實現(xiàn)結果的時間。

推出用于 ISAAC Sim 卡的 NVIDIA Omniverse 復制器

隨著人們對數(shù)據(jù)質量的日益關注， NVIDIA 發(fā)布了新的Omniverse Replicator for ISAAC Sim 應用程序，該應用程序基于最近發(fā)布的Omniverse Replicator 合成數(shù)據(jù)生成引擎。Isaac Sim中的這些新功能使 ML 工程師能夠構建生產質量的合成數(shù)據(jù)集，以訓練強健的深度學習感知模型?！皬椭啤蹦Ｐ湍繕擞虻墓逃蟹植际亲畲蠡Ｐ托阅艿年P鍵。

Omniverse 復制器用于 ISAAC Sim 卡優(yōu)勢

生成數(shù)據(jù)集，以實現(xiàn)開發(fā)人員設置為目標的隨機、受控和有界分布。

確保數(shù)據(jù)集包含目標角落和測試用例。

包含對象、照明和場景的攝影機相對視野放置。

在基于邊緣和云的系統(tǒng)上大規(guī)模工作。

跟蹤每個數(shù)據(jù)集中使用的工具和參數(shù)，以推動迭代過程并支持生產數(shù)據(jù)集的質量審核。

圖 1 ISAAC Sim 中的合成數(shù)據(jù)生成工作流示例。

Replicator 演示：使用自動移動機器人避免叉車叉齒

目前許多工廠部署的自主移動機器人（ AMR ）都是基于平面激光雷達的。激光雷達足以探測到許多物體的存在并進行導航。叉車在許多工廠和倉庫中隨處可見，這對激光雷達提出了獨特的挑戰(zhàn)；可以檢測叉車底盤，但不能檢測叉齒。

由于平面激光雷達無法檢測到叉齒，因此機器人只能在叉齒上方行駛時避免與叉車本體發(fā)生碰撞。

解決此問題的一種方法是讓機器人“感知”其路徑中有叉車，并使用該識別來改進導航以避免尖齒。

本節(jié)概述了使用 ISAAC Sim Replicator 培訓 DNN 以解決 AMR /叉車問題的整個工作流程的演示。

叉車演示關鍵步驟

在Omniverse上的 ISAAC Sim 卡中構建倉庫場景。

在倉庫中放置 AMR 并重新創(chuàng)建故障場景。

獲取叉車模型并使用 ISAAC Sim 生成合成數(shù)據(jù)。

使用TAO Toolkit使用合成數(shù)據(jù)訓練現(xiàn)有預訓練模型。

使用DNN Inference Isaac ROS GEM部署模型。

在模擬中測試 ISAAC ROS GEM 。

在NVIDIA Jetson platform上部署 ISAAC GEM in robot 軟件堆棧。

圖 2 使用 ISAAC Sim 數(shù)據(jù)復制器進行叉車演示的完整工作流程。

為 ISAAC Sim 使用 Omniverse 復制器生成數(shù)據(jù)集

在本演示中，我們獲得了八種不同的 3D 叉車通用場景描述（ USD ）模型來訓練 DNN 。 ISAAC Sim Replicator 然后被用來描述影響對象（叉車）的眾多參數(shù)：照明、相機和場景本身。

在領域隨機化中使用了特別的注意，因此深度學習模型將推廣其對叉車的理解。通過更改顏色、紋理、照明、叉車相對于攝影機的位置、叉車的偏航、俯仰、滾動，并在場景中添加其他非叉車對象，模型可以學習概括叉車。

最終，為這次演示生成了 90000 多張圖像。我們使用新的Omniverse Farm，一個用于多 GPU 、多代理、模擬的系統(tǒng)層，來管理創(chuàng)建數(shù)據(jù)集的 GPU – 計算資源。

這些圖像表示實現(xiàn)穩(wěn)健性能所需的數(shù)據(jù)多樣性類型。

培訓和部署叉車探測器 DNN

我們從NVIDIA TAO Toolkit 中選擇了一個預訓練模型來執(zhí)行識別叉車所需的分割任務。該模型經過預訓練，可以對人物、汽車和背景類進行語義分割。我們使用轉移學習，將該模型用于使用 ISAAC Sim 中生成的合成數(shù)據(jù)對叉車執(zhí)行語義分割。

下一步是將叉車模型添加到DNN Inference Isaac ROS GEM。您可以快速將推理添加到基于 ROS 的機器人應用程序中，如本文中描述的 AMR 用例。

總結

提高基于人工智能的計算機視覺應用程序的性能需要復制目標領域固有分布的大型和多樣的數(shù)據(jù)集。用于 ISAAC Sim 卡的新型 NVIDIA Omniverse Replicator 是一款功能強大的應用程序，可生成生產質量數(shù)據(jù)集。

我們演示了如何使用合成數(shù)據(jù)培訓在 AMR 上運行的 DNN ，以避免在叉車叉齒上運行的常見事故。

在許多其他場景中，您可以應用此過程并使用合成數(shù)據(jù)來增加機器人對其環(huán)境和行為的理解。最終，這將導致機器人事故更少，需要更少的人工干預。

關于作者

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產品營銷經理。在加入 NVIDIA 之前，Gerard在Cadence擔任產品營銷總監(jiān)，負責許可處理器IP的產品規(guī)劃、營銷和業(yè)務開發(fā)。他擁有佐治亞理工學院電子工程碩士學位和南方衛(wèi)理公會大學電子工程學士學位。

審核編輯：郭婷