將一個自主機器人部署到一個新的環(huán)境可能是一個艱難的命題。你如何才能確信機器人的感知能力足夠強大，因此能夠安全地按計劃執(zhí)行任務？

Trimble 在開始制定計劃，將 Boston Dynamics 的 Spot 部署在各種室內(nèi)環(huán)境和施工環(huán)境中時，面臨著這一挑戰(zhàn)。 Trimble 需要將機器學習（ ML ）模型調(diào)整到精確的室內(nèi)環(huán)境，以便 Spot 能夠在這些不同的室內(nèi)環(huán)境中自主操作。

Trimble 新興技術副總裁 Aviad Almagor 表示：“當我們將配備數(shù)據(jù)采集傳感器和現(xiàn)場控制軟件的 Spot 部署到室內(nèi)環(huán)境時，我們需要開發(fā)一個經(jīng)濟高效且可靠的工作流程來培訓基于ML的感知模型。”。

“這一戰(zhàn)略的核心是分析合成環(huán)境的能力。使用 NVIDIA 上的 NVIDIA Omniverse Sim ，我們可以從 Trimble SketchUp 等 CAD 工具無縫導入不同的環(huán)境。然后生成完全標記的地面真實合成數(shù)據(jù)就成了一個簡單的練習。”

圖 1 在三維建模應用程序 Trimble SketchUp 中查看辦公樓

為了確保模型可靠地工作，從事機器人技術和自動化應用程序的開發(fā)人員需要包含目標環(huán)境所有資產(chǎn)的各種數(shù)據(jù)集。對于室內(nèi)，列表 MIG ht 包括隔墻、樓梯、門、窗和家具等資產(chǎn)。

雖然這些數(shù)據(jù)集可以由真正的攝影師和人類貼標員手動構建，但這種方法需要大量的預先規(guī)劃和高成本，并且通常在項目啟動時關閉大門。使用 合成數(shù)據(jù)，您可以引導您的 ML 培訓并立即開始。

構建此數(shù)據(jù)集時，可以選擇包含分段數(shù)據(jù)、深度數(shù)據(jù)或邊界框。這些貼有完美標簽的地面真相數(shù)據(jù)可以打開許多探索之門。有些東西，如三維邊界框，可以很容易地獲得綜合，而他們是出了名的難以手動標簽。

在本文中，我們概述了使用模擬生成的合成數(shù)據(jù)構建培訓工作流所采取的步驟。盡管此工作流包括復雜的模擬和 ML 技術，但完成此項目所需的步驟很簡單：

將環(huán)境從 CAD 導入NVIDIA Omniverse 平臺。

使用 NVIDIA Omniverse Sim 卡構建合成數(shù)據(jù)集。

使用 NVIDIA TAO toolkit對 ML 模型進行培訓。

將環(huán)境從 Trimble SketchUp 導入 NVIDIA Omniverse

在這個項目中， Trimble SketchUp提供了環(huán)境，這是一個用于設計建筑的 3D 建模應用程序。要導入資源， NVIDIA Omniverse 支持場景描述的 USD 格式。 SketchUp 模型轉換為 USD ，并使用 Omniverse 連接器之一導入。

為確保正確導入所有資產(chǎn)，您必須使用 NVIDIA ISAAC Sim 卡或 Omniverse 中的創(chuàng)建或查看應用程序檢查環(huán)境。在某些情況下，此過程可能需要幾次迭代，直到環(huán)境在 Omniverse 中得到滿意的表示。

圖 2 將 SketchUp 場景導入 Omniverse 的過程

圖 3 導入到 Omniverse 和 Trimble 的 SketchUp 中的原始場景（右）后，同一辦公樓的并排視圖（左）

使用 NVIDIA ISAAC Sim 構建合成數(shù)據(jù)集

合成數(shù)據(jù)是計算機視覺應用中訓練 ML 模型的重要工具，但收集和標記真實數(shù)據(jù)可能耗時且成本高昂。此外，收集角落案例的真實訓練數(shù)據(jù)有時可能很棘手，甚至是不可能的。例如，想象一下，訓練一輛自動駕駛汽車正確識別和反應，以確保穿過繁忙街道的行人的安全。在交通繁忙的人行橫道上拍照是魯莽和危險的。

由于 Trimble 計劃在不同的環(huán)境中為不同的用例部署自主機器人，他們面臨著一個訓練數(shù)據(jù)難題：如何在合理的時間范圍內(nèi)以合理的成本為這些模型安全地獲得正確的訓練數(shù)據(jù)集？

NVIDIA ISAAC Sim 內(nèi)置的合成數(shù)據(jù)生成功能直接解決了這一挑戰(zhàn)。生成合成數(shù)據(jù)集的關鍵要求是為正在部署的 ML 模型支持正確的傳感器集。如后一示例中所述， NVIDIA ISAAC Sim 支持使用邊界框、深度和分割渲染圖像，這些對于幫助機器人感知周圍環(huán)境都很重要。 NVIDIA ISAAC Sim 還支持激光雷達和超聲波傳感器（ USS ）等其他傳感器，在某些機器人應用中可能會很有用。

圖 4 NVIDIA ISAAC Sim 中生成的合成數(shù)據(jù)，顯示 RGB 、分段和邊界框

生成合成數(shù)據(jù)的另一個超級能力是領域隨機化。域隨機化改變定義模擬場景的參數(shù)，例如場景中材質(zhì)的照明、顏色和紋理。其主要目標之一是通過在仿真中將神經(jīng)網(wǎng)絡暴露于各種域參數(shù)來增強 ML 模型的訓練。這有助于模型在遇到真實場景時很好地概括。實際上，這種技術有助于讓模型知道應該忽略什么。

NVIDIA ISAAC Sim 中的可隨機化參數(shù)：

Color

Movement

Scale

Light

Texture

Material

Mesh

Visibility

Rotation

圖 5 NVIDIA ISAAC Sim 中的域隨機化場景

使用 NVIDIA TAO 工具包培訓 ML 模型

圖 6 顯示了預訓練模型和專有數(shù)據(jù)（真實或合成）作為輸入，定制模型作為輸出。

圖 6 TAO 工具包的功能框圖

圖 7 顯示，模擬器可以從 ROS 和 Python 兩方面進行控制。模擬器的輸出包括數(shù)字孿生和合成數(shù)據(jù)，可用于訓練感知模型。

圖 7 NVIDIA 上 NVIDIA Omniverse Sim 的功能框圖

生成數(shù)據(jù)集后，將其正確格式化以使用 NVIDIA TAO 工具包，可以大大減少培訓模型的時間和費用，同時確保模型的準確性和性能。該工具包支持分割、分類和對象檢測模型。

NVIDIA ISAAC Sim 中綜合生成的數(shù)據(jù)集以 KITTI 格式輸出，以便與 TAO 工具包無縫使用。有關在 NVIDIA ISAAC Sim 卡中輸出數(shù)據(jù)以進行培訓的更多信息，請參閱使用 TLT 進行離線培訓。

與真實數(shù)據(jù)相比，使用合成數(shù)據(jù)集時，可能需要迭代數(shù)據(jù)集以獲得更好的結果。圖 8 顯示了使用合成數(shù)據(jù)集進行訓練的迭代過程。

圖 8 迭代訓練以提高模型性能

概括

Trimble 面臨著一個非常普遍的挑戰(zhàn)，即在一個經(jīng)濟高效的工作流程中為自主機器人的 ML 模型獲取訓練數(shù)據(jù)。這一挑戰(zhàn)的解決方案是利用 NVIDIA Omniverse 中連接器的功能，將 CAD 數(shù)據(jù)高效導入 USD 。然后，數(shù)據(jù)可以被帶入 NVIDIA ISAAC Sim 卡。

在模擬器中， ISAAC Sim 強大的合成數(shù)據(jù)功能使生成所需數(shù)據(jù)集變得簡單。您可以提供合成數(shù)據(jù)，以實現(xiàn)更高效的培訓工作流和更安全的自主機器人操作。

關于作者

Nyla Worker 是 NVIDIA 的解決方案架構師，專注于嵌入式設備的模擬和深入學習。她在機器人和自動車輛的深度學習邊緣應用方面擁有豐富的經(jīng)驗，并為嵌入式設備開發(fā)了加速推理管道。

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔任產(chǎn)品營銷總監(jiān)，負責許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務開發(fā)。他擁有佐治亞理工學院電子工程碩士學位和南方衛(wèi)理公會大學電子工程學士學位。

審核編輯：郭婷