仿真是幫助機(jī)器人學(xué)習(xí)感知（從攝像機(jī)圖像中了解世界）、規(guī)劃（制定解決問(wèn)題的行動(dòng)序列）和控制（產(chǎn)生改變機(jī)器人位置和方向的電機(jī)指令）等新技能的一個(gè)必要工具。

機(jī)器人裝配在汽車、航空航天、電子和醫(yī)療設(shè)備行業(yè)中無(wú)處不在。設(shè)置機(jī)器人執(zhí)行裝配任務(wù)是一個(gè)耗時(shí)且昂貴的過(guò)程，需要一整支團(tuán)隊(duì)來(lái)設(shè)計(jì)機(jī)器人的軌跡并仔細(xì)劃定邊界。

在其他機(jī)器人技術(shù)領(lǐng)域，仿真已經(jīng)成為不可或缺的工具，尤其是在發(fā)展 AI 的過(guò)程中。但機(jī)器人裝配涉及幾何復(fù)雜的緊密公差零件之間的高精度接觸。長(zhǎng)期以來(lái)，仿真此類接觸緊密的活動(dòng)在計(jì)算上的難度極高。

NVIDIA

近期在機(jī)器人裝配方面取得了進(jìn)展，這使得超實(shí)時(shí)仿真成為可能。這種高速仿真能夠使用強(qiáng)大、先進(jìn)的強(qiáng)化學(xué)習(xí)（RL）技術(shù)。借助 RL，虛擬機(jī)器人能夠探索仿真環(huán)境、獲得豐富的經(jīng)驗(yàn)，并通過(guò)智能試錯(cuò)來(lái)學(xué)習(xí)有用的技能。將 RL 用于機(jī)器人裝配，可以最大限度地減少對(duì)操作者專業(yè)知識(shí)的需求、增加對(duì)變化的魯棒性并減少硬件磨損。sim-to-real?一詞指的就是將仿真環(huán)境中的技能轉(zhuǎn)移到現(xiàn)實(shí)世界。

將 RL 用于機(jī)器人裝配的最大挑戰(zhàn)之一，是機(jī)器人在仿真中學(xué)習(xí)的技能通常不能有效地轉(zhuǎn)移到現(xiàn)實(shí)世界的機(jī)器人上。出現(xiàn)這個(gè)問(wèn)題是因?yàn)?a href="http://www.brongaenegriffin.com/tags/仿真器/" target="_blank">仿真器與現(xiàn)實(shí)世界之間存在物理學(xué)、電機(jī)信號(hào)和傳感器信號(hào)等方面的微妙差異。此外，現(xiàn)實(shí)世界的機(jī)器人可能會(huì)遇到在仿真器中從未見過(guò)的情況。這些問(wèn)題被統(tǒng)稱為 reality gap（現(xiàn)實(shí)差距）。

什么是 IndustReal?

為了將 RL 用于具有挑戰(zhàn)性的裝配任務(wù)并解決現(xiàn)實(shí)差距問(wèn)題，我們開發(fā)了 IndustReal。IndustReal 是一套用于幫助機(jī)器人解決仿真中的裝配任務(wù)，并將這些能力轉(zhuǎn)移到現(xiàn)實(shí)世界的算法、系統(tǒng)和工具。

IndustReal 主要提供：

一套使仿真機(jī)器人通過(guò) RL 解決復(fù)雜裝配任務(wù)的算法。

一種解決現(xiàn)實(shí)差距，并在現(xiàn)實(shí)世界中部署時(shí)穩(wěn)定機(jī)器人所學(xué)技能的方法。

一個(gè)現(xiàn)實(shí)世界機(jī)器人系統(tǒng)，將在仿真中訓(xùn)練的裝配技能端到端地轉(zhuǎn)移到現(xiàn)實(shí)。

使研究人員和工程師能夠復(fù)制該系統(tǒng)的軟硬件工具套件。

IndustRealKit 是一套受 NIST Task Board 1（既定的機(jī)器人裝配基準(zhǔn)）啟發(fā)的 3D 可打印資產(chǎn) CAD 模型。

IndustRealLib 是一個(gè)輕量級(jí)的 Python 庫(kù)，可將在 NVIDIA Isaac Gym 仿真器中學(xué)到的技能部署到現(xiàn)實(shí)世界的 Franka Emika Panda 機(jī)器人臂上。

和裝配齒輪的策略（上一行），

然后將這些策略部署到現(xiàn)實(shí)世界中（下一行）。

訓(xùn)練算法和部署方法

在這項(xiàng)工作中，我們提出了三種算法幫助機(jī)器人在仿真中使用 RL 學(xué)習(xí)裝配技能。我們還提出了一種使現(xiàn)實(shí)世界的機(jī)器人能夠執(zhí)行這些技能的部署方法。

仿真感知策略更新

像 NVIDIA Isaac Gym 和 NVIDIA Isaac Sim 這樣的機(jī)器人仿真器在滿足現(xiàn)實(shí)世界的物理學(xué)同時(shí)，還要滿足許多物理限制，其中最重要的一項(xiàng)是物體不能相互重疊，或者說(shuō)“互穿”。在大多數(shù)仿真器中，物體之間的小規(guī)模互通不可避免，尤其是在實(shí)時(shí)執(zhí)行時(shí)。

我們引入了仿真感知策略更新（SAPU），為仿真機(jī)器人提供關(guān)于仿真預(yù)測(cè)何時(shí)可靠或不可靠的認(rèn)知。具體而言，在 SAPU 中，我們?cè)?strong> NVIDIA Warp 中實(shí)現(xiàn)了一個(gè)基于 GPU 的模塊，從而在機(jī)器人學(xué)習(xí)如何使用 RL 裝配零件時(shí)檢查是否存在互穿。

當(dāng)互穿規(guī)模小時(shí)，我們對(duì)機(jī)器人的仿真體驗(yàn)進(jìn)行加權(quán)，而當(dāng)互穿規(guī)模大時(shí)，我們就減少加權(quán)。該策略可以防止仿真機(jī)器人利用不準(zhǔn)確的物理規(guī)則解決任務(wù)，進(jìn)而導(dǎo)致無(wú)法將它學(xué)習(xí)的技能轉(zhuǎn)移到現(xiàn)實(shí)世界中。

有向距離場(chǎng)獎(jiǎng)勵(lì)

為了使用 RL 解決任務(wù)，必須定義一個(gè)獎(jiǎng)勵(lì)信號(hào)（例如衡量機(jī)器人在解決任務(wù)方面取得了多少進(jìn)展）。然而，在裝配過(guò)程中，很難根據(jù)形狀復(fù)雜零件的對(duì)齊情況來(lái)定義一個(gè)獎(jiǎng)勵(lì)信號(hào)。

于是我們引入了有向距離場(chǎng)（SDF）獎(jiǎng)勵(lì)，以便衡量仿真零件在裝配過(guò)程中的對(duì)齊程度。SDF 是一個(gè)數(shù)學(xué)函數(shù)，它可以從一個(gè)物體上的點(diǎn)計(jì)算出到另一個(gè)物體表面的最短距離。這種自然、通用的方法可以描述零件之間的對(duì)齊情況，高度對(duì)稱或不對(duì)稱都不例外。

在 SDF 獎(jiǎng)勵(lì)中，我們將獎(jiǎng)勵(lì)信號(hào)定義為裝配過(guò)程中一個(gè)零件的當(dāng)前位置和目標(biāo)位置之間的 SDF 距離。

圖 2. 一個(gè)圓形釘子的 SDF 2D 切片可視化圖。

顏色代表從指定的點(diǎn)到釘子表面的最短距離

基于樣本的課程

課程學(xué)習(xí)是一種成熟的 RL 方法，可解決涉及到許多單獨(dú)步驟或動(dòng)作的問(wèn)題。畢竟，機(jī)器人在學(xué)習(xí)過(guò)程中所面對(duì)的任務(wù)難度會(huì)逐漸增加。

在我們的裝配任務(wù)中，機(jī)器人首先解決簡(jiǎn)單的裝配問(wèn)題（即零件已完成部分裝配），然后再升級(jí)到更難的問(wèn)題（即零件已被拆解）。

隨著零件之間的初始接觸逐漸減少，零件會(huì)在某個(gè)時(shí)刻不再有初始接觸點(diǎn)。由于機(jī)器人的知識(shí)已過(guò)度偏向于部分裝配的情況，這種難度上的陡增會(huì)導(dǎo)致性能崩潰。

我們?yōu)榉抡鏅C(jī)器人引入了一個(gè)基于樣本的課程（SBC）來(lái)逐步學(xué)習(xí)復(fù)雜的裝配任務(wù)。在課程的所有階段都要求機(jī)器人解決各種難度范圍內(nèi)的抽樣裝配問(wèn)題，但會(huì)逐漸刪除問(wèn)題分布中最簡(jiǎn)單的問(wèn)題。在課程的最后階段，各個(gè)零件在一開始就完全不接觸。請(qǐng)看下面的可視化圖。

圖 3. 基于樣本的課程的不同階段。

任務(wù)難度從左到右隨插頭（黃色球體）

初始位置的分布遠(yuǎn)離插座（米色）而增加。

策略級(jí)行動(dòng)整合器

在最常見的機(jī)器人 RL 應(yīng)用中，通過(guò)對(duì)機(jī)器人的姿勢(shì)（即其位置和方向）進(jìn)行增量調(diào)整來(lái)產(chǎn)生機(jī)器人的動(dòng)作。這些增量被應(yīng)用于機(jī)器人的當(dāng)前姿態(tài)，以產(chǎn)生一個(gè)瞬時(shí)的目標(biāo)姿勢(shì)。如果應(yīng)用于現(xiàn)實(shí)世界中的機(jī)器人，由于實(shí)際機(jī)器人的復(fù)雜性，這種策略可能會(huì)導(dǎo)致機(jī)器人的最終姿勢(shì)與其最終目標(biāo)姿勢(shì)之間產(chǎn)生差異。

我們還提出了一個(gè)策略級(jí)行動(dòng)整合器（PLAI）。這是一種簡(jiǎn)單的算法，在現(xiàn)實(shí)世界的機(jī)器人上部署學(xué)習(xí)到的技能時(shí)，可以減少穩(wěn)態(tài)（即長(zhǎng)期的）錯(cuò)誤。我們將增量調(diào)整應(yīng)用于先前的瞬時(shí)目標(biāo)姿勢(shì)，以產(chǎn)生新的瞬時(shí)目標(biāo)姿勢(shì)。

在數(shù)學(xué)上（類似于經(jīng)典 PID 控制器的積分項(xiàng)），這種策略產(chǎn)生的瞬時(shí)目標(biāo)姿勢(shì)是初始姿勢(shì)和機(jī)器人隨時(shí)間產(chǎn)生的動(dòng)作之和。該技術(shù)即便在復(fù)雜的實(shí)際情況下，也可以使機(jī)器人的最終姿勢(shì)與最終目標(biāo)姿勢(shì)之間的誤差最小化。

機(jī)器人正試圖移動(dòng)到一個(gè)目標(biāo)位置，期間我們比較了標(biāo)準(zhǔn)（標(biāo)稱）策略、PLAI 算法和經(jīng)典的 PID 控制器在抵達(dá)任務(wù)上的表現(xiàn)。請(qǐng)看下面的可視化圖。

系統(tǒng)和工具

通過(guò) IndustReal 進(jìn)行現(xiàn)實(shí)世界實(shí)驗(yàn)所使用的裝置，包括一個(gè) Franka Emika Panda 機(jī)器人臂、安裝在機(jī)器人手上的英特爾 RealSense D435 攝像頭，以及一個(gè)帶有零件的裝配平臺(tái)。

IndustReal 提供用于復(fù)制本文中介紹的系統(tǒng)所需要的硬件（IndustRealKit）和軟件（IndustRealLib）。

IndustRealKit 包含可 3D 打印的 20 個(gè)零件的 CAD 模型，涵蓋了這項(xiàng)工作中使用到的所有零件。這些模型帶有 6 個(gè)釘子支架、6 個(gè)釘子插座、3 個(gè)齒輪、1 個(gè)齒輪底座（帶 3 個(gè)齒輪軸）以及 4 個(gè) NEMA 連接器和插座支架，均使用美標(biāo)插頭和電源插座。

采購(gòu)清單包括 17 個(gè)零件：6 個(gè)金屬釘子（NIST 基準(zhǔn)）、4 個(gè) NEMA 連接器和插座、1 個(gè)光學(xué)平臺(tái)以及緊固件。

IndustRealLib 是一個(gè)輕量級(jí)庫(kù)，包含了將在仿真中通過(guò) RL 學(xué)到的技能部署到現(xiàn)實(shí)世界機(jī)器臂上所需要的代碼。具體而言，我們?yōu)橛脩籼峁┠_本，以便他們把在 NVIDIA Isaac Gym 仿真器中訓(xùn)練的控制策略（即將傳感器信號(hào)映射到機(jī)器人行動(dòng)的神經(jīng)網(wǎng)絡(luò)）迅速部署到 Franka Emika Panda 機(jī)器人上。

未來(lái)發(fā)展方向

IndustReal 展示了一條在機(jī)器人裝配任務(wù)中充分發(fā)揮仿真潛力的路徑。隨著仿真變得更加精準(zhǔn)和高效，以及更多仿真轉(zhuǎn)現(xiàn)實(shí)的轉(zhuǎn)移技術(shù)被源源不斷地開發(fā)出來(lái)，我們已經(jīng)預(yù)見到了將這項(xiàng)工作擴(kuò)展到制造業(yè)其他任務(wù)（如螺絲緊固、電纜布線和焊接等）的眾多可能性。我們有理由相信，有朝一日，每一個(gè)先進(jìn)的工業(yè)制造機(jī)器人都將使用這種技術(shù)進(jìn)行仿真訓(xùn)練，以便可以無(wú)縫、靈活地轉(zhuǎn)移到現(xiàn)實(shí)世界。

我們的下一步是將該系統(tǒng)擴(kuò)展到包括更多的對(duì)象、裝配任務(wù)和復(fù)雜的環(huán)境。我們還打算開發(fā)更多的仿真轉(zhuǎn)現(xiàn)實(shí)技術(shù)，以便更加經(jīng)濟(jì)、可靠、安全而順利地轉(zhuǎn)移學(xué)到的技能。

審核編輯：劉清