這篇文章是“NVIDIA 機器人研究與開發(fā)摘要 (R2D2)”的一部分，旨在讓開發(fā)者更深入地了解 NVIDIA 研究中心在物理 AI 和機器人應用方面的最新突破。

本期 NVIDIA 機器人研究與開發(fā)摘要 (R2D2) 將探討 NVIDIA 研究中心針對機器人裝配任務的多種接觸密集型操作工作流，以及它們如何解決傳統(tǒng)固定自動化在魯棒性、適應性和可擴展性等方面的關鍵挑戰(zhàn)。

什么是接觸密集型操作？

接觸密集型操作是指機器人與環(huán)境中的物體進行持續(xù)或重復物理接觸的任務，需要精確控制力和運動。與簡單的抓取和放置操作不同，這些任務需要精細的交互來處理不確定性下的摩擦、順應性和對齊問題。

接觸密集型操作在機器人、制造和汽車等行業(yè)中起著關鍵作用，常見任務包括插入銷釘、嚙合齒輪、旋緊螺栓以及組裝卡扣零件。作為機器人裝配的核心能力之一，接觸密集型操作使機器人能夠執(zhí)行復雜的高精度任務，這對于自動化裝配和應對真實世界的多樣化變化至關重要。

NVIDIA 研究中心應對

機器人裝配任務的工作流

由于需要在動態(tài)環(huán)境中進行精確操作，機器人裝配一直是極具挑戰(zhàn)性的課題。傳統(tǒng)的機器人裝配依賴固定自動化，靈活性受限。然而隨著 AI、機器學習和機器人仿真技術的進步，機器人能夠處理更復雜的任務。NVIDIA 研究中心開發(fā)的以下一系列裝配工作流，標志著從剛性自動化向靈活、可擴展的機器人系統(tǒng)的轉變：

Factory：基于物理的快速仿真與學習工具包，用于實時接觸密集型交互。

IndustReal：使機器人能夠通過強化學習在仿真中學習裝配任務，并將其遷移到真實世界的一套算法和系統(tǒng)工具包。

AutoMate：用于在不同幾何形狀的裝配任務中訓練專用和通用機器人裝配策略的全新策略學習框架。

MatchMaker：使用生成式 AI 自動生成多樣化、可用于仿真的裝配資產對的全新流程。

SRSA：從現(xiàn)有技能中進行檢索，用以對新的機器人裝配任務進行微調的框架。

TacSL：基于 GPU 的視觸覺傳感器仿真與學習庫。

FORGE：利用力測量作為輸入，實現(xiàn)零樣本仿真到現(xiàn)實遷移的強化學習策略框架。

機器人裝配的基礎性突破：

Factory、IndustReal 和 AutoMate

長期以來，接觸密集型交互的實時仿真一直被視為計算上難以實現(xiàn)的難題，但是 Factory 實現(xiàn)了突破。Factory 是一個基于 GPU 的仿真框架，使用 SDF 碰撞、接觸簡化和 Gauss-Seidel 求解器。

NVIDIA Isaac Lab 中已經可以提供這些環(huán)境，如圖 1 所示。在此基礎上，在仿真感知策略更新、基于 SDF 的獎勵、基于采樣的課程和策略級動作整合器等創(chuàng)新的推動下，IndustReal 的發(fā)布實現(xiàn)了裝配技能從仿真到現(xiàn)實世界的零樣本遷移，在 600 次試驗中成功率達 83% 至 99%。這項技術已經在 Franka Panda 和 UR10e 機器人上進行了測試，為現(xiàn)實工業(yè)應用鋪平了道路。

圖 1. Isaac Lab 中的接觸密集型仿真環(huán)境

AutoMate 進一步推動了這項技術的發(fā)展。通過引入首個基于仿真的框架，將強化學習與模仿學習相結合，解決了廣泛的挑戰(zhàn)性裝配任務，實現(xiàn)了大規(guī)模的零樣本仿真到現(xiàn)實的遷移。它提供了 100 個仿真兼容的裝配資產、解決約 80 項任務的專用策略，以及通過蒸餾和微調訓練可處理 20 項任務的通用策略（成功率均達到約 80%）。

值得注意的是，這兩種策略類型均展示了零樣本仿真到現(xiàn)實遷移的能力，有時甚至超過了仿真性能。如圖 2 所示，AutoMate 經過超過 500 萬次仿真試驗和 500 次真實試驗的評估。專用策略通過拆卸實現(xiàn)裝配 (assembly-by-disassembly)、強化學習與模仿學習、以及 Dynamic Time Warping (DTW) 的組合進行訓練。通用策略使用 PointNet 自動編碼器進行幾何表示，從專用策略中提取知識，并基于強化學習進行微調。

圖 2. 在仿真和真實世界中部署的 AutoMate 策略，每個示例上方顯示唯一的裝配 ID

借助先進學習算法和自動化，

探索機器人裝配領域的邊界

在 Factory 和 IndustReal 突破性成果的基礎上，研究團隊利用自動化資產生成、技能檢索與適應、強化學習和模仿學習，以及不同的感官輸入，應對更復雜和多樣的裝配挑戰(zhàn)，推動接觸密集型操作的邊界。下面將重點介紹這一系列創(chuàng)新技術。

MatchMaker：

機器人裝配的自動化資產生成

圖 3. MatchMaker 資產生成流程

MatchMaker（在 ICRA 2025 上展示）是一種全新的生成式流程，可自動生成多樣化、兼容仿真的裝配資產對，以促進裝配技能的學習。它通過生成無貫穿、幾何匹配的零件，解決了手動創(chuàng)建管理資產的挑戰(zhàn)。MatchMaker 支持三種可能的輸入——無輸入、單個資產或裝配對，并輸出具有可調間隙的可用于仿真的資產對。

主要功能：

自動轉換：將不兼容的資產對轉換為與仿真兼容的模型。

資產對生成：從單個資產創(chuàng)建幾何匹配的零件，用于新的裝配任務。

真實接觸交互：根據用戶定義的間隙貼近接觸表面，確保零件之間的真實交互。

如圖 3 所示，MatchMaker 作為形狀補全任務，分三個階段生成裝配對：

接觸面檢測：基于VLM (GPT-4o) 識別資產類型、裝配方向與接觸軸；

形狀補全：使用3D生成模型生成裝配對中的第二個資產；

間隙設定：貼近接觸面，避免穿模，并確保與仿真器兼容。

圖 4 展示了生成的資產示例。MatchMaker 已在仿真和真實環(huán)境中得到驗證，證明了其在開發(fā)穩(wěn)健的裝配策略方面的有效性。

圖 4. MatchMaker 生成的裝配對示例

SRSA：

機器人裝配任務的技能檢索與適應

SRSA（ICLR 2025 上的一個亮點）是一個數據高效的機器人學習框架，能從裝配任務技能庫中重用和調整預訓練技能。該框架根據幾何形狀、動力學、動作和預測成功率，為新任務選擇最優(yōu)現(xiàn)有策略，并針對目標任務進行策略微調。

圖 5. SRSA 可檢索和微調已有的最佳技能，然后再將其添加到技能庫中

與從零開始學習（比如使用 AutoMate 技術進行學習）相比，SRSA 具有更好的性能、效率和穩(wěn)定性，同時支持持續(xù)學習。它在新任務上的成功率提高了 19%，所需樣本減少了 2.4 倍，在真實世界測試中達到了 90% 的平均成功率。

TacSL：

用于視觸覺傳感器仿真和學習的庫

TacSL (taxel) 是一個基于 GPU 的視觸覺加速仿真庫（即主流機器人觸覺傳感器的輸出），可實現(xiàn)視觸覺傳感器及相應接觸力場的仿真，速度比現(xiàn)有最先進技術快 200 倍以上。

圖 6. TacSL 工具包的組件

觸覺感知對人類理解世界至關重要，能幫助我們感知壓力、紋理和形狀。在機器人中，觸覺感知 (tactile sensing) 是指使用特殊的觸覺傳感器檢測與物體的接觸，這一能力在抓取物體、零件裝配或調整抓握力等任務中尤為重要。盡管觸覺感知非常重要，但受限于數據分析難度大、真實觸覺仿真存在挑戰(zhàn)，以及訓練機器人基于觸覺數據執(zhí)行動作的復雜性較高，與視覺感知相比，觸覺感知在機器人中尚未廣泛應用。

TacSL 通過針對視觸覺傳感器的快速 GPU 加速觸覺仿真模塊和學習算法，解決了這些長期存在的挑戰(zhàn)。它使機器人能夠在仿真中借助真實的觸覺反饋，學習接觸密集型任務，比如插入銷釘。TacSL 支持大規(guī)模訓練以及仿真到現(xiàn)實的成功遷移（成功率 83% 至 91%），使基于觸覺的學習更具實用性和可擴展性。

視頻 1. 不同插銷位置、持銷釘位置和持銷釘方向的插入策略執(zhí)行，展示了對劇烈光照變化的魯棒性

FORGE：

在不確定性下實現(xiàn)穩(wěn)健的

接觸密集型操作的力引導探索

圖 7. FORGE 訓練流程和多級行星齒輪箱裝配示例

FORGE 引入了一種方法，使以力測量值為輸入的強化學習策略能夠實現(xiàn)零樣本仿真到現(xiàn)實的遷移。這種方法在零件位姿存在顯著不確定性或任務需要高精度和準確性時非常重要。

主要功能：

力觀測輸入：自適應調節(jié)操作期間施加的力度。

力閾值機制：限制最大力度以保護精密零件。

動態(tài)隨機化方案：在訓練期間對機器人動力學和零件屬性進行隨機化處理，以實現(xiàn)穩(wěn)健的真實世界泛化能力。

成功預測器：實現(xiàn)自主完成任務，而不依賴固定持續(xù)時間的執(zhí)行。

憑借這些功能，即使在位置估計誤差高達 5 毫米的情況下，F(xiàn)ORGE 仍能夠支持安全探索和成功執(zhí)行。圖 8 展示了這一能力在多級行星齒輪系統(tǒng)裝配中的應用。該任務需要三項裝配技能：插入銷釘、齒輪嚙合和螺母螺栓擰入。

圖8. FORGE在三項不同裝配技能中的應用：插入銷釘、齒輪嚙合和螺母螺栓擰入

FORGE 能夠處理如卡扣插入等需要施加力的任務，并在所需力未知時，使用成功預測自動調整力度限制。這展示了其具備高精度處理復雜任務并適應真實世界不確定性的能力。

總結

機器人裝配非常復雜，需要精確的接觸和真實世界的適應性。本文重點介紹了在仿真到現(xiàn)實的遷移、觸覺和力傳感以及自動化資產生成方面的研究進展，為更靈活、適應性更強的自動化打下基礎。

這篇文章是“NVIDIA 機器人研究與開發(fā)摘要 (R2D2)”的一部分，旨在讓開發(fā)者更深入地了解 NVIDIA 研究中心在物理 AI 和機器人應用方面的最新突破。