目前，機(jī)器人在受控的環(huán)境中能夠有出色的表現(xiàn)，但在面對現(xiàn)實(shí)世界任務(wù)時，仍難以應(yīng)對其中的不可預(yù)測性、操作靈活性和細(xì)微的交互需求，例如組裝精密組件或是以接近人類的精度操控日常物體。

機(jī)器人學(xué)習(xí)已成為彌合實(shí)驗(yàn)室演示與現(xiàn)實(shí)世界部署之間差距的關(guān)鍵推動力。

本期NVIDIA 機(jī)器人研究與開發(fā)摘要 (R2D2)將探討 NVIDIA 研究中心在 CoRL 2025 上展示的三項突破性的神經(jīng)網(wǎng)絡(luò)創(chuàng)新研究，這些研究正在重塑機(jī)器人的學(xué)習(xí)與適應(yīng)方式：

NeRD（神經(jīng)機(jī)器人動力學(xué)模型）：通過具備跨任務(wù)泛化能力的學(xué)習(xí)型動力學(xué)模型增強(qiáng)仿真效果，同時支持在真實(shí)環(huán)境中對模型微調(diào)。

Dexplore：將動作捕捉演示數(shù)據(jù)作為自適應(yīng)引導(dǎo)信息，幫助機(jī)器人實(shí)現(xiàn)人類級別的靈巧操作能力。

VT-Refine：融合視覺感知與觸覺傳感技術(shù)，通過創(chuàng)新的“真實(shí)—仿真—真實(shí)”（real-to-sim-to-real）訓(xùn)練流程，使機(jī)器人熟練掌握高精度雙手協(xié)同裝配任務(wù)。

通過神經(jīng)仿真推動機(jī)器人學(xué)習(xí)：現(xiàn)代機(jī)器人普遍具有高自由度和復(fù)雜的機(jī)械結(jié)構(gòu)，傳統(tǒng)仿真器難以準(zhǔn)確捕捉其復(fù)雜性。神經(jīng)模型能夠高效預(yù)測復(fù)雜的動力學(xué)行為，并適應(yīng)現(xiàn)實(shí)世界的數(shù)據(jù)，有助于應(yīng)對這一挑戰(zhàn)。

NeRD 是經(jīng)過學(xué)習(xí)的動力學(xué)模型，能夠預(yù)測特定機(jī)器人（或稱鉸接剛體系統(tǒng)）在接觸約束下的未來狀態(tài)。該模型能夠替代分析仿真器中的低層動力學(xué)與接觸求解器，從而構(gòu)建一種混合仿真預(yù)測框架。NeRD 可輕松集成到現(xiàn)有的鉸接剛體仿真框架中，可作為Newton等物理引擎的無縫接入后端。

NeRD 可以高效預(yù)測復(fù)雜的動力學(xué)行為并適應(yīng)真實(shí)世界的數(shù)據(jù)

從人類運(yùn)動中學(xué)習(xí)靈巧技能：機(jī)器人的手部通常自由度較低且驅(qū)動、感知與控制能力有限，這使得機(jī)器人難以有效地從人類操作中學(xué)習(xí)靈巧的操作技能。

手與物體動作捕捉（MoCap）存儲庫提供了豐富的接觸密集操作的人類演示，但它們難以直接用于機(jī)器人的策略學(xué)習(xí)。

本研究提出了參考范圍探索（RSE），一種統(tǒng)一的單循環(huán)優(yōu)化方法。它融合了重定向與跟蹤功能，能夠直接利用運(yùn)動捕捉（MoCap）數(shù)據(jù)來訓(xùn)練可擴(kuò)展的機(jī)器人控制策略。這種做法不僅保留了演示的意圖，并使機(jī)器人能夠自主探索與其自身形態(tài)相契合的動作。

從人類演示中學(xué)習(xí)靈巧操作，首先使用RSE訓(xùn)練一個基于狀態(tài)的模仿控制策略，進(jìn)而探索機(jī)器人專屬的操作策略

視覺與觸覺相結(jié)合，實(shí)現(xiàn)雙手協(xié)同裝配：基于擴(kuò)散策略的行為克隆方法面臨兩大局限，即在現(xiàn)實(shí)世界中，演示數(shù)據(jù)有限，且數(shù)據(jù)采集接口的觸覺反饋也較為有限。

為解決這一數(shù)據(jù)難題，VT-Refine 開發(fā)了一種創(chuàng)新的“真實(shí)—仿真—真實(shí)”框架。該框架融合了仿真、視覺與觸覺信息，可有效應(yīng)對雙手協(xié)同裝配任務(wù)中的挑戰(zhàn)。

VT-Refine 是一種創(chuàng)新的視覺觸覺策略學(xué)習(xí)框架，適用于高精確、接觸密集型的雙手協(xié)同裝配任務(wù)