具身智能走向真實(shí)世界規(guī)?；瘧?yīng)用，離不開可復(fù)現(xiàn)、可擴(kuò)展、可協(xié)同演進(jìn)的數(shù)據(jù)基礎(chǔ)設(shè)施。圍繞真實(shí)物理交互能力構(gòu)建這一核心工程目標(biāo)，1月26日，國家地方共建人形機(jī)器人創(chuàng)新中心聯(lián)合上海緯鈦科技有限公司正式發(fā)布全球首個(gè)最大規(guī)?？绫倔w視觸覺多模態(tài)數(shù)據(jù)集——白虎-VTouch(Vision-Based Tactile Sensor)，總規(guī)模超過60,000分鐘。

近日，白虎-VTouch數(shù)據(jù)集首批6,000分鐘數(shù)據(jù)在OpenLoong開源社區(qū)和AtomGit平臺(tái)同步開放下載，并躍居AtomGit平臺(tái)數(shù)據(jù)集分類下載量第一。歡迎掃描二維碼或點(diǎn)擊閱讀原文下載使用，誠邀全球開發(fā)者與產(chǎn)業(yè)伙伴使用與共建。

白虎-VTouch的開源選擇

在OpenLoong社區(qū)的定位中，白虎-VTouch并不是一個(gè)“單點(diǎn)能力領(lǐng)先”的數(shù)據(jù)集，而是一次對(duì)具身智能數(shù)據(jù)范式的系統(tǒng)性補(bǔ)位。過去幾年，具身智能領(lǐng)域的快速發(fā)展更多依賴視覺、多模態(tài)語言以及仿真環(huán)境中的策略學(xué)習(xí)。但在真實(shí)世界任務(wù)中，機(jī)器人仍然普遍面臨“看得見卻做不好”的困境，其根源并不在模型規(guī)模，而在于真實(shí)物理交互數(shù)據(jù)的長期缺位。

白虎-VTouch的獨(dú)特指出在于其首次將高分辨率視觸覺信息、真實(shí)物理接觸過程以及跨機(jī)器人本體的一致標(biāo)注體系放在同一個(gè)數(shù)據(jù)框架中進(jìn)行系統(tǒng)性構(gòu)建。這類數(shù)據(jù)本身具有高工程成本特性：高帶寬同步采集、復(fù)雜標(biāo)定流程、多機(jī)器人平臺(tái)協(xié)同、真實(shí)場(chǎng)景反復(fù)復(fù)現(xiàn)，幾乎不具備被單一團(tuán)隊(duì)長期獨(dú)占和閉源演進(jìn)的可持續(xù)性。由此可見，若這類數(shù)據(jù)未能融入開源生態(tài)，其價(jià)值會(huì)被極大限制。

OpenLoong開源社區(qū)承載了白虎-VTouch的開源發(fā)布，并不只是簡(jiǎn)單提供一個(gè)下載入口，而是將其作為社區(qū)級(jí)基礎(chǔ)能力的一部分進(jìn)行組織。一方面，白虎-VTouch本身補(bǔ)足了具身智能Scaling Law中長期缺失的“觸覺與接觸”維度，使模型訓(xùn)練首次能夠系統(tǒng)性學(xué)習(xí)接觸狀態(tài)、力控反饋與動(dòng)作調(diào)整之間的關(guān)系;另一方面，通過開源，它也為不同研究路線、不同機(jī)器人平臺(tái)、不同控制范式提供了一個(gè)可以被反復(fù)驗(yàn)證、復(fù)現(xiàn)和對(duì)比的公共基準(zhǔn)。

白虎-VTouch被設(shè)計(jì)為一個(gè)可被持續(xù)擴(kuò)展、持續(xù)復(fù)用的具身基礎(chǔ)語料庫。它的意義不止在于“已經(jīng)采集了多少分鐘的數(shù)據(jù)”，而在于為整個(gè)社區(qū)建立了一種可復(fù)制的工程方法：如何在真實(shí)世界中穩(wěn)定采集高質(zhì)量視觸覺數(shù)據(jù)，如何保證多模態(tài)時(shí)序?qū)R，如何在不同本體之間保持語義一致性。這些能力，只有通過開源，才能真正沉淀為行業(yè)公共資產(chǎn)。

不同數(shù)據(jù)集對(duì)比

跨本體視觸覺多模態(tài)數(shù)據(jù)體系的工程突破

白虎-VTouch(Vision-Based Tactile Sensor)包含視觸覺傳感器數(shù)據(jù)、RGB-D數(shù)據(jù)、關(guān)節(jié)位姿數(shù)據(jù)等多模態(tài)信息，覆蓋輪臂機(jī)器人(D-Wheel)、雙足人形機(jī)器人(青龍)及手持智能終端等多種機(jī)器人本體結(jié)構(gòu)，以真實(shí)物理交互過程為核心對(duì)象，將視觸覺傳感器數(shù)據(jù)、RGB-D視覺信息與機(jī)器人關(guān)節(jié)位姿狀態(tài)進(jìn)行系統(tǒng)整合，構(gòu)建覆蓋感知、接觸與動(dòng)作全過程的多模態(tài)訓(xùn)練語料體系。

跨層次交互理解具身標(biāo)注體系

基于真實(shí)物理交互與多模態(tài)感知數(shù)據(jù)，團(tuán)隊(duì)構(gòu)建了跨層次交互理解具身標(biāo)注體系，通過視覺、語言、動(dòng)作與觸覺等多模態(tài)語義的聯(lián)合建模與對(duì)齊，實(shí)現(xiàn)跨模態(tài)表征學(xué)習(xí)與統(tǒng)一理解，為下一代具身VTLA提供數(shù)據(jù)標(biāo)準(zhǔn)。白虎-VTouch數(shù)據(jù)標(biāo)注體系將分批次開源。

抽象思維層：理解“為什么”。通過將任務(wù)抽象意圖推演成通用化維度交叉思維鏈，模型直接學(xué)習(xí)背后的思維鏈規(guī)律組合。

動(dòng)作邏輯層：明白“怎么做”。創(chuàng)建完備獨(dú)立的原子動(dòng)作元語，結(jié)合自然語言指令將復(fù)雜長流程任務(wù)操作拆解為動(dòng)作步驟序列，涵蓋操作邏輯與步驟內(nèi)涵。

物理狀態(tài)層：感受“做什么”。通過視觸覺增強(qiáng)的物理交互信息深化智能體對(duì)自身狀態(tài)的掌握，同時(shí)確保物理真實(shí)一致性和多模態(tài)同步對(duì)齊。

“矩陣式”任務(wù)構(gòu)建新范式

來源：OpenLoong開源社區(qū)

在任務(wù)構(gòu)建方法上，白虎-VTouch并未沿用傳統(tǒng)的“人工定義單任務(wù)”路徑，而是提出“矩陣式”任務(wù)構(gòu)建新范式。該范式以雙臂協(xié)同結(jié)構(gòu)、原子操作類型、接觸與觸覺模式作為核心維度，并結(jié)合物體與幾何屬性、感知模態(tài)組合及任務(wù)層級(jí)結(jié)構(gòu)等輔助維度進(jìn)行系統(tǒng)性交叉，每一個(gè)維度交點(diǎn)，均對(duì)應(yīng)一個(gè)可執(zhí)行的最小任務(wù)單元?；谶@一構(gòu)建邏輯，白虎-VTouch覆蓋了家居家政、工業(yè)制造、餐飲服務(wù)與特殊作業(yè)四大真實(shí)應(yīng)用領(lǐng)域，形成380+任務(wù)類型、100+原子技能、500+真實(shí)物品的高密度任務(wù)空間。同時(shí)，通過光照變化、遮擋干擾與姿態(tài)擾動(dòng)等方式顯式引入泛化條件，使任務(wù)設(shè)計(jì)從一開始即面向真實(shí)部署環(huán)境。

補(bǔ)齊具身智能Scaling Law中缺失的“觸覺維度”

具身智能的Scaling Law，與大模型語境下的Scaling并不完全等價(jià)，其中長期缺失的一環(huán)，正是“接觸與觸覺”。

白虎-VTouch的核心價(jià)值之一，在于其系統(tǒng)性的引入了真實(shí)物理交互中的觸覺與接觸信息。白虎-VTouch所采用的視觸覺傳感器支持最高640×480分辨率與120Hz刷新率，在物體接觸過程可穩(wěn)定記錄細(xì)粒度接觸變化，包含約9072萬對(duì)視觸覺接觸圖像真實(shí)物體接觸樣本。視觸覺接觸數(shù)據(jù)占本數(shù)據(jù)集規(guī)模的比重為57%，顯著擴(kuò)展了真實(shí)物理交互場(chǎng)景的接觸范圍?；谝曈|覺傳感器的高空間分辨率與多維力感知能力，數(shù)據(jù)集能夠以圖像級(jí)形式記錄接觸過程中的微觀形變、壓力分布與滑移狀態(tài)，使觸覺信息具備與視覺同等級(jí)別的可學(xué)習(xí)表征密度。

這類數(shù)據(jù)服務(wù)于對(duì)接觸狀態(tài)高度敏感的任務(wù)場(chǎng)景，補(bǔ)足了具身智能Scaling Law所缺失的“觸覺與接觸”維度，為模型建立“接觸前—接觸中—接觸后”的完整物理理解提供了必要基礎(chǔ)，也為機(jī)器人從“能看”走向“能觸、能控、能穩(wěn)態(tài)泛化”奠定了關(guān)鍵語料支撐。

在任務(wù)層面，視觸覺信息重點(diǎn)覆蓋260+接觸密集型任務(wù)，其中，68%的任務(wù)在引入視觸覺感知后獲得了更完整、連續(xù)的接觸狀態(tài)描述，為精細(xì)操作、力控調(diào)整與失敗恢復(fù)等關(guān)鍵環(huán)節(jié)提供了直接增益，充分體現(xiàn)了視觸覺數(shù)據(jù)在提升復(fù)雜操作任務(wù)成功率方面的實(shí)際價(jià)值。

開發(fā)者使用路徑

在設(shè)計(jì)構(gòu)想里，白虎-VTouch的使用路徑并不是“下載即結(jié)束”，而是應(yīng)被嵌入到一個(gè)完整的開發(fā)閉環(huán)之中。針對(duì)不同階段的開發(fā)者，其需承擔(dān)的角色也有所差異。

對(duì)于初入具身智能領(lǐng)域的研究者或工程師而言，白虎-VTouch提供的是一個(gè)真實(shí)世界對(duì)齊的起點(diǎn)。開發(fā)者可以直接基于已開源的子集數(shù)據(jù)，快速理解視觸覺融合在真實(shí)操作中的作用方式，驗(yàn)證純視覺策略與視觸覺策略在成功率和穩(wěn)定性上的差異。這一階段，數(shù)據(jù)集更多承擔(dān)的是“認(rèn)知校準(zhǔn)”的作用，讓開發(fā)者盡早意識(shí)到真實(shí)物理交互與仿真或純視覺任務(wù)之間的本質(zhì)差異。

對(duì)于已有一定算法積累的團(tuán)隊(duì)，白虎-VTouch則是一個(gè)可復(fù)現(xiàn)實(shí)驗(yàn)與泛化驗(yàn)證的平臺(tái)。通過矩陣式任務(wù)構(gòu)建，開發(fā)者可以有意識(shí)地選擇訓(xùn)練子空間，并在未見組合上測(cè)試模型的泛化能力，而不是簡(jiǎn)單追求單任務(wù)指標(biāo)。這種使用方式尤其適合研究跨本體遷移、雙臂協(xié)同策略以及力控相關(guān)問題，也是該數(shù)據(jù)集設(shè)計(jì)時(shí)重點(diǎn)考慮的核心場(chǎng)景。

對(duì)于希望將算法落地到真實(shí)機(jī)器人系統(tǒng)中的開發(fā)者，白虎-VTouch與OpenLoong現(xiàn)有的本體平臺(tái)、控制框架及仿真工具形成了天然銜接。數(shù)據(jù)、模型與真實(shí)本體之間保持一致的接口與語義，使“訓(xùn)練—推理—部署”不再是割裂的三個(gè)階段，而是一條可反復(fù)迭代的工程流水線。這一點(diǎn)，也是白虎-VTouch被選擇在OpenLoong開源社區(qū)開源發(fā)布的重要原因之一。

任務(wù)詞云

白虎-VTouch在OpenLoong開源社區(qū)開源后，其視觸覺融合數(shù)據(jù)集、模型實(shí)現(xiàn)與任務(wù)組織方式已作為公共資源向社區(qū)開放，支持開發(fā)者直接下載、復(fù)現(xiàn)實(shí)驗(yàn)并開展二次開發(fā)。圍繞統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)與基線設(shè)置，不同團(tuán)隊(duì)可以在同一操作語境下進(jìn)行方法對(duì)比與系統(tǒng)驗(yàn)證，降低雙臂操作研究與工程實(shí)踐的起步成本。

OpenLoong開源社區(qū)將持續(xù)匯聚來自不同機(jī)器人構(gòu)形、任務(wù)場(chǎng)景與應(yīng)用方向的實(shí)踐反饋，推動(dòng)數(shù)據(jù)集與模型在真實(shí)使用中不斷完善，歡迎更多開發(fā)者與研究者加入OpenLoong開源社區(qū)，基于白虎-VTouch數(shù)據(jù)集開展實(shí)驗(yàn)、提出改進(jìn)并共同擴(kuò)展雙臂機(jī)器人視觸覺融合的能力邊界。