案例簡介

樞途科技（Synapath AI）基于NVIDIA GPU、Jetson AGX Orin等算力底座、成熟的 AI 加速生態(tài)、NVIDIAIsaac Sim、Omniverse平臺的仿真合成技術，加速了從互聯(lián)網(wǎng)視頻提取具身智能模型訓練數(shù)據(jù)，實現(xiàn)了從視頻三維大世界重建、任務語義信息理解、物體細節(jié)及軌跡提取、多模態(tài)數(shù)據(jù)采集、具身智能算法訓練的全鏈路打通。

在 NVIDIA 軟硬件生態(tài)的支持下，樞途科技整體數(shù)據(jù)提取和處理效率大幅提升，實現(xiàn)了多具身模型的數(shù)據(jù)訓練驗證和實機部署。

視頻驅(qū)動的具身智能新興企業(yè)

樞途科技是一家專注從視頻提取多模態(tài)具身智能訓練數(shù)據(jù)的公司，致力于解決具身智能模型行業(yè)當前最急迫的訓練數(shù)據(jù)缺乏問題，以數(shù)據(jù)驅(qū)動機器人智能化。

作為具身智能訓練數(shù)據(jù)采集技術的新興企業(yè)，樞途科技憑借視頻高精度三維重建、跨域映射 Re-target 等技術，自研 SynaData 算法，實現(xiàn)從單目 2D-RGB 視頻數(shù)據(jù)中提取高精度“人-手-物”交互多模態(tài)具身數(shù)據(jù)，并在 RDT、EquiBOT、UniVLA 等 VLA 模型上驗證了數(shù)據(jù)精度和質(zhì)量。

公司應用 NVIDIA GPU 提供的高效并行能力實現(xiàn)了 2D 視頻到 3D 數(shù)據(jù)的高速重建，以及 3D 數(shù)據(jù)至具身多模態(tài)訓練數(shù)據(jù)的高速提取，并將所提取的具身多模態(tài)訓練數(shù)據(jù)與 Isaac Sim 平臺進行了融合，實現(xiàn)了從視頻 3D 重建、軌跡等多模態(tài)數(shù)據(jù)提取、仿真環(huán)境融合、VLA 模型訓練的全棧批量化視頻數(shù)據(jù)具身模型訓練閉環(huán)。

在 NVIDIA GPU 工作站的高效計算和多并行能力加持下，以及 Isaac Sim 平臺的高保真物理仿真和多傳感器仿真環(huán)境支撐下，樞途科技的具身數(shù)據(jù)采集速度提升了 15+ 倍，模型訓練速度和落地度提升 60+ 倍。借助 NVIDIA 技術，樞途科技正實現(xiàn)讓機器人通過輸入人類視頻學習各種操作技能，將具身智能訓練范式從勞動密集型的“手把手教學”升級為高效可擴展的“觀看教學”模式，加速突破具身智能的 Scaling Law。

具身智能領域的三大數(shù)據(jù)困境

數(shù)據(jù)是具身智能的靈魂，但與文本大模型可以直接使用互聯(lián)網(wǎng)上的文本數(shù)據(jù)不同，具身智能行業(yè)目前正深陷數(shù)據(jù)嚴重不足的泥潭。當前行業(yè)所依賴的數(shù)據(jù)采集方式或純依靠算法生成，存在較大的物理失真；或需要人工操作，以至邊際成本過高。

視頻數(shù)據(jù)兼具真實世界的物理完備性、人類交互的真實性和近乎為零的邊際成本，是具身智能大模型的理想數(shù)據(jù)源。但要想實現(xiàn)從視頻數(shù)據(jù)中提取高質(zhì)量的具身智能訓練數(shù)據(jù)還需要克服以下三大挑戰(zhàn)：

1. 視頻維度坍塌

單目相機丟失場景深度維度信息：從單目視頻的 2D 像素流重建 3D 物理世界，本質(zhì)是欠約束的逆向求解過程。解決此類問題需要大量依賴先驗知識（如人體骨骼長度）反推，并靠大量算力進行多并發(fā)推理，否則會造成較大的數(shù)據(jù)推導誤差，例如人手抓取玻璃杯時，指尖與杯壁接觸點的深度歧義會導致抓握姿態(tài)誤判率超過 40%。

物體交互導致的自遮擋：手掌與物體交互時會導致 30% 以上關節(jié)點不可見，傳統(tǒng)插值法會產(chǎn)生累計誤差，根據(jù) ICRA 2023 基準測試數(shù)據(jù)，遮擋超過 5 幀時，軌跡重建的誤差會呈指數(shù)增長。

2. 提取精度不足

信號衰減鏈：包括光學成像損失、運動軌跡模糊、傳感器噪聲、算法量化誤差等。例如鏡頭畸變造成的圖像邊緣坐標偏移會導致 3%-8% 的徑向誤差；快速運動會造成邊緣定位失敗，一般會導致不低于 10 像素的位移誤差等。這些挑戰(zhàn)直接影響了從視頻中提取到的軌跡數(shù)據(jù)精度，數(shù)據(jù)精度不足不僅無法優(yōu)化具身智能模型，反而會導致模型數(shù)據(jù)污染等問題。

3. 算法遷移失真

人體與機械運動差異：人體動作提取的軌跡數(shù)據(jù)到機器人執(zhí)行存在較大的動力學代溝。例如人類實現(xiàn)流暢抓取的動作由于超出了機械臂的諧振頻率，其所提取軌跡訓練的算法遷移到機械臂會出現(xiàn) 10Hz 以上的高頻震顫。要解決這一問題，既需要強化學習進行算法微調(diào)，又需要擁有多種動力學參數(shù)擾動的虛擬環(huán)境生成目標算法的補償策略。

NVIDIA 生態(tài)賦能樞途科技

突破視頻提取具身數(shù)據(jù)技術鴻溝

基于前述挑戰(zhàn)，樞途科技選擇采用 NVIDIA GPU 作為算力硬件基礎加速模型訓練和真實世界視頻數(shù)據(jù)提取，并結(jié)合 Omniverse 和 Isaac Sim 仿真環(huán)境將數(shù)據(jù)應用到機器人訓練中，成功攻克 2D 視頻難以被有效用于具身智能模型訓練的技術難題，開辟了讓行業(yè)真正有機會獲取海量訓練數(shù)據(jù)的新渠道。

1. NVIDIA GPU 賦能視頻三維重建提質(zhì)增效

樞途科技采用 NVIDIA GPU 及CUDA進行大規(guī)模并行處理計算。

在 NVIDIA GPU 的高帶寬和高現(xiàn)存容量支持下，原本需要花費數(shù)小時才能實現(xiàn)的視頻逐幀深度推理被加速在10 分鐘內(nèi)完成。

結(jié)合 NVIDIA GPU 的算力資源和對 CUDA 工具的充分調(diào)用，樞途科技的視頻深度估計算法可以實現(xiàn)高效混合精度計算，吞吐量提升3 倍以上。

在 NVIDIA GPU 的支持下，樞途科技將視頻 3D 重建的欠約束逆問題轉(zhuǎn)化為海量先驗假設的并行驗證，綜合重建速度提升25 倍以上。

2. NVIDIA SDK 助力高精度軌跡采集

得益于 NVIDIA GPU 在 Tensor Core 與 Transformer Engine 上的原生加速，將 3D 重建、深度估計和關鍵點推理等核心環(huán)節(jié)全部固化在顯存端完成，配合 NVIDIA 最新 SDK 構建的端到端流水線，樞途科技實現(xiàn)了單卡視頻處理 FPS15 倍于 Ampere 系列的持續(xù)吞吐。

樞途科技采用 NVIDIA SDK 等生態(tài)實現(xiàn)了將原本需要數(shù)周才能跑完的海量視頻預處理，縮減到30 小時交付，大大加速模型迭代。

基于高速的模型迭代和大量先驗知識的算法化，實現(xiàn)了視頻軌跡數(shù)據(jù)提取精度突破亞厘米，為后續(xù)具身數(shù)據(jù)提取打下堅實基礎。

3.NVIDIAIsaac Sim 賦能具身算法高效 Re-target

樞途科技從視頻中提取的具身數(shù)據(jù)與 Isaac Sim 進行深度融合，借助 Isaac Sim 的高保真物理物理仿真能力，打通具身數(shù)據(jù)與具身模型算法之間的訓練通路。

Isaac Sim 內(nèi)包含超千項動力學參數(shù)擾動，包括摩擦系數(shù)、負載慣性等，疊加 NVIDIA GPU 高效的實時渲染，具身智能的模仿學習（IL）、強化學習（RL）、具身智能算法（VLA）等先進訓練算法得以在虛擬環(huán)境中進行，現(xiàn)實世界需要耗費數(shù)周時間、數(shù)十臺機器人硬件成本的訓練過程被顛覆。

樞途科技視頻具身數(shù)據(jù)配合 Isaac 的數(shù)據(jù)增擴能力，能夠在數(shù)小時內(nèi)生成海量高質(zhì)量步態(tài)樣本，并支持多機器人并行訓練，使模型收斂速度提升至過去的數(shù)十倍。

在連續(xù)軌跡優(yōu)化和動力學一致性約束的加持下，學得的抓取策略更加智能、泛化且穩(wěn)定，幫助夾爪或靈巧手針對復雜對象的抓取位姿推理更加準確，迅速拓展交互、運送、分揀等應用場景。

在 NVIDIA GPU、CUDA、SDK 等技術及生態(tài)的賦能下，樞途科技實現(xiàn)視頻三維重建、高精度軌跡提取、具身多模態(tài)數(shù)據(jù)采集、具身智能算法訓練的全鏈路打通，為具身智能數(shù)據(jù)采集找到高質(zhì)量、低成本、規(guī)?；囊粭l新路。

目前，樞途科技 SynaData 算法從視頻中提取到的具身智能訓練數(shù)據(jù)已經(jīng)在 RDT、UniVLA（VLA based）、EquiBOT（Diffusion Policy Based）等具身模型算法上實現(xiàn)了訓練驗證。依托 NVIDIA 算力及 Isaac Sim 仿真平臺，樞途科技將為更多具身智能開發(fā)企業(yè)、院校批量化交付高保真、低成本、可遷移的視頻具身數(shù)據(jù)，助力具身智能模型突破 Scaling Law，實現(xiàn)真正的通用具身智能。

NVIDIA 加速樞途科技具身模型落地

樞途科技依托 NVIDIA 軟硬件全棧生態(tài)、高性能 AI 加速集群、端到端視頻算子優(yōu)化、Isaac 虛擬仿真環(huán)境，在海量視頻到具身訓練的數(shù)據(jù)管線上實現(xiàn)了行業(yè)領先的高速處理與算法精煉，為行業(yè)探索出了突破具身算法 Scaling Law 的一條數(shù)據(jù)采集新路，樹立了新興數(shù)據(jù)采集技術的風向標。

樞途科技首席技術官林嘯表示：“隨著具身智能邁入‘數(shù)據(jù)原生 2.0’時代，真正規(guī)模化落地的核心瓶頸已從模型設計轉(zhuǎn)向數(shù)據(jù)采集策略。NVIDIA 強大的 GPU 算力矩陣、AI 加速方案和 SDK 生態(tài)為樞途科技構筑了堅實的底層算力底座。在此基礎上，樞途科技得以實現(xiàn)將數(shù)以億計的視頻幀在極短時間內(nèi)完成三維重建、軌跡提取、自動標注。借助 NVIDIA Isaac Sim，視頻具身數(shù)據(jù)到具身模型算法訓練的最后一公里得以閉環(huán)，讓 SynaData 數(shù)據(jù)飛輪真正跑了起來，為行業(yè)驗證了具身數(shù)據(jù)采集的新路徑和新范式。”

在這一技術協(xié)同下，樞途科技的數(shù)據(jù)流水線可將復雜的三維場景重建、關鍵點追蹤與動力學一致性校正全部常駐顯存端執(zhí)行，實現(xiàn)多倍量級的吞吐提升；同時，靈活的增擴策略與仿真對齊機制確保了每一條數(shù)據(jù)都能在虛實之間保持高度一致，為具身智能模型提供跨場景、跨本體的穩(wěn)健泛化能力。

林嘯強調(diào)：“正是 NVIDIA 的算力支撐與樞途科技自主的數(shù)據(jù)基座，讓機器人擁有快速學習、可靠部署的全鏈路能力，并正在為諸多有實際應用落地需求的行業(yè)解鎖數(shù)據(jù)驅(qū)動的智能新紀元?！?/p>