一、技術背景與發(fā)展趨勢

在當前的XR（虛擬現實、增強現實和混合現實）應用中，物理形式的手柄控制器仍作為一種基礎的交互方式被廣泛使用。然而，物理手柄在高臨場感的沉浸式XR應用場景下，需要用戶進行適應性學習，其存在操作復雜度高、成本高等先天缺陷。

為增加XR交互的流暢性及沉浸感，香港光云科技（HKSC）于近期推出一項凝聚其多年技術積累的創(chuàng)新性XR交互解決方案——TrueToF Neural Gesture。它基于Time of Flight（ToF）傳感器信號和深度學習來解析用戶的精細手部動作，能夠在無需手持外設下實現精準手勢控制。

該方案充分發(fā)揮信號的優(yōu)勢，具有高精度、低延遲等諸多技術優(yōu)勢，為XR應用提供一種更自然、沉浸的交互體驗，同時結合了香港光云科技（HKSC）最新的 3D語義理解技術，可以準確識別用戶手勢信息所表達的行為意圖，為各類應用場景提供豐富的用戶動作屬性標簽。例如，在教育領域，學生可以通過手勢直觀地操控虛擬實驗裝置；在娛樂領域，游戲玩家能夠更自然地與虛擬角色互動；在設計領域，專業(yè)人士可以輕松地編輯、調整3D模型等等。相較于傳統XR設備的手柄控制器， TrueToF Neural Gesture能夠為更多用戶帶來創(chuàng)新的XR體驗，使用戶能夠更加輕松地探索和享受虛擬世界，無需手持的的物理外設，同時降低設備成本。

“Training data is Technology” OpenAI首席科學家及聯合創(chuàng)始人Ilye Sutskever闡明了精準的訓練數據在大模型訓練中的重要性。然而在3D空間對手部關節(jié)進行精準跟蹤，必然需要大量的3D信號數據及其信號空間真值標注。HKSC構建了專業(yè)3D數據庫—TrueToF 3D 手勢基礎Dataset，包含高質量的ToF 3D 信號的RAW數據以及高精度的3D標注數據。其中，3D手勢超過10,000種，可供訓練的案例超過100,000種，據此其開發(fā)了高精度3D手勢識別方法。與傳統數據集相比，TrueToF手勢訓練庫中的數據具有精準的3D空間信息，尤其是深度Z軸上的真值數據。TrueToF 3D Dataset的建立，可以為AI學習提供更加準確、可靠的數據標注，為3D手勢識別技術的發(fā)展提供有力的支撐。

二、TrueToF Neural Gesture

TrueToF Neural Gesture是一種基于TrueToF Neural IP底層成像及3D語義技術的高精度3D手勢識別方案。它夠在三維物理空間中實現用戶手部姿態(tài)的高精度追蹤，增強現實及虛擬現實下的用戶交互體驗。與傳統手勢識別技術及行業(yè)內主流方案相比，TrueToF Neural Gesture具有以下技術優(yōu)勢：

? 高響應：基于信號的直接處理

? 高精度：支持雙手21個關節(jié)點的<1mm精度跟蹤

? 3D準度：精準測量傳感器與手部各關鍵點之間的3D距離

? 角度精度：可擴大手勢角度精度范圍2倍以上，并提升角度分辨率至0.5°

? 穩(wěn)定性：在正常光照和低光環(huán)境下，手掌檢測的穩(wěn)定性更好

? 可靠性：在戶外環(huán)境和低光環(huán)境下檢測及跟蹤穩(wěn)定，可適應不同應用場景

TrueToF Neural Gesture在性能方面表現出色，與業(yè)界公認的Mediapipe等手勢識別方案的關鍵性能指標上對比如下：

關鍵性能指標對比

TrueToF Neural Gesture現已支持多種手勢控制：

1. Gesture Pointer：該手勢類似傳統的激光指針方式，允許用戶用任一手指向并操控虛擬物體。通過TrueToF技術捕捉手部動作，用戶可以輕松地執(zhí)行這一操作。

2. Controller Pointer：該手勢允許用戶用雙手以虛擬方式體驗傳統物理手柄控制器的操作。TrueToF技術可以識別用戶的雙手動作，并將其轉化為虛擬世界中的控制信號。

3. Poke Pointer：該手勢允許用戶用任一手指（缺省為食指）“戳”虛擬物體，進行精確的選擇和操作。TrueToF技術能準確捕捉這類手勢，實現細致的交互。

4. Grab Pointer：該手勢允許用戶能夠用單手抓取和移動虛擬物體，模擬真實世界中的抓取行為。TrueToF技術捕獲手部動作，并實現自然地抓取操作。

通過上述交互式手勢響應，TrueToF Neural Gesture為用戶提供了豐富、自然的XR交互體驗，將虛擬世界的操作與現實生活中的行為深度融合。同時，該團隊也在不斷擴充新的手勢定義以及自定義手勢的接口，以便用戶能以更多豐富且自然個性的方式，與虛擬世界中的物體進行沉浸式交互。

三、TrueToF Neural Gesture的特點

TrueToF Neural Gesture能夠為用戶帶來一種自由、高精度、低延時的交互體驗，源于其技術的多方面優(yōu)勢：

1. 無束縛：TrueToF Neural Gesture為AR設備提供物理手柄替代方案，用戶可通過自然手勢控制數字環(huán)境，提高便捷性和實用性。

2. 低功耗：基于Qualcomm平臺，千次AI推理功耗僅為1.53 mWh，實現高性能手勢識別的同時，也可有效延長消費電子產品的使用時間。

3. 高精度：基于AI技術重構的ToF成像流程，空間定位誤差<1mm，保證XYZ三軸<1mm精確度，可為終端應用提供準確交互數據支撐。

4. 3D可度量：TrueToF Neural Gesture AI模型基于3D數據庫訓練，實現手部關節(jié)XYZ三軸0.5°旋轉精度度量，適應第一視角應用場景，可克服傳感觀測視角約束。

5. 低延時：采用Hexagon DSP優(yōu)化的<12ms的AI推理模型，保障實時交互需求，可應對高速動作和復雜場景。

四、TrueToF Neural Gesture Benchmark

4.1 暗光測試：

暗光測試是在較暗環(huán)境中對手勢識別技術的性能進行評估。傳統的RGB手勢識別方案的性能在這種環(huán)境下往往會受到較大影響。得益于優(yōu)秀的TrueToF Neural IP信號成像能力，TrueToF Neural Gesture技術在暗光環(huán)境下表現出較高的穩(wěn)定性，對各類復雜室內光線條件不敏感，這不僅有助于提高手勢識別精度，還可增強對光線變化環(huán)境下使用的魯棒性。

TrueToF Neural Gesture的不同光照表現

4.2 室外評測：

室外場景的光線條件更加復雜多變，包括強光、陰影等多種不可控因素。TrueToF Neural Gesture技術在室外評測中同樣表現出較高的穩(wěn)定性和魯棒性，能夠保證戶外環(huán)境下的高精度的手勢識別需求。

TrueToF Neural Gesture室外場景表現

通過暗光測試與室外評測可以看出，TrueToF Neural Gesture在不同光照條件下均表現出優(yōu)越性能，表明其在各種非限定光照條件的應用場景中能夠提供魯棒、高效的手勢識別，可為用戶帶來優(yōu)質、穩(wěn)定且流暢的交互體驗。

五、應用場景與未來展望

下一步，TrueToF Neural Gesture技術將不斷優(yōu)化和創(chuàng)新迭代，努力提升手勢估計與識別的適配性及穩(wěn)定性，同時引入更多AI算法不斷提高手部關節(jié)識別的精度和語義識別。HKSC相信3D語義等技術創(chuàng)新將持續(xù)為XR、Metaverse、AIGC、Autonomous driving等更多場景提供基礎應用支撐，TrueToF Neural Gesture技術也將在更廣泛的數字信息領域發(fā)揮潛力，為用戶帶來更加智能、便捷的生活體驗。

審核編輯：劉清