手勢(shì)追蹤被視為人機(jī)交互（HCI）/人類數(shù)據(jù)交互（Human data interaction，HDI）中最直觀的交互模式之一，是混合現(xiàn)實(shí)（XR）終端交互的最新趨勢(shì)。

在XR領(lǐng)域中，手部運(yùn)動(dòng)軌跡的感知與追蹤是改善用戶在不同技術(shù)領(lǐng)域和平臺(tái)體驗(yàn)的一個(gè)重要組成部分。手部追蹤技術(shù)在未來可以幫助用戶“解放雙手”，人機(jī)互動(dòng)不再需要通過手柄控制，實(shí)現(xiàn)真正的解放雙手，讓用戶以最直觀的方式體驗(yàn)在增強(qiáng)現(xiàn)實(shí)和物理世界之間的融合。

最近熱度不斷攀升的Oculus Quest 2一體機(jī)，在手勢(shì)追蹤識(shí)別功能上進(jìn)行了一系列升級(jí)，除了早期的特定手勢(shì)操控主界面，最新解決方案甚至實(shí)現(xiàn)了基于手部追蹤的全文本輸入操作——即便如此，Oculus對(duì)于目前在手勢(shì)識(shí)別技術(shù)上取得的成就依然不是非常滿意。

Oculus曾表示，盡管手勢(shì)是一種有潛力的新型輸入方式，但由于計(jì)算機(jī)視覺與定位技術(shù)的局限，手勢(shì)識(shí)別技術(shù)的實(shí)際應(yīng)用場(chǎng)景也受到限制。因此，Oculus一直在探索一些有用的技巧來幫助開發(fā)者適應(yīng)手勢(shì)的局限性，甚至為了讓虛擬世界更具3D效果、更加智能地對(duì)手勢(shì)進(jìn)行回應(yīng)，Oculus已收購(gòu)兩家虛擬現(xiàn)實(shí)手勢(shì)和3D技術(shù)的創(chuàng)業(yè)型公司 Nimble VR和13th Lab，以改善其一體機(jī)的手勢(shì)控制功能。

目前，由于涉及復(fù)雜的手指手掌結(jié)構(gòu)和相關(guān)軟組織在運(yùn)動(dòng)時(shí)的變化，以及手和物體之間的接觸互動(dòng)有著非常復(fù)雜的接觸點(diǎn)位和運(yùn)動(dòng)區(qū)域，強(qiáng)大的實(shí)時(shí)手部運(yùn)動(dòng)感知和追蹤已成為公認(rèn)的一項(xiàng)極具挑戰(zhàn)性的計(jì)算機(jī)視覺任務(wù)，是科技研究領(lǐng)域中的大熱項(xiàng)目。

手部交互領(lǐng)域的一項(xiàng)新突破：ContactPose數(shù)據(jù)集

就在今年，美國(guó)三大理工學(xué)院之一的佐治亞理工學(xué)院，其機(jī)器學(xué)習(xí)中心更新了有關(guān)手部追蹤模型數(shù)據(jù)的新研究 -- ContactPose，一個(gè)手部抓握物體時(shí)觸點(diǎn)動(dòng)態(tài)變化的數(shù)據(jù)集。

· ContactPose鏈接

ContactPose數(shù)據(jù)集通過機(jī)器學(xué)習(xí)（ML）和熱像儀捕獲記錄手部抓握不同物體時(shí)的每個(gè)3D關(guān)鍵觸點(diǎn)的變化，精準(zhǔn)縮小手勢(shì)追蹤軌跡的總體性偏差。

ContactPose利用熱像儀將被抓握的受作用物體進(jìn)行熱圖像紋理網(wǎng)格化，極大程度的減少外部設(shè)備干擾，可以支持實(shí)現(xiàn)更加敏感精準(zhǔn)的手勢(shì)交互追蹤，對(duì)于未來開發(fā)虛擬現(xiàn)實(shí)人機(jī)交互建模技術(shù)至關(guān)重要，該論文研究已被ECCV 2020 （2020年歐洲計(jì)算機(jī)視覺國(guó)際會(huì)議）收錄。

這篇文章中，VR陀螺將從覆蓋研究組、技術(shù)突破點(diǎn)和應(yīng)用領(lǐng)域三大方面，為行業(yè)內(nèi)感興趣的相關(guān)人士深度解析這項(xiàng)科研成果。

1． 研究組：基本覆蓋相關(guān)變化指數(shù)

ContactPose的論文研究中，設(shè)置的研究組變量覆蓋范圍很廣，這意味著ContactPose全面精準(zhǔn)的包括了不同人群、不同物體、不同手部運(yùn)動(dòng)軌跡的數(shù)據(jù)集合。

總結(jié)其主要研究者Samarth Brahmbhatt等人的研究組數(shù)如下：

數(shù)據(jù)采集主體參與實(shí)驗(yàn)者共50人，抓握物品共25種抓握動(dòng)作的功能目標(biāo)1． 使用該物品2． 移交該物品給他人抓握次數(shù)數(shù)據(jù)采集時(shí)，所有參與者共抓握物品2306次RGB-D圖像3個(gè)視點(diǎn) + 296萬個(gè)RGB-D圖框限制點(diǎn)1． 只在空白背景下進(jìn)行3D物體抓握2． 只包括靜態(tài)抓握

ContactPose在采集手部追蹤數(shù)據(jù)時(shí)，邀請(qǐng)了50名實(shí)驗(yàn)者參與對(duì)25種不同物品的抓握，包括望遠(yuǎn)鏡、相機(jī)、手電筒、眼鏡、刀具、紅酒杯、牙膏等基本生活用品，通過抓握和移交主體物品的兩大手部運(yùn)動(dòng)意圖，共采集了2306組手部運(yùn)動(dòng)觸點(diǎn)數(shù)據(jù)，其研究的主體參量非常豐富，可以實(shí)現(xiàn)用戶生活中手部追蹤觸覺點(diǎn)的變化數(shù)據(jù)采集。

ContactPose數(shù)據(jù)集的呈現(xiàn)包括高分辨率的觸點(diǎn)視圖、3D關(guān)節(jié)追蹤和多視圖RGB-D手部抓握動(dòng)態(tài)視頻，并且區(qū)分左右手，左手為綠色，右手為紅色，通過明晰的顏色區(qū)分，能夠追蹤更復(fù)雜的雙手運(yùn)動(dòng)。

2． 研究突破點(diǎn)：防干擾熱像儀可追蹤到手部具體3D關(guān)節(jié)

手部追蹤的人機(jī)交互領(lǐng)域作為亟需突破的領(lǐng)域之一，近年來有很多代表性的手勢(shì)交互技術(shù)更新。在手勢(shì)追蹤數(shù)據(jù)采集上，大部分研究都通過觸覺手套或其他設(shè)備捕捉手部運(yùn)動(dòng)數(shù)據(jù)，這意味著有的時(shí)候這些外部設(shè)備會(huì)影響手部運(yùn)動(dòng)的靈活性和主體自發(fā)性。

但佐治亞理工學(xué)院Samarth Brahmbhatt研究小組其最大突破為，用熱像儀把被抓握的受作用物體的表面紋理網(wǎng)格化，通過C相機(jī)記錄觀察手部抓握物體時(shí)每一幀RGB-D成像圖的變化，ContactPose不僅減少外部設(shè)備和環(huán)境限制的干擾，更通過高幀密集觀察實(shí)現(xiàn)了敏感精準(zhǔn)的手勢(shì)交互追蹤。

ContactPose利用機(jī)器學(xué)習(xí)的大原理來進(jìn)行手勢(shì)運(yùn)動(dòng)感知，但因引入熱像儀追蹤技術(shù)，其可根據(jù)一幀圖像推斷出單手的21個(gè)3D立體關(guān)節(jié)點(diǎn)，支持高準(zhǔn)確性的手勢(shì)和五指關(guān)節(jié)追蹤。換言之，其他很多手勢(shì)交互的研究是不能進(jìn)行具體手指關(guān)節(jié)追蹤的，即只能體現(xiàn)整體手部運(yùn)動(dòng)但卻不知道是具體哪個(gè)手指尖先觸碰了物品。但ContactPose卻可以精準(zhǔn)定位到具體手指部位、手部運(yùn)動(dòng)時(shí)的先后順序。

并且根據(jù)數(shù)據(jù)分析對(duì)比，ContactPose在數(shù)據(jù)庫(kù)規(guī)模、手部物體觸點(diǎn)追蹤、手勢(shì)和物體運(yùn)動(dòng)變化觸點(diǎn)等方面十分突出。

其實(shí)ContactPose并不是Samarth Brahmbhatt研究小組在這一領(lǐng)域的處女作，早在2019年，佐治亞理工學(xué)院發(fā)布了只包括觸點(diǎn)分布圖和RGB-D成像圖的ContactDB數(shù)據(jù)集研究。而相比之下，ContactPose是一次全面升級(jí)。

通過交叉對(duì)比，ContactPose無疑是手勢(shì)交互數(shù)據(jù)的一次重要突破。不僅為日后的手部人機(jī)交互設(shè)備研發(fā)提供了數(shù)據(jù)基石，更通過數(shù)據(jù)的剖析揭示了手勢(shì)和主體事物接觸點(diǎn)的變化關(guān)系，為建立手勢(shì)運(yùn)動(dòng)觸點(diǎn)模型提供了體系結(jié)構(gòu)算法參考。

ContactPose應(yīng)用前景：助力高精度級(jí)別手勢(shì)識(shí)別，或許可取代手柄操控

在2019年的第 6 屆Oculus Connect大會(huì)上，扎克伯格表示了進(jìn)軍手勢(shì)交互領(lǐng)域的心，想要實(shí)現(xiàn)一個(gè)用戶不用拿著手柄、也沒有按鈕、沒有腕帶，甚至沒有其它傳感器的自由交互的虛擬現(xiàn)實(shí)沉浸世界。

目前，由于沒有高精度級(jí)別的手勢(shì)識(shí)別交互系統(tǒng)支持，手柄控制器長(zhǎng)期以來就相當(dāng)于用戶在虛擬世界中的雙手，無論是 Oculus 還是 HTV Vive 的 VR 頭盔，都需要借助獨(dú)立的手柄控制器來實(shí)現(xiàn)手部運(yùn)動(dòng)追蹤。

但手柄控制器的存在卻一直局限著用戶在虛擬現(xiàn)實(shí)中的交互真實(shí)性。比如說當(dāng)用戶要在游戲中拿起一個(gè)物體，只能將手柄靠近并按鍵，這顯然破壞了虛擬世界沉浸交互的整體性，不夠真實(shí)。

然而，隨著更多的類似于ContactPose這種手勢(shì)數(shù)據(jù)規(guī)模化的支持，未來實(shí)現(xiàn)從真正的3D用戶界面，到虛擬對(duì)象操作，再到移動(dòng)機(jī)制，以手部為中心的虛擬現(xiàn)實(shí)產(chǎn)品設(shè)計(jì)理念是存在可能的。手勢(shì)控制可以自由的取代語音或者手柄控制，亦是成為未來虛擬現(xiàn)實(shí)的大方向。

介于ContactPose在很大程度上可以為實(shí)現(xiàn)無接觸手勢(shì)運(yùn)動(dòng)追蹤和操控機(jī)器界面的技術(shù)提供了數(shù)據(jù)化支持，未來通過實(shí)時(shí)采集用戶手勢(shì)，將手勢(shì)的運(yùn)動(dòng)軌跡轉(zhuǎn)換為虛擬現(xiàn)實(shí)中的指令，可以實(shí)現(xiàn)自然、高效的人機(jī)交互，讓用戶完全的沉浸在一個(gè)新的可以自由運(yùn)動(dòng)的虛擬世界。

但通俗的談及到手勢(shì)交互應(yīng)用的落地場(chǎng)景，現(xiàn)有的手勢(shì)交互技術(shù)與完全自然、高效的交互，仍然存在一定距離。

手勢(shì)交互應(yīng)用的難點(diǎn)主要在于難以形成一致的手部操作方式，加上其屬于非精確性指令操作，其應(yīng)用范圍會(huì)受交互設(shè)備、識(shí)別方法、用戶熟練程度等多個(gè)因素影響。由于不同用戶對(duì)不同產(chǎn)品使用手勢(shì)交互時(shí)，其手部運(yùn)動(dòng)軌跡也大相徑庭，所以用戶可能需要預(yù)先訓(xùn)練一段時(shí)間去掌握相關(guān)設(shè)備或者系統(tǒng)，一定程度上是用戶要滿足機(jī)器的模版識(shí)別度。但ContactPose包括著不同人群抓握不同物體時(shí)的數(shù)據(jù)集，這意味著，日后隨著數(shù)據(jù)采集的規(guī)模化，機(jī)器可以開始輕松識(shí)別不同的手勢(shì)運(yùn)動(dòng)軌跡，從而實(shí)現(xiàn)機(jī)器識(shí)別的個(gè)性化、靈活性。

未來手勢(shì)交互將成為新一代“觸屏”

縱觀Oculus或者HoloLens這些行業(yè)領(lǐng)頭羊的設(shè)備，在用戶使用時(shí)，很多時(shí)候由于對(duì)手勢(shì)識(shí)別的不敏感或者錯(cuò)誤偏差，使得用戶不得不依賴于手柄操作和語音控制來完成對(duì)虛擬現(xiàn)實(shí)設(shè)備界面的指令，手勢(shì)交互的人機(jī)操控方式在技術(shù)上顯然不夠成熟，尚且還處在行業(yè)早期階段。

但根據(jù)對(duì)ContactPose等相關(guān)數(shù)據(jù)集的研究分析，VR陀螺在此認(rèn)為，隨著日后手部運(yùn)動(dòng)追蹤數(shù)據(jù)庫(kù)的大規(guī)模完善，手勢(shì)交互會(huì)像之前的觸屏手機(jī)一樣，成為新一代XR領(lǐng)域的主導(dǎo)人機(jī)交互方式，讓用戶無縫的在虛擬與現(xiàn)實(shí)世界中切換。
責(zé)編AJX