人類在VR或AR環(huán)境中進行互動的能力，也就是輸入（Input），至今仍具挑戰(zhàn)性，大多數(shù)互動需要依賴控制器進行。為此，亞利桑那州立大學(xué)（ASU）研究人員展示可望取代控制器的產(chǎn)品FMKit，頭戴式裝置能借此精確追蹤個別手指的運動，并識別空中書寫。

ASU的研發(fā)超越了Leap Motion配件和Oculus Quest VR頭盔搭載的手部追蹤功能，可將個別手指的運動路徑記錄在3D空間，并與4組手寫模板數(shù)據(jù)集進行比對。

指尖書寫能用在身份驗證，以及輸入文字訊息，代替用來打字、識別語音或選字的手持控制器。

該系統(tǒng)令人驚喜的不僅是將空中手寫字轉(zhuǎn)換為文本，潛在商業(yè)應(yīng)用更能將空中書寫個性化簽名，來解鎖XR頭戴式裝置等密碼保護應(yīng)用。

企業(yè)還可借此讓團隊共享一組密碼系統(tǒng)，該系統(tǒng)不僅可以識別數(shù)字或字母，五芒星等特殊符號也可行。

FMKit附Python模塊，用來收集、預(yù)先處理和可視化掃描訊號，目前支持兩種輸入設(shè)備，分別是每秒掃描110次的Leap Motion控制器，以及每秒掃描50次的定制慣性測量數(shù)據(jù)手套。

用作身份識別系統(tǒng)時，前者精確度可達93%以上，后者則為96%以上。

不過，就手寫識別來說，Leap Motion效果更好，該系統(tǒng)識別字詞的準確頻率最高可達87.4％。雖然仍不足以取代語音輸入，但對于一個僅能用在手指操作的頭戴式傳感器系統(tǒng)來說，這是很好的開端。