探索虛擬與現(xiàn)實(shí)的邊界：柔性應(yīng)變傳感器數(shù)據(jù)手套助力元宇宙時(shí)代

元宇宙概念的興起，引發(fā)了人們對(duì)可穿戴設(shè)備的廣泛關(guān)注。基于柔性應(yīng)變傳感器的數(shù)據(jù)手套因其成本低、重量輕、直接和連續(xù)監(jiān)測(cè)手指運(yùn)動(dòng)而受到研究人員的青睞。近日，西北工業(yè)大學(xué)和軍事科學(xué)院國(guó)防科技創(chuàng)新研究院合作，在人機(jī)交互領(lǐng)域國(guó)際著名學(xué)術(shù)期刊International Journal of Human-Computer Interaction（IJHCI）發(fā)表論文，綜述了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在虛擬世界中的手勢(shì)交互。

文章首先比較了基于視覺(jué)傳感器、表面肌電傳感器、慣性傳感器以及柔性應(yīng)變傳感器的四種不同方法在設(shè)計(jì)數(shù)據(jù)手套方面的優(yōu)缺點(diǎn)，論證了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在元宇宙應(yīng)用中的優(yōu)勢(shì)。隨后，對(duì)比了國(guó)內(nèi)外代表性商用數(shù)據(jù)手套，并介紹了基于柔性應(yīng)變傳感器的數(shù)據(jù)手套各模塊的結(jié)構(gòu)設(shè)計(jì)。最后，總結(jié)了手勢(shì)識(shí)別在元宇宙中的應(yīng)用和目前基于柔性應(yīng)變傳感器的數(shù)據(jù)手套存在的問(wèn)題和發(fā)展前景。作者認(rèn)為，基于柔性應(yīng)變傳感器的新型數(shù)據(jù)手套將產(chǎn)生變革性的影響，以實(shí)現(xiàn)精確、低延遲和沉浸式的元宇宙手勢(shì)交互。

圖1 人機(jī)交互是現(xiàn)實(shí)世界進(jìn)入元世界的入口

可穿戴手勢(shì)識(shí)別系統(tǒng)

近年來(lái)，伴隨著計(jì)算機(jī)視覺(jué)、柔性應(yīng)變傳感器等技術(shù)的不斷進(jìn)步，新型手勢(shì)識(shí)別技術(shù)相繼涌現(xiàn)，穿戴不便、設(shè)備復(fù)雜等問(wèn)題正在得到解決。手勢(shì)識(shí)別作為人機(jī)交互的關(guān)鍵內(nèi)容之一，處于快速發(fā)展階段。目前主流的手勢(shì)識(shí)別關(guān)鍵技術(shù)包括視覺(jué)傳感器、表面肌電信號(hào)傳感器、慣性測(cè)量單元和柔性應(yīng)變傳感器。首先，基于視覺(jué)傳感器的手勢(shì)識(shí)別方法容易受到環(huán)境亮度的影響，不可避免地存在遮擋問(wèn)題，從而導(dǎo)致錯(cuò)誤的結(jié)果。其次，基于sEMG的手勢(shì)識(shí)別方案并不成熟，識(shí)別的手勢(shì)數(shù)量不多，大多在10個(gè)左右，準(zhǔn)確性和穩(wěn)定性不足。近年來(lái)，蘋果、Meta和谷歌等公司都在布局這種手勢(shì)識(shí)別方案的開(kāi)發(fā)。第三，數(shù)據(jù)手套作為另一種解決方案，提供了高準(zhǔn)確率（>90%）和低延遲（毫秒級(jí)），并具有觸覺(jué)和力反饋的附加功能。其中，基于IMU的數(shù)據(jù)手套需要在手上的關(guān)鍵點(diǎn)放置剛性傳感器，這影響了舒適感。而基于應(yīng)變傳感器的柔性數(shù)據(jù)手套不會(huì)受到環(huán)境亮度、遮擋或噪音的影響，可以提高識(shí)別精度，提供更好的穩(wěn)定性和穩(wěn)健性，降低成本，佩戴舒適。

圖2 基于視覺(jué)傳感器、柔性應(yīng)變傳感器、慣性傳感器和表面肌電傳感器的可穿戴手勢(shì)識(shí)別系統(tǒng)是連接現(xiàn)實(shí)和虛擬世界的關(guān)鍵基礎(chǔ)設(shè)施

手套系統(tǒng)的功能模塊

基于柔性應(yīng)變傳感器的手套系統(tǒng)，最主要的三個(gè)部分是傳感器、硬件電路和手勢(shì)識(shí)別算法。柔性應(yīng)變傳感器將手指彎曲程度轉(zhuǎn)換為電信號(hào)，由硬件電路對(duì)該模擬電信號(hào)進(jìn)行放大、濾波等處理轉(zhuǎn)換為數(shù)字信號(hào)，通過(guò)藍(lán)牙或WIFI的方式送至PC系統(tǒng)，最后用手勢(shì)識(shí)別算法將數(shù)據(jù)轉(zhuǎn)換為手勢(shì)結(jié)果并應(yīng)用到相關(guān)領(lǐng)域。

圖3 基于柔性應(yīng)變傳感器的手套系統(tǒng)的功能模塊

手勢(shì)識(shí)別算法

計(jì)算機(jī)接收到藍(lán)牙模塊傳輸?shù)臄?shù)字信號(hào)后，需要通過(guò)相應(yīng)的手勢(shì)識(shí)別算法，將數(shù)字信號(hào)轉(zhuǎn)換為相應(yīng)的手勢(shì)。目前的手勢(shì)識(shí)別分為兩類，即靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，文中分別列出了2種典型算法。靜態(tài)手勢(shì)識(shí)別的手勢(shì)種類有限，一般是將接收到的數(shù)字信號(hào)進(jìn)行分類，將其映射到包含有限種類的手勢(shì)集上。動(dòng)態(tài)手勢(shì)識(shí)別相對(duì)比較復(fù)雜，它需要從一個(gè)連續(xù)的數(shù)據(jù)流中分割手勢(shì)，即找出每個(gè)手勢(shì)的起始時(shí)刻和結(jié)束時(shí)刻。雖然過(guò)渡動(dòng)作沒(méi)有實(shí)際意義，但是其持續(xù)時(shí)間隨手勢(shì)動(dòng)作的不同而不同，所以手勢(shì)分割的實(shí)現(xiàn)比較困難，目前仍是一個(gè)挑戰(zhàn)。

圖4 靜態(tài)和動(dòng)態(tài)手勢(shì)識(shí)別的典型算法

手勢(shì)識(shí)別的應(yīng)用

目前，手勢(shì)識(shí)別多應(yīng)用在在手語(yǔ)解釋、系統(tǒng)控制、運(yùn)動(dòng)監(jiān)測(cè)以及運(yùn)動(dòng)康復(fù)等領(lǐng)域，如圖5所示。

圖5 手勢(shì)識(shí)別的典型應(yīng)用 (a) 將手勢(shì)語(yǔ)言翻譯成語(yǔ)音；(b) 通過(guò)手勢(shì)控制黑暗中的四足機(jī)器人通過(guò)迷宮；(c) 手勢(shì)控制機(jī)械臂遠(yuǎn)程核酸檢測(cè)；(d) 通過(guò)手勢(shì)進(jìn)行鏡像手康復(fù)訓(xùn)練

未來(lái)，元宇宙的最終實(shí)現(xiàn)，將不可避免地建立起用戶以及其他物理對(duì)象在虛擬空間中的數(shù)字孿生體，用戶本人將擁有一個(gè)與自己完全對(duì)應(yīng)的虛擬數(shù)字人。這需要外部設(shè)備將實(shí)際用戶的手勢(shì)、身體動(dòng)作和聲音等完全映射到元宇宙中。因此，在將現(xiàn)實(shí)映射到虛擬世界的過(guò)程中，手勢(shì)的識(shí)別和建模至關(guān)重要。同時(shí)，虛擬用戶在元宇宙中感知到的觸覺(jué)、視覺(jué)、溫度和濕度信息，也需要通過(guò)可穿戴設(shè)備反饋給實(shí)際用戶。高性能的數(shù)據(jù)手套具有手勢(shì)識(shí)別、觸覺(jué)反饋和動(dòng)覺(jué)反饋的功能，能夠?qū)崿F(xiàn)現(xiàn)實(shí)世界和元宇宙之間的雙向交互。

與基于視覺(jué)傳感器、sEMG和IMU的數(shù)據(jù)手套相比，基于柔性應(yīng)變傳感器的數(shù)據(jù)手套在元宇宙的應(yīng)用中具有精度高、佩戴舒適、價(jià)格低廉和給用戶帶來(lái) "沉浸感"等獨(dú)特優(yōu)勢(shì)。然而，目前發(fā)展還不夠成熟，存在的實(shí)際問(wèn)題主要包括：

1、柔性應(yīng)變傳感器普遍存在固有的滯后特性和長(zhǎng)期運(yùn)行的信號(hào)漂移問(wèn)題；

2、電路處理單元多基于剛性的電路板，嚴(yán)重影響長(zhǎng)期佩戴數(shù)據(jù)手套的舒適性；

3、數(shù)據(jù)手套中的每個(gè)柔性應(yīng)變傳感器都需要單獨(dú)的電線與電路處理模塊連接；

4、大部分?jǐn)?shù)據(jù)手套沒(méi)有觸覺(jué)或力反饋功能，用戶的手部感覺(jué)無(wú)法從元宇宙中反饋到現(xiàn)實(shí)世界。

為了解決這些問(wèn)題，我們認(rèn)為未來(lái)需要重點(diǎn)關(guān)注以下4個(gè)方面：

1、 設(shè)計(jì)線性補(bǔ)償電路或開(kāi)發(fā)補(bǔ)償算法來(lái)補(bǔ)償柔性應(yīng)變傳感器的非理想特性；

2、 通過(guò)可拉伸互連方式連接電路元件并在結(jié)構(gòu)中多層堆疊，提高電路系統(tǒng)的靈活性；

3、 通過(guò)近場(chǎng)通信等方式實(shí)現(xiàn)柔性應(yīng)變傳感器和電路處理單元之間的無(wú)線通信；

4、通過(guò)在數(shù)據(jù)手套的指尖區(qū)域集成小型執(zhí)行器來(lái)實(shí)現(xiàn)觸覺(jué)反饋，通過(guò)外部機(jī)械結(jié)構(gòu)配合提供外力來(lái)實(shí)現(xiàn)力反饋。