據(jù)麥姆斯咨詢報道，近日，新加坡國立大學Chengkuo Lee教授團隊提出了一種具有多模態(tài)傳感和反饋功能的增強觸覺感知和觸覺反饋指環(huán)（augmented tactile-perception and haptic-feedback rings，ATH指環(huán)）。通過融合多模態(tài)傳感和反饋功能，成功構建了具有跨空間感知能力的交互式“元宇宙（Metaverse）”平臺，給人一種面對面的沉浸式虛擬社交體驗。

基于ATH指環(huán)的智能系統(tǒng)，具有多模態(tài)傳感和反饋功能

新提出的“元宇宙”概念是指利用虛擬現(xiàn)實（VR）技術增強真實空間和網(wǎng)絡空間之間聯(lián)系的3D虛擬世界網(wǎng)絡?；赩R技術的數(shù)字化世界可以通過模擬人的感覺為用戶帶來與現(xiàn)實交互的沉浸式體驗，在社交、教育、游戲、培訓、康復等領域顯示出巨大的發(fā)展前景。為了建立沉浸式虛擬現(xiàn)實系統(tǒng)，除了通過頭戴式顯示器實現(xiàn)視覺刺激外，其他可同時感知人體運動和模擬人體感覺的可穿戴設備（例如數(shù)據(jù)手套、VR套裝等）最近也受到了極大關注，以進一步連接物理世界和網(wǎng)絡世界。

手部的感覺和運動神經(jīng)比其他身體部位更復雜，使其手指可以高度靈活地在VR系統(tǒng)中實現(xiàn)復雜的交互。目前成熟的手指運動跟蹤傳感技術包括傳統(tǒng)的基于相機和慣性測量單元的剛性解決方案，以及基于電阻率、電容性和光纖等機制的使用可拉伸和柔性材料的柔性解決方案。為了進一步降低設備功耗，自供電傳感機制在開發(fā)長期可持續(xù)的便攜式系統(tǒng)方面也顯示出獨特的優(yōu)勢。其中，基于摩擦電的傳感技術具有材料選擇多樣、制造工藝簡單、成本低、自發(fā)信號等優(yōu)點，為開發(fā)具有極低功耗的高度靈活的手指感知系統(tǒng)提供了新的可能性。

可穿戴驅動系統(tǒng)也是增強虛擬世界中交互體驗不可或缺的部分，并且已經(jīng)開發(fā)了各種機制以實現(xiàn)觸覺感知。然而，當前大多數(shù)用于VR傳感/反饋設備的可穿戴解決方案是基于手套的，結構復雜，且需要大的外部驅動電源。高度集成的多功能環(huán)形機械手，具有緊湊設計、自供電傳感器和低壓驅動反饋單元，與物聯(lián)網(wǎng)（IoT）便攜式平臺完全兼容，可在VR應用中長期使用。

基于此，研究人員設計了一種用于VR應用的ATH指環(huán)，其包括用于連續(xù)彎曲傳感的摩擦納米發(fā)電（TENG）觸覺傳感器、用于溫度檢測的柔性熱電傳感器、用于振動觸覺反饋的偏心旋轉質量（eccentric rotating mass，ERM）振動器以及用于熱觸覺反饋的鎳鉻合金（NiCr）金屬線。所有傳感器和觸覺模擬器都集成到ATH指環(huán)中，通過導線連接到無線物聯(lián)網(wǎng)模塊。與其他基于手套的解決方案相比，這種具有多模態(tài)傳感和反饋功能的ATH指環(huán)顯示出高度集成和良好便攜性的優(yōu)點。此外，ATH指環(huán)通過自供電傳感單元和低壓驅動反饋元件來實現(xiàn)低功耗。所提出的基于電壓積分的信號處理方法允許基于TENG傳感器的連續(xù)手指運動檢測。通過利用物聯(lián)網(wǎng)模塊和機器學習（ML）分析進行信號收集和處理，能夠以低成本為工業(yè)自動化和醫(yī)療保健應用實現(xiàn)高級人機交互，即機器人協(xié)作操作和手語翻譯。此外，通過引入由振動和熱模擬器實現(xiàn)的觸覺反饋功能，可以實現(xiàn)具有真實世界和虛擬世界交互感知的增強VR聊天應用，這為用戶提供了面對面的沉浸式體驗，并顯示了基于元宇宙的社交網(wǎng)絡的良好發(fā)展前景，特別是考慮到新冠疫情下嚴格的社交距離要求。

與物聯(lián)網(wǎng)平臺兼容的增強多模態(tài)觸覺反饋系統(tǒng)

基于此AI增強的多模態(tài)傳感和反饋系統(tǒng)，成功構建了一個為用戶提供跨空間感知能力的交互式元宇宙平臺，其中，一個用戶的真實空間中的對象可以被識別并重建為虛擬格式，并通過模擬刺激和反饋被同一元宇宙虛擬空間中的另一個用戶實時遠程感知，給人們一種面對面的沉浸式虛擬社交體驗。在元宇宙基礎設施下，未來致力于通過將VR顯示技術與多模態(tài)體感融合，實現(xiàn)全身感知和反饋，構建智能虛擬社會，以實現(xiàn)智能互動的社交、教育、娛樂和醫(yī)療保健等。

“元宇宙”的多模態(tài)傳感和反饋平臺