近年來(lái)計(jì)算機(jī)的發(fā)展趨勢(shì)之一是形態(tài)的多樣化與應(yīng)用情境的復(fù)雜化，自然交互（natural interaction）日益成為人機(jī)交互的重要發(fā)展方向之一。虛擬現(xiàn)實(shí)（Virtual Reality，VR）是新興計(jì)算機(jī)形態(tài)之一，是自然交互的重要組成部分。2010年以來(lái)，隨著Oculus、HTC Vive、Google Glass、PsvR、Micro soft hololens等商用頭戴式顯示設(shè)備（Head- Mounted Display，HMD）的發(fā)行，虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)逐漸進(jìn)入人們的日常生活。

在應(yīng)用方面，除了常見(jiàn)的VR游戲、VR視頻以外，VR和AR技術(shù)在教育、軍事、醫(yī)療、商業(yè)等領(lǐng)域也有著廣泛應(yīng)用。由此，人們對(duì)VR技術(shù)產(chǎn)生了不同于以往桌面顯示設(shè)備的需求，比如，高性能的VR系統(tǒng)應(yīng)具有沉浸感、想象性和交互性特點(diǎn)（Immersion， Imagination， Interaction，3I）。這些需求促進(jìn)了VR技術(shù)的發(fā)展。當(dāng)然，作為一種新的人機(jī)交互形式，VR交互中還存在一些問(wèn)題，需要我們注意并加以預(yù)防。下面就讓大家和小編一起看看VR技術(shù)的新發(fā)展吧。

1. VR中輸出技術(shù)的發(fā)展

與傳統(tǒng)的桌面顯示設(shè)備類(lèi)似，視覺(jué)仍然是VR中輸出信息的主要模態(tài)，但也有不同于桌面顯示設(shè)備的需求，如分辨率及像素密度、近眼顯示、視場(chǎng)角（Field of view，F(xiàn)OV）等。另外，為了增強(qiáng)沉浸感、提高VR交互的自然性，對(duì)于VR環(huán)境中其他模態(tài)（聽(tīng)覺(jué)、觸覺(jué)）的信息呈現(xiàn)也有區(qū)別于傳統(tǒng)桌面顯示設(shè)備的需求。

（1）視覺(jué)

VR中的視覺(jué)顯示至少在兩方面與傳統(tǒng)的桌面顯示不同：第一，顯示屏（鏡片）與人眼的距離更近；第二，兩塊鏡片呈現(xiàn)的內(nèi)容不同，通過(guò)雙眼視差給人提供立體感。因?yàn)轱@示屏與眼睛距離更近，對(duì)于同等質(zhì)量的顯示屏，在VR中更容易觀察到像素點(diǎn)，畫(huà)質(zhì)感相對(duì)粗糙、不真實(shí)，進(jìn)而影響呈現(xiàn)效果。

我們研究發(fā)現(xiàn)，在普通分辨率的液晶顯示器、VR、AR上完成相同的閱讀任務(wù)，在VR上準(zhǔn)確接收到的信息量大約是液晶顯示器的79%，在AR上準(zhǔn)確接收的信息量大約是液晶顯示器的85%。

如果在液晶顯示器、VR、AR上完成相同的快速閱讀任務(wù)，被試者在選擇選項(xiàng)時(shí)，在VR和AR上需要多花費(fèi)約10%的時(shí)間，即反應(yīng)更慢；如果想要在VR設(shè)備上得到相同的閱讀績(jī)效，VR設(shè)備需要配備不低于3K分辨率的顯示屏。除了分辨率以外，3D文字、AR環(huán)境中的文字疊加背景也會(huì)影響VR和AR設(shè)備的閱讀績(jī)效。

在VR、AR環(huán)境中，用戶不再受物理顯示設(shè)備的范圍限制，可以在虛擬環(huán)境中同時(shí)放置多個(gè)窗口，如何設(shè)計(jì)多窗口布局將會(huì)影響交互的效率。我們研究發(fā)現(xiàn)，設(shè)計(jì)多窗口布局時(shí)需要關(guān)注切換距離與路徑，有中心布局（C-type）適用于低頻切換任務(wù)，無(wú)中心布局（NC-type）適用于高頻切換任務(wù)。

我們優(yōu)先推薦橫向布局，重視滿意度時(shí)推薦縱向布局，重視績(jī)效時(shí)推薦斜向布局。新的VR設(shè)備已經(jīng)在提高分辨率上取得了一些進(jìn)展。HTC最新推出的Vive pro，組合分辨率達(dá)到了2880×1600，已經(jīng)接近3K分辨率。實(shí)驗(yàn)室的原型機(jī)最高分辨率已經(jīng)達(dá)到8K。

（2）聽(tīng)覺(jué)

在以桌面顯示器為主流顯示設(shè)備的時(shí)代，聽(tīng)覺(jué)可以通過(guò)耳機(jī)呈現(xiàn)立體聲音效，來(lái)模擬環(huán)境中不同位置的聲音。在VR中，因?yàn)橐曈X(jué)信息可以以立體、360度環(huán)繞的形式呈現(xiàn)，所以視聽(tīng)整合（audio visual Integration）變得更加重要。視聽(tīng)整合對(duì)呈現(xiàn)虛擬環(huán)境中物體的深度信息具有重要作用。

研究者將3D聲音信息作為主要線索來(lái)幫助使用者判斷物體的距離遠(yuǎn)近，發(fā)現(xiàn)隨距離變化而調(diào)節(jié)聲音大小的3D信息能有效幫助使用者判斷物體距離，這種線索也能有效幫助使用者完成目標(biāo)搜索任務(wù)。我們的研究發(fā)現(xiàn)，VR環(huán)境中的視聽(tīng)整合對(duì)于深度線索的影響也體現(xiàn)在視聽(tīng)不一致時(shí)，人們對(duì)視覺(jué)刺激的距離會(huì)偏向于聽(tīng)覺(jué)刺激。我們的另一項(xiàng)研究發(fā)現(xiàn)VR動(dòng)態(tài)背景下聽(tīng)覺(jué)信息影響視覺(jué)搜索：當(dāng)不同方位的聽(tīng)覺(jué)信息影響覺(jué)察任務(wù)的反應(yīng)時(shí)，如果聽(tīng)覺(jué)信息與視覺(jué)目標(biāo)的空間位置一致，則反應(yīng)更快。

（3）觸覺(jué)

傳統(tǒng)的桌面顯示設(shè)備一般沒(méi)有觸覺(jué)顯示，人們?cè)谌粘Ｈ藱C(jī)交互中接觸的觸覺(jué)信息主要是手機(jī)的震動(dòng)。觸覺(jué)信息對(duì)于視覺(jué)有障礙人群具有特殊意義。有一系列為特殊用戶群體設(shè)計(jì)的觸覺(jué)顯示設(shè)備，如Braille Display。觸力覺(jué)人機(jī)交互對(duì)于保證VR系統(tǒng)的3I特性至關(guān)重要，但是現(xiàn)階段的主流VR系統(tǒng)中觸力覺(jué)反饋仍然非常有限，成為制約VR交互發(fā)展的瓶頸。

手和皮膚是人們的主要觸覺(jué)感覺(jué)器官，相應(yīng)地，VR配套的觸力覺(jué)設(shè)備主要有手套和全身穿戴設(shè)備兩大類(lèi)。其中手套設(shè)備更重視真實(shí)感的重現(xiàn)以及雙向信息流動(dòng)，而全身穿戴設(shè)備專(zhuān)注于提供更好的沉浸感。例如電影《頭號(hào)玩家》中的男主角穿戴的就是一套覆蓋全身的觸力覺(jué)系統(tǒng)。由開(kāi)源VR平臺(tái)High Fidelity與觸覺(jué)設(shè)備公司NeoSensory合作開(kāi)發(fā)的觸覺(jué)夾克exoskin，其beta版設(shè)備帶有32個(gè)感覺(jué)馬達(dá)，覆蓋上肢和主要軀干部位。Tesla Suit的全身穿戴設(shè)備融全身觸力覺(jué)反饋、溫度變化反饋、動(dòng)作捕捉系統(tǒng)于一體，力圖為用戶提供VR環(huán)境中的真實(shí)感與沉浸感。

（4）多模態(tài)融合

為了實(shí)現(xiàn)真正的自然交互，VR系統(tǒng)不僅要提供高質(zhì)量的視、聽(tīng)、觸覺(jué)信息，還需要不同模態(tài)信息之間有效協(xié)同，避免互相干擾，力求達(dá)到融合、互補(bǔ)。我們研究發(fā)現(xiàn)，（1）在每次呈現(xiàn)1bit信息的情況下，視、聽(tīng)、觸模態(tài)呈現(xiàn)信息的效果沒(méi)有顯著差異；在每次呈現(xiàn)2-4bit信息的情況下，視覺(jué)呈現(xiàn)信息的效果明顯優(yōu)于聽(tīng)覺(jué)和觸覺(jué)。（2）聽(tīng)覺(jué)最適合呈現(xiàn)的信息形式是時(shí)間的長(zhǎng)短，觸覺(jué)最適合呈現(xiàn)的信息形式是方位信息。（3）在快速連續(xù)呈現(xiàn)信息的條件下，多模態(tài)冗余信息沒(méi)有表現(xiàn)出相對(duì)于單模態(tài)的增益效果（multi-sensory enhancement）。在VR環(huán)境中，除了視聽(tīng)整合，還要求實(shí)現(xiàn)視聽(tīng)觸整合：同一物體的視、聽(tīng)、觸的信息要在空間和時(shí)間維度上都保持一致，才能實(shí)現(xiàn)讓人滿意的整合效果。

2. VR中輸入技術(shù)的發(fā)展：

設(shè)計(jì)師和工程師自計(jì)算機(jī)誕生以來(lái)，從未停止對(duì)更加自然的交互形式的探索。從最早的穿孔卡開(kāi)始，經(jīng)過(guò)鍵盤(pán)鼠標(biāo)，再到觸摸板和觸摸屏，交互方式在不斷進(jìn)化。VR、AR的出現(xiàn)讓計(jì)算機(jī)顯示從有限尺寸的屏幕發(fā)展到?jīng)]有實(shí)體屏幕，這也要求我們進(jìn)一步去發(fā)現(xiàn)新的交互方式。

（1）動(dòng)作捕捉

動(dòng)作捕捉技術(shù)，即以某種分辨率捕捉對(duì)象的大規(guī)模運(yùn)動(dòng)，在VR交互中也扮演著重要角色。動(dòng)作捕捉主要有電磁、機(jī)械、聲學(xué)、光學(xué)和慣性式運(yùn)動(dòng)捕捉。其中，光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)會(huì)監(jiān)視、跟蹤捕捉對(duì)象上的特定光點(diǎn)。

慣性式動(dòng)作捕捉系統(tǒng)，如Xsens MVN和3DSuit，主要通過(guò)把慣性傳感器設(shè)備（如加速度計(jì)、磁感應(yīng)計(jì)和陀螺儀等）固定在重要節(jié)點(diǎn)上來(lái)實(shí)現(xiàn)。算法上的新進(jìn)展，如機(jī)會(huì)計(jì)算模型（opportunistic computing model）、類(lèi)增量隨森林、深度學(xué)習(xí)等方法可以有效提高動(dòng)作識(shí)別精度，對(duì)于大規(guī)模數(shù)據(jù)的泛化能力也得到了提高。

（2）移動(dòng)

移動(dòng)是非常重要的交互，但是現(xiàn)實(shí)世界的空間往往是有限的，為了實(shí)現(xiàn)在虛擬空間中的無(wú)限移動(dòng)，讓用戶在虛擬環(huán)境中可以不受限制地行走，還需要外接設(shè)備—例如萬(wàn)向跑步機(jī)。

萬(wàn)向跑步機(jī)利用動(dòng)作捕捉技術(shù)，將用戶的行走、轉(zhuǎn)向等產(chǎn)生的動(dòng)作轉(zhuǎn)化成用戶在虛擬環(huán)境中的化身的相應(yīng)運(yùn)動(dòng)，讓用戶感覺(jué)自己在走動(dòng)，但實(shí)際上是原地踏步。其他類(lèi)似的外接設(shè)備使得VR效果更逼真，比如商場(chǎng)中常見(jiàn)的蛋椅9DVR、VR多人聯(lián)機(jī)產(chǎn)品、迷你VR綜合樂(lè)園、移動(dòng)VR體驗(yàn)館等。

（3）手勢(shì)、眼動(dòng)、腦電

VR/AR交互的主要輸入方式包括語(yǔ)音、手勢(shì)、控制器（手柄）以及傳統(tǒng)的鍵盤(pán)鼠標(biāo)等，另外還有正在發(fā)展中的眼動(dòng)、腦電等輸入形式。AR眼鏡，如HoloLens，支持簡(jiǎn)單的手勢(shì)交互。更專(zhuān)業(yè)主流的手勢(shì)識(shí)別設(shè)備主要有Leap Motion。另外，在VR、AR中輸入文本是一個(gè)難題，設(shè)備自帶的輸入方式效率非常低。一些新的輸入技術(shù)可以提高VR、AR中的文本輸入效率，如頭動(dòng)輸入、空中打字、單維手勢(shì)輸入等。

用眼動(dòng)來(lái)實(shí)現(xiàn)交互，通過(guò)捕捉眼球的運(yùn)動(dòng)，計(jì)算出注視點(diǎn)，并配合眨眼等動(dòng)作實(shí)現(xiàn)對(duì)設(shè)備的操控。Google Glass就可以靠眼動(dòng)來(lái)操控，而在HoloLens和配合手機(jī)使用的VR設(shè)備（如Google Cardboard）中，眼動(dòng)技術(shù)仍然是一個(gè)難點(diǎn)，目前只能通過(guò)頭動(dòng)來(lái)操控。將腦電技術(shù)應(yīng)用于VR，通過(guò)便攜式腦電設(shè)備收集腦電信號(hào)，并由特定算法將生理信號(hào)識(shí)別為意圖（如情緒識(shí)別）并實(shí)現(xiàn)對(duì)其他設(shè)備的控制最終以腦機(jī)接口的形式進(jìn)行意圖的輸入，也是發(fā)展方向之一。

3. VR在社交領(lǐng)域的發(fā)展

演化中的合作關(guān)系奠定了人類(lèi)的社會(huì)屬性。VR技術(shù)的發(fā)展，必定會(huì)影響人們的社交形態(tài)。作為一種新興的媒體，VR環(huán)境既更新了媒體傳播的形式又豐富了媒體展示的內(nèi)容。兩方面的發(fā)展讓虛擬環(huán)境下的社交形態(tài)更加多樣化，但可能引發(fā)一些新的問(wèn)題。社會(huì)交往中，個(gè)人的身份構(gòu)建（identity construction）是一個(gè)核心問(wèn)題。在虛擬社交環(huán)境中，一個(gè)人可以體驗(yàn)不同的身份，這種身份可能是跨職業(yè)跨年齡、跨性別甚至是跨物種的。不受限制的身份跨越，會(huì)引發(fā)大量的倫理問(wèn)題。

除此之外，多樣的身份體驗(yàn)也會(huì)直接對(duì)個(gè)人的自我認(rèn)知造成影響，反向作用于真實(shí)世界的社交行為，并有可能刺激多重人格的差異化發(fā)展。在虛擬世界中，社交環(huán)境是虛構(gòu)的，但用戶是真實(shí)的，虛擬社交會(huì)直接影響現(xiàn)實(shí)社會(huì)。因此，虛擬社交中的成人因素和暴力因素需要被妥善監(jiān)管?，F(xiàn)有的媒體研究表明，影視作品中的成人因素和暴力因素會(huì)對(duì)觀影者造成較大的影響，而VR環(huán)境中沉浸感更強(qiáng)，這類(lèi)影響將進(jìn)一步擴(kuò)大。不受規(guī)范的虛擬社交很大可能導(dǎo)致現(xiàn)實(shí)世界中的反社會(huì)行為，這對(duì)于青少年可能更為嚴(yán)重。

虛擬世界的社交是會(huì)促進(jìn)人們的社會(huì)交往還是會(huì)導(dǎo)致更嚴(yán)重的社會(huì)孤立呢？從好的方面講，對(duì)于不能進(jìn)行面對(duì)面交流的情況，相比于傳統(tǒng)媒體，VR可以提供的信息更加豐富。除了圖像、語(yǔ)音之外，交流中重要的肢體接觸、環(huán)境烘托都成為了可能。虛擬社交能很好地作為真實(shí)社交的補(bǔ)充。但是，過(guò)分沉迷于虛擬社交，可能會(huì)導(dǎo)致對(duì)真實(shí)社交的忽略，造成社會(huì)孤立。

這一現(xiàn)象在社交媒體出現(xiàn)后已有體現(xiàn)，而沉浸感更強(qiáng)的VR社交有可能將這個(gè)問(wèn)題放大。虛擬世界也可以發(fā)展親社會(huì)的社交：通過(guò)虛擬社交的方式增強(qiáng)使用者的同理心、同情心以及合作精神，改善他們?cè)谡鎸?shí)社交場(chǎng)景中的表現(xiàn)?？偟膩?lái)說(shuō)，VR技術(shù)會(huì)帶來(lái)社交方式的變革。這種變革是一把雙刃劍，它具體會(huì)產(chǎn)生怎樣的影響還要取決于人們的使用方式，規(guī)則的健全程度等因素。