如果你還未曾見過人們初次體驗(yàn)虛擬現(xiàn)實(shí)（VR）的情景，我強(qiáng)烈建議你感受一下。無論是七歲的孩童，還是七十歲的老人，他們戴上眼鏡之后，都情不自禁會像演員一般手舞足蹈，伸長著脖子，盯著周圍的虛擬空間，仿佛突然進(jìn)入了全新的世界維度。然后，他們還會興奮地分享眼前景象，“快看！”“你真該看看！”這讓我想起隨身聽興起的那些日子，我們興奮地朝著對面的人大聲說話，卻忘了歌曲只有自己才能聽見。這樣來介紹VR非常的貼切：這是一個令人興奮的新事物，能夠立刻吸引住你，讓你情不自禁地想要和別人分享。的確，F(xiàn)acebook收購Oculus說明他們已經(jīng)看到了VR應(yīng)用于社交媒體的巨大潛力。想象這樣一個未來場景并不困難：我們坐在虛擬咖啡廳，對著親朋栩栩如生的頭像聊天；或者在你最喜愛的社交網(wǎng)絡(luò)上瀏覽VR視頻和360度全景照片，而現(xiàn)實(shí)上，你卻只是穿著睡衣坐在家里的沙發(fā)上。關(guān)于VR未來發(fā)展的展望無處不在，然而， VR未來將如何被使用和消費(fèi)，我們?nèi)孕枋媚恳源＞湍壳岸?，也有一些其他技術(shù)擁有和VR同樣的潛力和影響力，比如和VR來自同一家族的增強(qiáng)現(xiàn)實(shí)（AR）。本文中，我將討論當(dāng)今的VR市場及其面臨的挑戰(zhàn)，并介紹能夠?qū)崿F(xiàn)VR的技術(shù)。

游戲被認(rèn)為是VR率先采用的領(lǐng)域，盡管它只是VR技術(shù)眾多潛在用途的其中之一。VR技術(shù)打開了全新的世界，讓游戲開發(fā)者可以營造更高級的沉浸感，創(chuàng)造全新的游戲機(jī)制、體驗(yàn)與控制方法，這些體驗(yàn)是絕對是傳統(tǒng)技術(shù)無法實(shí)現(xiàn)的。移動游戲剛問世時，很多開發(fā)商都只是單純地將傳統(tǒng)游戲移植到移動平臺。這一做法卻因無法實(shí)現(xiàn)而被舍棄。兩者不同的控制方法和形狀因子、多樣化的用戶與使用模式、以及移動市場截然不同的期望，都促使開發(fā)商重新思考移動游戲的核心。從PC、電視遷移到移動設(shè)備，游戲本身所受到的影響遠(yuǎn)超預(yù)期。今天，手機(jī)游戲仍然與PC和電視游戲共享品牌。盡管在高端設(shè)備上，我們已經(jīng)可以支持相同的圖像內(nèi)容，但游戲行業(yè)已經(jīng)掌握該如何調(diào)整傳統(tǒng)游戲，使其更適應(yīng)移動市場，并針對移動市場開發(fā)了完全不同的游戲類型。如此轉(zhuǎn)變推動了移動游戲市場的快速成長，有時，移動游戲的收益甚至超過傳統(tǒng)的PC、電視游戲。

我們正處于新一輪的探索期：如何將VR更好地應(yīng)用于游戲、了解哪些有用，哪些沒用。所有人都在探尋并試圖如何抓住這一千載難逢的機(jī)遇。接下來的數(shù)年將是見證奇跡的時刻，我們將親眼目睹VR的發(fā)展和演化。歷史的經(jīng)驗(yàn)告訴我們，全沉浸式的游戲盡管可以營造更身臨其境的感官體驗(yàn)，但是被外星人一槍爆頭的感覺只會讓人驚恐萬分。相較于此，溫和的娛樂形式盡管乍看起來沒什么特別，但通常卻更令人印象深刻。當(dāng)然，也不排除會有很多開發(fā)商覺得，白天嚇人一大跳是件值得驕傲的事情。有的玩家也很樂意體驗(yàn)一下世界最大的虛擬過山車是什么感覺。市場需求是多種多樣的，所以我不希望一概而論。Oculus Store中多元化的應(yīng)用告訴我們，“體驗(yàn)”和“概念”將各自衍生出全新的娛樂形式。即便只在其中添加細(xì)微的交互元素，也有可能打造出一款全新的“游戲”。

nDreams，在虛擬現(xiàn)實(shí)中體驗(yàn)完美海灘

現(xiàn)在，已經(jīng)很難找到哪個創(chuàng)意產(chǎn)業(yè)不考慮VR電影、照片及現(xiàn)場直播的潛在影響力。對媒體而言，VR將非常受歡迎。站在球場中間，參加你最喜歡的體育賽事，或親臨重大新聞事件，或目睹坐在身側(cè)的演員捧得夢寐以求的奧斯卡獎，或者在美國下一任總統(tǒng)的就職典禮上占據(jù)靠前或居中的好位置。記者、劇院、藝術(shù)家、音樂家、教育中心和博物館都已經(jīng)蓄勢待發(fā)，探索應(yīng)用VR的可能性。盡管標(biāo)準(zhǔn)化的視頻及圖像容器與元數(shù)據(jù)技術(shù)都尚未成熟、亟待發(fā)展，但能夠拍攝360° 全景視頻和照片的專業(yè)攝像機(jī)已悄然上市。此外，人們對消費(fèi)型VR攝像機(jī)也抱有極大的興趣，不遠(yuǎn)的未來，我們將可以通過VR拍攝貓咪過生日、全家度假的點(diǎn)點(diǎn)滴滴以及令你瞬間發(fā)笑的嬰兒視頻，相信這將引爆新一輪的社交分享狂潮。在探討VR視頻分享時，F(xiàn)acebook首席產(chǎn)品官Chris Cox如是說：“你會這樣做，Beyoncé也不例外?！蹦壳?，F(xiàn)acebook和YouTube都已支持360° VR視頻流及相關(guān)項(xiàng)目，以期進(jìn)一步提高質(zhì)量標(biāo)準(zhǔn)的Google Jump 就是一個例子。

并不是所有的VR視頻都采用傳統(tǒng)意義上的實(shí)景錄制來完成拍攝。Oculus電影工作室正在探索利用游戲引擎技術(shù)來講述動畫故事——對故事進(jìn)行渲染，而不是拍攝后的重新播放?！坝肰R進(jìn)行故事講述”的概念已經(jīng)激發(fā)了很多天馬行空的想象。不過，首次嘗試將電影和游戲進(jìn)行結(jié)合的時候，勇于吃螃蟹的制片方也嘗到了痛苦的教訓(xùn)：盡管整合游戲技術(shù)可以打造沉浸式更強(qiáng)的故事情節(jié)，但將交互元素與故事情節(jié)隨便雜糅只會營造出四不像的體驗(yàn)。即便挑戰(zhàn)重重，使用渲染仍然是一項(xiàng)不錯的技術(shù)選擇。粗略計(jì)算，相比普通高清視頻，高清立體的VR電影對視頻流及編碼的要求明顯高出一個量級。如果使用傳統(tǒng)方法進(jìn)行視頻拍攝、壓縮及流化，大量的制作過程都會被浪費(fèi)，360°拍攝的內(nèi)容約有5/6都無法呈現(xiàn)在屏幕上。如果能夠從用戶取景的角度來考量，我們可以做地更好。這種新的思維方法特別適用于內(nèi)容渲染，并進(jìn)一步突出視圖自適應(yīng)技術(shù)的優(yōu)勢。從OTOY和8i正在開發(fā)的新技術(shù)，或者光場相機(jī)相關(guān)及新型領(lǐng)域的快速成長中，我們不難發(fā)現(xiàn)，GPU為中心的視頻技術(shù)正快速進(jìn)步。這是一個快速發(fā)展的領(lǐng)域，我們希望整個行業(yè)也可以跟上步伐。

Huang et al的光照野外立體鏡

實(shí)現(xiàn)高品質(zhì)VR的挑戰(zhàn)

高品質(zhì)移動VR不僅對GPU有更高的要求，對整個系統(tǒng)都是很大的挑戰(zhàn)。發(fā)熱限值是VR設(shè)備的重要參數(shù)，為確保設(shè)備運(yùn)行時間內(nèi)不超出發(fā)熱限制，很多組件都需要重新設(shè)計(jì)，才能夠?qū)崿F(xiàn)視頻、GPU和顯示器的超低延遲、零拷貝路徑，以及嚴(yán)格的功耗管理。Linux系統(tǒng)對實(shí)時操作的要求不高，但低延遲的VR應(yīng)用則需要接近實(shí)時的系統(tǒng)運(yùn)行。因此，線程間通信和線程優(yōu)先級、動態(tài)調(diào)頻調(diào)壓（DVFS）及其他系統(tǒng)集成細(xì)微的改變都會對“光子運(yùn)動”關(guān)鍵路徑的穩(wěn)健性產(chǎn)生影響。暫時不談VR，一款安卓應(yīng)用需要經(jīng)過操作系統(tǒng)的三重緩沖，僅僅圖像提交路徑就會產(chǎn)生50ms的延遲。盡管最后的效果還過得去，短時視頻體驗(yàn)也還不錯，但是眼睛和屏幕的延遲非常明顯。如此，看不了太久，延遲就會使人不舒服，甚至感到惡心，哪怕是觀看相對靜態(tài)的內(nèi)容也不會有很大的改觀。盡管VR體驗(yàn)讓人印象深刻，但產(chǎn)業(yè)發(fā)展的重點(diǎn)是為大眾市場帶來高品質(zhì)VR產(chǎn)品，唯有此，才能進(jìn)一步釋放其巨大的發(fā)展?jié)摿Α?/p>

業(yè)界通用的“光子運(yùn)動”延遲最高為20ms。低于20ms的話，延遲就難以被察覺。對刷新率為60幀／秒（16毫／幀）的標(biāo)準(zhǔn)面板來講，這一目標(biāo)很難實(shí)現(xiàn)；但通過一系列技術(shù)的結(jié)合，三星Gear VR設(shè)備現(xiàn)在已經(jīng)可以實(shí)現(xiàn)：

? “異步時間扭曲”流程

? 直接渲染到顯示器前置緩沖

? 使用低持續(xù)性的OLED顯示器

一旦通過應(yīng)用框架，應(yīng)用程序就可以收集最新的頭部追蹤數(shù)據(jù)，將當(dāng)前世界渲染成“眼部緩沖區(qū)（eyebuffer）”（一種特殊紋理，對應(yīng)左右眼分成邏輯兩側(cè)）。如果可能的話，我們建議應(yīng)用程序以60幀／秒的速度運(yùn)行，但實(shí)際應(yīng)用中很難保證，所以將目標(biāo)設(shè)定為30幀／秒更為顯現(xiàn)實(shí)。為了保證幀速率，降低有效延遲時間，異步運(yùn)行的時間扭曲流程會負(fù)責(zé)收集最新的有效eyebuffer，并在顯示器讀取之前直接將其寫入前置緩沖。安裝ARM Mali GPU的“context—priority”擴(kuò)展后，時間扭曲流程能采用單獨(dú)的高優(yōu)先級OpenGL ES（嵌入式系統(tǒng)開放圖形庫）內(nèi)容進(jìn)行渲染。提交高優(yōu)先級內(nèi)容后，GPU上現(xiàn)有的渲染工序會自動中斷，完成高優(yōu)先級內(nèi)容渲染后再繼續(xù)原有任務(wù)。采用該流程，時間扭曲可以及時提交渲染任務(wù)，顯示器也可以再次讀取返回的數(shù)據(jù)。時間扭曲對顯示屏的渲染時間比應(yīng)用程序更短，其獲得的頭部追蹤數(shù)據(jù)也就更新，進(jìn)而可以調(diào)整eyebuffer內(nèi)容，使之與頭部的實(shí)際方向更加匹配。時間扭曲僅能針對頭部轉(zhuǎn)動進(jìn)行調(diào)整，而無法根據(jù)頭部固定位置或動畫場景來調(diào)節(jié)，但實(shí)際應(yīng)用中，因?yàn)轭^部轉(zhuǎn)動的時間延遲低于可被注意到的閾值，流暢的體驗(yàn)就可以形成。這“剛好及時”將內(nèi)容渲染到前置緩沖的方式最適合低持續(xù)性的OLED顯示器。

對全局背光LCD顯示器來講，屏幕必須及時照亮單點(diǎn)圖像。相反，低持續(xù)性O(shè)LED顯示器的照亮?xí)r間很短，因?yàn)閹彌_已經(jīng)完成讀取。若屏幕保持水平，使用慢動作攝影機(jī)觀看，每一幀的畫面你都會看到一道在面板上從左到右運(yùn)行的光波。這使得觀看屏幕時，頭部可以旋轉(zhuǎn)至不同方向，并進(jìn)一步降低延遲。

盡管延遲時間是一個亟待攻克的技術(shù)難關(guān)，但人們對VR的需求不會因此而終結(jié)。在頭部佩戴鏡頭以放大面板倍率則進(jìn)一步印證了我們對高清面板的渴望。哪怕原始分辨率已經(jīng)達(dá)到1440p，面板的視差發(fā)光格柵仍清晰可見；但對分辨率大于 1440p，幀率超過 60 FPS的顯示屏來講，我們還需要在系統(tǒng)上花更大的功夫，并進(jìn)一步提高外置存儲器帶寬。隨著壓縮視頻、GPU和顯示器間的幀緩沖交換變得愈加重要，所有ARM IP均使用無損ARM幀緩沖壓縮（AFBC）技術(shù)，以盡可能地減少幀緩沖存儲器流量。還有一點(diǎn)非常重要，為了高效地創(chuàng)建eyebuffer，且無需為左右眼重復(fù)做功，應(yīng)用程序需要更有效地渲染至多視圖。在具備該技術(shù)的平臺上，Mali可以支持“多視圖” OpenGL ES擴(kuò)展，允許應(yīng)用程序在一幀圖像到達(dá)驅(qū)動器后提交繪制命令，同步完成左右眼的eyebuffer創(chuàng)建。這一流程可以顯著縮短應(yīng)用程序和驅(qū)動器需要的CPU計(jì)算時間。同時，我們進(jìn)一步優(yōu)化了Midgard Mali GPU的頂點(diǎn)運(yùn)算能力，運(yùn)行頂點(diǎn)著色器中不依賴眼睛的部分，并實(shí)現(xiàn)雙眼共享。Vulkan是Khronos公司開發(fā)的全新跨平臺API，可以進(jìn)一步降低CPU開銷，讓開發(fā)者對產(chǎn)品有更大的掌控力度，促進(jìn)移動VR的發(fā)展。

VR是一項(xiàng)開創(chuàng)性的技術(shù)，正在快速發(fā)展的過程中。得益于現(xiàn)代移動設(shè)備的普及和強(qiáng)大功能，VR不再只是昂貴的定制臺式機(jī)或控制臺系統(tǒng)的專屬。為了真正實(shí)現(xiàn)VR，發(fā)揮其對世界的潛在影響，移動VR必須面向大眾市場。作為這一領(lǐng)域的意見領(lǐng)袖，我們致力于推動其繼續(xù)發(fā)展并與合作伙伴密切協(xié)作，提供高品質(zhì)的VR體驗(yàn)，發(fā)揮該技術(shù)的最大潛力，實(shí)現(xiàn)更加美好的虛擬世界。

image007.jpg （12.44 KB， 下載次數(shù)： 15）