你是否感到從時下最火的VR當中窺探到了未來科技的影子？其實當前的VR技術還有相當多的不足需要開發(fā)者們共同去推進。

　　VR還有哪些技術的發(fā)展有所欠缺？未來的VR體驗和使用場景究竟是什么樣子的？VR產(chǎn)業(yè)還有哪些你沒想到的商業(yè)模式？當前最大的技術挑戰(zhàn)是什么？這些你想知道的問題，報告作者AMD的工程師Allen Rush都試著從自身的角度做出了解答。

　　VR主要的體驗通過光學和顯示技術實現(xiàn)，沉浸感的營造通過控制本地視覺和位置信息來實現(xiàn)。參數(shù)包括了分辨率，光學調(diào)制，朝向，幀率和動態(tài)范圍等。

　　到2016年，VR用戶達到200萬，開發(fā)者有20萬。共有超過260家創(chuàng)業(yè)公司進入VR行業(yè)，業(yè)內(nèi)關鍵玩家則包括了Oculus，索尼，微軟，谷歌，三星，HTC等。

　　VR應用的場景很廣泛，比如教育，醫(yī)療，可視化大數(shù)據(jù)， 模擬訓練，遠程互動，虛擬社交，游戲娛樂等。

　　視覺技術演進的路線從基礎的2D渲染，3D渲染， 著色單元，沉浸式2D顯示，物理基礎渲染走到今天來到了虛擬現(xiàn)實的發(fā)展水平，未來還會發(fā)展VR中的照相寫實主義，最終實現(xiàn)全景呈現(xiàn)。當然也可以認為，當前的技術發(fā)展水平使我們暫時只能看到這么遠。

　　視窗顯示和人眼視場顯示兩種呈現(xiàn)方式在原理上的差異在于，考慮到人的視場，就需要在VR設備上配備攝像頭，其拍攝內(nèi)容補齊了人眼觀察到的真實世界環(huán)境數(shù)據(jù)，然后就能通過視頻合成器向顯示器輸出人眼視場的VR圖像。

　　從動作捕捉到形成畫面，這其中所產(chǎn)生的延遲主要來自輸入，USB轉(zhuǎn)換，游戲引擎，CPU設置，以及框架方面的GPU渲染，傳輸框架緩沖，像素轉(zhuǎn)換到圖像顯示等功能和進程。

　　VR技術應用到的機器視覺技術體現(xiàn)在四個層面：

　　基本信息模塊：眼球追蹤反饋，位置信息（包括靜態(tài)的位置，動態(tài)的移動方向以及傾斜，旋轉(zhuǎn)，俯仰等九個自由度的信息），肢端探測器（手，腳等等）。

　　基礎功能：紅外追蹤，位置追蹤及校準。

　　復合應用：需要對用戶的眼球追蹤進行深度學習，以理解其表達含義并進行動作預測。

　　知覺融合：視覺拼接，觸覺，動態(tài)環(huán)境模型加速器。

　　VR技術正在進行快速的進化和發(fā)展，但是還有很長的路要走。

　　神經(jīng)系統(tǒng)科學家 Maria V. Sanchez-Vives和計算機科學家Mel Slater這樣寫過：“對一個可與真人互動的虛擬人物進行渲染，比如通過語言識別，生成有意義的語句，面部表情，情緒，膚色，語調(diào)以及肌肉關節(jié)的活動，這樣的效果目前實時的計算機圖形學和人工智能的能力還達不到。”

　　需要改進的關鍵參數(shù)包括：延遲，分辨率，視場，色彩，動態(tài)范圍和焦點管理。

　　需要補充的關鍵功能包括：眼球追蹤，環(huán)境視覺捕捉，精確定位，物體探測追蹤以及3D視場角。

　　需要改進的關鍵功能包括：運動與反饋，光學系統(tǒng)，眼球追蹤和沉浸感俘獲等附加功能的發(fā)展方向是成為VR平臺的自有構(gòu)成功能。

　　新興的VR/CV社區(qū)會逐漸生長出更生態(tài)化的東西，比如SDK，應用開發(fā)，用戶社群，度量工具以及更多的測評等等。

　　舉例而言，Leap Motion的“虛擬手” 最開始的做法就是通過視像投影與視覺反饋實現(xiàn)的動作交互。接下來需要補足的就是復雜化的渲染，識別，景深和追蹤等性能。

　　VR的應用空間比較多樣化，具有創(chuàng)新性。

　　APP開發(fā)者可以從軍事，醫(yī)療，游戲，電影，社交，教育，甚至沉浸式工作環(huán)境等領域?qū)ふ倚枨蟆?/p>

　　VR內(nèi)容需要的技術創(chuàng)新則包括了CGI，攝像機以及視頻拼接。

　　進擊的VR是否超出你的想象？

　　更進一步的發(fā)展可以從基礎創(chuàng)新中延展出更加亮眼的體驗。

　　比如通過沉浸式的遠程成像技術，你可以體驗一下虛擬會議是什么樣子的。實現(xiàn)這樣的功能需要眼球追蹤，面部重建和表情投影等技術。

　　只有改善沉浸和感覺的營造問題，才能讓用戶從觀看變成體驗。

　　一旦VR的群眾基礎打好了，就會生發(fā)出一大波的創(chuàng)新的APP，功能，創(chuàng)意等等。

　　原有的問題可以通過新的技術解決，比如傳感器，探測器和覆蓋的同步問題；又比如Liquid VR可以使用多個GPU分離并優(yōu)化工作量，通過算法改進兼容性或延遲問題；再又如，通過漏斗化渲染技術，可以讓計算機重點處理用戶眼睛所關注的畫面，這個范圍大約在視線中心的10%~20%范圍，結(jié)合眼球追蹤技術并能實現(xiàn)快速響應的話，可以大大降低當前圖形處理技術在計算能力上的負擔。

　　同時也可以開發(fā)新型工具，比如視頻拼接，工作流管理，混合機器視覺探測，識別，學習，追蹤和標記等等功能。

　　最終要實現(xiàn)將視覺，聽覺，觸覺，方向，位置等各種感官進行知覺整合與全景呈現(xiàn)。

　　而目前在技術上還需要對各種感官參數(shù)進行量化，提升CPU，GPU以及加速器。

　　商業(yè)模式和產(chǎn)業(yè)生態(tài)

　　產(chǎn)業(yè)生態(tài)

　　從技術的角度來看，VR產(chǎn)業(yè)還有很多生態(tài)體系并不成熟，也不健全。

　　內(nèi)容開發(fā)：游戲開發(fā)，3D游戲向VR游戲轉(zhuǎn)化，VR攝影機，360度全景捕捉，重訂格式，圖形渲染，VR顯示投影等；

　　UI方面：尋找鼠標鍵盤的替代方案；

　　捕捉內(nèi)容與圖像內(nèi)容的合成；

　　機器視覺覆蓋：探測器，物體標記和追蹤；

　　平臺SDK：制定開發(fā)者標準，包括測試，度量，分布和支持；也需要對庫，編譯器，以及向新平臺的移植進行優(yōu)化。

　　商業(yè)模式

　　對于游戲商來講，可以探討其銷售，租賃和服務器和伺服器存儲等的相關商業(yè)模式。

　　而在硬件方面，除了主機型VR，一體機型VR，移動VR以外，還要考慮拍攝設備的研發(fā)，因為未來的VR也需要對環(huán)境信息進行捕捉。

　　嵌入式開發(fā)則需要考慮系統(tǒng)集成和服務。

　　VR技術最大的挑戰(zhàn)是什么？

　　技術和設計上的挑戰(zhàn)——顯示和圖形

　　提升渲染和限時體驗；

　　人眼視覺系統(tǒng)存在一定的限制：根據(jù)瑞利判據(jù)，人眼能分辨兩點的極限距離是愛里斑的半徑；

　　想要實現(xiàn)每秒90幀，就要達到每秒20G像素的渲染速度；

　　還需要更好的光學系統(tǒng)和鏡頭陰影矯正以及提高渲染復雜性等；

　　技術挑戰(zhàn)——攝像頭和機器視覺

　　舉例而言，VR技術的一大關鍵就是需要對手和眼球進行追蹤。這其中就涉及到細節(jié)捕捉，幀速率，位置追蹤以及預測。相關的技術在文獻《Deep learning to customize and train》有介紹。

　　挑戰(zhàn)——生態(tài)和商業(yè)環(huán)境

　　內(nèi)容開發(fā)：內(nèi)容主題，故事，360度/180度全景，聲音表現(xiàn)……

　　分發(fā)：內(nèi)容的標準格式，如何有效的進行傳送；

　　內(nèi)容創(chuàng)新需要如何進行測試，評估以及使用反饋；

　　當然，最重要的是，這一波VR興起，誰能賺到錢呢？

　　總結(jié)

　　VR是一個興起的產(chǎn)業(yè)！

　　它得益于技術局限的突破，發(fā)展于性價比最優(yōu)的解決辦法，將會成熟于更優(yōu)異的體驗。

　　CV（機器視覺）加速了各種類型的應用的興起。

　　使用其公共屬性可以發(fā)展為探測器，追蹤器等；

　　使用其特有屬性，如精確性和多樣性，可以應用于醫(yī)療和游戲等行業(yè)。

　　生態(tài)的構(gòu)建需要SDK，用戶社群，內(nèi)容創(chuàng)作，評測評論。

　　商業(yè)模式就需要從娛樂，效率，功能化等應用場景中尋找新的需求。

　　下面是參考文獻，有興趣可以找來看一看。

　　事實上，盡管環(huán)境一直在說VR風口已過，但是對于應經(jīng)入局的玩家而言，相當多的參數(shù)和性能需要你們鍥而不舍的搞上去，而更優(yōu)化的性價比方案需要你們搞下來。

　　同時對于內(nèi)容創(chuàng)作者而言，除了技術上可以實現(xiàn)游戲或影視內(nèi)容本身的無腦轉(zhuǎn)化以外，需要更多關注的是創(chuàng)作適合VR體驗的作品。

　　與此同時，在這個行業(yè)當中的參與者并不是只有公司和制作團隊，智東西作為媒體是觀察者，我們的讀者有些是從業(yè)者，有些是期待VR的用戶。非常幸運的，我們能在這個行業(yè)發(fā)展共同聚焦在這一點，而媒體和用戶的發(fā)聲被本文的作者同樣視為非常重要的聲音，是構(gòu)成整個VR行業(yè)的一部分。

　　本文為智東西整理呈現(xiàn)，文中所有數(shù)據(jù)結(jié)論版權歸原作者所有。