在2014年谷歌I / O大會上大放異彩的紙板耳機是IOS或Android手機進行VR體驗的絕佳方式。

在今年的I / O大會上，谷歌發(fā)布了Daydream。這是一款建立在Android N頂端的高性能移動VR平臺，用Android VR模式進行了優(yōu)化。Daydream為Android系統(tǒng)帶來了高性能的VR體驗。本文中，我將介紹一些可以為Android用戶提供高質(zhì)量VR體驗的PowerVR Rogue GPU優(yōu)化設計。

“存在”的重要性

兩年前，Oculus Rift Crescent Bay原型發(fā)布以后，該公司的首席科學家邁克爾·亞伯拉什提出五個在虛擬現(xiàn)實環(huán)境中實現(xiàn)“存在”的五大要素，即跟蹤、延遲、持久性、分辨率和光學因素。

“存在”是非常重要的，因為它創(chuàng)建了一個情感紐帶，將人們與VR設備創(chuàng)造的世界聯(lián)系起來?！按嬖诟小北欢x為個人在介質(zhì)（通常虛擬介質(zhì)）描繪場景中的主觀感覺。在TechCrunch一篇標題為“VR的第一準則：不要打破存在感”文章中，莎莎·馬林考維科也闡述了在VR應用程序中保持存在感的重要性。

由于計算機處理能力、圖像、視頻及顯示技術取得了飛躍的發(fā)展，因此使用VR技術實現(xiàn)逼真的用戶體驗已成為一種可能。然而，我們不僅要實現(xiàn)并且還要維護虛擬現(xiàn)實存在的真實性，即“不要破壞存在感”。

上面提到的五大要素,，我將著重講兩個與圖形處理器有直接關系的要素——延遲和分辨率，并闡述一些我們目前正在從事的旨在PowerVR GPU的解決方案。

這些技術對桌面VR和移動VR都行之有效，尤其是移動VR。它們可以確保在移動和嵌入式設備中更有效地利用有限的資源(內(nèi)存帶寬、熱空間、顯示分辨率等)。

減少光子運動的延遲

在VR中，延遲將直接影響“存在”。如果渲染圖像與用戶的頭部動作不完全同步，存在感便會瞬間消失。因此，不惜一切代價避免延遲將至關重要。

用戶輸入(如頭部動作)到相應圖片更新之間的時間間隔可以來測量延遲。為創(chuàng)造出一種完全的沉浸感，時間間隔需要低于20毫秒。

值得慶幸的是，大多數(shù)GPU是多線程功能、多核架構的優(yōu)化設計，可以處理延遲。不過我們還要向開發(fā)人員推薦一些額外的算法來減少延遲。

一個例子便是異步時間彎曲——這里可不是在上演《星際迷航》(曲速前進)，不過實際上其設計是為了降低可感知的光子運動的延遲。這里有一點忠告：盡管異步時間彎曲的確可以減少延遲，但其也降低了隨之生成的彎曲圖像的整體質(zhì)量。這是因為彎曲僅在三維空間移動了圖像，并沒有真正創(chuàng)建一個新的視角。此外，場景中的任何動畫將不得不停止，由此可能產(chǎn)生問題。

下圖詳細展示了異步時間彎曲序列。渲染當前的場景時，我們要看著頂部位置數(shù)據(jù)，然后基于追蹤的信息來彎曲圖像。

減少延遲更先進的技術是前置緩沖帶渲染，這部分我的同事，即來自PowerVR圖像團隊的克里斯汀··波茨赫進行了闡述。

移動VR的高分辨率渲染

Oculus建議所有的耳機都應該以1000 x 1000像素的最小分辨率實現(xiàn)恰當?shù)牧Ⅲw渲染 (除了最終輸出至智能手機顯示屏的渲染)。在移動VR的情況下，以60 fps （或更高）驅(qū)動2K顯示頻將會給GPU帶來過多的壓力，并對電池壽命和功耗產(chǎn)生很大的影響。

解決這一問題還有很多方法。例如，以下考慮的方式是光通過透鏡系統(tǒng)進行傳輸。相比VR耳機屏幕，透鏡位置的視角要更加寬大。除了更廣泛的視角，透鏡還使用戶得以輕松地看著與他們眼睛近距離的屏幕。不過，透鏡會產(chǎn)生枕形狀失真，需要GPU使用相應的負畸變進行糾正。

使用負畸變時，圖像的邊緣會嚴重扭曲但卻對中心部分幾乎沒有影響。我們可以充分把握這一點。由于很多紋理元素在嚴重扭曲的區(qū)域被壓扁，開發(fā)人員可以僥幸渲染最初位置的少量紋理。如果使用得當，即使用戶盯著透鏡的邊緣，他們也不會注意到這種方法與渲染完整分辨率的區(qū)別。

使用GPU的結果是將明顯降低片段的開銷，且沒有損失用戶可感知的質(zhì)量。

若您是VR空間開發(fā)人員，請繼續(xù)關注我們的博客。我將提供我們PowerVR圖像團隊的同事編寫的文章，他進一步提出了優(yōu)化現(xiàn)有移動設備渲染代碼的方法。