作者：Gina Roos，主編

虛擬現(xiàn)實(shí) (VR) 系統(tǒng)的設(shè)計(jì)人員面臨著許多挑戰(zhàn)。這些范圍從選擇正確的計(jì)算能力和冷卻系統(tǒng)到將所有這些組件打包成一個(gè)小尺寸，同時(shí)降低成本。但也許最重要的挑戰(zhàn)是人體工程學(xué)——確保耳機(jī)對(duì)用戶來說是舒適的。許多設(shè)計(jì)權(quán)衡與外形尺寸有關(guān)。為什么？如果耳機(jī)在運(yùn)行內(nèi)容時(shí)太重或太熱，用戶將不會(huì)使用該設(shè)備。

負(fù)責(zé)Oculus VR 產(chǎn)品的 Facebook 虛擬現(xiàn)實(shí)硬件產(chǎn)品經(jīng)理 Prabhu Parthasarathy 表示，雖然人體工程學(xué)“非常關(guān)鍵”，但它需要硬件、軟件和技術(shù)的獨(dú)特組合 。

“在設(shè)計(jì)我們的任何產(chǎn)品時(shí)，我們從不孤立地看待單個(gè)組件；相反，我們會(huì)考慮我們?cè)噲D創(chuàng)造的整體產(chǎn)品體驗(yàn)，包括其獨(dú)特的受眾和用例，”他說。

但 Parthasarathy 承認(rèn)，“魔法”發(fā)生在軟件和硬件集成中。

“魔法發(fā)生在兩個(gè)方面——一個(gè)是編寫軟件和體驗(yàn)，讓它像魔法一樣工作，這非常困難，另一部分是讓人體工程學(xué)正確，使所有這些都適合讓你忘記的形狀因素硬件和生活在虛擬世界中。”

從一開始就有多種類型的 VR 系統(tǒng)，從基于 PC 的系統(tǒng)（其中頭戴式設(shè)備連接到 PC，它負(fù)責(zé)所有繁重的游戲和圖形工作）到一體式 VR 系統(tǒng)，可以運(yùn)行所有耳機(jī)中的軟件。

Oculus VR 是一家做到了這一切的公司的一個(gè)很好的例子。該公司于 2012 年推出，其理念是讓每個(gè)人都能負(fù)擔(dān)得起 VR。兩年后，F(xiàn)acebook 以 20 億美元收購(gòu)了這家公司，盡管它只有一個(gè)耳機(jī)原型。

“Facebook 看到了一個(gè)機(jī)會(huì)，并表示，'連接人們的自然進(jìn)程最終將達(dá)到我們希望人們?cè)谔摂M世界和社區(qū)中相遇的地步，'”Parthasarathy 解釋說。

第一個(gè)產(chǎn)品是 Oculus Rift，這是一個(gè) PC VR 系統(tǒng)，它允許用戶在 PC 上運(yùn)行為 VR 體驗(yàn)而開發(fā)的游戲。這些系統(tǒng)不會(huì)在游戲大小或圖形類型方面限制游戲開發(fā)者，并且在外部傳感器的幫助下，系統(tǒng)可以確定玩家在現(xiàn)實(shí)世界中的位置并將其轉(zhuǎn)換為虛擬世界。

緊隨其后的是 Oculus Go，它是該公司第一個(gè)不受束縛的一體式 VR 系統(tǒng)，其中軟件完全在耳機(jī)上運(yùn)行，但受到三自由度 (DoF) 方向跟蹤的限制。三自由度系統(tǒng)可以跟蹤三個(gè)軸。在 VR 頭顯中，它可以檢測(cè)到一個(gè)人向左/向右移動(dòng)以及向上/向下和向左/向右轉(zhuǎn)動(dòng)他或她的頭。

但它不跟蹤前后運(yùn)動(dòng)或蹲伏與站立。這就是六自由度的用武之地，它對(duì)系統(tǒng)硬件、軟件和成本都有重大影響。它檢測(cè)六個(gè)軸上的位置——前/后、左/右和上/下。跟蹤系統(tǒng)可能很復(fù)雜，需要額外的硬件和軟件，從而增加成本。

最新的創(chuàng)新是 Oculus Quest，這是該公司首款帶有觸摸控制器的六自由度一體式 VR 系統(tǒng)。該系統(tǒng)彌補(bǔ)了前兩個(gè)系統(tǒng)之間的差距，需要硬件和軟件團(tuán)隊(duì)之間的緊密集成。

Oculus Quest 是一款帶有觸摸控制器的六自由度一體式 VR 系統(tǒng)。

構(gòu)建塊使用 Oculus Quest VR 系統(tǒng)作為設(shè)計(jì)示例，Parthasarathy 向我們介紹了 VR 系統(tǒng)的關(guān)鍵組件——在高層次上。

與許多產(chǎn)品一樣，計(jì)算系統(tǒng)的核心是處理器。工程團(tuán)隊(duì)選擇了高通移動(dòng)芯片組驍龍 835 作為其計(jì)算系統(tǒng)的核心。Snapdragon 835 有八個(gè)內(nèi)核，時(shí)鐘速度高達(dá) 2.45 GHz，并配備了 Adreno 540 GPU。Oculus 設(shè)計(jì)該系統(tǒng)以優(yōu)化芯片的性能，包括新的冷卻系統(tǒng)，以更高的時(shí)鐘頻率運(yùn)行 CPU。稍后將詳細(xì)介紹冷卻系統(tǒng)。

如果處理器是系統(tǒng)的核心，那么最重要 的是跟蹤系統(tǒng)。

為了讓追蹤發(fā)揮作用，Quest 設(shè)計(jì)師開發(fā)了 Oculus Insight 由內(nèi)而外的追蹤系統(tǒng)，這是公司的核心競(jìng)爭(zhēng)力之一，也是最大的創(chuàng)新領(lǐng)域。這允許用戶在現(xiàn)實(shí)世界中所做的事情在虛擬世界中瞬間發(fā)生，這要?dú)w功于耳機(jī)中的所有傳感器（攝像頭），因?yàn)樗麄冊(cè)谝苿?dòng)時(shí)檢測(cè)到控制器。

該系統(tǒng)使用來自慣性測(cè)量單元 (IMU)、超廣角相機(jī)和紅外 LED 組合的更多數(shù)據(jù)來跟蹤 VR 耳機(jī)和控制器的 6 自由度位置。

Parthasarathy 說，這是一個(gè)復(fù)雜的系統(tǒng)，由硬件組件——傳感器、IMU 等——復(fù)雜的軟件組成，包括傳感器融合和計(jì)算機(jī)視覺算法。

Oculus Insight由內(nèi)而外跟蹤的核心 是同步定位和映射（SLAM），它使用計(jì)算機(jī)視覺算法“融合”來自多個(gè)傳感器的傳入數(shù)據(jù)，以在不斷更新的數(shù)字地圖中確定對(duì)象的位置. 它還使用其他傳感器，例如來自耳機(jī)和控制器中 IMU 的加速度和速度數(shù)據(jù)，這些數(shù)據(jù)在移動(dòng)芯片組上實(shí)時(shí)處理。

Oculus Insight 由四個(gè)超廣角傳感器組成，用于分析頭戴設(shè)備外部的環(huán)境，而計(jì)算機(jī)視覺算法則用于實(shí)時(shí)跟蹤精確定位。該系統(tǒng)跟蹤一個(gè)人的全方位運(yùn)動(dòng)，并精確定位兩個(gè)手持控制器和耳機(jī)的位置。

“Insight 使用來自這些傳感器的信息來創(chuàng)建您環(huán)境的 3D 地圖，以便讓您安全地在您的游戲空間范圍內(nèi)，同時(shí)將您的動(dòng)作精確地轉(zhuǎn)換為 VR，從而帶來令人難以置信的身臨其境的體驗(yàn)，”Parthasarathy 說。

數(shù)字信號(hào)處理優(yōu)化包括異步地圖更新，它允許系統(tǒng)在后臺(tái)根據(jù)用戶環(huán)境的變化更新地圖。IMU 獨(dú)立運(yùn)行，輸出數(shù)據(jù)存儲(chǔ)在內(nèi)存緩沖區(qū)中，以最大限度地減少系統(tǒng)延遲。

Oculus Insight 一次實(shí)時(shí)處理多個(gè)數(shù)據(jù)線程。

接下來是查看系統(tǒng)，或顯示器和光學(xué)器件。雖然 Oculus 在其部分產(chǎn)品中使用 LCD 技術(shù)，但該公司為 Quest 選擇了 OLED 技術(shù)。OLED 顯示屏提供 72Hz 的刷新率和每只眼睛 1,600 × 1,440 的分辨率。Quest 還集成了鏡頭間距調(diào)整功能，以提高視覺舒適度。

“制作引人入勝的 VR 體驗(yàn)的關(guān)鍵之一是鏡頭，”Parthasarathy 說?！斑@些 [Fresnel] 鏡頭非常特別，并且是針對(duì)頭顯的尺寸和尺寸以及您想要通過頭顯解鎖的各種體驗(yàn)量身定制的。

“在為無(wú)線耳機(jī) Quest 考慮合適的顯示器時(shí)，我們需要能夠以相對(duì)較低的功耗提供出色視覺效果的東西，以及結(jié)合我們一流鏡頭的 OLED 屏幕——與我們?cè)?Oculus Go 中使用的鏡頭相同——提供了適當(dāng)?shù)钠胶?，”他補(bǔ)充道。

然后是無(wú)線組件。由于 Oculus Quest 是一個(gè)獨(dú)立系統(tǒng)，它使用 Wi-Fi。但這還不是全部。還需要其他通信組件，特別是需要與耳機(jī)幾乎實(shí)時(shí)通信的兩個(gè)手控制器。

實(shí)時(shí)部分是最大的挑戰(zhàn)，它減少了用戶在現(xiàn)實(shí)世界中所做的事情和將其轉(zhuǎn)化為虛擬世界之間的延遲。

“VR 的魔力在于，當(dāng)我在現(xiàn)實(shí)世界中移動(dòng)我的手時(shí)，我們需要它在虛擬世界中幾乎瞬間發(fā)生，”Parthasarathy 說?！叭绻阍诂F(xiàn)實(shí)世界中所做的事情與你在虛擬世界中看到的事情之間存在滯后，那么這種體驗(yàn)就會(huì)非常不和諧，以至于你有時(shí)會(huì)被它所推遲?！?/p>

為了減少延遲，Quest 設(shè)計(jì)人員開發(fā)了自己的協(xié)議來在控制器和耳機(jī)之間進(jìn)行通信。Parthasarathy 說，作為比較，低延遲協(xié)議之一的低功耗藍(lán)牙 (BLE) 運(yùn)行時(shí)間約為 7.5 毫秒?！岸鷻C(jī)和控制器之間的通信延遲約為 2.5 毫秒，這太棒了。”

接下來是權(quán)力。Parthasarathy 說，VR 的關(guān)鍵之一是為人們提供系統(tǒng)不會(huì)抑制的體驗(yàn)，這意味著提供足夠長(zhǎng)的電池壽命，讓他們可以做他們想做的事情。

但與此同時(shí)，這個(gè)想法不僅僅是在耳機(jī)中放置一個(gè)大電池，他補(bǔ)充道。“你必須使用足夠大的電池來容納這些體驗(yàn)，但又不能讓耳機(jī)非常不舒服和沉重?！?/p>

Parthasarathy 沒有詳細(xì)說明，但表示 Quest 使用定制的電池組。盡管這項(xiàng)技術(shù)——可充電電池——并不是獨(dú)一無(wú)二的，但電池必須是適合耳機(jī)的外形尺寸。

根據(jù)文檔，Quest 使用 3,648-mAh 可充電鋰離子電池組，額定功率為 14-Wh。雙節(jié)電池的標(biāo)稱電壓為 3.6 V，重量約為 70 克。

雖然 Parthasarathy 表示 Oculus 主要使用現(xiàn)成的技術(shù)，但它通常需要其設(shè)計(jì)師和組件供應(yīng)商之間的緊密合作。無(wú)論是電池還是顯示器或其他組件，通常都會(huì)有很多定制工作恰好滿足他們的要求。

例如，用于跟蹤系統(tǒng)的許多組件都是現(xiàn)成的部件，例如紅外 LED。但在其他情況下，像 IMU 這樣的部件需要進(jìn)行一些調(diào)整。

“我們使用普遍可用的 IMU，但我們對(duì)跟蹤的要求非常嚴(yán)格，以至于有時(shí)我們會(huì)去找供應(yīng)商說，‘你們 90% 的規(guī)格符合我們的要求，但你們能否讓另外 10% 更嚴(yán)格以滿足我們獨(dú)特的系統(tǒng)要求？'”Parthasarathy 說?！拔覀儾幌氤蔀闉樗惺挛镄D(zhuǎn)定制硬件的企業(yè)，因此我們嘗試?yán)矛F(xiàn)成的組件。

“這款耳機(jī)的組件很少，我們只是去找供應(yīng)商說，‘給我們一些這樣的設(shè)備’，我們只是將它們集成到我們的系統(tǒng)中，”他說。“通常與供應(yīng)商有非常密切的合作——比如光學(xué)和顯示器。”

另一個(gè)例子是系統(tǒng)冷卻，這是這些系統(tǒng)的一大設(shè)計(jì)挑戰(zhàn)。Oculus Quest 使用風(fēng)扇、散熱器和非?！靶路f的架構(gòu)”的組合，可以讓熱量消散并防止設(shè)備過熱。

它使用基于風(fēng)扇的主動(dòng)冷卻系統(tǒng)來調(diào)節(jié)溫度，這使得 Quest 能夠以更高的時(shí)鐘速率持續(xù)運(yùn)行，因此它可以從 Qualcomm Snapdragon 835 SoC 中獲得更多功率。除了主動(dòng)混合風(fēng)扇技術(shù)外，該系統(tǒng)還包括熱管和定制設(shè)計(jì)的散熱路徑。

一旦滿足硬件要求，推動(dòng)軟件創(chuàng)新是 Oculus 產(chǎn)品的一大支柱。Parthasarathy 說，推動(dòng)新體驗(yàn)的方法是達(dá)到硬件滿足廣泛性能指標(biāo)的程度，然后使用軟件突破界限。

“軟件創(chuàng)新使我們能夠?qū)⑽覀兊挠布l(fā)揮到最大潛力，同時(shí)隨著時(shí)間的推移繼續(xù)為人們解鎖越來越好的體驗(yàn)，”他說?！斑@對(duì)我們來說是一個(gè)很大的關(guān)注領(lǐng)域?！?/p>

一個(gè)例子是最初在 Rift S 上推出的Passthrough+功能，它為人們?cè)?VR 中提供立體正確的實(shí)時(shí)環(huán)境視圖（例如，能夠“透視”傳感器并在仍然佩戴耳機(jī)），Parthasarathy 說。

“在 Quest 上實(shí)現(xiàn)這一點(diǎn)需要在高性能圖像處理和 3D 計(jì)算方面取得進(jìn)步，現(xiàn)在它已經(jīng)推出，當(dāng)你走出游戲空間時(shí)，Passthrough+ 會(huì)打開，以確保你可以輕松找到回去的路。”

將它們結(jié)合在一起人體工程學(xué)是一個(gè)重要的設(shè)計(jì)概念，在許多情況下，它與 VR 系統(tǒng)的組件選擇有關(guān)。一切都是實(shí)現(xiàn)最佳設(shè)計(jì)的平衡行為，構(gòu)成 VR 系統(tǒng)的所有關(guān)鍵組件都是設(shè)計(jì)權(quán)衡。

Parthasarathy 說，這一切都是為了在完全沉浸在體驗(yàn)中的感覺和舒適之間找到適當(dāng)?shù)钠胶?，同時(shí)還要擁有合適的硬件，因此跟蹤是完美的，以及良好的電池壽命和出色的顯示效果。

想一想，他說：“你想擁有一個(gè)適合你頭上的耳機(jī)，還是想戴上一些感覺就像你的太陽(yáng)鏡但仍然給你同樣的沉浸感的東西？每個(gè)人都想要太陽(yáng)鏡外形。不幸的是，太陽(yáng)鏡外形的挑戰(zhàn)在于，您不能完全適應(yīng)您想要的那種處理、電池或豐富的光學(xué)和顯示技術(shù)，同時(shí)又要使其足夠舒適。

“人體工程學(xué)本身并不是最大的挑戰(zhàn)，”Parthasarathy 說。“為了提供這種引人入勝的體驗(yàn)，你必須考慮到系統(tǒng)的所有方面。

“如果我只想改善人體工程學(xué)，這是一個(gè)非常簡(jiǎn)單的單側(cè)杠桿，我可以按下它。但這將伴隨著我們想要做的其他方面的重大妥協(xié)，所以一切都是一個(gè)權(quán)衡?！?/p>

VR 始于 PC 上的一切，而現(xiàn)在，設(shè)計(jì)師正試圖在不依賴 PC 和顯卡或大型冷卻系統(tǒng)的馬力的情況下獲得類似的體驗(yàn)。

“為了在一體式和獨(dú)立式 VR 頭戴設(shè)備上解鎖類似體驗(yàn)，需要大量工作和非常獨(dú)特的技術(shù)，例如固定中心點(diǎn)渲染，我們可以非常巧妙地卸載大量工作，因此我們可以為開發(fā)人員提供盡可能多的 GPU，以便他們制作出色的游戲，”Parthasarathy 說。

“如果你與任何系統(tǒng)工程師交談，他們會(huì)告訴你在冷卻和計(jì)算以及幀速率和運(yùn)行頻率之間存在巨大的權(quán)衡，”他說?！斑@里發(fā)生了很多事情，我們正在努力解決它?！?/p>

現(xiàn)在，Oculus 正致力于推動(dòng)人們?cè)?PC 上熟悉的圖形和游戲體驗(yàn)。該公司最近的一項(xiàng)創(chuàng)新是取消系統(tǒng)中的控制器。去年年底，Oculus 開發(fā)了一個(gè) SDK，允許 VR 開發(fā)人員構(gòu)建體驗(yàn)，讓玩家可以在沒有控制器或其他外圍設(shè)備的情況下使用自己的雙手。

Quest 的計(jì)算機(jī)視覺團(tuán)隊(duì)使用深度學(xué)習(xí)來了解玩家手指的位置，僅使用 Quest 上的單色相機(jī)。Oculus 解釋說，該技術(shù)創(chuàng)建了一組 3D 點(diǎn)來準(zhǔn)確地表示您在 VR 中的手和手指的運(yùn)動(dòng)。

手部追蹤是軟件產(chǎn)生重大影響的一個(gè)領(lǐng)域?！巴ㄟ^軟件創(chuàng)新，我們可以解鎖全新的輸入和交互模式，而無(wú)需任何新硬件，”Parthasarathy 說?！霸谝苿?dòng)芯片組上啟用這是一個(gè)巨大的挑戰(zhàn)。

“為了實(shí)現(xiàn)這一目標(biāo)，我們的計(jì)算機(jī)視覺團(tuán)隊(duì)開發(fā)了一種應(yīng)用深度學(xué)習(xí)的新方法，僅使用 Quest 中內(nèi)置的單色相機(jī)即可了解手指的位置。不需要有源深度感應(yīng)相機(jī)、額外的傳感器或額外的處理器。

“相反，深度學(xué)習(xí)與基于模型的跟蹤相結(jié)合來預(yù)測(cè)用戶手的位置和手上的點(diǎn)，然后在 3D 模型中重建用戶的手和手指的‘姿勢(shì)’，”他說?！斑@一切都是在移動(dòng)處理器上完成的，不會(huì)影響我們專門用于用戶應(yīng)用程序的資源。”

從長(zhǎng)遠(yuǎn)來看，VR 設(shè)計(jì)師仍然面臨許多設(shè)計(jì)挑戰(zhàn)，例如制作更小的外形尺寸和更舒適的頭顯，同時(shí)仍能提供相同的 VR 體驗(yàn)，以及更長(zhǎng)的電池壽命。其中一些是由客戶驅(qū)動(dòng)的——比如大約 400 到 500 美元的合理價(jià)格點(diǎn)。

Parthasarathy 說：“我們正試圖找到一個(gè)持續(xù)改善用戶體驗(yàn)的最佳點(diǎn)，為客戶提供他們想要的東西，同時(shí)突破技術(shù)的界限并使其更容易獲得?！?“我可以用 2,500 或 3,000 美元的耳機(jī)解決這些問題，但這不是本意。我們希望讓大多數(shù)人都能訪問它?！?/p>

審核編輯 黃昊宇