日前美國專利商標(biāo)局公布了一份來自蘋果的專利延續(xù)案申請(qǐng)。這份發(fā)明主要面向用于將用戶沉浸在虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)（MR）環(huán)境的頭戴式顯示器。

用戶佩戴頭顯示意圖，配備多個(gè)攝像頭和紅外發(fā)射器

沉浸感質(zhì)量取決于數(shù)個(gè)重要因素，如顯示器的特性，比方說圖像質(zhì)量、幀速率、像素分辨率、高動(dòng)態(tài)范圍（HDR）、視覺暫留和紗窗效應(yīng)。

追蹤各種元素通常是實(shí)現(xiàn)高端VR/MR應(yīng)用體驗(yàn)的必要前提。在所述要素中，頭部追蹤、用戶身體追蹤和環(huán)境追蹤是實(shí)現(xiàn)沉浸感的關(guān)鍵。

頭部追蹤的目標(biāo)是估計(jì)頭顯在環(huán)境中的位置和方向，這必須是低延遲和高精確。原因是，渲染的圖形必須與用戶的頭部運(yùn)動(dòng)緊密匹配，以便在虛擬現(xiàn)實(shí)中產(chǎn)生足夠的沉浸感或在混合現(xiàn)實(shí)中正確地將數(shù)字內(nèi)容對(duì)齊真實(shí)世界。

用戶身體追蹤用于估計(jì)用戶身體（主要但不限于手和手指）相對(duì)于頭顯的位置和方向。它可以在VR/MR中提供一種用戶輸入方式（如手勢(shì)），并實(shí)現(xiàn)與虛擬元素的交互。行業(yè)存在不少用于手部追蹤的方法，如通過紅外攝像頭追蹤手持式控制器搭載的LED陣列。其他方法則利用較小的分析空間（通常在距離頭顯一米的范圍內(nèi)）來增加手部和手指追蹤算法的魯棒性。

例如，近距離飛行時(shí)間（ToF）攝像頭可以與頭顯集成或嵌入到頭顯之中。這種攝像頭可以生成手部的深度圖，然后可以從中構(gòu)建手部的骨骼模型。另一種方法是使用紅外LED泛光燈和攝像頭來分割和估計(jì)手和手指的3D點(diǎn)。

相關(guān)專利：Apple Patent | Head-mounted display for virtual and mixed reality with inside-out positional， user body and environment tracking

下面的專利圖2A是用于實(shí)現(xiàn)虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)的光學(xué)元件、顯示器和攝像頭的示例性實(shí)施例。

圖4A是頭顯設(shè)備的第一示例性實(shí)施例的前視圖，其中兩個(gè)RGB攝像頭針對(duì)透視目的（MR）進(jìn)行了優(yōu)化，兩個(gè)IR攝像頭提供用于追蹤的視覺數(shù)據(jù)。

圖5是實(shí)現(xiàn)具有頭部追蹤和用戶身體追蹤的處理步驟流程圖；圖8是實(shí)現(xiàn)用戶身體追蹤的示例性流程圖。它同時(shí)包括手勢(shì)識(shí)別。

作為專利延續(xù)案，這份文件主要增改了下面的內(nèi)容，并且集中在紅外投影儀的使用：

專利請(qǐng)求1：一種方法，包括：頭戴式顯示設(shè)備包括非暫時(shí)存儲(chǔ)器、一個(gè)或多個(gè)處理器、用于與第一和第二RGB立體攝像頭通信的通信接口、紅外（IR）投影儀、一個(gè)或多個(gè)IR傳感器和顯示器；通過第一RGB立體攝像頭獲得物理環(huán)境的第一立體圖像；通過第二RGB立體攝像頭獲得物理環(huán)境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外模式投影到物理環(huán)境；通過一個(gè)或多個(gè)紅外傳感器獲取用于與IR圖案反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；至少部分地根據(jù)紋理信息將第一立體圖像中的每個(gè)像素匹配到第二立體圖像中的不同像素，從而生成密集深度映射；根據(jù)密集深度映射將虛擬內(nèi)容與第一和第二立體圖像合成以生成顯示圖像；以及通過顯示器顯示顯示圖像。

專利請(qǐng)求3：專利請(qǐng)求1所述的方法進(jìn)一步包括：根據(jù)隨機(jī)或偽隨機(jī)算法之一，通過紅外投影儀生成紅外圖案。

專利請(qǐng)求8：對(duì)于專利請(qǐng)求1所述的方法，頭戴式顯示器的通信接口同時(shí)與一個(gè)或多個(gè)紅外泛光燈通信，并且所述方法同時(shí)包括：根據(jù)時(shí)間復(fù)用方案操作所述紅外投影儀和所述一個(gè)或多個(gè)紅外泛光燈。

專利請(qǐng)求9：專利請(qǐng)求8所述的方法進(jìn)一步包括：實(shí)時(shí)調(diào)制紅外投影儀和一個(gè)或多個(gè)紅外泛光燈的曝光時(shí)間、傳感器增益和強(qiáng)度中的至少一個(gè)，以降低圖像飽和并提高動(dòng)態(tài)范圍。

專利請(qǐng)求11：一種頭戴式顯示設(shè)備包括：用于與第一和第二RGB立體攝像頭通信的通信接口、紅外（IR）投影儀、一個(gè)或多個(gè)紅外傳感器和顯示器；一個(gè)或多個(gè)處理器；以及存儲(chǔ)一個(gè)或多個(gè)程序的非暫時(shí)存儲(chǔ)器。當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述程序致使頭戴式顯示器：通過第一RGB立體攝像頭獲取物理環(huán)境的第一立體圖像；通過第二RGB立體攝像頭獲取物理環(huán)境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外圖案投射到物理環(huán)境；通過一個(gè)或多個(gè)紅外傳感器獲取用于與IR圖案反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；至少部分地根據(jù)紋理信息將第一立體圖像中的每個(gè)像素匹配到第二立體圖像中的不同像素，從而生成密集深度映射；根據(jù)密集深度映射將虛擬內(nèi)容與第一和第二立體圖像合成以生成顯示圖像；以及通過顯示器顯示顯。
責(zé)任編輯人：CC