本公開(kāi)涉及使用攝像機(jī)陣列捕捉場(chǎng)景圖像的操作、系統(tǒng)和計(jì)算機(jī)可讀媒體，并基于觀眾的沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)時(shí)顯示墻、頭戴顯示器、視頻會(huì)議和類似應(yīng)用程序的視角處理捕獲的圖像。在一個(gè)實(shí)現(xiàn)中，公開(kāi)的技術(shù)方案通過(guò)組合相機(jī)陣列拍攝的圖像向觀看者提供了全視點(diǎn)的場(chǎng)景再現(xiàn)。在另一個(gè)實(shí)現(xiàn)中，公開(kāi)的技術(shù)方案通過(guò)實(shí)時(shí)跟蹤觀看方視點(diǎn)（POV）的變化實(shí)現(xiàn)了觀看方視點(diǎn)與相應(yīng)場(chǎng)景圖像的實(shí)時(shí)同步：一個(gè)位置移動(dòng)到另一個(gè)位置時(shí)的POV，根據(jù)不同的POV顯示圖像，觀眾POV的變化包括X、Y和Z維度的運(yùn)動(dòng)。

01背景

近年來(lái)，沉浸式增強(qiáng)現(xiàn)實(shí)，顯示墻，頭戴式顯示器和視頻會(huì)議的使用頻率越來(lái)越高。例如視頻會(huì)議，它是在兩方或更多方之間進(jìn)行的在線會(huì)議，整個(gè)會(huì)議期間，參與各方都可以相互聽(tīng)到語(yǔ)音并且看到彼此的視頻圖像。在只有兩方參與者的視頻會(huì)議中，每一方都可以通過(guò)各自終端參與，這些終端包括臺(tái)式計(jì)算機(jī)系統(tǒng)，平板計(jì)算機(jī)系統(tǒng)，電視屏幕，顯示墻或智能電話。這些終端通常包括用于獲取音頻信號(hào)的麥克風(fēng)，用于拍攝圖像的網(wǎng)絡(luò)攝像頭，用于處理這些音頻和視頻信號(hào)的一組硬件和/或軟件，用于在各方之間傳輸數(shù)據(jù)的網(wǎng)絡(luò)連接，用于播放語(yǔ)音的揚(yáng)聲器，以及用于顯示圖像的顯示器。在這樣的傳統(tǒng)設(shè)置中，用戶只能在固定視點(diǎn)下看到參與各方以及他們所在的場(chǎng)景。簡(jiǎn)單地說(shuō)，用戶只能看到彼此網(wǎng)絡(luò)攝像頭拍攝到的內(nèi)容。此外，當(dāng)觀眾在會(huì)議期間從一個(gè)位置移動(dòng)到另一個(gè)位置時(shí)，他們的相應(yīng)視點(diǎn)（POV）可能也會(huì)發(fā)生改變。然而，由于彼此所在場(chǎng)景中圖像拍攝的限制，觀看者只能始終以固定的視點(diǎn)進(jìn)行視頻交流。

02內(nèi)容摘要

本公開(kāi)發(fā)明描述了一種涉及也可能直接用于沉浸式增強(qiáng)現(xiàn)實(shí)，現(xiàn)場(chǎng)顯示墻，頭戴式顯示器和視頻會(huì)議應(yīng)用的圖像拍攝和處理技術(shù)。在一個(gè)實(shí)施例中，這里所公開(kāi)的技術(shù)方案通過(guò)組合相機(jī)陣列拍攝的圖像向觀看者提供了全視點(diǎn)的場(chǎng)景圖像。在另一個(gè)實(shí)施例中，這里所公開(kāi)的技術(shù)方案通過(guò)實(shí)時(shí)跟蹤觀看方的位置（POV）變化實(shí)現(xiàn)了觀看方視點(diǎn)與相應(yīng)場(chǎng)景圖像的同步。這里，觀看方的POV變化已經(jīng)涵蓋在整個(gè)系統(tǒng)計(jì)算空間的X，Y和Z維度內(nèi)。

根據(jù)其中的一個(gè)實(shí)施例，例如，在視頻會(huì)議期間，與會(huì)各方通過(guò)各自的終端參與。這些終端一般都包括顯示器，相機(jī)陣列，圖像處理單元（硬件和/或軟件），以及網(wǎng)絡(luò)連接（例如，通過(guò)電纜和/或無(wú)線連接）。每個(gè)相機(jī)陣列又都包括多個(gè)相機(jī)，可以拍攝各種格式的圖像（例如 RGB，YUV，YCC等）。此外，這種相機(jī)陣列或者可以直接拍攝得到深度信息，或者基于某些技術(shù)（例如，結(jié)構(gòu)光，飛行時(shí)間，立體圖像等）拍攝到能夠計(jì)算深度信息的圖像，或者通過(guò)其他方式計(jì)算出一方所在場(chǎng)景的深度信息同時(shí)跟蹤該方的POV（例如，該方頭部和/或眼睛位置所決定的視點(diǎn)）。表征觀看方POV的數(shù)據(jù)會(huì)通過(guò)他的終端發(fā)送并被另一方的終端通過(guò)網(wǎng)絡(luò)接收到。該接收方終端內(nèi)的圖像處理單元會(huì)基于上述觀看方的POV特征數(shù)據(jù)處理其所拍攝到的圖像。

特別地，這里的圖像處理操作可能包括剔除操作，即基于觀看方的POV特征數(shù)據(jù)對(duì)拍攝到的圖像進(jìn)行像素修剪和識(shí)別。該剔除操作的目的是減少后續(xù)圖像處理的數(shù)據(jù)量。由于剔除過(guò)后的數(shù)據(jù)最終會(huì)從一方轉(zhuǎn)移到另一方，因此剔除操作可以大幅減少網(wǎng)絡(luò)間傳輸?shù)臄?shù)據(jù)量，節(jié)省帶寬并降低延遲。在剔除之后，圖像處理單元會(huì)進(jìn)一步將剩余的三維（3-D）像素映射到一個(gè)二維的（2-D）顯示空間。接下來(lái)，這些映射像素構(gòu)成的數(shù)據(jù)包會(huì)由一個(gè)終端發(fā)送并被觀看方終端通過(guò)網(wǎng)絡(luò)接收到。

隨后，觀看方終端內(nèi)的圖像處理單元會(huì)混合這些映射的像素并組裝成被顯示器顯示的圖像（即一“幀”畫(huà)面）。單獨(dú)地理解，觀看方的終端可以使用說(shuō)話方的POV特征數(shù)據(jù)處理觀看方拍攝到的圖像。觀看方終端內(nèi)的圖像處理操作可以是說(shuō)話方終端內(nèi)這些操作的“鏡像”處理。如本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解的，這里使用術(shù)語(yǔ)“說(shuō)話方（Speaker）”和“觀看方（Viewer）”來(lái)方便我們對(duì)所公開(kāi)概念的解釋。

在一個(gè)視頻會(huì)議中，各方對(duì)于其他方都可以稱作說(shuō)話方和觀看方。因此，上述以觀看方和說(shuō)話方描述的圖像拍攝和處理操作會(huì)在每一方的終端內(nèi)同時(shí)且持續(xù)地進(jìn)行。這樣就為每一方都提供了基于該方POV的他方連續(xù)顯示的幀圖像（即實(shí)況視頻）。此外，這里的相機(jī)陣列可以單獨(dú)接入整個(gè)系統(tǒng)，也可以集成到各方的顯示模塊中。對(duì)于諸如沉浸式增強(qiáng)現(xiàn)實(shí)，現(xiàn)場(chǎng)顯示墻和頭戴式顯示器之類的應(yīng)用，可能始終只有一個(gè)觀看方，這些終端不對(duì)稱，可能只在被拍攝方有相機(jī)陣列，拍攝的場(chǎng)景信息僅用于在觀看方的顯示器上顯示。觀看方的POV可以用一個(gè)或多個(gè)攝像機(jī)或其他設(shè)備跟蹤，這些相機(jī)和前述相機(jī)陣列的目的不同而專用于跟蹤目的。

03蘋(píng)果獲增強(qiáng)現(xiàn)實(shí)智能眼鏡新專利

美國(guó)專利和商標(biāo)局今天公開(kāi)了蘋(píng)果公司新授予的41項(xiàng)專利。在下面這份報(bào)告中，我們會(huì)特別介紹這些專利中一項(xiàng)：用于增強(qiáng)現(xiàn)實(shí)應(yīng)用的智能眼鏡發(fā)明。實(shí)際上，蘋(píng)果早在2015年就已經(jīng)通過(guò)收購(gòu)的方式從Metaio手中獲得了該專利。

用于蘋(píng)果智能眼鏡和iPhone的增強(qiáng)現(xiàn)實(shí)系統(tǒng)

圖1A

蘋(píng)果剛授予的這項(xiàng)專利涵蓋了與頭戴式增強(qiáng)現(xiàn)實(shí)顯示相關(guān)的發(fā)明。當(dāng)年收購(gòu)德國(guó)公司Metaio時(shí)，該發(fā)明專利就一并被蘋(píng)果繼承。此專利的唯一發(fā)明人是Metaio 公司當(dāng)時(shí)的負(fù)責(zé)人Peter Meier，而現(xiàn)在他則是技術(shù)開(kāi)發(fā)團(tuán)隊(duì)中的算法負(fù)責(zé)人。

如圖1A所示，用戶佩戴的是一套頭戴式顯示系統(tǒng)（“頭戴式顯示器”，全稱為Head Mounted Display，縮寫(xiě)為HMD），具體包括作為這個(gè)系統(tǒng)裝置（＃20）一部分的顯示器（＃21）。這種顯示器可以是現(xiàn)在被廣泛使用的半透半反式智能眼鏡（也稱作“光學(xué)透明顯示器”），這種半透半反式智能眼鏡反射的正是由計(jì)算機(jī)＃23（比如智能手機(jī)）提供的虛擬信息。

通過(guò)這種現(xiàn)實(shí)世界和虛擬世界信息的混合，用戶借助上述半透半反智能眼鏡最終可以看到融入計(jì)算機(jī)提供的虛擬對(duì)象的真實(shí)世界（＃40），比如與現(xiàn)實(shí)世界相關(guān)的興趣對(duì)象（POI，Point of Interest）。以這種方式，該系統(tǒng)裝置就構(gòu)成了多數(shù)人理解的增強(qiáng)現(xiàn)實(shí)（AR）系統(tǒng)，同時(shí)這也是該專利的第一個(gè)實(shí)施例。

該系統(tǒng)裝置中的顯示器可以具有一個(gè)附加的傳感器（＃24），例如旋轉(zhuǎn)傳感器，以及在該旋轉(zhuǎn)傳感器上安裝的用于光學(xué)跟蹤的相機(jī)（＃22）。這里的顯示器可以是半透明的進(jìn)而允許用戶直接看到現(xiàn)實(shí)世界，也可以是通過(guò)相機(jī)拍攝后發(fā)送到視野內(nèi)的現(xiàn)實(shí)世界的圖像。

上圖圖示中的1B示意了另一種被智能手機(jī)行業(yè)設(shè)計(jì)人員廣為應(yīng)用的示例性系統(tǒng)裝置（＃30）。該顯示裝置＃31（其形式一般是一種顯示屏或顯示器），結(jié)合計(jì)算機(jī)（＃33），傳感器（＃4）和照相機(jī)（＃32）則構(gòu)成了一個(gè)可以放進(jìn)智能電話殼體內(nèi)的系統(tǒng)單元。

基本上，本報(bào)告介紹的這項(xiàng)發(fā)明可以很方便地用于所有形式AR產(chǎn)品的設(shè)計(jì)。實(shí)際上，上述實(shí)施例中的系統(tǒng)并不一定需要使用基于半透半反頭戴式顯示器的透明顯示方式，同樣也不一定需要使用旋轉(zhuǎn)相機(jī)和顯示器來(lái)獲得現(xiàn)實(shí)世界的圖像作為背景。

從本質(zhì)上說(shuō)，本發(fā)明還可以與現(xiàn)有的立體顯示器（Stereoscopic display）結(jié)合使用。在這種應(yīng)用中，上述“視頻透視”的方法（Video see-through approach，即使用相機(jī)拍攝現(xiàn)實(shí)世界的圖像作為另一種方法中直接看到的現(xiàn)實(shí)世界）在系統(tǒng)中使用兩個(gè)相機(jī)（效果更佳），每個(gè)相機(jī)用于記錄相應(yīng)一只眼睛所看到的視頻流。通過(guò)這種設(shè)計(jì)，在任何情況下，系統(tǒng)都可以針對(duì)每只眼睛單獨(dú)計(jì)算虛擬的3D信息。

蘋(píng)果的這項(xiàng)授權(quán)專利最初于2015年第四季度提交，直至今天由美國(guó)專利和商標(biāo)局發(fā)布