本公開涉及使用攝像機陣列捕捉場景圖像的操作、系統(tǒng)和計算機可讀媒體，并基于觀眾的沉浸式增強現(xiàn)實、實時顯示墻、頭戴顯示器、視頻會議和類似應(yīng)用程序的視角處理捕獲的圖像。在一個實現(xiàn)中，公開的技術(shù)方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景再現(xiàn)。在另一個實現(xiàn)中，公開的技術(shù)方案通過實時跟蹤觀看方視點（POV）的變化實現(xiàn)了觀看方視點與相應(yīng)場景圖像的實時同步：一個位置移動到另一個位置時的POV，根據(jù)不同的POV顯示圖像，觀眾POV的變化包括X、Y和Z維度的運動。

01背景

近年來，沉浸式增強現(xiàn)實，顯示墻，頭戴式顯示器和視頻會議的使用頻率越來越高。例如視頻會議，它是在兩方或更多方之間進(jìn)行的在線會議，整個會議期間，參與各方都可以相互聽到語音并且看到彼此的視頻圖像。在只有兩方參與者的視頻會議中，每一方都可以通過各自終端參與，這些終端包括臺式計算機系統(tǒng)，平板計算機系統(tǒng)，電視屏幕，顯示墻或智能電話。這些終端通常包括用于獲取音頻信號的麥克風(fēng)，用于拍攝圖像的網(wǎng)絡(luò)攝像頭，用于處理這些音頻和視頻信號的一組硬件和/或軟件，用于在各方之間傳輸數(shù)據(jù)的網(wǎng)絡(luò)連接，用于播放語音的揚聲器，以及用于顯示圖像的顯示器。在這樣的傳統(tǒng)設(shè)置中，用戶只能在固定視點下看到參與各方以及他們所在的場景。簡單地說，用戶只能看到彼此網(wǎng)絡(luò)攝像頭拍攝到的內(nèi)容。此外，當(dāng)觀眾在會議期間從一個位置移動到另一個位置時，他們的相應(yīng)視點（POV）可能也會發(fā)生改變。然而，由于彼此所在場景中圖像拍攝的限制，觀看者只能始終以固定的視點進(jìn)行視頻交流。

02內(nèi)容摘要

本公開發(fā)明描述了一種涉及也可能直接用于沉浸式增強現(xiàn)實，現(xiàn)場顯示墻，頭戴式顯示器和視頻會議應(yīng)用的圖像拍攝和處理技術(shù)。在一個實施例中，這里所公開的技術(shù)方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景圖像。在另一個實施例中，這里所公開的技術(shù)方案通過實時跟蹤觀看方的位置（POV）變化實現(xiàn)了觀看方視點與相應(yīng)場景圖像的同步。這里，觀看方的POV變化已經(jīng)涵蓋在整個系統(tǒng)計算空間的X，Y和Z維度內(nèi)。

根據(jù)其中的一個實施例，例如，在視頻會議期間，與會各方通過各自的終端參與。這些終端一般都包括顯示器，相機陣列，圖像處理單元（硬件和/或軟件），以及網(wǎng)絡(luò)連接（例如，通過電纜和/或無線連接）。每個相機陣列又都包括多個相機，可以拍攝各種格式的圖像（例如 RGB，YUV，YCC等）。此外，這種相機陣列或者可以直接拍攝得到深度信息，或者基于某些技術(shù)（例如，結(jié)構(gòu)光，飛行時間，立體圖像等）拍攝到能夠計算深度信息的圖像，或者通過其他方式計算出一方所在場景的深度信息同時跟蹤該方的POV（例如，該方頭部和/或眼睛位置所決定的視點）。表征觀看方POV的數(shù)據(jù)會通過他的終端發(fā)送并被另一方的終端通過網(wǎng)絡(luò)接收到。該接收方終端內(nèi)的圖像處理單元會基于上述觀看方的POV特征數(shù)據(jù)處理其所拍攝到的圖像。

特別地，這里的圖像處理操作可能包括剔除操作，即基于觀看方的POV特征數(shù)據(jù)對拍攝到的圖像進(jìn)行像素修剪和識別。該剔除操作的目的是減少后續(xù)圖像處理的數(shù)據(jù)量。由于剔除過后的數(shù)據(jù)最終會從一方轉(zhuǎn)移到另一方，因此剔除操作可以大幅減少網(wǎng)絡(luò)間傳輸?shù)臄?shù)據(jù)量，節(jié)省帶寬并降低延遲。在剔除之后，圖像處理單元會進(jìn)一步將剩余的三維（3-D）像素映射到一個二維的（2-D）顯示空間。接下來，這些映射像素構(gòu)成的數(shù)據(jù)包會由一個終端發(fā)送并被觀看方終端通過網(wǎng)絡(luò)接收到。

隨后，觀看方終端內(nèi)的圖像處理單元會混合這些映射的像素并組裝成被顯示器顯示的圖像（即一“幀”畫面）。單獨地理解，觀看方的終端可以使用說話方的POV特征數(shù)據(jù)處理觀看方拍攝到的圖像。觀看方終端內(nèi)的圖像處理操作可以是說話方終端內(nèi)這些操作的“鏡像”處理。如本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解的，這里使用術(shù)語“說話方（Speaker）”和“觀看方（Viewer）”來方便我們對所公開概念的解釋。

在一個視頻會議中，各方對于其他方都可以稱作說話方和觀看方。因此，上述以觀看方和說話方描述的圖像拍攝和處理操作會在每一方的終端內(nèi)同時且持續(xù)地進(jìn)行。這樣就為每一方都提供了基于該方POV的他方連續(xù)顯示的幀圖像（即實況視頻）。此外，這里的相機陣列可以單獨接入整個系統(tǒng)，也可以集成到各方的顯示模塊中。對于諸如沉浸式增強現(xiàn)實，現(xiàn)場顯示墻和頭戴式顯示器之類的應(yīng)用，可能始終只有一個觀看方，這些終端不對稱，可能只在被拍攝方有相機陣列，拍攝的場景信息僅用于在觀看方的顯示器上顯示。觀看方的POV可以用一個或多個攝像機或其他設(shè)備跟蹤，這些相機和前述相機陣列的目的不同而專用于跟蹤目的。

03蘋果獲增強現(xiàn)實智能眼鏡新專利

美國專利和商標(biāo)局今天公開了蘋果公司新授予的41項專利。在下面這份報告中，我們會特別介紹這些專利中一項：用于增強現(xiàn)實應(yīng)用的智能眼鏡發(fā)明。實際上，蘋果早在2015年就已經(jīng)通過收購的方式從Metaio手中獲得了該專利。

用于蘋果智能眼鏡和iPhone的增強現(xiàn)實系統(tǒng)

圖1A

蘋果剛授予的這項專利涵蓋了與頭戴式增強現(xiàn)實顯示相關(guān)的發(fā)明。當(dāng)年收購德國公司Metaio時，該發(fā)明專利就一并被蘋果繼承。此專利的唯一發(fā)明人是Metaio 公司當(dāng)時的負(fù)責(zé)人Peter Meier，而現(xiàn)在他則是技術(shù)開發(fā)團隊中的算法負(fù)責(zé)人。

如圖1A所示，用戶佩戴的是一套頭戴式顯示系統(tǒng)（“頭戴式顯示器”，全稱為Head Mounted Display，縮寫為HMD），具體包括作為這個系統(tǒng)裝置（＃20）一部分的顯示器（＃21）。這種顯示器可以是現(xiàn)在被廣泛使用的半透半反式智能眼鏡（也稱作“光學(xué)透明顯示器”），這種半透半反式智能眼鏡反射的正是由計算機＃23（比如智能手機）提供的虛擬信息。

通過這種現(xiàn)實世界和虛擬世界信息的混合，用戶借助上述半透半反智能眼鏡最終可以看到融入計算機提供的虛擬對象的真實世界（＃40），比如與現(xiàn)實世界相關(guān)的興趣對象（POI，Point of Interest）。以這種方式，該系統(tǒng)裝置就構(gòu)成了多數(shù)人理解的增強現(xiàn)實（AR）系統(tǒng)，同時這也是該專利的第一個實施例。

該系統(tǒng)裝置中的顯示器可以具有一個附加的傳感器（＃24），例如旋轉(zhuǎn)傳感器，以及在該旋轉(zhuǎn)傳感器上安裝的用于光學(xué)跟蹤的相機（＃22）。這里的顯示器可以是半透明的進(jìn)而允許用戶直接看到現(xiàn)實世界，也可以是通過相機拍攝后發(fā)送到視野內(nèi)的現(xiàn)實世界的圖像。

上圖圖示中的1B示意了另一種被智能手機行業(yè)設(shè)計人員廣為應(yīng)用的示例性系統(tǒng)裝置（＃30）。該顯示裝置＃31（其形式一般是一種顯示屏或顯示器），結(jié)合計算機（＃33），傳感器（＃4）和照相機（＃32）則構(gòu)成了一個可以放進(jìn)智能電話殼體內(nèi)的系統(tǒng)單元。

基本上，本報告介紹的這項發(fā)明可以很方便地用于所有形式AR產(chǎn)品的設(shè)計。實際上，上述實施例中的系統(tǒng)并不一定需要使用基于半透半反頭戴式顯示器的透明顯示方式，同樣也不一定需要使用旋轉(zhuǎn)相機和顯示器來獲得現(xiàn)實世界的圖像作為背景。

從本質(zhì)上說，本發(fā)明還可以與現(xiàn)有的立體顯示器（Stereoscopic display）結(jié)合使用。在這種應(yīng)用中，上述“視頻透視”的方法（Video see-through approach，即使用相機拍攝現(xiàn)實世界的圖像作為另一種方法中直接看到的現(xiàn)實世界）在系統(tǒng)中使用兩個相機（效果更佳），每個相機用于記錄相應(yīng)一只眼睛所看到的視頻流。通過這種設(shè)計，在任何情況下，系統(tǒng)都可以針對每只眼睛單獨計算虛擬的3D信息。

蘋果的這項授權(quán)專利最初于2015年第四季度提交，直至今天由美國專利和商標(biāo)局發(fā)布