2月2日，MagicLeap官方表示獲得由阿里巴巴集團(tuán)領(lǐng)投的約7.94億美元融資。加上上輪由谷歌領(lǐng)投的5.42億美元，至2014年年底以來(lái)，該公司總計(jì)已完成13.4億美元投資，總估值約45億美元。

　　這家位于佛羅里達(dá)的創(chuàng)業(yè)公司已經(jīng)創(chuàng)業(yè)數(shù)十年，陣容豪華，規(guī)模龐大，但卻對(duì)其核心技術(shù)諱莫如深，異常神秘。間或泄露幾條演示視頻，舉世驚艷，旋即嘩然。那么，MagicLeap究竟有何驚世駭俗的技術(shù)秘密？在此大膽推測(cè)，力圖在其撲朔迷離的表象下，探究技術(shù)的實(shí)質(zhì)。

一條巨大的鯨魚(yú)從籃球場(chǎng)的地面中央飛躍而出

把辦公室變成游戲戰(zhàn)場(chǎng)

　　在計(jì)算機(jī)圖形學(xué)領(lǐng)域，三維場(chǎng)景渲染演示技術(shù)的演化進(jìn)程可以大致劃分成如下的歷史階段：針孔相機(jī)、雙目立體視覺(jué)、光場(chǎng)、數(shù)字全息。簡(jiǎn)而言之，針孔相機(jī)演示技術(shù)的代表作是早期的動(dòng)畫(huà)電影《最終幻想》，雙目立體視覺(jué)的代表作是3D版的《阿凡達(dá)》，光場(chǎng)的代表作就是MagicLeap，數(shù)字全息技術(shù)的代表作是《星球大戰(zhàn)》中的場(chǎng)景。

最終幻想：光線跟蹤法渲染，針孔相機(jī)顯示技術(shù)

3D版的《阿凡達(dá)》，雙目立體視覺(jué)

MagicLeap，增強(qiáng)現(xiàn)實(shí)，光場(chǎng)技術(shù)

星球大戰(zhàn)，數(shù)字全息技術(shù)

　　MagicLeap實(shí)現(xiàn)并普及了光場(chǎng)顯示技術(shù)，這是三維場(chǎng)景顯示技術(shù)的一場(chǎng)實(shí)實(shí)在在的革命，獲得空前的投資自然是名至實(shí)歸。那么，什么是光場(chǎng)？這一技術(shù)是完全嶄新的嗎？這一技術(shù)發(fā)展的歷史脈絡(luò)如何？存在其他以光場(chǎng)技術(shù)起家的公司嗎？我們?cè)谙旅娴挠懻撝?，逐一解釋?/p>

　　針孔相機(jī)

　　傳統(tǒng)的光學(xué)相機(jī)，其理想模型就是針孔相機(jī)。在計(jì)算機(jī)圖形學(xué)中，傳統(tǒng)的渲染方法都是基于這種相機(jī)模型。如圖7所示，從相機(jī)的光心出發(fā)，經(jīng)過(guò)成像屏幕的每一個(gè)像素，發(fā)出一條射線。光學(xué)跟蹤法用幾何光學(xué)的物理法則計(jì)算這條射線的顏色，即為相應(yīng)像素的顏色。圖8展示了一個(gè)用光學(xué)跟蹤法算出的渲染圖像。在這里，我們需要一個(gè)概念上的轉(zhuǎn)換，每個(gè)像素不是一個(gè)點(diǎn)，而是一條射線，這是理解光場(chǎng)的關(guān)鍵！換言之，一張相片就是通過(guò)光心的一簇射線?！蹲罱K幻想》就是用光學(xué)跟蹤法來(lái)渲染制作的。

光線跟蹤法中的針孔相機(jī)模型

用光線跟蹤法渲染的一幅場(chǎng)景

　　傳統(tǒng)的顯示方法，例如屏幕、LCD/LED，是基于傳統(tǒng)觀念的，即把每個(gè)像素作為一個(gè)點(diǎn)，從不同的角度看過(guò)去，同一個(gè)像素的顏色不變。換言之，這種顯示方式失去了射線方向的信息。

　　雙目立體視覺(jué)

　　人類具有兩只眼睛，觀看物體時(shí)兩眼各自成像，大腦根據(jù)兩眼成像的細(xì)微差別計(jì)算每一點(diǎn)的深度信息，從而得到立體感覺(jué)。模仿人眼，我們可以用雙鏡頭相機(jī)得到雙目立體相片。

雙目立體相機(jī)

阿波羅登月計(jì)劃中拍攝的雙目立體相片

　　本質(zhì)上而言，雙目立體視覺(jué)相片就是從兩個(gè)光心出發(fā)的兩簇射線。3D版《阿凡達(dá)》就是以此原理制作的。相對(duì)于單目相機(jī)，雙目立體視覺(jué)時(shí)間復(fù)雜度和空間復(fù)雜度加倍。

　　光場(chǎng)（Light Field）- 魔盒解釋

光場(chǎng)（Light Field）的魔盒解釋

　　我們假設(shè)用一個(gè)玻璃盒子罩住一只兔子，然后透過(guò)玻璃盒子來(lái)觀察這只兔子。從盒子表面的任意一點(diǎn)，向三維空間的任意一個(gè)方向發(fā)出一條射線，這條射線的顏色由兔子和光照條件所決定。我們用來(lái)表示玻璃盒子，表示單位向量，一條射線表示為,所有射線的集合記為。每條射線對(duì)應(yīng)著一個(gè)顏色，我們用三維空間中的一個(gè)點(diǎn)來(lái)表示。因此，光場(chǎng)就是從射線空間到顏色空間的映射。換言之，光場(chǎng)是定義在射線空間上的矢量值函數(shù)。

　　假設(shè)我們?nèi)サ袅瞬ＡШ凶又械耐米樱沁@個(gè)玻璃盒子是一個(gè)魔盒，光場(chǎng)信息被完美保留。當(dāng)我們觀察這一魔盒的時(shí)候，所有經(jīng)過(guò)一只眼睛的射線合成了視網(wǎng)膜上的一幅圖像。我們可以自由地改變距離和視角，兔子在視網(wǎng)膜上的圖像相應(yīng)地自然變化，根本覺(jué)察不到兔子的消失。因此，有了魔盒，我們不再需要真正的兔子。這個(gè)魔盒就是兔子的光場(chǎng)。

　　在光學(xué)領(lǐng)域中，光場(chǎng)是一個(gè)古老的概念。在1996年被微軟和斯坦福學(xué)者引進(jìn)到計(jì)算機(jī)圖形學(xué)領(lǐng)域，發(fā)展到2016年的今天，已經(jīng)整整二十個(gè)年頭了。雖然在學(xué)術(shù)界，人們不懈地研究深化，真正在工業(yè)界產(chǎn)生影響，還是近幾年的事情。MagicLeap應(yīng)該算是LightField理論在現(xiàn)實(shí)應(yīng)用中的一個(gè)巔峰。

　　光場(chǎng)渲染我們可以用兔子的光場(chǎng)來(lái)取代兔子，渲染生成各種角度的照片，這樣我們無(wú)需為建立兔子的幾何模型，紋理模型和光照模型。對(duì)于大場(chǎng)景，復(fù)雜光照條件，或者復(fù)雜幾何模型（如長(zhǎng)絨玩具）等等，光場(chǎng)比實(shí)物的數(shù)字模型更為簡(jiǎn)單，或者光場(chǎng)比光線跟蹤得到的渲染結(jié)果更加逼真，或者更加高效，我們用光場(chǎng)來(lái)渲染。這是所謂的基于圖像的渲染方法。歷史上，微軟曾經(jīng)出過(guò)一版基于光場(chǎng)的游戲，類似孤島尋寶，所有場(chǎng)景都是從真實(shí)自然中采集，非常逼真，但是最后沒(méi)有引起任何反響，無(wú)疾而終。

　　光場(chǎng)采集光場(chǎng)是定義在射線空間上的函數(shù)，射線空間是4維的，傳統(tǒng)的針孔相機(jī)只能采集二維射線簇，因此光場(chǎng)采集具有本質(zhì)的難度。早期光場(chǎng)采集的方法簡(jiǎn)單粗暴，就是用大規(guī)模相機(jī)陣列，如圖12所示的二維相機(jī)陣列。這種光場(chǎng)相機(jī)笨重昂貴，無(wú)法普及。

斯坦福的光場(chǎng)相機(jī)：16x8多相機(jī)陣列

　　依隨數(shù)字相機(jī)技術(shù)的成熟，針孔相機(jī)愈來(lái)愈小，可以密集地集成在一起，從而縮小了光場(chǎng)相機(jī)的體積。但是鏡頭的尺寸無(wú)法縮減，如圖13所示。

斯坦福的光場(chǎng)相機(jī)：相機(jī)陣列

　　真正的突破來(lái)自于仿生學(xué)。許多昆蟲(chóng)都有復(fù)眼,復(fù)眼獲取的就是光場(chǎng)信息。

昆蟲(chóng)的復(fù)眼：光場(chǎng)相機(jī)

　　人類模仿昆蟲(chóng)，制造了類似復(fù)眼的鏡頭，如圖15所示，在一個(gè)大鏡頭上集成了數(shù)十個(gè)小鏡頭。依隨光學(xué)工藝的改進(jìn)，人們制造出在一張塑料薄膜上集成了數(shù)千個(gè)微小鏡頭。斯坦福的博士生吳任基于這種想法，創(chuàng)立了光場(chǎng)相機(jī)Lytro公司。

Adobe制造的人造復(fù)眼原型

　　傳統(tǒng)的相機(jī)需要先對(duì)焦，再照相。Lytro相機(jī)提出的口號(hào)是“先照相，再對(duì)焦”。因?yàn)長(zhǎng)ytro相機(jī)得到的光場(chǎng)信息，使用者可以由4維光場(chǎng)合成不同角度，深度的二維相片。

Lytro相機(jī)

　　如圖17所示的婚紗攝影：同一個(gè)光場(chǎng)相片，我們既可以聚焦于靠近鏡頭的新郎；也可以聚焦于遠(yuǎn)離鏡頭的新娘。

Lytro婚紗照：同一張光場(chǎng)相片，可以聚焦在不同的區(qū)域。左幀，聚焦在新郎上；右?guī)?，聚焦在新娘?/p>

　　光場(chǎng)顯示傳統(tǒng)的顯示方式，屏幕，LCD/LED，只保留了射線穿過(guò)屏幕的交點(diǎn)的幾何信息和顏色信息，沒(méi)有保留射線的方向信息。屏幕是漫反射的，從屏幕上某一點(diǎn)發(fā)出的所有射線都是相同顏色的，而光場(chǎng)顯示要求從同一點(diǎn)出發(fā)的不同射線具有不同的顏色，如圖18所示。光場(chǎng)顯示，正是MagicLeap的核心技術(shù)。

顯示模式對(duì)比：左圖是傳統(tǒng)屏幕，過(guò)一點(diǎn)的所有射線同樣顏色；右圖是光場(chǎng)顯示，過(guò)一點(diǎn)的不同射線不同顏色

　　USC的光場(chǎng)顯示南加州大學(xué)提出并制作了一種光場(chǎng)顯示裝置，如圖19、20所示，有一個(gè)四面透光的玻璃柜子，柜子中間是一面和水平面夾角為45度的鏡子，柜子頂部安裝了一臺(tái)高速投影儀，投影儀垂直向下投影，光線經(jīng)過(guò)鏡子反射后水平射出。同時(shí)，鏡子高速旋轉(zhuǎn)。一顆幽靈般的透明人頭懸浮在空氣之中，當(dāng)我們繞著柜子走的時(shí)候，我們可以看到人頭的各個(gè)側(cè)面，并且這顆人頭對(duì)你擠眉弄眼。

USC Light field display，一顆漂浮的人頭

USC Light field display用于遠(yuǎn)程會(huì)議系統(tǒng)

USC Light Field display 專利圖

　　圖21展示了這一光場(chǎng)顯示儀器的原理。45度傾斜的鏡子（114）被電機(jī)馬達(dá)（115）帶動(dòng)旋轉(zhuǎn)，圖形處理器（130）生成圖像傳遞給高速投影儀（120），投影儀投射到鏡子上，經(jīng)反射水平射向四周。這樣，經(jīng)過(guò)嚴(yán)格同步控制，我們就顯示了一個(gè)三維的光場(chǎng)。這一裝置笨重而昂貴，同時(shí)高速旋轉(zhuǎn)的鏡子使得系統(tǒng)的穩(wěn)定性下降。任何機(jī)械振動(dòng)都會(huì)影響光場(chǎng)顯示效果。

　　MagicLeap光場(chǎng)顯示-手電筒解釋MagicLeap的核心技術(shù)是一種特殊的光場(chǎng)顯示設(shè)備：光導(dǎo)纖維投影儀。激光在光導(dǎo)纖維中傳播，在纖維的端口射出，輸出方向和纖維相切。改變纖維在三維空間中的形狀，特別是改變纖維端口處的切方向，我們可以控制激光射出的方向。這就猶如我們拿著一個(gè)手電筒，通過(guò)改變手電筒的位置，和指向改變輸出光柱的方向。如果我們快速搖動(dòng)手腕，手電筒發(fā)出的光柱在空中劃出了一個(gè)圓錐面，這個(gè)圓錐面打到一面墻上成為一個(gè)圓周。通過(guò)快速改變手腕搖動(dòng)的幅度，我們可以控制這個(gè)圓周半徑大小，從而得到一系列的同心圓，這一系列同心圓覆蓋了一張圓盤。如果，手電筒的光柱顏色會(huì)變化，則我們?cè)趬ι袭?huà)出了一個(gè)彩色圓盤。這樣，通過(guò)快速搖動(dòng)一只手電筒，我們得到了一幅圖像，或者覆蓋了一簇射線。假設(shè)有很多人，站在不同的空間位置，每人都搖動(dòng)一只手電筒，則我們得到了一個(gè)光場(chǎng)。這就是MagicLeap的光場(chǎng)顯示設(shè)備：光導(dǎo)纖維投影儀的原理。

Magic Leap的手電筒

　　圖22顯示了MagicLeap的手電筒，促動(dòng)器(206）相當(dāng)于人的手腕，光纖（208）相當(dāng)于手電筒，促動(dòng)器使得纖維頂端周期性地顫動(dòng)，纖維頂端螺旋地畫(huà)出了一些列的同心圓，激光經(jīng)由透鏡系統(tǒng)輸出，在空中畫(huà)出了一簇射線。投射到平面上照亮了一個(gè)圓盤。同步地改變經(jīng)過(guò)顏色和強(qiáng)度，一根纖維利用分時(shí)技術(shù)得到一幅圖像，如圖23所示。

一根纖維利用分時(shí)技術(shù)得到一幅圖像

　　在MagicLeap的纖維光投影儀中，有許多根光導(dǎo)纖維，集結(jié)成二維陣列，每根纖維都相當(dāng)于一個(gè)針孔相機(jī)，二維相機(jī)陣列生成了光場(chǎng)。

　　光場(chǎng)顯示的優(yōu)勢(shì)相比于雙目立體視覺(jué)，光場(chǎng)顯示有很多優(yōu)勢(shì)。人類獲取三維深度信息有兩種途徑，“shapefromstereo”和“shapefromfocus”。我們用兩只眼睛看同一個(gè)物體，同一個(gè)三維空間中的點(diǎn)，映到左右視網(wǎng)膜不同的像素上。我們?nèi)四X能夠通過(guò)視網(wǎng)膜上的像素，反算對(duì)應(yīng)的空間的射線，從而得到兩條射線的交點(diǎn)，得到深度信息，這一過(guò)程是“shapefromStereo”。我們每只眼睛看物體的時(shí)候，大腦會(huì)自動(dòng)調(diào)節(jié)眼睛的晶狀體的曲率，使得物體在視網(wǎng)膜上清晰成像。調(diào)節(jié)晶狀體的肌肉緊張程度使得大腦能夠計(jì)算物體的深度信息，即所謂的“shapefromfocus”?？?D版的《阿凡達(dá)》的時(shí)候，我們只用到了“shapefromStereo”，眼睛的焦距一直固定，因?yàn)檠劬Φ狡聊坏木嚯x不變，因此沒(méi)有“shapefromfocus”的過(guò)程。但是，人類經(jīng)過(guò)漫長(zhǎng)的進(jìn)化，這兩種過(guò)程自然而然地緊密聯(lián)系在一起。人為地割裂它們，就會(huì)使人目眩頭暈。相反地，如果用光場(chǎng)顯示技術(shù)，我們同時(shí)需要“shapefromStereo”和“shapefromfocus”，因此觀看時(shí)不會(huì)頭暈?zāi)垦?，光?chǎng)顯示技術(shù)更加自然健康。

　　光場(chǎng)顯示的挑戰(zhàn)作為一場(chǎng)革命的開(kāi)端，MagicLeap的技術(shù)面臨著許多挑戰(zhàn)。最為直接的就是：傳統(tǒng)的顯示技術(shù)只需要計(jì)算四維光場(chǎng)中的一個(gè)二維切片，而光場(chǎng)顯示需要計(jì)算整個(gè)四維光場(chǎng)，其計(jì)算復(fù)雜度提高幾個(gè)數(shù)量級(jí)，這是技術(shù)瓶頸之一。同時(shí)，精確的調(diào)控機(jī)械部件，使得每一個(gè)纖維都穩(wěn)定自然地顫動(dòng)，并且顫動(dòng)的模式要和數(shù)據(jù)傳輸相互同步，并且這種顫動(dòng)不受外界噪音的影響，這也需要令人匪夷所思的技術(shù)。

　　數(shù)字全息光場(chǎng)從概念的提出到MagicLeap的投資狂潮已經(jīng)走了二十年，而數(shù)字全息技術(shù)的發(fā)展歷史更加漫長(zhǎng)。光場(chǎng)本質(zhì)上還是幾何光學(xué)，而數(shù)字全息則是波動(dòng)光學(xué)。目前數(shù)字全息技術(shù)日益成熟，依隨藍(lán)色激光的發(fā)明，彩色數(shù)字全息技術(shù)成為可能。目前發(fā)展的瓶頸一是計(jì)算量巨大，遠(yuǎn)遠(yuǎn)超過(guò)光場(chǎng)計(jì)算，二是數(shù)字全息顯示中需要特殊的一種晶體，每個(gè)像素的折射率能夠由電壓控制。目前這種光學(xué)器件依然昂貴，并且尺寸較小。我們相信依隨光場(chǎng)技術(shù)的廣為接受，數(shù)字全息技術(shù)也會(huì)長(zhǎng)足發(fā)展。

　　光場(chǎng)技術(shù)的啟示光場(chǎng)技術(shù)的歷史發(fā)展使我們看到顛覆性的技術(shù)革命往往起源于基礎(chǔ)科學(xué)和非商業(yè)功利的學(xué)術(shù)界。從學(xué)術(shù)界醞釀成熟，到商業(yè)界呼風(fēng)喚雨往往要幾十年。MagicLeap的技術(shù)突破來(lái)自于對(duì)于內(nèi)窺鏡技術(shù)的轉(zhuǎn)用，這顯示了跨界科研的重要性。

　　期待有一天，電視電影都是用光場(chǎng)攝像機(jī)拍攝，觀眾可以任意動(dòng)態(tài)選擇觀看角度?；蛟S這一天要等待另一個(gè)二十年，或許只需三五年。我相信，不久的將來(lái)，淘寶網(wǎng)上的照片都會(huì)被光場(chǎng)相片所取代，而Magicleap頭盔，成為每一個(gè)網(wǎng)購(gòu)者的標(biāo)配。