電子發(fā)燒友App
作者 李安 ? ? ? ? ? ? ?
安思疆科技CEO，碩士畢業(yè)于浙江大學(xué)光電系，曾就職于華為2012實驗室，獨立設(shè)計了3D結(jié)構(gòu)光系統(tǒng)，主導(dǎo)潛望式鏡頭光學(xué)設(shè)計，大規(guī)模應(yīng)用在華為旗艦機(jī)，多項核心技術(shù)專利（包括美國專利）第一發(fā)明人，發(fā)表多篇論文，精通幾何光學(xué)、衍射光學(xué)，激光，復(fù)雜光電系統(tǒng)設(shè)計，熟悉微納光學(xué)、圖像處理、3D視覺算法、光電芯片等領(lǐng)域，擁有完整的產(chǎn)品及產(chǎn)業(yè)經(jīng)驗和深厚的理論及技術(shù)背景。安思疆也是繼蘋果之后，第2家發(fā)布消費級面陣dToF激光雷達(dá)的公司。
2022年9月，蘋果發(fā)布了全新的iPhone 14系列手機(jī)，其中Pro和Pro Max均延續(xù)了前代配置中的后置dToF Lidar模組，用于手機(jī)AR、3D掃描建模、輔助對焦等功能，大幅提升智能手機(jī)3D視覺體驗。
實際上，早在2020年3月蘋果發(fā)布新款iPad Pro，其后置相機(jī)模塊中就進(jìn)行了大幅革新，首次搭載了自研的基于dToF技術(shù)的Lidar模塊( Light detection and range激光雷達(dá))；隨后僅隔半年，在10月份發(fā)布iPhone 12系列中，也搭載了這一技術(shù)；是蘋果繼2017年發(fā)布3D結(jié)構(gòu)光后，迎來的又一重大技術(shù)里程碑，同時也是大面陣3D Lidar首次在消費電子產(chǎn)品中的大規(guī)模應(yīng)用。
圖1.?iPhone后置激光雷達(dá)
3D感測技術(shù)作為蘋果公司近年來重點布局的方向，已應(yīng)用在生物識別、拍照、游戲、建模、虛擬現(xiàn)實、增強(qiáng)現(xiàn)實等領(lǐng)域，進(jìn)一步強(qiáng)化了其在3D視覺技術(shù)領(lǐng)域的護(hù)城河。從其技術(shù)布局的規(guī)劃來看，我們完全有理由相信，在很快到來的Apple Glass中，3D 傳感器是不可或缺的。
3D傳感技術(shù)主流包括結(jié)構(gòu)光技術(shù)（Structure Light）和光飛行時間測量技術(shù)（ToF, Time of Flight）， 后者又分為間接飛行時間測量（iToF, indirect Time of Flight）和直接飛行時間測量（dToF, direct Time of Flight）。蘋果在技術(shù)路徑上最終選擇了結(jié)構(gòu)光技術(shù)和dToF技術(shù)分別應(yīng)用在前置相機(jī)和后置相機(jī)上，形成互補(bǔ)，兼顧前置和后置的各種3D視覺應(yīng)用。
3D結(jié)構(gòu)光經(jīng)過幾年的發(fā)展，大家已經(jīng)比較熟悉，除了手機(jī)，iPad之外，也已應(yīng)用在了許多地方，例如微信與支付寶的3D刷臉支付、3D人臉門鎖、各種各樣的機(jī)器人、3D 視頻和體感游戲等場景中。而dToF技術(shù)對于消費電子產(chǎn)品的愛好者來講雖然是比較前沿的技術(shù)，但其實也已經(jīng)應(yīng)用好幾年了，例如：聽筒附近的接近傳感器，用來探測耳朵是否靠近以此控制屏幕亮滅；某些手機(jī)的后置相機(jī)模塊中配備的距離傳感器，用來輔助拍照對焦。雖然這些傳感器使用了dToF的原理，但都是單點或者少點的探測，只能做一些簡單的功能，無法實現(xiàn)大視場范圍、高分辨的3D面陣成像，因而不能用來做視覺上復(fù)雜的多功能應(yīng)用。在蘋果的激光雷達(dá)發(fā)布之前，面陣的dToF技術(shù)主要應(yīng)用在車載激光雷達(dá)，目前成熟的方案采用是機(jī)械式掃描和半機(jī)械式掃描來實現(xiàn)線陣向面陣的轉(zhuǎn)化。而蘋果的激光雷達(dá)則是大面陣dToF技術(shù)第一次在消費電子場景中使用，并且采用了基于可尋址VCSEL的全固態(tài)方案，真正做到了“出道即巔峰”。
秉承好技術(shù)就要用起來的理念，蘋果為這套3D Lidar系統(tǒng)也是“操碎了心”，將眾多復(fù)雜學(xué)科和前沿技術(shù)深度交叉，這也是作者從業(yè)這么長時間以來，所遇到的最精密、最復(fù)雜，也是融合性最高的光電視覺傳感器，為了能讓大家能由淺及深全面了解，作者將從器件到系統(tǒng)設(shè)計進(jìn)行全方位的解析。
圖2. 3D Lidar核心器件組成及工作原理示意圖
圖3. 蘋果 3D Lidar 電路板實物圖
如圖2和圖3，蘋果3D Lidar的核心部件為VCSEL+ Collimator +DOE（組成發(fā)射端）、Imaging Lens +Narrow-band Filter +SPAD (組成接收端)、高速高功率激光驅(qū)動電路。我們先對各個核心器件做一個基本了解。
核心器件篇 ? ? CORE COMPONENTS ? ? ? ? ?
VCSEL ?
Collimator ?
DOE ?
Imaging Lens ?
Narrow-band Filter ?
SPAD ?
高速高功率激光驅(qū)動電路
VCSEL垂直腔面發(fā)射激光器 Vertical-Cavity Surface-Emitting Laser 激光是愛因斯坦在研究粒子的受激輻射時演變而來的技術(shù)，是使光波在含有增益介質(zhì)的光學(xué)腔（諧振腔）里產(chǎn)生穩(wěn)定的駐波震蕩，以此實現(xiàn)光能量放大。第1臺激光器由美國科學(xué)家在1960年利用紅寶石制成，激光的中文名是由錢學(xué)森先生翻譯的。我們可以按光束出射的方式，將激光分為2種類型，即EEL（Edge-Emitting Laser 邊發(fā)射激光）和VCSEL（Vertical-Cavity Surface-Emitting Laser 垂直腔面發(fā)射激光），如圖4。 制作激光器的材料可以是固體、氣體、染料和半導(dǎo)體。目前用于消費電子和汽車電子等領(lǐng)域的主要是半導(dǎo)體激光器和光纖激光器（屬于固體激光器），也開始在車載有應(yīng)用，不過本文討論的是半導(dǎo)體激光器范疇。 那么，EEL和VCSEL的區(qū)別是什么？顧名思義，EEL的光束是從器件的側(cè)邊發(fā)射出來，由于激光芯片可以在水平方向做得比較長，因此激光可以獲得充分的能量增益，功率可以做得很大，目前絕大部分激光器都是EEL。VCSEL則是垂直于激光芯片表面（即厚度方向）發(fā)光。
圖4. 左：邊發(fā)射激光，光從芯片側(cè)邊發(fā)出；中：VCSEL，光從芯片表面發(fā)出；右：LED，光從各個方向發(fā)出.
眾所周知，芯片的厚度一般都非常薄，因此激光獲得的能量增益有限，VCSEL中的增益腔長一般只有納米、微米量級，跟EEL差幾個數(shù)量級，因此VCSEL的功率很難做大。不過，可以實現(xiàn)級聯(lián)放大的多節(jié)VCSEL也已經(jīng)開始成熟應(yīng)用，但目前還與EEL有較大差距。VCSEL是在1979年，也就是激光發(fā)明近20年后，才由日本科學(xué)家發(fā)明，其難點之一就是增益腔太短，導(dǎo)致?lián)p耗大于增益，很難穩(wěn)定發(fā)光；經(jīng)過不斷的改善，直到上世紀(jì)90年代才開始在通信領(lǐng)域上逐漸應(yīng)用。雖然存在這些缺點，但是VCSEL同樣有EEL無法比擬的幾大優(yōu)勢：
1 ? 多點陣&緊湊封裝 VCSEL可以很輕松做到將幾十甚至上千個激光發(fā)射單元集成在小于數(shù)平方毫米的面積上，相鄰的兩個激光器單元之間的間隔甚至可短至~10um，這是EEL幾乎不可能做到的，因此也非常便于封裝集成，可以完全復(fù)用目前攝像頭的COB（Chip on Board）工藝，對比之下EEL的封裝則稍顯笨拙。 2 ? 圖案化&分區(qū)照明 VCSEL還可以將眾多激光點源按特殊設(shè)計排布，形成任意的圖案，例如iPhone前置3D結(jié)構(gòu)光中使用的偽隨機(jī)散斑編碼VCSEL，如果同時采用特殊的制程，可以將這些激光點陣按組別進(jìn)行物理隔離，分時、分區(qū)點亮，進(jìn)而可以進(jìn)行更精細(xì)更復(fù)雜的設(shè)計，提升系統(tǒng)性能，這也是EEL無法獨立實現(xiàn)的。 3 ? 規(guī)?；慨a(chǎn)&成本 由于是垂直晶圓表面發(fā)光，VCSEL在工藝制程上有巨大的優(yōu)勢，在晶圓制作完成之后，可以直接利用探針技術(shù)進(jìn)行在線的晶圓級測試。而EEL則不行，因為邊發(fā)射的激光一般需要在諧振腔的兩側(cè)，也即晶圓的水平方向進(jìn)行解理鍍反射膜，才能形成激光諧振腔，因此切割后還要繼續(xù)進(jìn)行加工和測試，這就大大降低了生產(chǎn)效率，增加很多成本。對于工業(yè)、車載等領(lǐng)域，尚可接受，但對于手機(jī)等量級的消費電子領(lǐng)域顯然是無法接受的。 4 ? 發(fā)散角圓對稱
由于VCSEL束縛電流的孔徑形狀一般是圓形或接近圓形，所以其發(fā)散角在各個方向都相等，是圓對稱的，因此光斑也是圓形，有利于后續(xù)光學(xué)整形系統(tǒng)的設(shè)計。EEL的孔徑一般是橫縱比較大的矩形，所以EEL的發(fā)散角是橢圓狀，而且水平和垂直的發(fā)散角相差比較大，光斑是一個比較扁的橢圓形，這對后續(xù)的光束整形是比較不友好的。
綜上，在消費電子領(lǐng)域，對激光功率、光束質(zhì)量以及可靠性等要求相對較低，這就在很大程度上屏蔽了VCSEL的弱點，而其優(yōu)勢則完全發(fā)揮。因此，消費電子過去、現(xiàn)在和未來的趨勢也必然是以VCSEL這種垂直表面發(fā)光形式的器件為主，這也是為什么蘋果對此進(jìn)行了大規(guī)模的投資。未來HCSEL水平腔表面發(fā)射激光（Horizontal V-Cavity Surface-Emitting Laser）也將逐步應(yīng)用起來，這是一種結(jié)合了EEL和VCSEL優(yōu)點的激光器，在此不展開詳述?？傊?，在消費電子領(lǐng)域采用表面發(fā)射形式的激光擁有巨大優(yōu)勢。
準(zhǔn)直鏡頭&接收鏡頭 Collimator & Imaging Lens 這兩個器件是成像光學(xué)鏡頭，屬于比較傳統(tǒng)的幾何光學(xué)領(lǐng)域，只不過前者用于投影，后者用于攝影。? Collimator，業(yè)界一般稱為準(zhǔn)直鏡頭，在蘋果的結(jié)構(gòu)光和dToF Lidar上都有應(yīng)用，但其實除蘋果之外，一般的ToF技術(shù)都不使用準(zhǔn)直鏡，原因在后面會講到。準(zhǔn)直鏡頭由多個光學(xué)鏡片組合而成，用來將激光光源投射到場景中。本質(zhì)上作用有二，其一是將激光的發(fā)散角整形至接近0度，其二是將僅約1mm2、由多個激光點陣形成的微小圖案投射出去并放大，放大倍率通常在數(shù)百倍至數(shù)千倍。這也是為什么1mm2大小的VCSEL所投射出來的點陣卻能最終覆蓋前方大視場范圍場景的原因之一，原因之二則是后面要講的DOE所起的作用。?? Imaging Lens，業(yè)界一般稱為接收鏡頭，是所有2D、3D視覺中必不可少的器件，包括單反相機(jī)、手機(jī)相機(jī)、安防監(jiān)控、工業(yè)檢測、機(jī)器視覺等。在dToF Lidar的系統(tǒng)應(yīng)用中，與Collimator一樣，一般也是由多個光學(xué)鏡片組成，其作用是成像接收TX端所投射出來的放大散斑，并在焦面上重新縮小至數(shù)平方毫米，以便微小尺寸的光電傳感器接收。
評價光學(xué)成像鏡頭的性能指標(biāo)叫像差，包含了畸變、色差、場曲、球差以及比較綜合的評價參數(shù)MTF等。像差的意思是成像的差別，也即實際的成像與完美成像的差別，因此通常用于攝影的光學(xué)鏡頭肯定是要求各種像差，例如畸變，越小越好，越接近于0越好；但是，蘋果卻反其道而行之，故意把Imaging Lens的畸變設(shè)計得特別大，這非常獨特，幾乎沒有先例，這一點我們將在后面系統(tǒng)篇中進(jìn)行解析。
DOE 衍射光學(xué)元件 Diffraction Optical Element DOE衍射光學(xué)元件，屬于物理光學(xué)范疇，我們都知道光具有波粒二象性，光電效應(yīng)證明其粒子的特性，光的衍射現(xiàn)象則證明了其波動的特性，其實二者本質(zhì)上也是自洽的。一般來講，在幾何成像光學(xué)領(lǐng)域用的是光線光學(xué)的理論，即偏粒子性，而在光的衍射干涉等領(lǐng)域則采用波動光學(xué)理論，即偏波動性。實際上，波動光學(xué)的理論可以完全適用于幾何成像光學(xué)，只是這樣會讓問題解析變得更繁瑣復(fù)雜，所以才不這樣用。那么，我們通常所說的幾何光學(xué)、衍射光學(xué)以及最近比較熱門的超表面光學(xué)（Meta Surface）的區(qū)別是什么呢？ 讓我們來做一個更本質(zhì)的區(qū)分，假設(shè)光波的波長為λ（可見光波長為380nm~760nm），器件的特征尺寸（feature size 可以理解為最小結(jié)構(gòu)）為d, 一般來講可以這樣分 ?d<0.1λ~λ，這時特征尺寸已經(jīng)非常小，不僅衍射現(xiàn)象很明顯，對光波的電磁特性也會產(chǎn)生不可忽略的影響，這時候光的偏振等特性必須要納入考慮的范圍，但正因為對偏振有影響，所以可在極短的光程中對光波進(jìn)行非常精細(xì)的操控，超表面光學(xué)（Meta Surface）就屬于這一范疇，要用嚴(yán)格耦合波理論才能精確描述。
圖5.?(a)安思疆自研的DOE設(shè)計軟件GratingMaster (b)DOE的GDS加工設(shè)計文件 (c)安思疆自研的DOE實物圖 (d)掃描電子顯微鏡下的微納結(jié)構(gòu) (e)蘋果激光雷達(dá)的DOE顯微鏡圖像
λ
回到DOE，經(jīng)過上述的了解，我們對DOE有了基本認(rèn)識。DOE在蘋果的3D結(jié)構(gòu)光和3D Lidar中都有使用，其功能是比較容易理解的，本質(zhì)上是把一束光分裂成若干份，再通俗一點講就是把一束光復(fù)制多份，起到復(fù)制的作用。因此DOE可以把上述Collimator放大的散斑圖案進(jìn)行復(fù)制，相當(dāng)于對散斑的投射范圍進(jìn)行了二次放大，蘋果的3D結(jié)構(gòu)光視野范圍~90°，因此即使被攝人臉的位置偏離較大時也能同樣解鎖。蘋果的3D Lidar視野范圍也達(dá)到了~70°。角度越大，系統(tǒng)設(shè)計和DOE設(shè)計難度都急劇增大，不過目前已經(jīng)有超過100°的超廣角3D 結(jié)構(gòu)光產(chǎn)品，例如安思疆的Nuwa系列產(chǎn)品已經(jīng)可以達(dá)到110°。
?
窄帶濾光片 Narrow-band Filter 該器件屬于薄膜光學(xué)領(lǐng)域，是比較傳統(tǒng)的領(lǐng)域。3D Lidar中使用的是940nm近紅外VCSEL激光器，窄帶濾光片的作用是濾除掉940nm之外的環(huán)境光，最大程度減少干擾，大大提高信噪比，但因為制造工藝的原因會比普通的截止濾光片貴不少。這一器件相對常見就不再展開討論。
SPAD 單光子雪崩二極管 Single Photon Avalanche Diode 前述的VCSEL屬于光源器件，是將電能轉(zhuǎn)化為光能；光學(xué)鏡頭、DOE和濾光片則屬于無源被動器件，即不用消耗電能；現(xiàn)在要講的SPAD芯片則是將光能轉(zhuǎn)化為電能，并且還能通過模擬-數(shù)字轉(zhuǎn)換，將探測到的光信號最終轉(zhuǎn)換成數(shù)字形式向外輸出，是一顆集成了光電探測模塊、模擬電路模塊、數(shù)字電路模塊的高度集成化的芯片，是相對比較新興的領(lǐng)域，而且蘋果還把它做成了大面陣的陣列，這也是陣列SPAD第一次在消費電子領(lǐng)域應(yīng)用。乘著蘋果的東風(fēng)，第一次出場就是上億數(shù)量級的超大規(guī)模量產(chǎn)，這與幾年前VCSEL和DOE的消費級大規(guī)模應(yīng)用幾乎如出一轍，蘋果也將SPAD sensor訂單交與了最親密的合作伙伴——日本索尼公司。 采用定制化工藝制造的固態(tài)SPAD盡管已經(jīng)發(fā)明了幾十年，但是之前一直存在兩個問題: 一是器件體積大，價格昂貴; 二是器件與集成電路難以兼容。近幾年來，基于CMOS工藝的SPAD陣列的成功設(shè)計和制造很好地解決了這兩方面的問題，從遠(yuǎn)紅外到深紫外頻段SPAD都能實現(xiàn)單光子級別的探測靈敏度，與光電倍增管、APD等相比較，其具有更高的量子效率、更小的尺寸、更低的擊穿電壓，能識別單光子，可數(shù)字化成像，抗環(huán)境光干擾等特點，其最大的優(yōu)勢在于能夠?qū)崿F(xiàn)遠(yuǎn)距離測距，且具備較高精準(zhǔn)度，因此在激光雷達(dá)、核醫(yī)學(xué)設(shè)備、生物診斷、高能物理、射線探測、分析儀器等多個領(lǐng)域已有廣泛應(yīng)用。 ?
圖6. SPAD工作原理
如圖6所示，SPAD是一種基于內(nèi)光電效應(yīng)的光電探測器件，當(dāng)在PN結(jié)兩端施加足夠的反向偏置電壓時，光子被中性層吸收后將所攜帶的能量傳遞給價帶上的電子使其躍遷至導(dǎo)帶，從而產(chǎn)生光生載流子，在內(nèi)部電勢的作用下向雪崩倍增區(qū)漂移，當(dāng)雪崩倍增區(qū)的內(nèi)建電場大于碰撞電離所需的最小電場強(qiáng)度時，光生載流子獲得更高的能量后被加速，與雪崩倍增區(qū)的晶格原子發(fā)生多次碰撞產(chǎn)生更多的電子-空穴對。這種雪崩倍增效應(yīng)使器件內(nèi)部的電子-空穴對呈現(xiàn)指數(shù)倍的增長，從而產(chǎn)生極高的光生電流。
圖7. 典型的SPAD sensor架構(gòu) 圖7展示了典型的SPAD sensor架構(gòu)，可以看出是這是一種非常綜合型的芯片，包含SPAD光電二極管、模擬電路、模數(shù)混合電路、數(shù)字電路等。
圖8. 左右分別為典型的共陰極（Common Cathode）FSI和共陽極（Common Anode）BSI像素結(jié)構(gòu) 如圖8，與傳統(tǒng)圖像傳感器類似，從制造工藝來分，SPAD sensor可以分為FSI（前照式）和BSI（背照式）兩種類型。這兩種結(jié)構(gòu)在制造上的差異要遠(yuǎn)大于傳統(tǒng)圖像傳感器，原因就在于每個像素都需要與TDC相連接，導(dǎo)致采用BSI的工藝會大大增加復(fù)雜度。
圖9. 蘋果采用BSI工藝的SPAD sensor實物圖和像素剖面圖 如圖9，蘋果采用的是BSI工藝，將SPAD層與邏輯電路層通過一種先進(jìn)的低溫銅-銅鍵合工藝連接起來，這樣可以把邏輯電路完全掩藏在底部，從而使SPAD的受光面積達(dá)到接近100%，最大限度的提升感光效率，蘋果在其專利中對此進(jìn)行了詳述。 高速高功率激光驅(qū)動電路 High Speed & High Power Laser Driver Circuit
圖10. iPhone激光雷達(dá)的驅(qū)動芯片和光脈沖,每秒發(fā)射約2400萬個光脈沖
dToF的測量原理中要用到超短脈沖激光，因此也對激光的驅(qū)動電路提出了要求：1.脈沖寬度~1ns；2.瞬時電流在某些應(yīng)用中最高要達(dá)到~20A。單看脈沖寬度，這不能算是很高的要求，但是要同時滿足大電流就變得非常困難，由于大部分驅(qū)動芯片還是硅基形式，無法承載這么大的高速電流，因此不僅在消費電子領(lǐng)域幾乎沒有過類似的需求，即使在車載領(lǐng)域也很難找到一顆集成的驅(qū)動芯片來同時滿足這兩個要求。目前主要的解決方式是：短脈沖驅(qū)動芯片+GaN開關(guān)，未來將這二者集成在一起是趨勢。無論如何，為了產(chǎn)生超短+高功率的激光脈沖，并且保持脈沖不變形，對激光器以及其驅(qū)動電路都提出了極高的要求。
系統(tǒng)篇 ? ? SYSTEM ? ? ? ? ? ?
前面我們對蘋果Lidar中使用的各種器件做了逐一介紹，從中我們可以看到這些器件之間幾乎沒有相通之處，每一個器件都是一個獨立的領(lǐng)域，集結(jié)了幾何光學(xué)、衍射光學(xué)、光電子學(xué)、激光、半導(dǎo)體物理、模擬電路、數(shù)字電路等領(lǐng)域最前沿的技術(shù)，而且對于最終的產(chǎn)品系統(tǒng)來講，這還只包含了一半的東西，剩下一半是算法軟件。
3D視覺和2D視覺的一大區(qū)別就是3D視覺的軟硬件具有非常強(qiáng)的耦合性，這會在下面講到。 如此多前沿學(xué)科的交叉必然使得系統(tǒng)設(shè)計異常復(fù)雜，但是學(xué)科交叉又是最容易產(chǎn)生創(chuàng)新的地方，那么這么多的交叉會產(chǎn)生怎樣的效果呢？接下來我們一起看看蘋果到底是如何設(shè)計這套Lidar系統(tǒng)，根據(jù)公開專利顯示在2014年左右,也就是蘋果花了將近4億美金收購PrimeSense（3D結(jié)構(gòu)光公司）之后，就開始同步研究這一技術(shù)了。
我們首先從應(yīng)用場景出發(fā)對產(chǎn)品規(guī)格提出需求，主要針對手機(jī)和Pad用戶。因為是在后置模塊，需要做3D建模、SLAM、AR渲染等應(yīng)用，所以距離不能太近，但人是習(xí)慣于握著設(shè)備移動掃描的，使用距離肯定也不用像車載那么遠(yuǎn)，那么5米就是一個適中的范圍；對于分辨率和視場角，Lidar的應(yīng)用不需要像結(jié)構(gòu)光一樣多達(dá)數(shù)百萬的分辨率，也不需要用來做Face ID等高精度應(yīng)用，而是用于平面檢測、空間定位、物體測量、虛擬場景和現(xiàn)實場景的1:1融合等等；結(jié)合對后續(xù)算法的綜合平衡，起碼要達(dá)到HQVGA分辨率，而視場角則與后置主攝像頭匹配，可以略小一點；對于體積尺寸，毫無疑問，手機(jī)上最大的限制就是空間，可謂寸土寸金，而Lidar包含接收和發(fā)射兩個模塊，如何能夠做得比一個普通的攝像頭更小，而且還要小很多，這是極具挑戰(zhàn)的，但這也是必須要滿足的；對于功耗，Lidar使用起來時會持續(xù)工作，因此必須在300mw~500mw范圍上下不能太大；對于使用環(huán)境，必須適用室內(nèi)、室外、強(qiáng)光和弱光，全場景下都有同樣的性能，這樣才能讓普通用戶感受不到差別，但這其實是很困難的一項要求，一般來說在其他應(yīng)用領(lǐng)域可以做取舍但對于手機(jī)用戶而言是斷然不行的；對于成本，當(dāng)然是越低越好，考慮到是革命性產(chǎn)品，可以接受一定的溢價，從拆解情況來估算，蘋果的Lidar物料成本大概在$10~$12之間，是完全可接受的。歸納如下：
使用距離：~5m
分辨率,視場角：~HQVGA；~70° ?
尺寸：不能大于普通2D攝像頭，越小越好
功耗：300mw~500mw,越小越好
使用場景：全光照場景，24小時全天候
成本：$10~$12
需要注意是，以上需求必須同時滿足。
圖11. dToF測量原理 在設(shè)計解決方案之前，我們先了解一下系統(tǒng)工作的基本邏輯和原理。典型的dToF系統(tǒng)的測量原理是：以單次測量周期為例，如圖11，SPAD芯片內(nèi)部的控制電路會發(fā)出“開始”信號，這一信號一方面會讓內(nèi)部的TDC計時器開始計時，另一方面會傳送出去給到外部的激光驅(qū)動芯片作為同步觸發(fā)信號，驅(qū)動芯片接收到觸發(fā)信號后，會產(chǎn)生一個~1ns的超窄脈沖電流，觸發(fā)脈沖信號和輸出脈沖電流之間由于經(jīng)過了Driver IC會有時延，這種時延一般是ns級，所以一般在其他的應(yīng)用中都不太需要考慮，但在dToF測量系統(tǒng)中是不行的，這一時延需要在模組生產(chǎn)的過程中進(jìn)行測量并且補(bǔ)償，而且它還與溫度相關(guān)，這會使得精準(zhǔn)補(bǔ)償?shù)碾y度增加，在此不展開討論。VCSEL接收到電流脈沖之后開始發(fā)光（這里也會有時延產(chǎn)生，需要補(bǔ)償），光束由準(zhǔn)直鏡放大準(zhǔn)直后投射到DOE上，DOE經(jīng)過復(fù)制擴(kuò)散形成更大的投射范圍，再經(jīng)過場景中的物體反射回接收鏡頭，經(jīng)過接收鏡頭的縮小成像后照射在SPAD陣列上, 雪崩二極管接收到光脈沖后會產(chǎn)生雪崩電流，致使TDC的計時中斷，從而得到一次飛行時間t1，同時淬滅復(fù)位電路會將測量電路快速復(fù)位，等待下一個測量周期的光脈沖到來，這樣經(jīng)過多次重復(fù)該過程就算是一次完整的測量。假設(shè)測量N次，其中n次有效(n
圖12. 蘋果激光雷達(dá)使用的VCSEL，總共64點。其中紅、黃、藍(lán)、紫每4行為同一組，這4組點陣是并聯(lián)關(guān)系，分時點亮，配合光學(xué)系統(tǒng)投射出激光散斑，達(dá)到掃描目的，如右圖所示。圖中黃色虛線框之外的點陣是由DOE的高階衍射造成的，不影響效果。 與一般的均勻分布的面陣Flash照明不同，蘋果這種方案采用了與3D結(jié)構(gòu)光類似的點陣激光，但不同于結(jié)構(gòu)光超過3萬個激光點陣，Spot dToF僅僅只有576個激光點陣，相差50倍，不過其單點功率要遠(yuǎn)高于結(jié)構(gòu)光。之所以采用點陣是因為在相同電功率下，其出射的光能量密度要遠(yuǎn)遠(yuǎn)高于面陣方案，按照估算，差別甚至可以達(dá)到15~30倍，這樣可以解決兩個非常棘手的大難題：?
1 在戶外使用時陽光干擾的問題，光功率密度的大幅度提升能夠使得即使在陽光干擾的狀態(tài)下，仍然可以保持足夠的信噪比，所以大家會看到蘋果的Lidar即使在盛夏最強(qiáng)的陽光下效果依然不下降。
2 由于點數(shù)少，光功率密度大，因此VCSEL不需要很大的瞬時電流，也就不需要引入大功率器件，極大地緩解了手機(jī)硬件電路的設(shè)計壓力，可以完全與當(dāng)前的設(shè)計兼容。 采用這種點陣方案不僅能夠維持戶外使用的效果，而且由于能量集中，其抗干擾能力也會得到極大的加強(qiáng)?？偠灾?，在手機(jī)這種限制極多的情況下，Spot dToF是手機(jī)后置3D視覺的最優(yōu)解。 不過，在獲得最佳效果的同時，同樣也帶來了兩大挑戰(zhàn)：??
1 這種全固態(tài)的點陣掃描對光學(xué)系統(tǒng)設(shè)計提出了極高的要求；
2 由于只有576個點（24*24），獲得的有效分辨率太低，與系統(tǒng)規(guī)格中要求的HQVGA差了70倍~80倍。 如果能克服這兩大問題，那么就不會再存在技術(shù)瓶頸了，這兩個問題正是蘋果dToF Lidar真正的核心所在。 我們先來看怎么解決第一個問題。前述的SPAD芯片中的TDC計時器是一種非常消耗硬件資源的模塊，如果要一次全部同時曝光則需要576個TDC，這樣會大大增加芯片面積，進(jìn)而增加芯片成本、模組體積和功耗。因此可以采用144個TDC進(jìn)行時分復(fù)用，每次只采集144個激光點陣的飛行時間，分4次采集，這樣就可以減少TDC數(shù)量，降低成本、體積和功耗，并且由于dToF的單次測量時間是ns級的，所以不用擔(dān)心由于時分復(fù)用導(dǎo)致最終系統(tǒng)幀率不足。同時，為了完美配合TDC的工作，實現(xiàn)能量零浪費，VCSEL上的激光點也被相應(yīng)地分成了獨立的4組，我們可以稱之為“可尋址陣列”，每組16個點，經(jīng)過DOE復(fù)制變成144個點，對應(yīng)144個TDC。如此，雖然VCSEL有64個點，但實際上同一時間工作的只有16個點，那么VCSEL的驅(qū)動電流只需要能夠同時點亮16個點即可，大大減輕了Driver IC的負(fù)擔(dān)，按估算只需要~2A電流即可，這樣用一般的硅基芯片就能實現(xiàn)。由于這4組點陣是完全獨立的，因此Driver IC也要有4路獨立的驅(qū)動，不過對于Driver IC來說，除了增加一些設(shè)計難度，硬件上的資源增加是完全可控的。根據(jù)拆解情況，是德州儀器TI為蘋果定制了這顆比較獨特的Driver IC，并且其中應(yīng)該還集成了用于檢測ITO電路狀態(tài)的功能。ITO是一種透明的導(dǎo)電玻璃，嵌入在DOE里用于實時監(jiān)測DOE的狀態(tài)是否正常，DOE的狀態(tài)正常與否會影響出射激光的功率密度，引發(fā)人眼安全問題。 上面我們講到TDC時分復(fù)用，并且每個TDC同時只對應(yīng)測量一個激光點斑，這是比較好理解的。那么問題在于用來接收的sensor是一個像素陣列，每一個像素都是一個獨立的SPAD，分辨率大概是200*150=30000，我們知道TDC是要與SPAD連接在一起工作的，那么144個TDC如何能與30000個TDC相連接呢，就算時分復(fù)用的話，那么每個TDC要與3000/144≈200個SPAD連接，然后分時工作200次，這顯然與上述的分4次工作相去甚遠(yuǎn)。
圖13. 超像素結(jié)構(gòu)示意圖
我們在這里引入蘋果稱之為超像素（Super pixel）的概念，如圖13，其實就是把m*n個單元像素通過類似在CIS中常用的Binning方式來合并，變成1個像素，這個像素就稱為超像素，而TDC連接的就是這個超像素。每個超像素就是一個小區(qū)域，其中包含了數(shù)十個單元像素，在這個超像素工作的時候，對應(yīng)的激光斑點就落在這個超像素內(nèi)，從而進(jìn)行感光測量。知道這個概念之后，既然有576個點，那就應(yīng)該對應(yīng)有576個超像素，每個超像素由約50個SPAD單元像素組成。這576個超像素也分成4組，又因為只有144個TDC，所以每個TDC連接4個超像素，然后分時復(fù)用，144*4=576，這樣就與前述問題符合了。
圖14. Spot dToF 成像鏡頭的畸變要遠(yuǎn)大于傳統(tǒng)鏡頭以補(bǔ)償DOE的投影光學(xué)畸變
圖15. (a)實拍iPhone激光雷達(dá)散斑 (b)安思疆自研SimuLight 2.0仿真引擎設(shè)計結(jié)果 (c)SimuLight 2.0仿真引擎光學(xué)畸變校正后的結(jié)果，其中第1、5、9、……、41、45行1組，第2、6、……、42、46行1組，第3、7、……、43、47行1組，第4、8、……、44、48行1組，四組分時點亮形成掃描。
以上討論了SPAD芯片是如何配合測量系統(tǒng)工作的，總結(jié)一下就是144個TDC能同時對應(yīng)144個超像素，144個超像素對應(yīng)144個激光散斑，分4次掃描，就可以得到144*4=576個激光散斑對應(yīng)的距離。那么問題又來了，由于同一時間只會有144個超像素在工作，剩余的432個超像素是不工作的，如果這時候激光散斑沒有落入正在工作的超像素上，那就無法測量，因此必須要為此設(shè)計一套精密的光學(xué)投影及成像系統(tǒng)，保證VCSEL發(fā)射的激光散斑能準(zhǔn)確的落入正在工作中的超像素內(nèi)。
蘋果采用了與結(jié)構(gòu)光類似的發(fā)射和接收方案設(shè)計，在發(fā)射端采用了可尋址的VCSEL，分成4組，每組16個激光點會同時亮，然后通過Collimator準(zhǔn)直和放大，接著經(jīng)過DOE 3x3復(fù)制再擴(kuò)大后，投射出144個激光散斑，經(jīng)過場景的反射之后由接收端的imaging lens精準(zhǔn)地成像在對應(yīng)的超像素之內(nèi)，以便完成測量。但此處有個非常棘手的問題，DOE的衍射由于滿足的是正弦方程，當(dāng)投影角度變大時會導(dǎo)致散斑發(fā)生顯著畸變，這在3D結(jié)構(gòu)光中是允許存在的，可以通過算法校正，但是在spot dToF Lidar中是不可行的，因為sensor上超像素的排列必須是規(guī)則的，如果散斑的排布發(fā)生畸變，則會導(dǎo)致視野邊緣的散斑落入非工作的超像素內(nèi)，進(jìn)而測量無效，這是絕對不允許的。
為了解決DOE帶來的光學(xué)畸變問題，蘋果將imaging lens的光學(xué)畸變也設(shè)計得非常大，如圖14和15所示，做了很大的反畸變來補(bǔ)償DOE的正畸變以達(dá)到校正畸變的目的，并且由于引入如此大的光學(xué)畸變，還必須要在后處理的算法中對得到的三維點云再次進(jìn)行校正以消除imaging lens的畸變。這一設(shè)計是非常罕見的做法，因為降低并消除光學(xué)畸變是幾乎所有成像鏡頭設(shè)計的基本追求，但在蘋果的lidar系統(tǒng)中不這樣做又不行，實際上這種“反其道而行之”的設(shè)計是該光學(xué)系統(tǒng)中最難設(shè)計的一部分。這樣的復(fù)雜系統(tǒng)也導(dǎo)致了各器件之間的耦合度到達(dá)了前所未有的程度，任何一個器件的某一參數(shù)改變，都會帶來其他器件的隨之更改，否則將會直接導(dǎo)致整個系統(tǒng)不工作。
在系統(tǒng)設(shè)計上還剩下最后一個關(guān)于超像素的問題，實際是兩個，一方面由于發(fā)射和接收采用的是非同軸設(shè)計，會產(chǎn)生視差，因此必須要綜合考慮使用距離、模組尺寸、單元像素大小、組裝誤差等眾多因素，才能最終確定超像素的子單元像素的數(shù)量，在蘋果方案中此數(shù)量大概是50個。另一方面，散斑在SPAD陣列上成像的大小一般只占據(jù)超像素其中的幾個單元像素，例如9個，但如果把整個超像素的探測深度都定義為同一個深度的話，就會大大降低其空間的橫向分辨率，即XY方向的分辨率（假設(shè)深度是Z方向）。舉個簡單例子，這可能會導(dǎo)致最終完全分辨不清手指和整個手，如此低的分辨率是不能接受的，為了解決這一問題，蘋果在每個超像素中還劃分了更細(xì)的像素組合，我們可以把它叫做超細(xì)像素，這些超細(xì)像素會在測量周期的前段進(jìn)行掃描，從而準(zhǔn)確定位散斑在超像素中的位置，接著再進(jìn)行全面的測量。這一過程也是十分復(fù)雜的，又大大增加了SPAD陣列的設(shè)計難度，此處不再贅述。
到此為止，還差最后一個問題就能說完了，雖然這個問題只占一個環(huán)節(jié)，但卻占一半的重要性，那就是配套這個系統(tǒng)的算法。按照上述的方案，如果所有器件都完美地協(xié)同工作，我們就能得到576=24*24分辨率的精確深度圖，但相信大家都能看出問題，那就是分辨率太稀疏，完全沒有發(fā)揮SPAD陣列30000=150*200分辨率的能力。這就需要通過軟件來補(bǔ)齊最后的這一短板，蘋果應(yīng)用了當(dāng)前AI&機(jī)器視覺領(lǐng)域最前沿的研究成果，利用主攝單目RGB生成稠密但不準(zhǔn)確的深度，利用Spot dToF生成稀疏但準(zhǔn)確的深度，最后利用神經(jīng)網(wǎng)絡(luò)引擎將兩者進(jìn)行算法融合，得到一幅既稠密又準(zhǔn)確的深度圖，也就是我們在手機(jī)上最終看到的效果。當(dāng)然這一過程并不像此處所講的這么簡單，也需要龐大的工程量，安思疆也是經(jīng)過了2年的研究才有成果。
圖16. (a)主攝2D彩色圖像?(b)Lidar正常工作時生成的深度圖，不同顏色代表不同的距離?(c)只遮擋Lidar Scanner (d)只遮擋主攝像頭
如圖16所示，iPhone的Lidar Scanner實際上還結(jié)合了它左邊的主攝像頭，兩者正常協(xié)同工作時，才能得到深度準(zhǔn)確且輪廓清晰的深度圖，如（b）所示；當(dāng)單獨遮住Lidar Scanner時，如圖（c）所示輪廓依然清晰，但此時顏色發(fā)生很大變化，說明深度不準(zhǔn)確；當(dāng)單獨遮擋主攝像頭時，如圖（d）所示顏色雖然準(zhǔn)確，也即深度雖然準(zhǔn)確，但是輪廓細(xì)節(jié)已經(jīng)丟失，即當(dāng)Lidar單獨工作時就會出現(xiàn)前面所述的深度太稀疏的缺陷。以上情況充分說明，只有當(dāng)主攝像頭、Lidar scanner、AI深度融合算法同時工作時，才能得到理想的結(jié)果。蘋果在這里使用的算法叫“Sparse-to-Dense”，稀疏轉(zhuǎn)稠密算法，這是當(dāng)前AI視覺領(lǐng)域最前沿的課題之一。安思疆對此也進(jìn)行了深入研究，同樣取得了理想結(jié)果。
圖17. (a)2D彩色圖像 (b)Ground truth (c)稀疏深度 (d)融合后的深度
通過安思疆現(xiàn)有的高精度模組可獲取大量高質(zhì)量的3D數(shù)據(jù)，帶來了極大便利，在此基礎(chǔ)上采用了一種有監(jiān)督的深度學(xué)習(xí)算法，得到高質(zhì)量的深度融合模型。如圖17所示，我們分別在公開數(shù)據(jù)集和實際模組中對自研的融合算法進(jìn)行了測試，可以看到很理想的效果呈現(xiàn)。 蘋果Spot dToF激光雷達(dá)的解析到這里就基本結(jié)束了，因為采用了如此復(fù)雜的設(shè)計，這顆激光雷達(dá)的生產(chǎn)組裝也異常復(fù)雜，由韓國LG最先進(jìn)的工廠為其代工。
一顆小小的激光雷達(dá)，其中蘊(yùn)含了如此多的黑科技，即便復(fù)制都很難，其背后的研發(fā)投入必定是巨大的，這也是其產(chǎn)品定價的底氣所在。難，才是價值所在，安思疆立志與產(chǎn)業(yè)界一道攻堅克難。
寫作此文的目的是為了讓更多的從業(yè)者深入了解這一有深遠(yuǎn)意義的dToF技術(shù)與產(chǎn)品，我們不僅要做好，還要做得更好！
編輯：黃飛
?
工商網(wǎng)監(jiān)
評論