你見過最小的相機(jī)是多大，你見過的最小的3D深度傳感器又是多大？

根據(jù)哈佛大學(xué)工程和應(yīng)用科學(xué)學(xué)院（SEAS）消息，該學(xué)院教授Federico Capasso帶領(lǐng)的研發(fā)小組研發(fā)出一款利用超透鏡（超薄的納米光子組件）的深度傳感器，其特點(diǎn)是可一次完成場(chǎng)景內(nèi)所有深度信息測(cè)量，而且體積還很小巧，未來應(yīng)用場(chǎng)景包括：微型機(jī)器人、侵入式醫(yī)療設(shè)備、小型穿戴設(shè)備、輕便型AR眼鏡/VR眼鏡等產(chǎn)品。

當(dāng)前，該論文也已在美國國家科學(xué)院院刊上進(jìn)行發(fā)表，下面我們就來一探究竟。

3D傳感器的進(jìn)化

目前應(yīng)用到3D和深度傳感器的產(chǎn)品有很多，包括微軟Xbox Kinect體感設(shè)備，其可識(shí)別人體動(dòng)作從而實(shí)現(xiàn)各類的體驗(yàn)游戲操作，主要是游戲娛樂方面；而最新的Azure Kinect DK也正式面向各種場(chǎng)景，包括醫(yī)療、超市、工業(yè)3D建模等眾多領(lǐng)域。

在更大型的汽車中也有更多的車型支持，尤其是在自動(dòng)駕駛車輛中，3D攝像頭、LiDAR激光雷達(dá)等等，主要是用于車輛周圍環(huán)境的探測(cè)與感知。

最常見的還是在智能手機(jī)中，例如蘋果iphone X系列就是采用了3D結(jié)構(gòu)光方案，安卓設(shè)備也有很多采用ToF方案，他們更注重要的還是用于3D化人臉識(shí)別的加密解密操作。

不過，現(xiàn)有的這些產(chǎn)品，以智能手機(jī)為例，其能提供較大容量的電池和較高算力的芯片，因此不用擔(dān)心功耗和性能不足等問題。

但對(duì)于那些對(duì)功率和算力都有限的設(shè)備來說，例如超小型機(jī)器人、或智能手表等產(chǎn)品。他們?nèi)绾谓鉀Q3D傳感器的這些限制呢？

哈佛物理系博士候選人、論文第一作者Zhujun Shi表示："當(dāng)前的光學(xué)和視覺方案已經(jīng)種類繁多，他們基本上都是為不同的產(chǎn)品量身定制，而納米技術(shù)與光學(xué)設(shè)計(jì)結(jié)合，將有助于探索人造深度傳感器和視覺方案。

而這里提到的就是將超透鏡與超高效的算法相結(jié)合，即可一次完成深度測(cè)量。

受跳動(dòng)的蜘蛛所啟發(fā)

人眼和多數(shù)深度傳感器獲得深度信息的方法是，將左右眼（或傳感器）同時(shí)拍攝的兩幅略有差異的圖像進(jìn)行搜索對(duì)比，PS：可以將手指放在面前，交替睜開左右眼，這時(shí)你就有體會(huì)了吧。

因?yàn)樾枰獙蓮垐D片進(jìn)行比對(duì)，這種方法實(shí)際還是很繁瑣的，人類有一個(gè)強(qiáng)大的大腦可以處理這些任務(wù)，但是蜘蛛?yún)s沒有。

經(jīng)研究發(fā)現(xiàn)，蜘蛛已經(jīng)進(jìn)化出一個(gè)有效的深度感知系統(tǒng)，這能夠讓它們準(zhǔn)確地跳躍到是自己身軀幾倍遠(yuǎn)的地方，并對(duì)毫無戒備的目標(biāo)發(fā)起攻擊。

從上圖了解到，如果蜘蛛用主眼注視著一個(gè)蒼蠅，這時(shí)只有主眼視網(wǎng)膜的圖像是清晰的，而另一只眼鏡視網(wǎng)膜上的圖像會(huì)顯得模糊，這種模糊變化的背后則直接隱藏著蜘蛛飛行距離的信息。

在計(jì)算機(jī)視覺系統(tǒng)中，類似這種深度計(jì)算方法被稱作：離焦深度測(cè)量法。

而目前，想要用現(xiàn)代設(shè)備復(fù)制這種方法也可以實(shí)現(xiàn)，但是需要大型光學(xué)攝像頭和電動(dòng)機(jī)械組件，這樣攝像頭可以拍攝不同焦點(diǎn)的圖片，不過這也限制了傳感器的速度和實(shí)際應(yīng)用場(chǎng)景。

而這就是超透鏡發(fā)揮優(yōu)勢(shì)的地方。

實(shí)驗(yàn)室研究和結(jié)果

在實(shí)驗(yàn)中，該研究小組嘗試將兩個(gè)具有不同深度焦距的離軸透鏡共同放到一個(gè)光圈中。

上圖即超透鏡設(shè)計(jì)方案，a表示傳輸效率和相移與納米柱寬度函數(shù)圖；b表示超透鏡俯視顯微鏡圖像，比例尺2um；c表示b圖中紅色標(biāo)注區(qū)域放大，展示了空間復(fù)用方案效果以及不同顏色的顯示，比例尺500nm；d表示超透鏡輪廓的顯微鏡圖像，比利時(shí)：200nm。

基于此元件和現(xiàn)有的組件進(jìn)行結(jié)合，從而構(gòu)建出一個(gè)超透鏡深度傳感器原型，包括光學(xué)組件和機(jī)械組件的原型體積為4×4×10cm。當(dāng)然這個(gè)體積算不上小，但由于超透鏡材料直徑僅3mm，如果采用專用光電傳感器則可大大降低整個(gè)傳感器原型的尺寸。

上圖a展示了不同距離下LED光源拍攝到的兩幅圖像模糊程度的變化，b是超透鏡傳感器深度作為物距的已知函數(shù)。

上圖為各種場(chǎng)景下的深度圖像展示，因?yàn)槌哥R一次拍攝的方案，因此這種方案可以拍攝快速移動(dòng)的物理。a是移動(dòng)的果蠅；b是動(dòng)態(tài)的水柱；c是半透明類的效果，燭光（這類往往無法通過激光雷達(dá)或ToF測(cè)量）；d是印刷效果的文本的傾斜視角圖像，深度信息均勻。

上圖是位于不同位置的蠟燭，所展現(xiàn)出的深度圖像效果。

實(shí)驗(yàn)室內(nèi)采用了由英特爾i5-8500K處理器和NVIDIA Titan V顯卡夠成的計(jì)算機(jī)進(jìn)行每秒100幀以上的速度生成400×400分辨率的深度圖像，而且通過優(yōu)化代碼和硬件部分，還可以進(jìn)一步提升速度。綜合每個(gè)輸出的像素產(chǎn)生速度圖的值需要637 個(gè)FLOP，僅涉及25×25的周圍像素，對(duì)比來看常規(guī)的雙目立體算法有效輸出每個(gè)像素約需7000個(gè)FLOP，另外知名光流算法Lucas-Kanade則需要2500個(gè)FLOP。

最終，根據(jù)實(shí)驗(yàn)室的一系列測(cè)試，超透鏡深度傳感器基本被初步證實(shí)具備：體積小、重量輕、算力需求小、單個(gè)組件等優(yōu)勢(shì)，未來這種將納米光子學(xué)和高效算法結(jié)合的深度測(cè)量方案有望應(yīng)用在微瓦級(jí)這種昆蟲規(guī)模的平臺(tái)上，例如微型機(jī)器人、可食入人體的傳感設(shè)備等等。

? ? ? ?責(zé)任編輯：zl