作者：Paul O'SullivanandNicolas Le Dortz

抽象

這是我們飛行時間（ToF）系列的第一篇文章，將概述連續(xù)波（CW）CMOS ToF相機系統(tǒng)技術(shù)及其相對于機器視覺應(yīng)用傳統(tǒng)3D成像解決方案的優(yōu)勢。后續(xù)文章將深入探討本文介紹的一些系統(tǒng)級組件，包括照明子系統(tǒng)、光學器件、電源管理和深度處理。

介紹

許多機器視覺應(yīng)用現(xiàn)在需要高分辨率的3D深度圖像來取代或增強標準2D成像。這些解決方案依靠3D相機提供可靠的深度信息來保證安全，特別是當機器在人類附近操作時。相機還需要在具有挑戰(zhàn)性的環(huán)境中運行時提供可靠的深度信息，例如在具有高反射表面的大空間中以及存在其他移動物體的情況下。迄今為止，許多產(chǎn)品都使用低分辨率測距儀類型的解決方案來提供深度信息以增強2D成像。但是，這種方法有很多局限性。對于受益于更高分辨率3D深度信息的應(yīng)用，CW CMOS ToF相機提供市場上性能最高的解決方案。表 1 更詳細地描述了高分辨率 CW ToF 傳感器技術(shù)支持的一些系統(tǒng)功能。這些系統(tǒng)功能還適用于視頻散景、面部認證和測量應(yīng)用等消費者用例，以及駕駛員警覺性監(jiān)控和自動車內(nèi)配置等汽車用例。

連續(xù)波CMOS飛行時間相機概述

深度相機是每個像素輸出相機與場景之間距離的相機。測量深度的一種技術(shù)是計算光線從相機上的光源傳播到反射表面并返回相機所需的時間。此旅行時間通常稱為飛行時間 （ToF）。

圖1.飛行傳感器技術(shù)的連續(xù)波時間概述。

ToF相機由幾個元件組成（見圖1），包括：

在近紅外域中發(fā)光的光源，例如垂直腔面發(fā)射激光器 （VCSEL） 或邊緣發(fā)射半導體激光管。最常用的波長是 850 nm 和 940 nm。光源通常是漫射光源（泛光照明），它發(fā)出具有一定發(fā)散度（也稱為照明場或FOI）的光束，以照亮相機前的場景。

調(diào)制光源發(fā)出的光強度的激光驅(qū)動器。

具有像素陣列的傳感器，用于收集場景中的返回光并輸出每個像素的值。

將回光聚焦在傳感器陣列上的透鏡。

與鏡頭位于同一位置的帶通濾光片，可過濾掉光源波長周圍窄帶寬之外的光。

一種將傳感器的輸出原始幀轉(zhuǎn)換為深度圖像或點云的處理算法。

可以使用多種方法來調(diào)制ToF相機中的光線。一種簡單的方法是使用連續(xù)波調(diào)制，例如，占空比為50%的方波調(diào)制。實際上，激光波形很少是完美的方波，可能看起來更接近正弦波。對于給定的光功率，方形激光波形會產(chǎn)生更好的信噪比，但由于存在高頻諧波，也會引入深度非線性誤差。

CW ToF相機測量時差td通過估計相位偏移φ = 2πft 在發(fā)射信號和返回信號之間d在這兩個信號的基本面之間。深度可以從相位偏移（φ）和光速（c）估算，使用：

其中 f國防部是調(diào)制頻率。

傳感器中的時鐘發(fā)生電路控制互補像素時鐘，這些像素時鐘分別控制兩個電荷存儲元件（抽頭A和抽頭B）中光電荷的積累，以及激光驅(qū)動器的激光調(diào)制信號。返回調(diào)制光的相位可以相對于像素時鐘的相位進行測量（見圖1的右側(cè)）。像素中抽頭A和抽頭B之間的差分電荷與返回調(diào)制光的強度以及返回調(diào)制光相對于像素時鐘的相位成正比。

利用零差檢測原理，使用像素時鐘和激光調(diào)制信號之間的多個相對相位進行測量。將這些測量值結(jié)合起來，以確定返回調(diào)制光信號中基波的相位。了解此階段可以計算光從光源傳播到被觀察對象并返回傳感器像素所需的時間。

高調(diào)制頻率的優(yōu)勢

在實踐中，存在光子散粒噪聲、讀出電路噪聲和多路徑干擾等非理想性，這些都可能導致相位測量誤差。具有高調(diào)制頻率可降低這些誤差對深度估計的影響。

通過舉一個簡單的例子，這很容易理解，其中有一個階段錯誤εφ—也就是說，傳感器測量的相位為

。深度誤差為：

因此，深度誤差與調(diào)制頻率成反比，f國防部.圖 2 以圖形方式對此進行了說明。

這個簡單的公式在很大程度上解釋了為什么具有高調(diào)制頻率的ToF相機比具有較低調(diào)制頻率的ToF相機具有更低的深度噪聲和更小的深度誤差。

圖2.相位誤差對距離估計的影響。

使用高調(diào)制頻率的一個缺點是相位繞得更快，這意味著可以明確測量的范圍更短。繞過此限制的常用方法是使用以不同速率環(huán)繞的多個調(diào)制頻率。最低調(diào)制頻率提供大范圍，沒有歧義，但深度誤差較大（噪聲、多路徑干擾等），而較高的調(diào)制頻率串聯(lián)使用以減少深度誤差。圖3顯示了具有三種不同調(diào)制頻率的該方案的示例。最終深度估計值是通過對不同調(diào)制頻率的未包裝相位估計值進行加權(quán)來計算的，較高的權(quán)重分配給較高的調(diào)制頻率。

圖3.多頻相位展開。

如果以最佳方式選擇每個頻率的權(quán)重，則深度噪聲與系統(tǒng)中所選調(diào)制頻率的均方根（rms）成反比。對于恒定的深度噪聲預算，增加調(diào)制頻率可以減少積分時間或照明功率。

對性能至關(guān)重要的其他系統(tǒng)方面

在開發(fā)高性能ToF相機時，需要考慮許多系統(tǒng)功能，本文將簡要介紹其中的一些功能。

圖像傳感器

圖像傳感器是ToF相機的關(guān)鍵組件。當系統(tǒng)的平均調(diào)制頻率增加時，大多數(shù)深度估計非理想（例如，偏置、深度噪聲和多徑偽影）的影響會降低。因此，傳感器在高調(diào)制頻率（數(shù)百MHz）下具有高解調(diào)對比度（分離抽頭A和抽頭B之間的光電子的能力）非常重要。傳感器還需要在近紅外波長（例如850nm和940nm）中具有高量子效率（QE），以便在像素中產(chǎn)生光電子所需的光功率更少。最后，低讀出噪聲允許檢測低回波信號（遠反射率或低反射率物體），有助于提高相機的動態(tài)范圍。

照明

激光驅(qū)動器以高調(diào)制頻率調(diào)制光源（例如VCSEL）。為了在給定光功率下最大化像素處的有用信號量，光波形需要具有快速的上升和下降時間，并具有干凈的邊緣。照明子系統(tǒng)中激光器、激光驅(qū)動器和PCB布局的組合對于實現(xiàn)這一目標至關(guān)重要。還需要進行一些表征，以找到最佳的光功率和占空比設(shè)置，以最大化調(diào)制波形傅里葉變換中基波的幅度。最后，光功率還需要以安全的方式提供，并在激光驅(qū)動器和系統(tǒng)級別內(nèi)置一些安全機制，以確保始終遵守1類眼睛安全限制。

光學

光學器件在ToF相機中起著關(guān)鍵作用。ToF相機具有某些獨特的特性，這些特性推動了特殊的光學要求。首先，光源的照明場應(yīng)與透鏡的視場相匹配，以獲得最佳效率。同樣重要的是，鏡頭本身應(yīng)該具有高光圈（低f / #），以獲得更好的光收集效率。大光圈可能會導致在漸暈、淺景深和鏡頭設(shè)計復雜性方面的其他權(quán)衡。低主光線角透鏡設(shè)計還有助于降低帶通濾光片帶寬，從而改善環(huán)境光抑制，從而提高戶外性能。光學子系統(tǒng)還應(yīng)針對所需的工作波長（例如，減反射涂層、帶通濾光片設(shè)計、透鏡設(shè)計）進行優(yōu)化，以最大限度地提高吞吐量效率并最大限度地減少雜散光。還有許多機械要求，以確保光學對準在最終應(yīng)用所需的公差范圍內(nèi)。

電源管理

電源管理在高性能3D ToF相機模塊設(shè)計中也至關(guān)重要。激光調(diào)制和像素調(diào)制會產(chǎn)生短脈沖的高峰值電流，這給電源管理解決方案帶來了一些限制。傳感器集成電路（IC）級別的一些特性可以幫助降低成像儀的峰值功耗。還有一些電源管理技術(shù)可以應(yīng)用于系統(tǒng)級別，以幫助降低對電源（例如，電池或USB）的要求。ToF成像器的主要模擬電源通常需要具有良好瞬態(tài)響應(yīng)和低噪聲的穩(wěn)壓器。

圖4.光學系統(tǒng)架構(gòu)。

深度處理算法

最后，系統(tǒng)級設(shè)計的另一大部分是深度處理算法。ToF圖像傳感器輸出原始像素數(shù)據(jù)，需要從中提取相位信息。此操作需要不同的步驟，包括噪聲濾波和相位展開。相位展開塊的輸出是光從激光到場景并返回像素的距離的測量值，通常稱為距離或徑向距離。

徑向距離通常轉(zhuǎn)換為點云信息，點云信息通過其實際坐標（X，Y，Z）表示特定像素的信息。通常，最終應(yīng)用程序僅使用 Z 圖像映射（深度圖）而不是完整的點云。將徑向距離轉(zhuǎn)換為點云需要了解鏡頭固有和畸變參數(shù)。這些參數(shù)是在相機模塊的幾何校準期間估計的。深度處理算法還可以輸出其他信息，例如主動亮度圖像（返回激光信號的幅度）、被動 2D IR 圖像和置信水平，這些信息都可以用于最終應(yīng)用。深度處理可以在相機模塊本身或系統(tǒng)其他位置的主機處理器上完成。

表 2 概述了本文介紹的不同系統(tǒng)級組件。這些主題將在以后的文章中更詳細地介紹。

結(jié)論

飛行相機的連續(xù)波時間是一種強大的解決方案，可為需要高質(zhì)量3D信息的應(yīng)用提供高精度。要確保實現(xiàn)最佳性能級別，需要考慮許多因素。調(diào)制頻率、解調(diào)對比度、量子效率和讀出噪聲等因素決定了圖像傳感器級別的性能。其他因素包括系統(tǒng)級考慮因素，包括照明子系統(tǒng)、光學設(shè)計、電源管理和深度處理算法。所有這些系統(tǒng)級組件對于實現(xiàn)最高精度的3D ToF相機系統(tǒng)至關(guān)重要。這些系統(tǒng)級主題將在后續(xù)文章中更詳細地介紹。

審核編輯：郭婷