多倫多大學(xué)的計算成像研究人員用他們獨(dú)特的相機(jī)捕捉到了奇怪的信號。多倫多計算機(jī)成像小組在實(shí)驗(yàn)室中使用單光子雪崩二極管 (SPAD) 相機(jī)檢測到無法解釋的 80 千赫 (kHz) 閃爍。

他們利用強(qiáng)大的自由運(yùn)行成像傳感器，探測到來自不同光源的每個光子，并記錄其精確的到達(dá)時間，精確到萬億分之一秒。在獲取到每個像素的所有數(shù)據(jù)后，研究團(tuán)隊?wèi)?yīng)用了一種算法，可以在從幾秒到皮秒的極短時間內(nèi)創(chuàng)建重建任意特定時刻光的視頻。

多倫多大學(xué)計算機(jī)科學(xué)教授 Kyros Kutulakos 說：“你可以按照你想要的時間尺度放大并播放視頻：每秒 30 幀、一千幀、一百萬幀、十億幀。您不必提前知道您想要觀察某個現(xiàn)象的時間尺度?！?/p>

在此之前，研究人員可以捕捉到幾納秒內(nèi)穿過場景的光，但無法同時對極快和極慢的事件進(jìn)行成像。

Kutulakos 的同事、助理教授David Lindell 解釋說，現(xiàn)有技術(shù)專門針對特定的時間范圍。傳統(tǒng)高速攝像機(jī)的速度可達(dá)到每秒約 100 萬幀——足以捕捉到飛馳的子彈——但要達(dá)到每秒數(shù)十億或數(shù)萬億幀的速度則需要非常專業(yè)的攝像機(jī)，而這些攝像機(jī)無法捕捉持續(xù)時間超過一微秒左右的事件。

通過自由運(yùn)行的成像傳感器，可以檢測來自不同光源的每個光子并記錄精確的到達(dá)時間。（視頻所有權(quán)：多倫多大學(xué)）

多倫多大學(xué)團(tuán)隊使用 MATLAB 獲取單個光子的時間戳數(shù)據(jù)并控制其成像技術(shù)裝置中的移動組件，該團(tuán)隊將其稱為“時間顯微鏡”。

單像素 SPAD 有一個 60 毫米乘 60 毫米的檢測頭，中間有一個微型傳感器。當(dāng) SPAD 檢測到奇怪的 80 kHz 信號時，研究人員起初懷疑他們是否只是遇到了一些偽影。經(jīng)過仔細(xì)檢查，研究小組發(fā)現(xiàn)了問題的根源。

“事實(shí)證明，我們實(shí)驗(yàn)室用 T8 LED替代了熒光燈泡。它們實(shí)際上以 80 千赫的頻率閃爍，”Kutulakos說?！拔覀兩踔敛恢腊l(fā)生了這樣的事?！?/p>

在最近于巴黎舉行的國際計算機(jī)視覺會議 (ICCV) 上，該團(tuán)隊關(guān)于被動超寬帶單光子成像的論文獲得了一項(xiàng)享有盛譽(yù)的獎項(xiàng)，該獎項(xiàng)在全球計算機(jī)視覺專家提交的數(shù)千篇論文中僅有兩篇獲得。

該技術(shù)的潛在應(yīng)用包括新型 3D 成像和激光雷達(dá)系統(tǒng)以及科學(xué)成像——例如，捕捉多個時間尺度上的生物事件或?qū)εc快速射電爆發(fā)同時發(fā)生的短脈沖光進(jìn)行天文觀測。

▼

每秒數(shù)十億幀

人類將光視為一種連續(xù)的體驗(yàn)：我們可以想象使用快速相機(jī)來拍攝慢動作鏡頭。如果我們有越來越高速的攝像機(jī)，也許我們可以簡單地不斷地減慢播放速度。

“但到了某個時候，就會出現(xiàn)轉(zhuǎn)變，”Lindell說?！肮獠皇沁B續(xù)的；它是離散的。我們捕捉光的方式是每次捕捉一個光子。”

單光子雪崩二極管在過去十年內(nèi)才開始廣泛應(yīng)用。Kutulakos 指出，該設(shè)備成本高昂，意味著很少有計算機(jī)科學(xué)和計算機(jī)視覺實(shí)驗(yàn)室能夠使用它們。最近的傳感器發(fā)展促使多倫多大學(xué)的研究小組對其他領(lǐng)域的科學(xué)家?guī)资陙硪恢痹谔接懙膯栴}提出新的問題。

例如，專門研究伽馬射線天文學(xué)的天文學(xué)家部署了探測器來拾取單個粒子并對其進(jìn)行時間戳。但這些天文學(xué)家對變星的周期性照明更感興趣，而不是描述恒星亮度的精確時間變函數(shù)，因?yàn)檫@是物理學(xué)所要求的，Kutulakos 解釋道。

在多倫多計算成像組實(shí)驗(yàn)室，博士后 Sotiris Nousias 和博士生 Mian Wei 首次使用 SPAD 捕獲發(fā)光二極管光子的時序信息。

“我們讓 LED 閃爍，并觀察輸出流，”Nousias 說道?！拔覀冇^察到，水流實(shí)際上具有與閃爍相同的模式，然后努力尋找數(shù)學(xué)聯(lián)系。這就是我們開展該項(xiàng)目的靈感?！?/p>

Nousias 和 Wei 是 ICCV 論文的共同第一作者，他們想知道如果他們能夠接觸到所有光子，他們可以獲得什么信息?？茖W(xué)家傾向于以特殊的同步方式操作 SPAD。相反，該團(tuán)隊以異步模式操作傳感器。從此，研究人員試圖將離散光子到達(dá)與描述光強(qiáng)度隨時間變化的底層連續(xù)函數(shù)聯(lián)系起來。

Kutulakos 說：“我們正在被動收集光子并嘗試重建環(huán)境中所有光源的貢獻(xiàn)，無論強(qiáng)度變化是快還是慢?！?/p>

在一項(xiàng)實(shí)驗(yàn)中，研究團(tuán)隊同時捕捉到不同的光線，然后以不同的速度播放它們。SPAD 觀察到白色表面上的一個點(diǎn)。來自 3 兆赫頻閃脈沖激光器、40 兆赫頻閃脈沖激光器和光柵掃描激光投影儀的光線穿過擴(kuò)散器并撞擊白點(diǎn)。頭頂上方閃爍著智能燈泡。

他們從相機(jī)中提取了時間信息流，指示光子何時撞擊傳感器并提取強(qiáng)度信息。該團(tuán)隊使用MATLAB 來引導(dǎo)光束并獲取圖像，以確保像素及時對齊，并實(shí)現(xiàn)整個數(shù)據(jù)采集端的自動化。

“我們已經(jīng)研究單光子傳感器很多年了，我們擁有的 MATLAB 采集管道仍然有效，”Lindell 說?！八耆煽?。”

具體來說，他們依靠 Image Processing Toolbox、Computer Vision Toolbox、Signal ProcessingToolbox、Data Acquisition Toolbox 和 Parallel Computing Toolbox 來完成該項(xiàng)目。Nousias 補(bǔ)充說，他們還制作了自定義圖形界面來控制一些實(shí)驗(yàn)中的掃描鏡。

事實(shí)證明，現(xiàn)代 SPAD 能夠進(jìn)行的計算成像遠(yuǎn)遠(yuǎn)超出了研究人員之前的想象。

Kutulakos 說：“我們從未想過能夠看到激光脈沖在環(huán)境中異步閃爍?！?/p>

捕捉白色表面上單點(diǎn)上的多個光源的實(shí)驗(yàn)裝置。（視頻所有權(quán)：多倫多大學(xué)）

▼穿越時空

研究團(tuán)隊的重建使他們能夠?qū)⒆⒁饬性趶募す馔队皟x閃爍到近九個數(shù)量級的一秒采樣率，以及來自 3 兆赫激光的納秒級單個脈沖上。他們的方法還使他們能夠重現(xiàn)視線之外的激光電視投影儀播放的視頻。在這種情況下，它是僅通過光柵掃描信號重現(xiàn)的經(jīng)典黑白米高梅咆哮獅子。

另一個裝置以白色背景為背景，展示了一個淡粉色手持電池供電的風(fēng)扇。為了演示被動超寬帶攝像技術(shù)，他們用激光脈沖照射旋轉(zhuǎn)的風(fēng)扇。與模糊風(fēng)扇的主動成像技術(shù)不同，他們的技術(shù)可以清晰地凍結(jié)風(fēng)扇葉片在與頻閃燈不同的時間尺度上的運(yùn)動。當(dāng)紅色波前掃過看似凍結(jié)的風(fēng)扇葉片時，這一場景在千兆赫尺度附近仍然清晰可見。

“可以把它想象成一臺速度非?？斓臄z像機(jī)，”Nousias 說道。“使用移動相機(jī)，你可以拍攝快照。但在我們的例子中，我們拍攝快照的快照。我們正在飛速穿越時間?！?/p>

當(dāng)團(tuán)隊八年前開始為該項(xiàng)目使用成像設(shè)備時，他們就已經(jīng)熟悉 MATLAB 了?！八泄ぞ叨挤浅Ｈ菀准?，并讓我們能夠快速訪問數(shù)據(jù)，”Nousias 說。“如果出現(xiàn)問題，我們必須重新獲取數(shù)據(jù)，這樣就很容易實(shí)現(xiàn)可視化，從而節(jié)省我們的時間?！?/p>

Wei 還對 MATLAB 的支持表示感謝?！爱?dāng)你獲得新設(shè)備時，如果你沒有必要的支持來進(jìn)行接口，那么你就必須利用不同的 GUI 來獲取你想要的數(shù)據(jù)，”他說?！癕ATLAB為我們提供了一種方便的方式來控制所有組件來進(jìn)行數(shù)據(jù)采集?！?/p>

Lindell 也很同意?！拔覀兪褂玫脑O(shè)備非常多樣化。我們利用現(xiàn)有的庫構(gòu)建了一個單一的編程接口，”他說。“如果我們沒有 MATLAB，我們就不得不費(fèi)盡心思使用人們用其他編程語言構(gòu)建的不同第三方庫或擴(kuò)展?！?/p>

被動式超寬帶攝像技術(shù)可以定格風(fēng)扇葉片在與頻閃燈不同的時間尺度上的運(yùn)動。當(dāng)紅色波前掃過看似凍結(jié)的風(fēng)扇葉片時，葉片在千兆赫尺度附近仍然可見。（視頻所有權(quán)：多倫多大學(xué)）

Wei 估計，如果沒有技術(shù)計算軟件，集成每個新組件可能需要幾天到幾周的時間。他說：“再次檢查各個部件是否按預(yù)期運(yùn)行會耗費(fèi)更多時間?！?/p>

“因?yàn)槲覀兊脑O(shè)置，我們可以說，‘好吧，我有這個新的 Windows 機(jī)器。我會采用之前運(yùn)行的代碼，然后將其移植過來，”Wei 繼續(xù)道?！艾F(xiàn)在其他人也可以使用他們的代碼并運(yùn)行該系統(tǒng)?！?/p>

▼動態(tài)成像的可能性

獲得國際計算機(jī)視覺會議最佳論文獎代表了多倫多計算成像組研究人員的一項(xiàng)重大職業(yè)成就。Lindell說，會議組織者從提交的 8,068 篇論文中僅選出了兩篇。

他說：“在深度學(xué)習(xí)占據(jù)主導(dǎo)地位的時代，這是一個很好的提醒，我們?nèi)匀恍枰M(jìn)行研究來幫助我們理解基本的物理現(xiàn)象以及如何使用新興技術(shù)感知這些現(xiàn)象?！?/p>

研究人員希望他們的突破能夠激發(fā)新的進(jìn)步。一個值得探索的領(lǐng)域是閃光激光雷達(dá)，該技術(shù)利用漫射脈沖激光而不是掃描脈沖激光產(chǎn)生高分辨率深度圖像。通常，這涉及將光發(fā)送到場景中，測量光返回所需的時間，并使用該時間信息來測量距離。

“需要注意的是，你需要將光源與系統(tǒng)同步才能使該機(jī)制發(fā)揮作用，”魏解釋道?！拌b于我們具有異步測量信號的能力，我們有興趣了解是否可以使用異步光源來制作閃光激光雷達(dá)?！?/p>

在生物學(xué)中，蛋白質(zhì)折疊或結(jié)合等事件可以在從納秒到毫秒的時間尺度上發(fā)生。Lindell 說，研究小組一直在與大學(xué)的生物學(xué)專家討論他們的成像技術(shù)。

他說：“這些事件在這些時間尺度上發(fā)生的事實(shí)讓我們很感興趣，而且以人們迄今為止無法做到的方式觀察它們的潛力也很誘人?！?/p>

計算重聚焦可能有應(yīng)用于其他科學(xué)領(lǐng)域。自從 20 年前射電望遠(yuǎn)鏡首次探測到這一現(xiàn)象以來，天體物理學(xué)家一直想了解快速射電暴的成因是什么。這些神秘的能量爆炸發(fā)生在天空中，僅持續(xù)幾毫秒，但每次都極其強(qiáng)大。計算重聚焦可以使人們在光學(xué)領(lǐng)域探測到快速射電暴。

Nousias 說：“我們不知道這些事情什么時候會發(fā)生?！蹦阈枰O(jiān)測天空，然后在納秒時間尺度上返回數(shù)據(jù)進(jìn)行觀察。現(xiàn)在我們有了實(shí)現(xiàn)這一目標(biāo)的工具?！?/p>

Kutulakos 預(yù)計，他們的SPAD 方法可以幫助檢測標(biāo)準(zhǔn)檢查遺漏的工程機(jī)械零部件中的問題或缺陷。當(dāng)發(fā)動機(jī)出現(xiàn)故障時，振動可能表明存在問題，但如果沒有更多信息，則可能難以找到確切的來源。他說道，通過將攝像頭對準(zhǔn)發(fā)動機(jī)并收集所有數(shù)據(jù)，你就可以在大海里撈到針。

該團(tuán)隊還與其他微電子研究人員合作，擴(kuò)展相機(jī)的功能。單像素相機(jī)使團(tuán)隊能夠從重復(fù)運(yùn)動（例如旋轉(zhuǎn)的風(fēng)扇葉片）中制作視頻，但真正動態(tài)的事件需要二維傳感器。

下一步，該團(tuán)隊計劃致力于改進(jìn)他們的技術(shù)。Lindell 指出，重建信號仍然相當(dāng)耗時，而且計算效率低下。因此，他們正在致力于實(shí)時捕捉所有時間尺度上的事件。

“我認(rèn)為，當(dāng)我們將這臺相機(jī)對準(zhǔn)實(shí)驗(yàn)室周圍甚至室外時，會產(chǎn)生意想不到的結(jié)果，”Lindell 說。“我很高興看到我們的發(fā)現(xiàn)。這將會是一種捕捉世界的新方式?！?/p>