想象一下這樣的場(chǎng)景，對(duì)動(dòng)物大聲喊叫，然后就能從回音中分辨出它是狗還是馬。也許你會(huì)以為這樣的事情離我們很遙遠(yuǎn)，但是一個(gè)科學(xué)團(tuán)隊(duì)已經(jīng)完成了這種攝影效果。

近期發(fā)表在 Optica 期刊上的一篇新論文中，英國(guó)、意大利和荷蘭的研究人員描述了一種全新的制作動(dòng)畫(huà) 3D 圖像的方法：通過(guò)捕捉光子的時(shí)間信息，而不是其空間坐標(biāo)。

研究人員通過(guò)調(diào)整光線(xiàn)反射到一個(gè)探測(cè)器上的時(shí)間，來(lái)提取出一個(gè)場(chǎng)景的三維圖像，這項(xiàng)被稱(chēng)為時(shí)間成像的新技術(shù)展示了一種機(jī)器學(xué)習(xí)的重要用途。

時(shí)間成像系統(tǒng)比普通成像具有一定的優(yōu)勢(shì)。例如，新系統(tǒng)取像會(huì)非常快，可能以每秒 1000 幀的速度工作；而且這種粗略而快速的 3D 成像可能具有多種應(yīng)用，如用作自動(dòng)駕駛汽車(chē)的攝像頭，以提高尋路的準(zhǔn)確性和應(yīng)急速度，以及用于移動(dòng)設(shè)備和健康監(jiān)視器發(fā)展 360° 感知能力；最重要的是，這種收集時(shí)間數(shù)據(jù)的單點(diǎn)探測(cè)器體積小、重量輕且價(jià)格便宜。

單像素成像

照片和視頻通常是通過(guò)使用數(shù)字傳感器捕獲光子（光的組成部分）來(lái)制作的，即環(huán)境光會(huì)反射物體，鏡頭將它聚焦在由微小的光敏元件或像素組成的屏幕上。圖像是由反射光產(chǎn)生的亮斑和暗斑形成的圖案。

以最普通的數(shù)碼相機(jī)為例，它由數(shù)百像素組成，這些像素通過(guò)檢測(cè)光在每個(gè)空間點(diǎn)的強(qiáng)度和顏色來(lái)形成圖像。

同時(shí)，可以通過(guò)在物體周?chē)胖萌舾蓚€(gè)攝像機(jī)，并從多個(gè)角度對(duì)物體進(jìn)行拍攝，或者利用光子流掃描物體，并在三維中重建它來(lái)生成 3D 圖像。但無(wú)論使用何種方式，圖像都是通過(guò)收集場(chǎng)景的空間信息來(lái)構(gòu)建的。

近幾十年來(lái)，研究人員發(fā)明了一種更巧妙的方法，僅利用單個(gè)像素探測(cè)器即可捕捉到圖像。為了做到這一點(diǎn)，他們不是把物體暴露在均勻的光照下，而是暴露在不同的光照模式下，這些閃光類(lèi)似于包裝上的方形條形碼。

每個(gè)圖案都會(huì)反射出物體的不同部分，因此像素測(cè)量的光強(qiáng)度會(huì)隨圖案的變化而變化。通過(guò)跟蹤這些變化，研究人員可以重建物體的圖像。

人工智能驅(qū)動(dòng)的新型相機(jī)

現(xiàn)如今，格拉斯哥大學(xué)的數(shù)據(jù)科學(xué)家 Alex Turpin 和物理學(xué)家 Daniele Faccio 及他們的同事，發(fā)明了一種方法來(lái)生成具有單個(gè)像素但是沒(méi)有圖案化閃光的 3D 圖像。他們利用閃電般快速的單光子探測(cè)器，以均勻的閃光照亮了一個(gè)場(chǎng)景，并簡(jiǎn)單地測(cè)量了反射時(shí)間。

探測(cè)器的精度為四分之一納秒，可以計(jì)算出到達(dá)的光子數(shù)量與時(shí)間的函數(shù)關(guān)系，研究人員僅憑這些信息即可重建場(chǎng)

這是一種新奇的方法，因?yàn)樵瓌t上場(chǎng)景中物體的排列和時(shí)間信息之間沒(méi)有一一對(duì)應(yīng)的關(guān)系。例如，從探測(cè)器 3 米遠(yuǎn)的任何表面反射的光子，無(wú)論朝向表面的任意方向，都將在 10 納秒內(nèi)到達(dá)。

而所謂的飛行時(shí)間相機(jī)可以增加深度，通過(guò)精確計(jì)算從物體反射到不同像素的閃光時(shí)間來(lái)制作 3D 圖像。

新型的 3D 成像設(shè)備從一個(gè)簡(jiǎn)單、廉價(jià)的單點(diǎn)檢測(cè)器開(kāi)始，這種探測(cè)器被調(diào)整為充當(dāng)光子的秒表。與測(cè)量顏色和強(qiáng)度空間分布的相機(jī)不同，探測(cè)器僅記錄由瞬間激光脈沖產(chǎn)生的光子從任意給定場(chǎng)景中的每個(gè)物體反彈并到達(dá)傳感器所需的時(shí)間。物體距離越遠(yuǎn)，每個(gè)反射光子到達(dá)傳感器所需的時(shí)間就越長(zhǎng)。

有關(guān)場(chǎng)景中反射的每個(gè)光子的時(shí)間信息（研究人員稱(chēng)為時(shí)間數(shù)據(jù)）都收集在一個(gè)非常簡(jiǎn)單的圖表中。

然后，借助復(fù)雜的神經(jīng)網(wǎng)絡(luò)算法將這些圖轉(zhuǎn)換為 3D 圖像。研究人員對(duì)算法進(jìn)行了訓(xùn)練，向它展示了團(tuán)隊(duì)在實(shí)驗(yàn)室中移動(dòng)和攜帶物體的數(shù)千張常規(guī)照片，以及同時(shí)由單點(diǎn)檢測(cè)器捕獲的時(shí)間數(shù)據(jù)。同時(shí)，他們還使用了一個(gè)非飛行時(shí)間的攝影機(jī)來(lái)拍攝場(chǎng)景的真實(shí) 3D 圖像。

最終，這種神經(jīng)網(wǎng)絡(luò)已經(jīng)足夠了解時(shí)間數(shù)據(jù)與照片的對(duì)應(yīng)關(guān)系，從而僅憑時(shí)間數(shù)據(jù)就可以創(chuàng)建高度準(zhǔn)確的圖像。它與飛行時(shí)間相機(jī)相比，時(shí)間圖像模糊且缺乏細(xì)節(jié)。然而，卻清楚地揭示了人們的形態(tài)。

新型成像系統(tǒng)或?qū)⒁l(fā)相機(jī)革命

加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家兼電氣工程師 Laura Waller 表示：“乍一看，這種模棱兩可的方法似乎使問(wèn)題無(wú)法解決。單像素成像，當(dāng)我第一次聽(tīng)到這個(gè)概念時(shí)，我想，這應(yīng)該行得通。但仔細(xì)一想，這應(yīng)該不起作用?！?/p>

格拉斯哥大學(xué)計(jì)算科學(xué)學(xué)院數(shù)據(jù)科學(xué)研究員 Alex Turpin 博士說(shuō)：“如果我們只考慮空間信息，而單點(diǎn)探測(cè)器沒(méi)有空間信息，所以單像素成像是不可能的。然而，這樣的探測(cè)器仍然可以提供有價(jià)值的時(shí)間信息。與傳統(tǒng)圖像制作不同的是，我們的方法能夠完全將光與過(guò)程分離?！?/p>

而且為了能實(shí)現(xiàn)這一目的，Alex Turpin及其同事采用了一種稱(chēng)為神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)程序，在使用數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)后，該程序能夠自行對(duì)場(chǎng)景中移動(dòng)的人進(jìn)行成像。

與傳統(tǒng)的攝像機(jī)不同的是，收集時(shí)間數(shù)據(jù)的單點(diǎn)探測(cè)器體積小、重量輕且價(jià)格便宜，這意味著它們可以輕松地添加到現(xiàn)有系統(tǒng)中，例如被用作自動(dòng)駕駛汽車(chē)的攝像頭，以提高尋路的準(zhǔn)確性和剎車(chē)反應(yīng)速度。

另外，它們可以增強(qiáng)移動(dòng)設(shè)備中現(xiàn)有的傳感器，例如 Google Pixel 4，該傳感器已經(jīng)具有基于雷達(dá)技術(shù)的簡(jiǎn)單手勢(shì)識(shí)別系統(tǒng)，甚至可以用下一代技術(shù)來(lái)監(jiān)視醫(yī)院患者胸腔的上升和下降，提醒著患者的呼吸變化或跟蹤運(yùn)動(dòng)，從而用符合數(shù)據(jù)安全的方式了來(lái)確保他們的安全。

Alex Turpin 博士補(bǔ)充說(shuō)：“我們對(duì)自己開(kāi)發(fā)的系統(tǒng)的潛力感到非常興奮，我們期待著繼續(xù)挖掘其潛力。我們的下一步目標(biāo)是開(kāi)發(fā)一個(gè)獨(dú)立的、便攜式的即裝即用系統(tǒng)，我們迫切希望開(kāi)始研究我們的選擇，并通過(guò)商業(yè)合作伙伴的幫助進(jìn)一步開(kāi)展研究。”