近日，由格拉斯哥大學(xué)計(jì)算科學(xué)學(xué)院數(shù)據(jù)科學(xué)研究員Alex Turpin博士帶領(lǐng)的研究團(tuán)隊(duì)研究團(tuán)隊(duì)開(kāi)發(fā)了一種嶄新的3D成像方法：通過(guò)捕獲有關(guān)光子的時(shí)間信息而不是其空間坐標(biāo)來(lái)成像。

這種方法通過(guò)利用AI將時(shí)間轉(zhuǎn)換成三維空間的視覺(jué)，可以幫助汽車(chē)、移動(dòng)設(shè)備和健康監(jiān)護(hù)儀器等提高360度的認(rèn)知能力。

此項(xiàng)研究「Spatial images from temporal data」目前已在Optica雜志上發(fā)表。

通過(guò)光子的時(shí)間信息生成3D圖像，成像速度快

在我們生活中，照片和視頻通常是通過(guò)使用數(shù)字傳感器捕獲光子（光的構(gòu)建基塊）來(lái)制作的。比如，數(shù)碼相機(jī)由數(shù)百萬(wàn)個(gè)像素組成，這些像素通過(guò)檢測(cè)空間每個(gè)點(diǎn)的光的強(qiáng)度和顏色來(lái)形成圖像。

然后，通過(guò)在拍攝對(duì)象周?chē)胖脙蓚€(gè)或更多攝像機(jī)可以從多個(gè)角度對(duì)其進(jìn)行拍攝，或者通過(guò)使用光流掃描場(chǎng)景并將其重構(gòu)三維來(lái)生成3D圖像。

無(wú)論哪種方式，我們拍攝的照片和視頻僅通過(guò)收集場(chǎng)景的空間信息來(lái)構(gòu)建圖像。

而研究人員此次是通過(guò)有關(guān)光子的時(shí)間信息來(lái)生成3D圖像，他們是如何做到的呢？

他們的實(shí)驗(yàn)過(guò)程是使用了一個(gè)簡(jiǎn)單且廉價(jià)的單像素檢測(cè)器，該檢測(cè)器經(jīng)過(guò)調(diào)整可充當(dāng)光子的秒表。

這個(gè)檢測(cè)器僅記錄由瞬間激光脈沖產(chǎn)生的光子從任意給定場(chǎng)景中的每個(gè)物體反彈并到達(dá)傳感器所需的時(shí)間。物體距離越遠(yuǎn)，每個(gè)反射光子到達(dá)傳感器所花費(fèi)的時(shí)間就越長(zhǎng)。

有關(guān)場(chǎng)景中反射的每個(gè)光子的時(shí)間信息，研究人員稱為時(shí)間數(shù)據(jù)，收集在一個(gè)非常簡(jiǎn)單的圖形中。

然后，借助復(fù)雜的神經(jīng)網(wǎng)絡(luò)算法將這些圖轉(zhuǎn)換為3D圖像。研究人員通過(guò)向團(tuán)隊(duì)展示數(shù)千張團(tuán)隊(duì)人員在實(shí)驗(yàn)室中移動(dòng)和攜帶物體的常規(guī)照片，以及同時(shí)由單像素檢測(cè)器捕獲的時(shí)間數(shù)據(jù)來(lái)訓(xùn)練算法。

最終，網(wǎng)絡(luò)已經(jīng)足夠了解時(shí)間數(shù)據(jù)與照片的對(duì)應(yīng)關(guān)系，從而僅憑時(shí)間數(shù)據(jù)就可以創(chuàng)建高度準(zhǔn)確的圖像。

在驗(yàn)證原理的實(shí)驗(yàn)中，盡管使用的硬件和算法有可能每秒產(chǎn)生數(shù)千張圖像，但研究人員設(shè)法從時(shí)間數(shù)據(jù)中以約10幀/秒的速度構(gòu)造了運(yùn)動(dòng)圖像。

Turpin 博士表示，我們手機(jī)中的相機(jī)通過(guò)使用數(shù)百萬(wàn)個(gè)像素來(lái)形成圖像。如果僅考慮空間信息，則僅憑單個(gè)像素創(chuàng)建圖像是不可能的，因?yàn)閱蜗袼貦z測(cè)器沒(méi)有任何信息。但是，這樣的檢測(cè)器仍然可以提供有關(guān)時(shí)間的有價(jià)值的信息。我們?cè)O(shè)法做的是找到一種新方法，可以將一維數(shù)據(jù)，即簡(jiǎn)單的時(shí)間測(cè)量，轉(zhuǎn)換成運(yùn)動(dòng)圖像，該圖像代表任何給定場(chǎng)景中空間的三個(gè)維度。

與傳統(tǒng)圖像制作不同的最重要方式是，該團(tuán)隊(duì)的研究方法能夠?qū)⒐饩€與整個(gè)過(guò)程完全解耦。

Turpin 說(shuō)道，「我們有信心該方法可以適用于能夠用短脈沖探測(cè)場(chǎng)景并精確測(cè)量回波的任何系統(tǒng)，以全新的方式使用時(shí)間而非光來(lái)可視化世界」。

當(dāng)前，神經(jīng)網(wǎng)絡(luò)創(chuàng)建圖像的能力僅限于經(jīng)過(guò)訓(xùn)練以從研究人員創(chuàng)建的場(chǎng)景的時(shí)態(tài)數(shù)據(jù)中挑選出來(lái)的能力。

但是，通過(guò)進(jìn)一步培訓(xùn)甚至使用更高級(jí)的算法，可以學(xué)習(xí)可視化各種場(chǎng)景，從而擴(kuò)大其在現(xiàn)實(shí)世界中的潛在應(yīng)用。

Turpin 補(bǔ)充說(shuō)，「收集時(shí)間數(shù)據(jù)的單像素檢測(cè)器體積小、重量輕、且價(jià)格便宜，這意味著它們可以輕松地添加到現(xiàn)有系統(tǒng)中，比如自動(dòng)駕駛汽車(chē)的攝像頭，以提高尋路的準(zhǔn)確性和速度。它們可以增強(qiáng)移動(dòng)設(shè)備中現(xiàn)有的傳感器，比如 Google Pixel 4，這些傳感器已經(jīng)具有基于雷達(dá)技術(shù)的簡(jiǎn)單手勢(shì)識(shí)別系統(tǒng)?！?/p>