華盛頓大學(xué)教授 Arka Majumdar 和他的學(xué)生與普林斯頓大學(xué)合作，構(gòu)建了一種專為計(jì)算機(jī)視覺設(shè)計(jì)的新型緊湊型相機(jī)。他們的原型(如上圖所示)使用光學(xué)器件進(jìn)行計(jì)算，顯著降低了功耗，并使相機(jī)能夠以光速識別物體。

協(xié)作可以是一件美妙的事情，尤其是當(dāng)人們共同努力創(chuàng)造出新事物時(shí)。以華盛頓大學(xué)(UW)電氣與計(jì)算機(jī)工程及物理學(xué)教授阿爾卡·馬宗達(dá)爾(Arka Majumdar)與普林斯頓大學(xué)計(jì)算機(jī)科學(xué)助理教授費(fèi)利克斯·海德(Felix Heide)之間的長期合作為例。

他們與學(xué)生們共同完成了一些令人矚目的研究，包括將相機(jī)縮小至鹽粒大小，同時(shí)仍能捕捉清晰、銳利的圖像。

如今，這對搭檔正在此基礎(chǔ)上繼續(xù)推進(jìn)，他們在《科學(xué)進(jìn)展》(Science Advances)期刊上發(fā)表了一篇論文，描述了一種為計(jì)算機(jī)視覺設(shè)計(jì)的新型緊湊型相機(jī)。計(jì)算機(jī)視覺是一種人工智能技術(shù)，使計(jì)算機(jī)能夠識別圖像和視頻中的物體。

Majumdar 和 Hide 的研究原型利用光學(xué)進(jìn)行計(jì)算，顯著降低了功耗，并使相機(jī)能夠以光速識別物體。他們的設(shè)備還代表了計(jì)算機(jī)視覺領(lǐng)域的一種新方法。

Majumdar說：“這是一種全新的光學(xué)思維方式，與傳統(tǒng)光學(xué)截然不同。這是一種端到端的設(shè)計(jì)，光學(xué)與計(jì)算模塊協(xié)同設(shè)計(jì)。在這里，我們用工程光學(xué)取代了相機(jī)鏡頭，這使得我們可以將大量計(jì)算任務(wù)轉(zhuǎn)移到光學(xué)中。”

該論文的主要研究者和資深作者Hide補(bǔ)充道：“這項(xiàng)研究有非常廣泛的應(yīng)用，從自動(dòng)駕駛汽車、自動(dòng)駕駛卡車和其他機(jī)器人到醫(yī)療設(shè)備和智能手機(jī)。如今，每一部iPhone都內(nèi)置了人工智能或視覺技術(shù)。這項(xiàng)工作仍處于非常早期的階段，但所有這些應(yīng)用未來都可能從我們的研究中受益。”

Hide和他在普林斯頓的學(xué)生們設(shè)計(jì)了相機(jī)原型，這是一種緊湊的光學(xué)計(jì)算芯片。Majumdar貢獻(xiàn)了他在光學(xué)領(lǐng)域的專業(yè)知識，幫助設(shè)計(jì)相機(jī)，他和他的學(xué)生在華盛頓納米加工實(shí)驗(yàn)室制造了芯片。

這項(xiàng)多機(jī)構(gòu)研究團(tuán)隊(duì)的華盛頓大學(xué)成員包括華盛頓大學(xué)電氣與計(jì)算機(jī)工程系(UW ECE)的博士后學(xué)者Johannes Froech和James Whitehead博士，他在研究期間是Majumdar實(shí)驗(yàn)室的博士生。

用工程光學(xué)元件取代相機(jī)鏡頭

與使用由玻璃或塑料制成的傳統(tǒng)相機(jī)鏡頭不同，這種相機(jī)的光學(xué)系統(tǒng)依賴于50層超透鏡(meta-lenses)——一種利用微觀納米結(jié)構(gòu)操控光線的扁平、輕質(zhì)光學(xué)元件。這些超透鏡還充當(dāng)光學(xué)神經(jīng)網(wǎng)絡(luò)，這是一種基于人腦建模的人工智能計(jì)算機(jī)系統(tǒng)。

這種獨(dú)特的方法有幾個(gè)關(guān)鍵優(yōu)勢。首先，它速度快。由于大部分計(jì)算以光速進(jìn)行，該系統(tǒng)識別和分類圖像的速度比使用傳統(tǒng)計(jì)算機(jī)硬件的神經(jīng)網(wǎng)絡(luò)快200倍以上，且精度相當(dāng)。其次，由于相機(jī)的光學(xué)系統(tǒng)依賴入射光而非電力運(yùn)行，功耗大大降低。

這款相機(jī)中的光學(xué)元件不是使用由玻璃或塑料制成的傳統(tǒng)相機(jī)鏡頭，而是依賴于 50 個(gè)超透鏡層——扁平、輕便的光學(xué)元件，使用微觀納米結(jié)構(gòu)來縱光線。這些超透鏡安裝在一個(gè)緊湊的光學(xué)計(jì)算芯片(如上圖所示)中，該芯片由 Majumdar 和他的學(xué)生在華盛頓納米制造實(shí)驗(yàn)室制造。

Heide說：“我們的想法是利用阿爾卡在超表面(metasurfaces)方面的開創(chuàng)性工作，將傳統(tǒng)上由電子完成的部分計(jì)算轉(zhuǎn)移到光學(xué)中以光速進(jìn)行。通過這種方式，我們開發(fā)了一種新的計(jì)算機(jī)視覺系統(tǒng)，能夠以光學(xué)方式完成大量計(jì)算。”

Majumdar和Heide表示，他們打算繼續(xù)合作。這項(xiàng)研究的下一步包括進(jìn)一步迭代，改進(jìn)原型，使其更適用于自動(dòng)駕駛車輛的自主導(dǎo)航。

這是他們共同認(rèn)為有前景的應(yīng)用領(lǐng)域。他們還計(jì)劃處理更復(fù)雜的數(shù)據(jù)集和需要更大計(jì)算能力解決的問題，例如目標(biāo)檢測(在圖像中定位特定物體)，這是計(jì)算機(jī)視覺的重要功能。

Majumdar說：“目前，這種光學(xué)計(jì)算系統(tǒng)是一個(gè)研究原型，適用于特定應(yīng)用。然而，我們預(yù)計(jì)它最終將廣泛應(yīng)用于許多技術(shù)領(lǐng)域。當(dāng)然，這還有待觀察，但在這里，我們展示了第一步。與所有其他現(xiàn)有的神經(jīng)網(wǎng)絡(luò)光學(xué)實(shí)現(xiàn)相比，這是一個(gè)巨大的進(jìn)步。”

審核編輯 黃宇