研究人員利用深度學習技術提高了直接集成在 CMOS 成像芯片上的超透鏡相機(左)的圖像質量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。

研究人員利用深度學習技術提高了超透鏡相機的圖像質量。這種新方法利用人工智能將低質量圖像轉化為高質量圖像，從而使這些相機可以用于多種成像任務，包括復雜的顯微鏡應用和移動設備。

超透鏡是一種超薄光學器件，通常只有幾毫米厚--利用納米結構來操縱光線。雖然它們的小尺寸有可能使相機變得非常緊湊和輕便，而無需傳統(tǒng)的光學鏡片，但使用這些光學元件一直很難達到必要的圖像質量。

來自中國東南大學的研究團隊負責人Ji Chen說：“我們的技術使我們基于超透鏡的設備能夠克服圖像質量的限制。這一進步將在未來高便攜性消費成像電子產(chǎn)品的發(fā)展中發(fā)揮重要作用，也可用于顯微鏡等專業(yè)成像應用?！?/p>

在《光學快報》(Optics Letters)雜志上，研究人員介紹了他們如何使用一種被稱為多尺度卷積神經(jīng)網(wǎng)絡的機器學習，來改善小型相機(約 3 厘米×3 厘米×0.5 厘米)圖像的分辨率、對比度和失真度。

Chen說："超透鏡集成相機可以直接集成到智能手機的成像模塊中，取代傳統(tǒng)的折射體透鏡。"它們還可用于無人機等設備，體積小、重量輕的攝像頭既能保證成像質量，又不會影響無人機的機動性。"

提高圖像質量

新工作中使用的相機是研究人員之前開發(fā)的，它使用了一種帶有1000納米高的圓柱形氮化硅納米柱的超透鏡(metalens)。超透鏡可將光線直接聚焦到 CMOS 成像傳感器上，而無需其他光學元件。

雖然這種設計創(chuàng)造出了一個非常小的攝像頭，但緊湊的結構卻限制了圖像質量。因此，研究人員決定看看能否利用機器學習來改善圖像。

深度學習是機器學習的一種，它使用多層人工神經(jīng)網(wǎng)絡自動學習數(shù)據(jù)特征，并做出復雜的決策或預測。研究人員采用這種方法，使用卷積成像模型生成大量高質量和低質量的圖像對。這些圖像對被用來訓練多尺度卷積神經(jīng)網(wǎng)絡，使其能夠識別每種類型圖像的特征，并利用這些特征將低質量圖像轉化為高質量圖像。

Chen說：“這項工作的一個關鍵部分是開發(fā)一種方法，生成神經(jīng)網(wǎng)絡學習過程所需的大量訓練數(shù)據(jù)。一旦訓練完成，低質量圖像就可以從設備發(fā)送到神經(jīng)網(wǎng)絡進行處理，并立即獲得高質量的成像結果。”

圖片顯示了四幅測試圖像的地面實況、低質量圖像和神經(jīng)網(wǎng)絡輸出結果的對比。第一行代表模擬結果，第二行代表實驗結果。藍色、紅色和黃色方框表示圖像中的細節(jié)特寫。

應用神經(jīng)網(wǎng)絡

為了驗證新的深度學習技術，研究人員將其用于 100 張測試圖像。他們分析了兩個常用的圖像處理指標：峰值信噪比和結構相似性指數(shù)。

他們發(fā)現(xiàn)，經(jīng)過神經(jīng)網(wǎng)絡處理的圖像在這兩個指標上都有顯著改善。他們還表明，這種方法可以快速生成高質量的成像數(shù)據(jù)，這些數(shù)據(jù)與通過實驗直接捕捉到的數(shù)據(jù)非常相似。

研究人員目前正在設計具有復雜功能的超透鏡，如彩色或廣角成像，并開發(fā)神經(jīng)網(wǎng)絡方法來提高這些先進超透鏡的成像質量。要使這項技術實用于商業(yè)應用，需要采用新的組裝技術，將超透鏡集成到智能手機成像模塊中，還需要專門為手機設計的圖像質量增強軟件。

Chen說：“超輕超薄的超透鏡是未來成像和檢測的革命性技術。利用深度學習技術優(yōu)化超透鏡性能標志著一個關鍵的發(fā)展軌跡。我們預見機器學習是推動光子學研究的重要趨勢。”

審核編輯 黃宇