隨著數(shù)學(xué)優(yōu)化和計(jì)算硬件的迅猛發(fā)展，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks, DNN）（名詞解釋>）已然成為解決各領(lǐng)域中許多挑戰(zhàn)性問題的強(qiáng)大工具，包括決策、計(jì)算成像、全息技術(shù)等。

自1947年發(fā)展至今，全息（holography）（名詞解釋>）已成為一項(xiàng)重要而廣泛的技術(shù)，在光學(xué)工程的各個(gè)領(lǐng)域都有應(yīng)用，包括光學(xué)成像、顯微、計(jì)量、三維（3D）顯示等。全息意為包含光波的全部信息（名詞解釋>），在物理上分為兩個(gè)過程：波前的記錄與重建，這兩個(gè)過程都可以通過光學(xué)或數(shù)字的方法來實(shí)現(xiàn)。

目前，全息術(shù)和深度學(xué)習(xí)這兩個(gè)不同的領(lǐng)域已經(jīng)相互融合，形成了一個(gè)新興的跨學(xué)科領(lǐng)域——深度全息。 近期，來自中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所的司徒國(guó)海研究員以Deep holography為題在Light: Advanced Manufacturing發(fā)表一篇綜述文章，對(duì)深度全息的進(jìn)展進(jìn)行了全面的文獻(xiàn)回顧，論述了全息(holography)和深度神經(jīng)網(wǎng)絡(luò)(DNN)之間的相互促進(jìn)關(guān)系。

DNN 已被證明在全息重建和計(jì)算機(jī)生成全息（computer-generated Holography, CGH）中的各個(gè)方面幾乎都有應(yīng)用；

全息具有互連和光速并行處理的能力，是 DNN 光學(xué)實(shí)現(xiàn)，即光神經(jīng)網(wǎng)絡(luò)（optical neural networks, ONN）（名詞解釋>）的有力工具之一。

文中首先簡(jiǎn)要介紹了DNN的基本理論和架構(gòu)，然后討論了深度全息術(shù)的一些重要進(jìn)展與研究趨勢(shì)，最后對(duì)其未來前景進(jìn)行了展望。希望此篇綜述能夠促進(jìn)此領(lǐng)域的進(jìn)一步發(fā)展。

深度神經(jīng)網(wǎng)絡(luò)：簡(jiǎn)明介紹

DNN 的概念架構(gòu)如 圖1 所示，前饋神經(jīng)網(wǎng)絡(luò)，或稱多層感知器（MLP）有一個(gè)輸入層，一個(gè)輸出層，以及一個(gè)或多個(gè)隱藏層。每層可以有不同數(shù)量的神經(jīng)元，稱為感知器；而每個(gè)單元從上一層接收其輸入的加權(quán)和（除了第一層，其輸入是待 NN 處理的原圖）。前饋神經(jīng)網(wǎng)絡(luò)的目標(biāo)是優(yōu)化一個(gè) NN 模型以逼近一個(gè)連續(xù)函數(shù)，利用原始數(shù)據(jù)通過訓(xùn)練學(xué)習(xí)到網(wǎng)絡(luò)參數(shù)，即可實(shí)現(xiàn)從輸入空間 x 到輸出空間 y 的映射。

圖1. DNN的概念架構(gòu) 圖源：Light: Advanced Manufacturing 相比于傳統(tǒng)的基于物理學(xué)的全息技術(shù)，DNN 方法已被證明擁有獨(dú)特的優(yōu)勢(shì)。只要有足夠多的數(shù)據(jù)，DNN 就可以從較低層次特征組成的較高層次結(jié)構(gòu)中學(xué)習(xí)特征，但它不能明確表述系統(tǒng)的確切物理性，導(dǎo)致方法的泛化性和可解釋性受到很大的挑戰(zhàn)。

因此，我們非常希望能同時(shí)發(fā)揮 DNN 和物理模型的優(yōu)勢(shì)，開發(fā)出基于物理學(xué)信息的DNN（Physics-informed DNN）。

物理融合（physical fusion），或單次物理的 DNN 它直接將物理模型的解作為 DNN 模型輸入的（一部分）。

殘差物理（residual physics），或遞歸物理信息 DNN 將物理解決方法添加到 DNN 的輸出中，這樣 DNN 模型只需要學(xué)習(xí)基于模型的解決方法和真實(shí)情況之間的不匹配。

正則化物理（physical regularization），或級(jí)聯(lián)物理信息 DNN 利用一組物理約束條件中的正則化項(xiàng)來懲罰網(wǎng)絡(luò)解決方法。正則化項(xiàng)可以作為損失函數(shù)的一部分或通過物理重建過程。

嵌入物理（embeddedphysics）DNN

如 圖2 所示，其中心思想是將物理模型納入網(wǎng)絡(luò)優(yōu)化循環(huán)中。

圖2. 嵌入物理的DNN的典型架構(gòu) 圖源：Light: Advanced Manufacturing

網(wǎng)絡(luò)近似物理學(xué)

顧名思義，就是通過使用 DNN 來近似物理模型。

全息重建

全息圖可以看作是物光和參考光束的疊加。全息重建的直觀方法是基于衍射的物理模型，即波衍射過程的數(shù)值計(jì)算。離軸全息可以通過空間濾波解決，但空間濾波會(huì)帶來高頻成分的損失，這大大阻礙了重建的圖像質(zhì)量。而對(duì)于同軸全息，零階的去除相對(duì)簡(jiǎn)單，因此對(duì)同軸全息重建的研究大多是處理孿生項(xiàng)。 物理上，孿生圖像實(shí)際上是重建的物體圖像的失焦副本，它可以通過減去失焦圖像來消除。目前，應(yīng)用最廣泛的策略是調(diào)整光學(xué)系統(tǒng)的一些物理參數(shù)并獲得相應(yīng)的全息圖，以便建立一個(gè)小型的線性方程組，將所記錄的全息圖與調(diào)諧參數(shù)聯(lián)系起來，進(jìn)而求解得到物體波前。 數(shù)學(xué)上，孿生圖像偽影的產(chǎn)生是由于當(dāng)全息圖被記錄下來時(shí)，相位的缺失導(dǎo)致了這一現(xiàn)象。這表明，如果全息圖的缺失相位能夠得到解決，那么雙孿生圖像偽影就可以得到解決。

受DNN啟發(fā)的全息術(shù)

1）最直接的方法：“端到端” DNN

利用 ResNet 和 U-Net 開發(fā)出的 eHoloNet：接收原始的數(shù)字全息圖作為輸入，并產(chǎn)生無偽影的相位物體波前；

Y型網(wǎng)絡(luò)架構(gòu)：從單個(gè)數(shù)字全息圖中同時(shí)重建強(qiáng)度和相位；

也可通過生成對(duì)抗網(wǎng)絡(luò)（GAN）實(shí)現(xiàn)，訓(xùn)練數(shù)據(jù)不需要配對(duì)。

2）物理融合，或單次物理的 DNN

利用傳統(tǒng)的數(shù)值自由空間傳播回目標(biāo)平面，再將重建波前的振幅和相位分別發(fā)送到DNN中，通過訓(xùn)練去除所有這些偽影。

3）物理嵌入的 DNN

如 圖3 所示，將物理成像模型納入傳統(tǒng) DNN，該策略有兩個(gè)明顯優(yōu)勢(shì)：首先，它不需要任何數(shù)據(jù)來進(jìn)行預(yù)訓(xùn)練；其次，重建后的圖像滿足由物理模型所施加的約束，它是可解釋的。 PhysenNet 中的 DNN 模型可以由其他神經(jīng)網(wǎng)絡(luò)取代，這取決于手頭的任務(wù)。例如，已有研究人員成功將相位成像模型納入 GAN 網(wǎng)絡(luò)。

圖3. 納入物理模型的DNN示意圖：相位成像 圖源：Light: Science & Applications, 9:77(2020). 此外，DNN 方法也可用于解決其他與全息有關(guān)的各種問題，例如相位解包裹、自動(dòng)對(duì)焦、相位畸變補(bǔ)償、散斑抑制、計(jì)算機(jī)生成全息（CGH）。

受全息技術(shù)啟發(fā)的DNN

全息技術(shù)是實(shí)現(xiàn)光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN）的重要途徑之一。 早期的研究包括全連接神經(jīng)網(wǎng)絡(luò)的光學(xué)實(shí)現(xiàn)和 Hopfield 模型，它是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的基礎(chǔ)。全息神經(jīng)網(wǎng)絡(luò)不是像數(shù)字神經(jīng)網(wǎng)絡(luò)那樣使用邏輯神經(jīng)元，它依靠的是全息圖本身所具有的互連。在完全連接的全息神經(jīng)網(wǎng)絡(luò)中，權(quán)重被存儲(chǔ)在全息圖的像素（神經(jīng)元）中。一層（全息圖）中的每個(gè)神經(jīng)元對(duì)從上游層照射到它身上的光進(jìn)行簡(jiǎn)單的調(diào)制，然后照亮下游的層。全息神經(jīng)網(wǎng)絡(luò)可以通過光折光晶體實(shí)現(xiàn)，它本身就是個(gè)三維設(shè)備，有可能存儲(chǔ)數(shù)十億的權(quán)重?cái)?shù)據(jù)。因此，它在原則上有希望解決大規(guī)模的逆向問題。

圖4. 衍射深度神經(jīng)網(wǎng)絡(luò)示意圖 （A）D2NN 包含多個(gè)透射（或反射）層，其中，層上的每個(gè)點(diǎn)都充當(dāng)神經(jīng)元，具有復(fù)值的透射（或反射）系數(shù)，每層的透射或反射系數(shù)可以使用深度學(xué)習(xí)來訓(xùn)練，從而在網(wǎng)絡(luò)的輸入和輸出平面之間執(zhí)行一個(gè)功能。在學(xué)習(xí)階段之后，D2NN 的設(shè)計(jì)是固定的；一旦它被制造或 3D 打印出來，它就能以光速執(zhí)行所學(xué)的功能。不同類型的衍射深度神經(jīng)網(wǎng)絡(luò)：（B）分類和（C）成像。 圖源：Science,361(2018) 全息神經(jīng)網(wǎng)絡(luò)的現(xiàn)代實(shí)現(xiàn)方式利用了衍射的優(yōu)勢(shì)，并因此被命名為衍射深度神經(jīng)網(wǎng)絡(luò)（D2NN），如 圖4 所示。在硬件實(shí)現(xiàn)中，D2NN 中的全息圖實(shí)際上是衍射光學(xué)元件（DOE），它可以通過 3D 打印、納米技術(shù)、或電動(dòng)可尋址數(shù)字微鏡設(shè)備（DMD）得到。與許多其他的光學(xué)神經(jīng)網(wǎng)絡(luò)一樣，最初的 D2NN 是離線訓(xùn)練的。為了實(shí)施更好的訓(xùn)練策略，研究人員已經(jīng)做出了許多努力，例如通過從歐氏空間到黎曼空間的梯度轉(zhuǎn)換來更新單元權(quán)重的反向傳播技術(shù)、實(shí)現(xiàn)光學(xué)分組的方法等。人們還研究了 D2NN 在邏輯運(yùn)算、光學(xué)信息處理、全息重建、脈沖整形、光譜編碼的單像素機(jī)器視覺等方面的應(yīng)用。

總結(jié)與展望

全息與神經(jīng)計(jì)算之間的相互融合大大推動(dòng)了彼此的發(fā)展，也給我們提供了可以探索的奇妙領(lǐng)域。

對(duì)于受 DNN 啟發(fā)的全息術(shù)來說，文中討論了納入物理信息的五種不同方式，并展示了它們?cè)诮鉀Q與全息有關(guān)的各種問題的應(yīng)用。

除了嘗試不同的 DNN 架構(gòu)，一個(gè)重要的趨勢(shì)是將物理模型納入 DNN 模型。這個(gè)想法已經(jīng)得到了不同領(lǐng)域的研究人員的密切關(guān)注。

嵌入物理模型的 PhysenNet 優(yōu)勢(shì)明顯，但其優(yōu)化速度較慢，對(duì)輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)和更有效的訓(xùn)練算法提出了要求。

綜合利用物理先驗(yàn)和傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法的優(yōu)勢(shì)，使得訓(xùn)練可以更有效，提高泛化性，增加可解釋性。

對(duì)于全息技術(shù)啟發(fā)的 DNN，大多數(shù)研究迄今發(fā)表的大部分研究都集中在光學(xué)推理方面。全息神經(jīng)網(wǎng)絡(luò)的光速并行處理能力確實(shí)保證了強(qiáng)大的推理能力，甚至超過了 Nvidia 的頂級(jí)產(chǎn)品 Tesla V100 張量核心 GPU 在某些任務(wù)中的表現(xiàn)。

為了讓光學(xué)的優(yōu)勢(shì)可以得到充分發(fā)揮，需要以光學(xué)方式對(duì)網(wǎng)絡(luò)進(jìn)行在線訓(xùn)練，有許多可能性來有效實(shí)現(xiàn) DNN 中的大多數(shù)基本功能。

依靠新型光學(xué)材料和設(shè)備的發(fā)展，可以在亞波長(zhǎng)尺度對(duì)波進(jìn)行高速調(diào)制，提高D2NN 的性能。

神經(jīng)計(jì)算的快速發(fā)展，為我們提供了更多強(qiáng)大的算法，比如尖峰神經(jīng)突觸網(wǎng)網(wǎng)絡(luò)(SNN)，可以模擬大腦的行為和學(xué)習(xí)潛力。這些新算法在全息技術(shù)中的適用性和潛力以待挖掘。

原文標(biāo)題：深度全息：全息與深度神經(jīng)網(wǎng)絡(luò)的相遇

文章出處：【微信公眾號(hào)：中科院半導(dǎo)體所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅