相比于電子計算，光計算具有高速、高帶寬、低功耗的優(yōu)勢，但目前光計算還不夠成熟，只在某些特定領(lǐng)域得到了非常有限的應(yīng)用。近日，Nature 上一篇 Perspective 文章剖析了深度光學(xué)和深度光子學(xué)的人工智能推理應(yīng)用，展示了該領(lǐng)域（尤其是光 - 電混合系統(tǒng)）的發(fā)展?jié)摿Α?/p>

為了高速且低功耗地執(zhí)行各種應(yīng)用中的人工智能任務(wù)，我們需要加速器。光計算系統(tǒng)也許能夠滿足這些領(lǐng)域特定的需求，但即便已經(jīng)歷半個世紀(jì)的研究，通用型光計算系統(tǒng)仍還未發(fā)展成一項成熟的實用技術(shù)。但是，人工智能推理（尤其是用于視覺計算應(yīng)用的推理）也許能為基于光學(xué)和光子學(xué)系統(tǒng)的推理提供機(jī)會。

本文將回顧用于人工智能的光學(xué)計算的近期研究成果并探討其潛力和挑戰(zhàn)。

計算系統(tǒng)的能力正與它們試圖理解的飛速增長的視覺數(shù)據(jù)進(jìn)行軍備競賽。在自動駕駛、機(jī)器人視覺、智能家居、遙感、顯微技術(shù)、監(jiān)控、國防和物聯(lián)網(wǎng)等多種應(yīng)用中，計算成像系統(tǒng)都會記錄和處理前所未有的巨量數(shù)據(jù)。對這些數(shù)據(jù)的解讀不可能由人類完成，而是要使用基于人工智能（AI）構(gòu)建的算法。

在這些應(yīng)用之中，深度神經(jīng)網(wǎng)絡(luò)（DNN）正快速發(fā)展成為視覺數(shù)據(jù)處理的標(biāo)準(zhǔn)算法方法。這主要是因為 DNN 在許多基準(zhǔn)上都取得了當(dāng)前最佳的結(jié)果，而且往往超出其它方法一大截。深度學(xué)習(xí)近來的這些突破性進(jìn)展主要得益于現(xiàn)代圖形處理單元（GPU）的強大處理能力和并行計算能力以及大規(guī)模視覺數(shù)據(jù)集的可用性，這些進(jìn)展讓 DNN 可以高效地使用監(jiān)督式機(jī)器學(xué)習(xí)策略執(zhí)行訓(xùn)練。

但是，高端 GPU 和其它運行日趨復(fù)雜的神經(jīng)網(wǎng)絡(luò)的加速器的功耗和帶寬需求非常高，它們需要大量處理時間而且具有尺寸龐大的外形。這些限制讓人難以在邊緣設(shè)備中使用 DNN，比如相機(jī)、自動化載具、機(jī)器人或物聯(lián)網(wǎng)外圍設(shè)備。以自動汽車中的視覺系統(tǒng)為例，其必須要能使用有限的計算資源實時地做出穩(wěn)定可靠的決策。當(dāng)汽車在高速行駛時，瞬間的決策關(guān)乎人的生死。事實上，如果計算成像系統(tǒng)能做到更精簡，那么幾乎所有邊緣設(shè)備都能從中受益，這能帶來更低的延遲以及尺寸、重量和功耗方面的改進(jìn)。

DNN 一般都包含訓(xùn)練和推理兩個階段，這兩個階段的計算需求差異很大。在訓(xùn)練階段，會向 DNN 輸入大量有標(biāo)注的樣本，然后針對某個特定任務(wù)，使用迭代方法優(yōu)化該 DNN 的參數(shù)。訓(xùn)練完成后，可使用該 DNN 來執(zhí)行推理：以前向通過的方式向該網(wǎng)絡(luò)輸入一個數(shù)據(jù)（比如一張圖像），經(jīng)過該網(wǎng)絡(luò)處理后計算得到所需結(jié)果。雖然某些應(yīng)用也會使用 GPU 來執(zhí)行推理，但對許多邊緣設(shè)備而言，由于前述原因，使用 GPU 并不現(xiàn)實。

盡管電子 AI 加速器很靈活，但光神經(jīng)網(wǎng)絡(luò)（ONN）和光子回路可能為該應(yīng)用與其它機(jī)器學(xué)習(xí)應(yīng)用帶來一次范式轉(zhuǎn)換。光計算系統(tǒng)有望實現(xiàn)大規(guī)模的并行計算，同時設(shè)備尺寸還更小，而且在某些實現(xiàn)中的功耗非常低。事實上，在計算系統(tǒng)中使用光來實現(xiàn)通信的光互連（optical interconnect）技術(shù)已經(jīng)在現(xiàn)如今的數(shù)據(jù)中心中得到了廣泛應(yīng)用，而且在計算系統(tǒng)更深處越來越多地使用光互連可能是持續(xù)擴(kuò)展的關(guān)鍵。

不同于電互連技術(shù)，隨著光學(xué)、光電和電子設(shè)備的更深度整合，光互連有望為通信的帶寬密度和單位比特的能量消耗帶來幾個數(shù)量級的提升和改善。這種改進(jìn)過的互連技術(shù)能實現(xiàn)電 - 光混合 DNN，而且這種低功耗、高并行的集成技術(shù)還可用作模擬光處理器的部件。

盡管光計算機(jī)潛力巨大而且也已歷經(jīng)約半個世紀(jì)的研究，但通用型光計算仍還不是一項成熟的實用技術(shù)。但是，推理任務(wù)（尤其是用于視覺計算應(yīng)用的推理任務(wù)）已可使用全光學(xué)或光 - 電混合系統(tǒng)來很好地實現(xiàn)。舉個例子，線性光學(xué)元件可以近乎「免費」地計算卷積、傅立葉變換、隨機(jī)投影和許多其它運算，因為這些運算可作為光與物質(zhì)交互或光傳播的副產(chǎn)物。這些運算是 DNN 架構(gòu)的基本構(gòu)建模塊，驅(qū)動著大多數(shù)現(xiàn)代視覺計算算法。我們有望以光速執(zhí)行這些運算，同時功耗需求很低乃至沒有。本文認(rèn)為這具有變革性的潛力。

回顧光計算的歷史

下圖 1 展示了人工智能及相關(guān)光學(xué)和光子學(xué)實現(xiàn)的時間軸。其中展示了一些經(jīng)過挑選的里程碑和論文，并重點關(guān)注了近期進(jìn)展。

以具體年份計則如下所示：

1949 年，Donald O. Hebb 發(fā)表《行為的組織（The Organization of Behavior）》一書

1957 年，F(xiàn)rank Rosenblatt 提出感知器

1960 年，Widrow & Hoff 提出自適應(yīng)開關(guān)電路

1964 年，Lugt 提出光學(xué)相關(guān)性（Optical correlation）

1982 年，John Hopfield 提出 Hopfield 網(wǎng)絡(luò)；Kohonen 提出自組織特征圖

1984 年，Goodman et al. 發(fā)表論文《用于超大規(guī)模集成電路系統(tǒng)的光互連（Optical interconnections for VLSI systems）》

1985 年，F(xiàn)arhat et al. 發(fā)表論文《Hopfield 模型的光學(xué)實現(xiàn)（Optical implementation of the Hopfield model）》

1986 年，Rumelhart et al. 提出使用反向傳播的多層感知器

2006 年，Hinton & Salakhutdinov 提出深度自編碼器

2012 年，Krizhevksy et al. 提出深度 CNN

2017 年，Shen et al. 提出使用納米光子電路的深度學(xué)習(xí)；Tait et al. 提出神經(jīng)形態(tài)光子網(wǎng)絡(luò)

2018 年，Chang et al. 提出光 CNN；Lin et al. 提出全光衍射神經(jīng)網(wǎng)絡(luò)

2019 年，F(xiàn)eldman et al. 提出高帶寬光子神經(jīng)突觸網(wǎng)絡(luò)

用于人工智能的光子回路

現(xiàn)代 DNN 架構(gòu)是級聯(lián)的線性層后面跟著非線性激活函數(shù)，而且這會重復(fù)很多次。最一般形式的線性層是全連接層。在這種情況下，每個輸出神經(jīng)元都是所有輸入神經(jīng)元的加權(quán)和。從數(shù)學(xué)上看，這可以表示成一種矩陣 - 向量乘法，從而可以有效地使用光學(xué)技術(shù)實現(xiàn)。也就是說我們可以使用光子回路來執(zhí)行人工智能的相關(guān)計算。不過相關(guān)技術(shù)還面臨著可編程性等有待解決的問題。

使用自由空間、透鏡和復(fù)雜介質(zhì)進(jìn)行計算

還有一種可替代光子回路的選擇：在自由空間或某種介質(zhì)中傳播的光場上直接構(gòu)建計算能力。（見下圖 2）從數(shù)學(xué)上講，在自由空間中傳播的波可用基爾霍夫衍射積分（Kirchhoff’s diffraction integral）來描述，這相當(dāng)于讓該場與一個固定的核（kernel）執(zhí)行卷積。該運算又是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的一大基本構(gòu)建模塊，而 CNN 又是最常用的視覺計算框架。

圖 2：光波傳播概況。如圖所示，上面一行展示了波在自由空間和不同介質(zhì)中的傳播，下面一行是相應(yīng)的線性矩陣運算。其中 a 是波穿過自由空間的情況，其在數(shù)學(xué)上被描述成波場與一個復(fù)值核的卷積。b-g 則使用了不同的介質(zhì)，它們也因此有各自不同的矩陣。

使用深度計算光學(xué)和成像來執(zhí)行推理

計算成像領(lǐng)域研究的是光學(xué)和圖像處理的聯(lián)合設(shè)計，這可用于增強計算式相機(jī)（computational camera）能力等應(yīng)用。將相機(jī)解釋成編碼器 - 解碼器系統(tǒng)會很有幫助。因此，我們可以從整體角度將相機(jī)設(shè)計問題看作是光學(xué)和成像處理的端到端優(yōu)化問題。因此可以針對經(jīng)由損失函數(shù)和訓(xùn)練數(shù)據(jù)集定義的特定任務(wù)對物理透鏡和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化。（見下圖 3）

圖 3：光學(xué)編碼器 - 電子解碼器系統(tǒng)示意圖。其中傳感器充當(dāng)瓶頸，在角度、波長譜、曝光時間、相位和其它入射光指標(biāo)上進(jìn)行積分。自由曲面透鏡或定制傳感器電子設(shè)備能以離線方式針對特定任務(wù)進(jìn)行優(yōu)化，然后經(jīng)過生產(chǎn)加工后用于從光學(xué)和電子方面記錄圖像編碼。然后可以使用神經(jīng)網(wǎng)絡(luò)或其它可微分的圖像處理算法來從觀測結(jié)果提取所需的信息。這些編碼器和解碼器一起可共同組成一個混合式的光 - 電神經(jīng)網(wǎng)絡(luò)。

我們也可以將光學(xué)操作的原理解讀為一種形式的計算，即與處理數(shù)據(jù)記錄的電子平臺一起工作的預(yù)處理器或協(xié)處理器?；谶@一解讀，我們可以讓光學(xué)組件做盡可能多的工作，進(jìn)而優(yōu)化計算成像系統(tǒng)的延遲和功耗需求。

顯微鏡應(yīng)用

光學(xué)顯微鏡也是深度學(xué)習(xí)方法已經(jīng)取得重大影響的一個領(lǐng)域，其涵蓋多種模態(tài)，包括相干成像以及明視野顯微鏡和熒光顯微鏡。解決顯微圖像重建和增強的反向問題已經(jīng)是一項持續(xù)數(shù)十年的熱門研究課題，之前方法的一大關(guān)鍵是建立成像系統(tǒng)的前向模型?；谏疃葘W(xué)習(xí)的數(shù)據(jù)驅(qū)動方法是解決光學(xué)顯微鏡反向問題的另一條途徑。

圖 4：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 光學(xué)圖像分類；b. 混合光電圖像分類；c. 使用偽隨機(jī)投影的圖像分類；d. 虛擬染色；e. 虛擬重新聚焦。

圖 5：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 單像素相機(jī)；b. 用于視頻超分辨率的神經(jīng)傳感器；c. 納米光子回路；d. 光子集成電路；e. 光學(xué)干涉儀；f. 逆向設(shè)計的非均勻介質(zhì)。

展望未來

文章認(rèn)為，混合光 - 電計算系統(tǒng)是這一領(lǐng)域最有發(fā)展前景的方向。混合系統(tǒng)既具備光計算的帶寬和速度優(yōu)勢，又具備電計算的靈活性，而且還能利用模擬和數(shù)字光學(xué) / 光電 / 電子系統(tǒng)的高能效技術(shù)基礎(chǔ)。混合光 - 電推理機(jī)器能將 AI 推理用于計算機(jī)視覺、機(jī)器人學(xué)、顯微和其它視覺計算任務(wù)，進(jìn)而實現(xiàn)光學(xué)計算機(jī)早該具有的變革性能力。

責(zé)任編輯：PSY