UCLA研究人員利用3D打印打造“全光學(xué)深度衍射神經(jīng)網(wǎng)絡(luò)”，利用光的衍射路徑識(shí)別目標(biāo)，可實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)識(shí)別和分類(lèi)任務(wù)，而且準(zhǔn)確率相當(dāng)高，網(wǎng)絡(luò)構(gòu)建成本不足50美元。

如果說(shuō)GPU養(yǎng)大了深度學(xué)習(xí)，那么如今深度學(xué)習(xí)的胃口早已經(jīng)超越了GPU。

當(dāng)然，GPU在不斷發(fā)展，也出現(xiàn)了TPU、IPU、MLU來(lái)滿足這頭巨獸。

深度學(xué)習(xí)對(duì)算力的需求沒(méi)有止境，但受制于能耗和物理極限，基于硅基的電子元件雖然現(xiàn)在還能支撐，但遠(yuǎn)處那堵幾乎不可逾越的高墻已然顯現(xiàn)。

怎么辦？

光速深度學(xué)習(xí)！

今天，Science發(fā)表了加州大學(xué)洛杉磯分校（UCLA）研究人員的最新研究：All-optical machine learning using diffractive deep neural networks，他們使用 3D 打印打造了一套 “全光學(xué)” 人工神經(jīng)網(wǎng)絡(luò)，可以分析大量數(shù)據(jù)并以光速識(shí)別目標(biāo)。

論文地址：http://science.sciencemag.org/content/361/6406/1004

這項(xiàng)技術(shù)名為衍射深度神經(jīng)網(wǎng)絡(luò)（diffractive deep neural network，D2NN），它使用來(lái)自物體的光散射來(lái)識(shí)別目標(biāo)。該技術(shù)基于深度學(xué)習(xí)的被動(dòng)衍射層設(shè)計(jì)。

研究團(tuán)隊(duì)先用計(jì)算機(jī)進(jìn)行模擬，然后用 3D 打印機(jī)打造出 8 平方厘米的聚合物層。每個(gè)晶圓表面都是不平整的，目的是為了衍射來(lái)自目標(biāo)的光線。

衍射深度神經(jīng)網(wǎng)絡(luò)由一系列聚合物層組成，每層大約 8 平方厘米。利用網(wǎng)絡(luò)區(qū)域內(nèi)的光的衍射傳播路徑來(lái)識(shí)別目標(biāo)。

研究人員使用 THz 級(jí)頻率的光穿透 3D 打印的網(wǎng)絡(luò)層。每一層網(wǎng)絡(luò)由數(shù)萬(wàn)個(gè)像素組成，光可以通過(guò)這些像素傳播。

研究人員為每類(lèi)的目標(biāo)分配像素，來(lái)自目標(biāo)的光被衍射到已分配給該目標(biāo)類(lèi)型的像素上。這樣，衍射深度神經(jīng)網(wǎng)絡(luò)就能夠識(shí)別目標(biāo)，其耗時(shí)與計(jì)算機(jī) “看到” 目標(biāo)所花費(fèi)的時(shí)間相仿。

的。

D2NN: 光速實(shí)時(shí)學(xué)習(xí)，成本不到 50 美元

而隨著來(lái)自不同目標(biāo)的光通過(guò) D2NN, 研究人員利用深度學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以學(xué)習(xí)每個(gè)目標(biāo)產(chǎn)生的衍射光圖案。

“我們使用逐層制造的無(wú)源元件，并通過(guò)光的衍射將這些層相互連接起來(lái)，打造一個(gè)獨(dú)特的全光平臺(tái)，可以以光速執(zhí)行機(jī)器學(xué)習(xí)任務(wù)。” 該研究團(tuán)隊(duì)負(fù)責(zé)人，加州大學(xué)洛杉磯分校教授 Aydogan Ozcan 表示。

“這就像一個(gè)由玻璃和鏡子構(gòu)成的復(fù)雜迷宮。光進(jìn)入衍射網(wǎng)絡(luò)，并在迷宮周?chē)瓷洌钡狡潆x開(kāi)該區(qū)域?yàn)橹埂Ｏ到y(tǒng)能夠根據(jù)某目標(biāo)產(chǎn)生的大部分光最終離開(kāi)迷宮的路徑，確定究竟是哪個(gè)目標(biāo)?！監(jiān)zcan 說(shuō)。

在實(shí)驗(yàn)中，研究人員將圖像放在 THz 級(jí)頻率的光源前。 D2NN 通過(guò)光學(xué)衍射對(duì)圖像進(jìn)行觀察。研究人員發(fā)現(xiàn)，該設(shè)備可以準(zhǔn)確識(shí)別手寫(xiě)的數(shù)字和衣服，這兩類(lèi)對(duì)象都是人工智能研究中的常用目標(biāo)。

圖為 D2NN 設(shè)備識(shí)別文本

在訓(xùn)練中，研究人員還該將設(shè)備作為成像的鏡頭，就像一般的相機(jī)鏡頭一樣。

由于 D2NN 的組成可以由 3D 打印制造，成本低廉，可以構(gòu)建規(guī)模更大、數(shù)量更多的層，制造出包含數(shù)億個(gè)人工神經(jīng)元（像素）的設(shè)備。規(guī)模較大的設(shè)備可以同時(shí)識(shí)別更多的目標(biāo)，執(zhí)行更復(fù)雜的數(shù)據(jù)分析。

D2NN 的組件成本低廉。研究人員表示，他們使用的 D2NN 設(shè)備成本不到 50 美元。

雖然這項(xiàng)研究使用的是 Thz 級(jí)光譜中的光，但 Ozcan 表示，也可以打造使用可見(jiàn)光、紅外線或其他頻率光譜的神經(jīng)網(wǎng)絡(luò)。他表示，除 3D 打印外，D2NN 也可以使用光刻或其他印刷技術(shù)打造。

全光學(xué)衍射深度神經(jīng)網(wǎng)絡(luò)（D2NN）的 3D 打印衍射板

D2NN的設(shè)計(jì)和性能：MNIST分類(lèi)準(zhǔn)確率達(dá)到91.75%

在論文中，研究人員介紹了D2NN框架的技術(shù)細(xì)節(jié)、實(shí)驗(yàn)和測(cè)試性能。

在D2NN全光學(xué)深度學(xué)習(xí)框架中，神經(jīng)網(wǎng)絡(luò)物理上由多層衍射表面（diffractive surfaces）形成，這些衍射表面協(xié)同工作以光學(xué)地執(zhí)行網(wǎng)絡(luò)可以統(tǒng)計(jì)學(xué)習(xí)的任意功能。雖然這個(gè)物理網(wǎng)絡(luò)的推理和預(yù)測(cè)機(jī)制都是光學(xué)的，但其學(xué)習(xí)部分是通過(guò)計(jì)算機(jī)完成的。

研究者將這個(gè)框架稱(chēng)為衍射深度神經(jīng)網(wǎng)絡(luò)（ diffractive deep neural network，D2NN），并通過(guò)模擬和實(shí)驗(yàn)證明了其推理能力。D2NN可以通過(guò)使用幾個(gè)透射和/或反射層進(jìn)行物理創(chuàng)建，其中給定層上的每個(gè)點(diǎn)都傳輸或反射進(jìn)來(lái)的光波，每個(gè)點(diǎn)代表一個(gè)人工神經(jīng)元，通過(guò)光學(xué)衍射連接到后續(xù)的層。如圖1A所示。

圖1：衍射深度神經(jīng)網(wǎng)絡(luò)D2NN

D2NN 中的人工神經(jīng)元通過(guò)由通過(guò)振幅和相位調(diào)制的次級(jí)波連接到下一層的其他神經(jīng)元。圖1D是標(biāo)準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)的一個(gè)類(lèi)比，可以將每個(gè)點(diǎn)或神經(jīng)元的傳輸或反射系數(shù)視為一個(gè)“bias”項(xiàng)，這是一個(gè)可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)，在訓(xùn)練過(guò)程中使用誤差反向傳播方法進(jìn)行迭代調(diào)整。

經(jīng)過(guò)這一數(shù)值訓(xùn)練階段， D2NN的設(shè)計(jì)就固定了，并且確定了各層神經(jīng)元的傳輸或反射系數(shù)。這種 D2NN設(shè)計(jì)可以以光速執(zhí)行所訓(xùn)練的特定任務(wù)，僅使用光學(xué)衍射和無(wú)源光學(xué)器件（passive optical components）或無(wú)需功率的層，從而創(chuàng)建一種高效、快速的方式來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)任務(wù)。

一般來(lái)說(shuō)，每個(gè)神經(jīng)元的相位和振幅可以是可學(xué)習(xí)的參數(shù)，在每一層提供復(fù)值調(diào)制（complex-valued modulation），這改善了衍射網(wǎng)絡(luò)的推理性能。 對(duì)于phase-only調(diào)制的同調(diào)傳輸網(wǎng)絡(luò)，每層可以近似為一個(gè)薄的光學(xué)元件（圖1）。通過(guò)深度學(xué)習(xí)，在輸入層饋送訓(xùn)練數(shù)據(jù)并通過(guò)光學(xué)衍射計(jì)算網(wǎng)絡(luò)輸出，每一層的神經(jīng)元的phase value迭代調(diào)整（訓(xùn)練）來(lái)執(zhí)行一個(gè)特定的函數(shù)。

在計(jì)算目標(biāo)輸出誤差的基礎(chǔ)上，通過(guò)誤差反向傳播算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)及其神經(jīng)元相位值。誤差反向傳播算法基于傳統(tǒng)深度學(xué)習(xí)中的隨機(jī)梯度下降法。

D2NN性能：MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集

為了演示 D2NN框架的性能，我們首先將其訓(xùn)練成一個(gè)數(shù)字分類(lèi)器，對(duì)從0到9的手寫(xiě)數(shù)字進(jìn)行自動(dòng)分類(lèi)(圖1B)。

為了完成這項(xiàng)任務(wù)，我們?cè)O(shè)計(jì)了一個(gè)五層的D2NN，其中包含來(lái)自MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集的5.5萬(wàn)張圖像(5000張驗(yàn)證圖像)。我們將輸入數(shù)字編碼到D2NN輸入域的幅值中，訓(xùn)練衍射網(wǎng)絡(luò)將輸入數(shù)字映射到10個(gè)檢測(cè)器區(qū)域，每個(gè)檢測(cè)器區(qū)域?qū)?yīng)一個(gè)數(shù)字。分類(lèi)標(biāo)準(zhǔn)是尋找具有最大光信號(hào)的檢測(cè)器，相當(dāng)于網(wǎng)絡(luò)訓(xùn)練過(guò)程中的損失函數(shù)。

在訓(xùn)練之后，使用來(lái)自MNIST測(cè)試數(shù)據(jù)集的10000個(gè)圖像（未用作訓(xùn)練或驗(yàn)證圖像集）對(duì)D2NN數(shù)字分類(lèi)器進(jìn)行數(shù)值測(cè)試，并且實(shí)現(xiàn)了91.75％的分類(lèi)精度（圖3C）。

根據(jù)這些數(shù)值結(jié)果，我們將這個(gè)5層的D2NN 設(shè)計(jì)3D打印出來(lái)（下圖），每一層的面積為8cm×8cm，然后在衍射網(wǎng)絡(luò)的輸出平面定義10個(gè)檢測(cè)器區(qū)域（圖1B）。

圖2：3D打印的D2NN的實(shí)驗(yàn)測(cè)試

然后，我們使用0.4 THz的連續(xù)波光照來(lái)測(cè)試網(wǎng)絡(luò)的推理性能（圖2，C和D）。

每一層神經(jīng)元的相位值用3D打印神經(jīng)元的相對(duì)厚度進(jìn)行物理編碼。對(duì)這個(gè)5層的D2NN設(shè)計(jì)的數(shù)值測(cè)試顯示，在 ~10000幅測(cè)試圖像中，分類(lèi)準(zhǔn)確率達(dá)到91.75%（圖3C）。

圖3： D2NN手寫(xiě)數(shù)字識(shí)別器的性能

D2NN性能：Fashion-MNIST數(shù)據(jù)集

接下來(lái)，為了測(cè)試D2NN框架的分類(lèi)性能，研究者使用了一個(gè)更復(fù)雜的圖像數(shù)據(jù)集——Fashion-MNIST數(shù)據(jù)集，其中包含10個(gè)類(lèi)別的時(shí)尚產(chǎn)品。

D2NN對(duì)Fashion-MNIST數(shù)據(jù)集的分類(lèi)結(jié)果如下圖所示。具有N = 5個(gè)衍射層的phase-only和complex valued的D2NN的分類(lèi)精度分別達(dá)到81.13%和86.33％。

通過(guò)將衍射層的數(shù)量增加到N = 10，并將神經(jīng)元的總數(shù)增加到40萬(wàn)，D2NN的分類(lèi)精度提高到86.60％。對(duì)比而言，在已有研究中，基于卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)深度學(xué)習(xí)，使用~890萬(wàn)可學(xué)習(xí)參數(shù)和~250萬(wàn)個(gè)神經(jīng)元，F(xiàn)ashion-MNIST分類(lèi)準(zhǔn)確度的最高性能為96.7％。

光學(xué)神經(jīng)網(wǎng)絡(luò)的應(yīng)用

光學(xué)電路深度學(xué)習(xí)是一項(xiàng)重大突破，而且其現(xiàn)實(shí)應(yīng)用已經(jīng)逐漸

根據(jù)光學(xué)領(lǐng)域權(quán)威期刊Optica的報(bào)道，美國(guó)斯坦福大學(xué)的研究人員已經(jīng)證明，可以直接在光學(xué)芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。這一重大突破表明，光學(xué)電路可以實(shí)現(xiàn)基于電子的人工神經(jīng)網(wǎng)絡(luò)的關(guān)鍵功能，從而可以以更便宜、更快速和更節(jié)能的方式執(zhí)行語(yǔ)音識(shí)別、圖像識(shí)別等復(fù)雜任務(wù)。

不僅如此，斯坦福的另一組研究人員還研究出一套小型AI成像系統(tǒng)，采用雙層光學(xué)-電子混合計(jì)算技術(shù)，成像精度和速度均達(dá)到電子計(jì)算處理器水平。具體說(shuō)，研究人員在電子計(jì)算之前加上一層光學(xué)計(jì)算，這種AI成像系統(tǒng)在低光照條件下具備更強(qiáng)的成像能力，每個(gè)立體像素上的光電子密度最高可達(dá)幾十個(gè)，同時(shí)節(jié)約了大量本該用于計(jì)算的時(shí)間和成本。

具體到這項(xiàng)研究，UCLA的研究團(tuán)隊(duì)表示，他們的 D2NN 設(shè)備可用于全光學(xué)圖像分析、特征檢測(cè)和對(duì)象分類(lèi)任務(wù)，還可以實(shí)現(xiàn)使用 D2NN 執(zhí)行任務(wù)的新相機(jī)設(shè)計(jì)和光學(xué)組件。

例如，使用該技術(shù)的無(wú)人駕駛汽車(chē)可以立即對(duì)停車(chē)標(biāo)志作出反應(yīng)，一旦收到從標(biāo)志衍射來(lái)的光，D2NN 就可以讀取標(biāo)志信息。該技術(shù)還可用于對(duì)大量目標(biāo)的分類(lèi)任務(wù)，比如在數(shù)百萬(wàn)細(xì)胞樣本中尋找疾病的跡象。

“這項(xiàng)研究為基于人工智能的被動(dòng)設(shè)備提供了新機(jī)會(huì)，可以對(duì)數(shù)據(jù)和圖像進(jìn)行實(shí)時(shí)分析，并對(duì)目標(biāo)進(jìn)行分類(lèi)?！監(jiān)zcan 說(shuō)?！斑@種光學(xué)人工神經(jīng)網(wǎng)絡(luò)設(shè)備直觀地模擬了大腦處理信息的方式，具備很高的可擴(kuò)展性，可以應(yīng)用到新的相機(jī)設(shè)計(jì)和獨(dú)特的光學(xué)組件設(shè)計(jì)中，也可用于醫(yī)療技術(shù)、機(jī)器人、安全等領(lǐng)域。”