人工神經(jīng)網(wǎng)絡廣泛應用于人臉識別、語音翻譯、醫(yī)療診斷、自動駕駛等重要領域，其性能主要由硬件算力決定，目前所廣泛應用的神經(jīng)網(wǎng)絡硬件都基于數(shù)字電子架構。然而，該架構的兩個本質局限—馮諾曼依瓶頸與電子速率瓶頸，極大限制了神經(jīng)網(wǎng)絡硬件的潛在算力。首先，數(shù)字架構中，數(shù)據(jù)的存儲和運算是分布式的，因而在計算過程中，會有大量的能源和算力消耗在數(shù)據(jù)的反復讀取和存儲中，此限制被稱為馮諾曼依瓶頸。其次，由于電子微處理器中的寄生電容和互聯(lián)時延問題，電子系統(tǒng)存在著本質的帶寬限制，導致電子微處理器的主頻事實上在過去十年已沒有明顯提升，此限制也被稱為電子速率瓶頸。

光子神經(jīng)網(wǎng)絡工作于模擬架構中，即數(shù)據(jù)在硬件系統(tǒng)中的實時位置與進行運算的位置相同，因而規(guī)避了馮諾曼依瓶頸。此外，寬達數(shù)十太赫茲的光譜也為高速運算提供了充足的帶寬。目前已有來自加州大學、麻省理工學院、明斯特大學等單位的研究團隊做出了一系列在網(wǎng)絡尺度、可集成性、片上存儲等方面的突破，然而尚未能實現(xiàn)較高運算速度與高維數(shù)據(jù)處理能力，光子神經(jīng)網(wǎng)絡的超高運算潛力尚未得到證實。

近日，澳大利亞研究人員徐興元博士（莫納什大學）、譚朦曦博士、David Moss教授（斯文本科技大學）、Arnan Mitchell教授（皇家墨爾本理工大學）等首次提出并實現(xiàn)了基于波長、時間交織的光子卷積加速器。該文章以“ 11 TOPS photonic convolutional accelerator for optical neural networks”為題發(fā)表在Nature。

研究人員通過采用集成高品質因素、高非線性微環(huán)與波導色散調控，實現(xiàn)了高相干度、易于產(chǎn)生的集成克爾孤子晶體光頻梳。

研究人員將該光頻梳進行頻域整形并且與高速光電調制相結合，實現(xiàn)了輸入數(shù)據(jù)在并行波長通道上的組播與加權，然后采用光學色散介質作為緩存，對組播信號進行了步進延時（步長為單個碼元時長），從而在時域上對齊了不同波長通道中需要加權求和的碼元，最后通過光電轉換實現(xiàn)處理結果的高速實時讀?。ㄈ鐖D1所示）。通過這一系列步驟，波長構架的卷積窗口（感知域）即可在時域以超過60GBaud的速率滑動，結合克爾光頻梳所實現(xiàn)的高并行度（C波段90個波長通道），實現(xiàn)了11 TOPS（太運算每秒）的運算速度，即每秒可完成11萬億次運算。

圖1 卷積加速器工作原理

圖源：Nature 589， 44–51 （2021）。 Fig 1

通過這一系列步驟，數(shù)學模型抽象的神經(jīng)元突觸就被光頻梳在實際物理系統(tǒng)中實現(xiàn)，其中突觸連接的權重由光頻梳的光功率體現(xiàn)。最終實驗驗證了高維圖片處理（實驗結果如圖2所示）以及深度學習光子卷積神經(jīng)網(wǎng)絡（實驗結果如圖3所示）。

圖2 卷積圖像處理結果

圖源：Nature 589， 44–51 （2021）。 Fig 3

在國際相關研究成果的基礎上實現(xiàn)了數(shù)個突破，包括：

1. 由于集成克爾光頻梳所提供的大量波長通道，運算速度首次突破到11 TOPS以上；

2. 首次實現(xiàn)了利用光學手段進行高維數(shù)據(jù)處理（25萬像素點），為光子神經(jīng)網(wǎng)絡的進一步實際應用如人臉識別等展現(xiàn)了可能；

3. 實現(xiàn)了500張MINIST手寫數(shù)字圖片的高速分類預測，準確率達到88%以上；

4. 實現(xiàn)了具備高速光電接口的硬件加速器，速度可達64G Baud以上，并且可與現(xiàn)有電子或者光學硬件兼容互聯(lián)；

5. 結合應用了集成克爾光頻梳，為實現(xiàn)光子神經(jīng)網(wǎng)絡的單片集成奠定了基礎。

圖3 卷積神經(jīng)網(wǎng)絡50張手寫數(shù)字識別結果。上圖為全連接層神經(jīng)元輸出幅度，下圖為混淆矩陣。

圖源：Nature 589， 44–51 （2021）。 Fig 6

后續(xù)，研究人員將繼續(xù)優(yōu)化本方案的性能指標，如處理速度、并行度、體積與可集成性、功耗等。本工作實驗證明了光子神經(jīng)網(wǎng)絡硬件的運算潛力，并且具有高速光電接口，未來可作為通用卷積特征提取前端與其他光電模數(shù)架構互聯(lián)，在卷積神經(jīng)網(wǎng)絡中可承擔70%以上的運算負荷，大幅提升系統(tǒng)整體算力，在未來實時人工智能應用場景如無人駕駛、醫(yī)療診斷等方面有重要應用。

責任編輯：PSY