（文章來源：量子認知）

對人腦神經(jīng)元網(wǎng)絡系統(tǒng)進行抽象建立模型構(gòu)成的人工神經(jīng)網(wǎng)絡，簡稱神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡的基礎是大量的稱為節(jié)點的神經(jīng)元的元素的集合，通常以緊密互連的束狀排列。簡而言之，神經(jīng)元是具有多個輸入和單個輸出的特征的細胞。單元的輸出是其輸入的直接函數(shù)，每個單元在輸出的總體貢獻中得到不同的“關(guān)注”。這種“注意力”水平稱為權(quán)重。輸出會帶有某種閾值效應，僅在神經(jīng)元超過這個閾值時才產(chǎn)生激發(fā)響應。連接到激發(fā)神經(jīng)元的相關(guān)輸入被“激發(fā)”，該過程在整個網(wǎng)絡中進行，直到最終輸出。

對神經(jīng)元行為進行建模的數(shù)學形式表示，可以是離散或脈沖形式的模型，這是現(xiàn)在人工智能中常用的數(shù)字電子技術(shù)實現(xiàn)的神經(jīng)元器件；還可以是連續(xù)形式表示的模型，這是代表人體中神經(jīng)細胞活動的最接近表示，是通過模擬電子技術(shù)實現(xiàn)的神經(jīng)元器件。

用模擬電子技術(shù)實現(xiàn)的神經(jīng)元器件，稱為模擬神經(jīng)元。用模擬神經(jīng)元組成的網(wǎng)絡稱為模擬神經(jīng)網(wǎng)絡。循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network, 簡稱RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且所有節(jié)點，即循環(huán)單元，按鏈式連接的遞歸神經(jīng)網(wǎng)絡。模擬循環(huán)神經(jīng)網(wǎng)絡，就是通過模擬電子技術(shù)，而不是數(shù)字電子技術(shù)，實現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡。

機器學習在執(zhí)行復雜的信息處理任務方面取得了顯著成功，例如計算機視覺識別和機器翻譯，這是過去傳統(tǒng)計算方法難以實現(xiàn)的。但是，這些應用程序的計算需求呈指數(shù)級增長，這促使人們努力開發(fā)新的專用硬件平臺，以快速高效地執(zhí)行機器學習模型。其中包括神經(jīng)形態(tài)硬件平臺，其架構(gòu)模仿大腦的生物電路。此外，利用連續(xù)物理系統(tǒng)的自然演化來執(zhí)行計算的模擬計算平臺也正在成為實現(xiàn)機器學習的重要方向。

模擬機器學習提供了更節(jié)能、更快速、更切合人的神經(jīng)網(wǎng)絡的平臺。基于聲學和光學的波物理學是為時變信號構(gòu)建模擬處理器的自然選擇。

最近，斯坦福大學應用物理與電氣工程系的研究團隊確定了循環(huán)神經(jīng)網(wǎng)絡中波物理動力學與計算之間的映射，該映射關(guān)系表明，可以使用神經(jīng)網(wǎng)絡的標準訓練技術(shù)來訓練物理波系統(tǒng)，以學習時間數(shù)據(jù)中的復雜特征。作為示例，研究人員證明了逆設計的非均勻介質(zhì)可以對原始音頻信號進行元音分類，因為原始音頻信號的波形在其中分散并傳播，從而實現(xiàn)了與遞歸神經(jīng)網(wǎng)絡的標準數(shù)字實現(xiàn)相當?shù)男阅堋?/p>

為了證明波動力學和循環(huán)神經(jīng)網(wǎng)絡之間的等效性，研究人員確定了循環(huán)神經(jīng)網(wǎng)絡的功能及其與波動力學的關(guān)系。通過在逐步過程中對每個輸入序列成員應用相同的基本操作，循環(huán)神經(jīng)網(wǎng)絡可以將輸入序列轉(zhuǎn)換為輸出序列。然后，循環(huán)神經(jīng)網(wǎng)絡的隱藏狀態(tài)將對先前步驟的內(nèi)存進行編碼，以在每個步驟中進行更新。隱藏狀態(tài)可以保留對過去信息的記憶，并了解數(shù)據(jù)的時間結(jié)構(gòu)和長期依賴關(guān)系。

這樣，研究團隊提出了一種基于波的模擬循環(huán)神經(jīng)網(wǎng)絡，具有許多良好的質(zhì)量指標，從而創(chuàng)立了一個最具希望的處理時間編碼信息。使用物理學來執(zhí)行計算可能會激發(fā)出一個模擬機器學習設備的新平臺，以便比其數(shù)字同類產(chǎn)品更自然、更有效地執(zhí)行計算。研究團隊使用傳播介質(zhì)的大小確定了模擬循環(huán)神經(jīng)網(wǎng)絡隱藏狀態(tài)的大小及其存儲容量。他們表明波動方程的動力學在概念上與循環(huán)神經(jīng)網(wǎng)絡等效。這種概念上的聯(lián)系將為新型的模擬硬件平臺鋪平道路，其中不斷發(fā)展的時間動力學將在物理和大數(shù)據(jù)處理中扮演重要角色。
? ? ? （責任編輯：fqj）