低精度，模擬內存，高精度

IBMResearchAlmaden的副總裁兼實驗室主任JeffWelser在一次IEDM演示中指出，神經(jīng)網(wǎng)絡計算通常不需要高計算精度。16位計算模塊使用等效32位塊所需的四分之一電路空間，并將所需的數(shù)據(jù)量減半。即使使用傳統(tǒng)架構，降低精度算法也可以顯著提高計算效率。

克服內存瓶頸的需求也在推動更激進的計算內存架構。在這種體系結構的最簡單視圖中，預先確定的權重存儲在非易失性內存元素數(shù)組中。將輸入數(shù)據(jù)加載在內存字行上，并對來自單個單元格的電流求和。

究竟如何在硬件中實現(xiàn)這樣的方案是正在進行的研究的主題。業(yè)界已經(jīng)提出了數(shù)字和模擬解決方案。

例如，數(shù)字陣列可以由閃存元件組裝而成。明尼蘇達大學的研究人員展示了兼容CMOS的eflash存儲單元，它將電荷存儲在控制柵極和通道之間的浮動柵極上。在這樣的陣列中，可以通過完善的集成電路設計精確地控制特定權重值和它們改變的速率（學習速率）。這種方法很有吸引力，因為它依賴于成熟，易于理解的組件技術。

然而，機器學習應用中感興趣的許多數(shù)據(jù)本質上是模擬的。斯坦福大學和加州大學伯克利分校的研究員Xin Zheng及其同事觀察到，通過使用固有存儲模擬值的RRAM等存儲元件，可以避免模數(shù)轉換和數(shù)模轉換及其相關的能耗和硅足跡。然而，目前可用的模擬存儲器元件帶來了一系列新的挑戰(zhàn)。

當數(shù)字元件處于開啟或關閉狀態(tài)時，模擬元件可以具有一系列值。給定信號存儲的值取決于設備的屬性。在絲狀RRAM中，電阻隨著導電細絲在器件的端子之間形成而下降。一系列弱編程脈沖可能會產(chǎn)生弱細絲，而強脈沖會產(chǎn)生更強的細絲。因此，存儲給定值所需的脈沖強度和數(shù)量取決于長絲形成的動力學。學習速率取決于電阻狀態(tài)與從一個狀態(tài)移動到下一個狀態(tài)所需的脈沖數(shù)之間的分離。

對于推理任務，可以使用傳統(tǒng)CMOS邏輯計算權重，然后將其存儲在RRAM陣列中。使用給定數(shù)量的編程脈沖實現(xiàn)的精確值可能因設備而異，但模擬表明在面對這些變化時總體精度是穩(wěn)健的。

然而，對于學習任務，隨著修正在網(wǎng)絡中的傳播，個體權重需要上下調整。不幸的是，當前的RRAM設備通常具有對SET和RESET脈沖有不對稱響應。簡單地改變編程脈沖的符號不會在相反的方向上產(chǎn)生相等的調整。這種不對稱性是學習任務在記憶中實現(xiàn)的一個主要問題。

耐力，穩(wěn)定性和可重復性

如上所述，清華大學的研究生Meiran Zhao表示，學習任務還需要大量的數(shù)據(jù)和非常多的重量更新，大約10 5和10 7。針對傳統(tǒng)存儲應用設計的RRAM陣列的測試將設備壽命放在相同的范圍內。然而，數(shù)據(jù)存儲應用需要數(shù)字值——一個設備是開著的還是關著的——并且通常使用足夠強的設置和重置脈沖來創(chuàng)建或移除一根強導電絲。如果使用弱脈沖代替，趙的小組表明模擬切換在超過10 11之后沒有失敗更新脈沖，盡管學習準確度確實降低到超過10 9個更新脈沖。

所需的大量訓練周期也會威脅存儲的重量值的穩(wěn)定性。在RRAM裝置中，燈絲的導電率由燈絲體積內的氧空位濃度決定。該濃度又由施加的電壓脈沖控制。但是，不可能精確控制個別職位空缺的位置。當它們在器件內遷移時，無論是在電壓梯度的影響下還是在熱激發(fā)后，精確的電阻都會發(fā)生變化。

另一種非易失性存儲器，即電化學RAM，試圖解決絲狀RRAM的局限性。當RRAM是雙終端設備時，ECRAM是三終端設備。施加到第三端子的電壓控制離子從LiPON電解質層插入到WO 3導體中。電阻取決于氧化還原反應，該反應可以在開啟和關閉方向上精確且可重復地控制。

超越神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是最常見的機器學習技術，但它不一定是最好的。新興存儲器設備的非線性概率行為對于某些算法來說是一個挑戰(zhàn)，但對其他算法來說可能是一個優(yōu)勢。

例如，生成對抗網(wǎng)絡使用一個神經(jīng)網(wǎng)絡為另一個生成測試示例。當“鑒別器”網(wǎng)絡能夠區(qū)分真實數(shù)據(jù)和“發(fā)生器”網(wǎng)絡生成的示例時，它就是成功的。

因此，鑒別器網(wǎng)絡可以通過顯示由發(fā)生器網(wǎng)絡創(chuàng)建的一組非小狗圖像來學習識別小狗的照片。生成對抗性網(wǎng)絡算法的一個挑戰(zhàn)是生成測試示例，這些測試示例涵蓋了所有感興趣的真實情況?！澳Ｊ絹G棄”，其中生成的示例聚集在有限數(shù)量的類別周圍，可能會由于RRAM網(wǎng)絡固有的隨機性而減少。同樣的非線性行為使得精確的權重難以存儲，這可能導致更多的測試示例。

RRAM行為與歷史有關。給定的重置脈沖實際重置設備的概率會隨著之前設置的脈沖數(shù)的增加而降低。Imec的一個小組使用這種行為作為時間序列學習規(guī)則的基礎 － 在時間t有效的裝置用于預測在時間t ＋Δ處有效的裝置。將該預測與實際數(shù)據(jù)進行比較，然后通過SET脈沖加強具有正確預測的設備，而通過RESET脈沖削弱具有不正確預測的設備。訓練之后，將得到的網(wǎng)絡拓撲用作生成新數(shù)據(jù)序列的模型。

最后，密歇根大學的研究人員將RRAM交叉開關陣列與隨機導電橋存儲器件結合使用，通過模擬退火來解決“自旋玻璃”優(yōu)化問題。自旋玻璃問題源于物理學，但也適用于許多其他領域，它試圖尋找相互作用自旋的隨機二維陣列的最低能量狀態(tài)。模擬退火隨機翻轉一組單個自旋，保留那些減少系統(tǒng)總能量的翻轉，然后降低系統(tǒng)溫度并重復該過程。密歇根集團利用CBRAMS的隨機切換概率來降低找到局部最小狀態(tài)而不是真正的最低能量狀態(tài)的風險。

內存計算展望未來

從歷史上看，電子設備研究首先出現(xiàn)，然后電氣工程師和軟件開發(fā)人員學會了如何利用新功能。

在過去的幾年里，新興的存儲設備已經(jīng)從實驗室的奇思妙想，到令人失望的閃存替代品，再到新機器學習方法的推動者。

接下來的幾年將展示半導體行業(yè)是否可以使用這些設備來幫助管理它正在幫助創(chuàng)建的數(shù)據(jù)大爆炸。