類腦計(jì)算芯片結(jié)合微電子技術(shù)和新型神經(jīng)形態(tài)器件，模仿人腦神經(jīng)系統(tǒng)計(jì)算原理進(jìn)行設(shè)計(jì)，旨在突破“馮·諾依曼瓶頸”，實(shí)現(xiàn)類似人腦的超低功耗和并行信息處理能力。

在今日舉辦的創(chuàng)新智能芯片，共筑未來(lái)航天學(xué)術(shù)會(huì)議當(dāng)中，北京大學(xué)集成電路學(xué)院教授王源做了題為《類腦芯片與應(yīng)用技術(shù)》的報(bào)告。王源教授主要介紹了類腦計(jì)算概述、類腦計(jì)算關(guān)鍵技術(shù)、類腦計(jì)算芯片與應(yīng)用、趨勢(shì)與展望。

類腦計(jì)算概述

類腦計(jì)算（Brain-inspired Computing）又被稱為神經(jīng)形態(tài)計(jì)算（Neuromorphic Computing）。是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結(jié)構(gòu)的計(jì)算理論、體系結(jié)構(gòu)、芯片設(shè)計(jì)以及應(yīng)用模型與算法的總稱。王源教授表示人工神經(jīng)網(wǎng)絡(luò)（ANN）是對(duì)神經(jīng)網(wǎng)絡(luò)連接性的模擬而脈沖神經(jīng)網(wǎng)絡(luò)（SNN）是對(duì)生物神經(jīng)系統(tǒng)的仿生模擬，并展示了ANN與SNN的區(qū)別。

ANN的原理為計(jì)算機(jī)科學(xué)、數(shù)學(xué)；編碼方式為電平高低；神經(jīng)元是非線性激活函數(shù)；學(xué)習(xí)規(guī)劃通過(guò)BP等全局學(xué)習(xí)算法；應(yīng)用場(chǎng)景主要是圖像分類、語(yǔ)音識(shí)別、自然語(yǔ)言處理等。

SNN的原理為神經(jīng)科學(xué)原理；編碼方式為脈沖時(shí)間或頻率；神經(jīng)元包含內(nèi)在動(dòng)力學(xué)；學(xué)習(xí)規(guī)則主要是生物啟發(fā)學(xué)習(xí)算法；應(yīng)用場(chǎng)景主要是物體追蹤等低延時(shí)應(yīng)用，超低功耗應(yīng)用以及類腦智能。

類腦計(jì)算關(guān)鍵技術(shù)

神經(jīng)元：對(duì)從樹(shù)突接收到的時(shí)空信息進(jìn)行整合，并在超過(guò)特定閾值時(shí)發(fā)放新的脈沖，通過(guò)軸突傳遞到其他神經(jīng)元。準(zhǔn)確但復(fù)雜度高的神經(jīng)元模型：HH模型；較為簡(jiǎn)化神經(jīng)元模型：累積釋放（I&F）模型。

突觸：突觸是不同神經(jīng)元之間的連接，支撐記憶、學(xué)習(xí)功能；記憶以突觸連接強(qiáng)度的形式存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中。突觸連接強(qiáng)度能夠變化，體現(xiàn)為不同類型的可塑性包括短時(shí)程、長(zhǎng)時(shí)程可塑性等，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)功能。

神經(jīng)網(wǎng)絡(luò)：由神經(jīng)元與突觸組成的高度互連網(wǎng)絡(luò)，包含約1011神經(jīng)元，1015突觸。信息以脈沖形式（二值型）在生物神經(jīng)網(wǎng)絡(luò)中傳遞，并以局域模擬的形式進(jìn)行處理；支撐人腦復(fù)雜的感知、認(rèn)知等功能。

發(fā)射率編碼：信息編碼在發(fā)射率r=N/T中，即在一定時(shí)間T內(nèi)發(fā)放了N個(gè)脈沖。

時(shí)間編碼：信息編碼在發(fā)放脈沖的具體時(shí)間或時(shí)間間隔中。

群編碼：信息編碼在某一組神經(jīng)元的行為模式中。

關(guān)鍵技術(shù)：片上網(wǎng)絡(luò)、片上網(wǎng)絡(luò)拓?fù)?、片上網(wǎng)絡(luò)路由

片上網(wǎng)絡(luò)的四個(gè)基本組成部分：

路由節(jié)點(diǎn)：執(zhí)行通訊任務(wù)的節(jié)點(diǎn)，其核心是交換開(kāi)關(guān)，包括仲裁器、縱橫交換電路、輸入緩沖器等。

資源節(jié)點(diǎn)：執(zhí)行計(jì)算任務(wù)的 IP 核，可以是同質(zhì)的處理核，也可以是異質(zhì)的處理器核、存儲(chǔ)器核、數(shù)字信號(hào)處理核等。

網(wǎng)絡(luò)接口：指路由節(jié)點(diǎn)與資源節(jié)點(diǎn)之間的接口，配置了網(wǎng)絡(luò)接口才能通過(guò)NOC與其他資源節(jié)點(diǎn)通訊。

通道：指路由節(jié)點(diǎn)與資源節(jié)點(diǎn)之間、路由節(jié)點(diǎn)與路由節(jié)點(diǎn)之間的連線，通道具有一定的方向性。

按照路由節(jié)點(diǎn)的連接方式，NoC拓?fù)浣Y(jié)構(gòu)可分類如下：

一維結(jié)構(gòu)：鏈?zhǔn)剑–hain)、環(huán)形（Ring）等。

二維結(jié)構(gòu)：網(wǎng)格 (Mesh)、環(huán)面 (Torus) 、多邊形、蜘蛛網(wǎng)形 (Spidergon) 、星形（Star）等。

高維及層次化結(jié)構(gòu)：3D網(wǎng)格、3D環(huán)面、樹(shù)形 (Tree)、蝶形 (Butterfly) 等。

路由設(shè)計(jì)的功能考量多種不利現(xiàn)象：

死鎖：數(shù)據(jù)包等待前級(jí)清空，前級(jí)又在等待更前級(jí)，依賴關(guān)系形成閉環(huán)，數(shù)據(jù)包無(wú)法路由。

活鎖：數(shù)據(jù)包持續(xù)進(jìn)行路由，但就是無(wú)法到達(dá)目標(biāo)地址。只出現(xiàn)在自適應(yīng)的非最短路徑中。

饑餓：多個(gè)方向的數(shù)據(jù)包競(jìng)爭(zhēng)輸入，優(yōu)先級(jí)固定只處理一個(gè)方向，其他方向被完全堵死。

解決活鎖：僅使用最短路徑路由方案，限制錯(cuò)誤路由操作數(shù)量。

解決饑餓：采用需求跟蹤的循環(huán)優(yōu)先級(jí)，為低優(yōu)先級(jí)適當(dāng)保留帶寬。

解決死鎖：一般有死鎖預(yù)防、死鎖恢復(fù)和死鎖避免方案。

關(guān)鍵技術(shù)：SNN學(xué)習(xí)算法

脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法分類：

ANN轉(zhuǎn)SNN離線學(xué)習(xí)：任何在ANN中能實(shí)現(xiàn)學(xué)習(xí)的算法，只要求能轉(zhuǎn)換到SNN。

無(wú)監(jiān)督在線學(xué)習(xí)：主要包含Hebb、STDP、BCM等與突觸可塑性相關(guān)的仿生學(xué)習(xí)算法。

監(jiān)督在線學(xué)習(xí)：依賴于梯度下降、突觸可塑性、脈沖卷積序列、時(shí)空反向傳播的淺層/深層學(xué)習(xí)算法。

其他在線學(xué)習(xí)：基于SNN的強(qiáng)化學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、液體狀態(tài)機(jī)學(xué)習(xí)、深度信念網(wǎng)絡(luò)學(xué)習(xí)等。

其中，無(wú)監(jiān)督在線學(xué)習(xí)的實(shí)現(xiàn)方式包括：

突觸可塑性：無(wú)監(jiān)督學(xué)習(xí)的理論基礎(chǔ)，生物可信，表征為突觸連接強(qiáng)度增強(qiáng)或抑制。

長(zhǎng)時(shí)程增強(qiáng) (LTP):NMDA受體強(qiáng)烈興奮，Ca2+大量?jī)?nèi)流，形成新的AMPA受體。（海馬體）

長(zhǎng)時(shí)程抑制（LTD):NMDA受體活動(dòng)處于低水平，Ca2+流量低下，AMPA受體消亡。（紋狀體）

STDP學(xué)習(xí)規(guī)則：對(duì)Hebb學(xué)習(xí)在突觸前后脈沖時(shí)間依賴可塑性上的拓展。

類腦計(jì)算芯片與應(yīng)用

IBM TrueNorth芯片

規(guī)格指標(biāo)：4096核眾核架構(gòu)（64x64)，每核256神經(jīng)元、64K突觸（256x256)。

NoC拓?fù)洌浩瑑?nèi)及片間擴(kuò)展均為2D Mesh結(jié)構(gòu)，片間傳輸速度顯著慢于片內(nèi)。

路由算法：片內(nèi)外均為X-Y維序路由，片內(nèi)采用異步雙軌四相、片間采用異步單軌兩相協(xié)議。

近存計(jì)算：非馮·諾依曼架構(gòu)，存儲(chǔ)與計(jì)算單元鄰近分布在各處理核，高度并行，事件驅(qū)動(dòng)。路由節(jié)點(diǎn)：需要處理東/西/南/北/本地五個(gè)方向的數(shù)據(jù)出入，首先處理東西向，再處理南北向。路由節(jié)點(diǎn)內(nèi)置FIFO緩存緩解擁堵饑餓，最短路徑算法避免活鎖，支持一對(duì)一發(fā)射（同時(shí)避免死鎖）

Intel Loihi芯片

規(guī)格指標(biāo)：128核眾核架構(gòu) (16x8)，每核含1K神經(jīng)元，1M突觸，此外有3（6）個(gè)x86嵌入式處理核心。

NoC拓?fù)洌核膫€(gè)核與一個(gè)路由節(jié)點(diǎn)構(gòu)成四叉樹(shù)，路由節(jié)點(diǎn)之間構(gòu)成2D Mesh結(jié)構(gòu)，片間也是2D Mesh。

路由算法：片內(nèi)及片間X-Y維序算法，純異步路由握手設(shè)計(jì)。

框架本身僅支持一對(duì)一發(fā)射，但可在源神經(jīng)元處，通過(guò)復(fù)制多個(gè)一對(duì)一實(shí)現(xiàn)一對(duì)多發(fā)射。

Loihi芯片每個(gè)核都包含一個(gè)基于微碼操作的學(xué)習(xí)引擎，可以編程在線學(xué)習(xí)算法。

神經(jīng)元模型：采用基于電流的LIF模型。

片上學(xué)習(xí)：學(xué)習(xí)引擎針對(duì)過(guò)濾的脈沖軌跡進(jìn)行操作，根據(jù)歷史脈沖活動(dòng)情況，隨著時(shí)間的推移改變突觸狀態(tài)變量。為適配包括STDP在內(nèi)的高級(jí)學(xué)習(xí)規(guī)則，Loihi定義了多種微碼操作來(lái)滿足不同算法需求。

清華大學(xué)：Tianjic芯片

規(guī)格指標(biāo)：156核眾核架構(gòu) (12x13)，每核256神經(jīng)元、64K突觸 (256x256)。

NoC拓?fù)洌浩瑑?nèi)及片間擴(kuò)展均為2D Mesh結(jié)構(gòu)，片間采用LVDS協(xié)議進(jìn)行高速傳輸 (1.05Gb/s)。

路由算法：片內(nèi)外均為X-Y維序路由，片內(nèi)采用異步握手協(xié)議。

可使用額外的廣播神經(jīng)元和復(fù)制神經(jīng)元來(lái)實(shí)現(xiàn)一對(duì)多發(fā)射，也可在核內(nèi)執(zhí)行多播判斷

北京大學(xué)：PAICore芯片

規(guī)格指標(biāo)：64核眾核架構(gòu) (8x8)，每核1K神經(jīng)元、1M突觸 (1024x1024)。

NoC拓?fù)洌浩瑑?nèi)及片間擴(kuò)展均為2D Mesh結(jié)構(gòu)，片間采用8:1Merge/Split合并或分流8個(gè)核心的數(shù)據(jù)。

路由算法：片內(nèi)外均為Y-X維序路由，采用基于異步FIFO的異步握手協(xié)議。

路由地址采用絕對(duì)地址表示，比對(duì)目標(biāo)地址與當(dāng)前核地址是否一致。

智能芯片的發(fā)展趨勢(shì)

人腦的優(yōu)勢(shì)：

超低功耗

在處理同樣復(fù)雜任務(wù)時(shí)，沒(méi)有任何人工系統(tǒng)能夠媲美人腦的高能效性。

學(xué)習(xí)能力

沒(méi)有任何自然/人工系統(tǒng)能夠像人腦一樣，具有對(duì)新環(huán)境的自適應(yīng)能力、對(duì)新信息與新技能的自動(dòng)獲取能力。

存算融合

神經(jīng)元實(shí)現(xiàn)信息整合，突觸完成存儲(chǔ)和學(xué)習(xí)，每個(gè)神經(jīng)元通過(guò)上萬(wàn)突觸與其他神經(jīng)元互聯(lián)，高度并行、存算一體。

高魯棒性

沒(méi)有任何系統(tǒng)能夠像人腦一樣，在復(fù)雜環(huán)境下有效決策并穩(wěn)定工作、能夠在多處損傷情況下依然具有很好魯棒性。

智能芯片的未來(lái)發(fā)展：

計(jì)算驅(qū)動(dòng)：算力和能效的持續(xù)提升推進(jìn)軍事智能應(yīng)用。

ANN深度學(xué)習(xí)處理器：高性能計(jì)算稠密性數(shù)據(jù)、高算力。

SNN類腦計(jì)算芯片：事件驅(qū)動(dòng)型稀疏性數(shù)據(jù)、低功耗。

生物啟發(fā)：持續(xù)提升規(guī)模、復(fù)雜度探索通用智能實(shí)現(xiàn)方法。

審核編輯：郭婷