在深度神經(jīng)網(wǎng)絡(luò)(DNN)發(fā)展的簡(jiǎn)短歷史中，業(yè)界不斷嘗試各種可提升性能的硬件架構(gòu)。通用CPU最容易編程，但每瓦特性能的效率最低。GPU針對(duì)平行浮點(diǎn)運(yùn)算進(jìn)行了優(yōu)化，性能也比CPU更高幾倍。因此，當(dāng)GPU供貨商有了一大批新客戶，他們開始增強(qiáng)設(shè)計(jì)，以進(jìn)一步提高DNN效率。例如，Nvidia新的Volta架構(gòu)增加專用矩陣乘法單元，加速了常見的DNN運(yùn)算。

即使是增強(qiáng)型的GPU，仍然受其圖形專用邏輯的拖累。此外，盡管大多數(shù)的訓(xùn)練仍然使用浮點(diǎn)運(yùn)算，但近來的趨勢(shì)是使用整數(shù)運(yùn)算進(jìn)行DNN推論。例如Nvidia Volta的整數(shù)性能，但仍然建議使用浮點(diǎn)運(yùn)算進(jìn)行推論。芯片設(shè)計(jì)人員很清楚，整數(shù)單元比浮點(diǎn)單元更小且功效更高得多；當(dāng)使用8位(或更小)整數(shù)而非16位或32位浮點(diǎn)數(shù)時(shí)，其優(yōu)勢(shì)更加明顯。

相較于GPU，DSP則是針對(duì)整數(shù)數(shù)學(xué)而設(shè)計(jì)的，特別適用于卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的卷積函數(shù)。向量DSP使用寬SIMD單元進(jìn)一步加速推論計(jì)算，例如，Cadence的C5 DSP核心包括四個(gè)2048位寬度的SIMD單元；因此，核心在每個(gè)周期內(nèi)可以完成1,024個(gè)8位整數(shù)乘法累加(MAC)作業(yè)。在16nm設(shè)計(jì)中，它能每秒處理超過1兆個(gè)MAC運(yùn)算。聯(lián)發(fā)科技(MediaTek)即取得了Cadence的DSP IP授權(quán)，用于其最新智能手機(jī)處理器的DNN加速器。

新架構(gòu)的機(jī)會(huì)

最有效率的架構(gòu)是從頭開始設(shè)計(jì)DNN，消除其它應(yīng)用的特性，并針對(duì)DNN需要的特定計(jì)算進(jìn)行優(yōu)化。這些架構(gòu)能建置于專用ASIC或銷售至系統(tǒng)制造商的芯片(這些芯片稱為專用標(biāo)準(zhǔn)產(chǎn)品或ASSP)中。最顯著的DNN ASIC是Google的TPU，它為推論任務(wù)進(jìn)行了優(yōu)化，主要包括65,536個(gè)MAC單元的脈動(dòng)數(shù)組和28MB內(nèi)存，以容納DNN權(quán)重和累加器。TPU使用一個(gè)簡(jiǎn)單的四階流水線，而且只執(zhí)行少數(shù)指令。

多家新創(chuàng)公司也在為DNN開發(fā)客制架構(gòu)。英特爾(Intel)去年收購(gòu)了其中的一家(Nervana)，并計(jì)劃在今年年底前出樣其第一款A(yù)SSP；但該公司尚未透露該架構(gòu)的任何細(xì)節(jié)。Wave Computing為DNN開發(fā)了數(shù)據(jù)流處理器。其它為此獲得眾多資金的新創(chuàng)公司包括Cerebras、Graphcore和Groq。我們預(yù)計(jì)這些公司至少有幾家會(huì)在2018年投產(chǎn)組件。

另一種建置優(yōu)化架構(gòu)的方法是利用FPGA。微軟(Microsoft)廣泛采用FPGA作為其Catapult和Brainwave計(jì)劃的一部份；百度(Baidu)、Facebook以及其它云端服務(wù)器供貨商(CSP)也使用FPGA加速DNN。這種方法避免了數(shù)百萬美元的ASIC和ASSP投片費(fèi)用，并提供了更快的產(chǎn)品驗(yàn)證時(shí)程；只要設(shè)計(jì)改動(dòng)，F(xiàn)PGA就能在幾分鐘內(nèi)重新編程和設(shè)計(jì)。但它們作業(yè)于較低的時(shí)鐘速率，并且比ASIC所能容納的邏輯塊更少得多。圖1總結(jié)了我們對(duì)這些解決方案之間相對(duì)效率的看法。

圖1：根據(jù)不同的硬件設(shè)計(jì)，各種深度學(xué)習(xí)加速器之間的性能/功耗比至少存在兩個(gè)數(shù)量級(jí)的差異

有些公司藉由客制程度更高的加速器來強(qiáng)化現(xiàn)有設(shè)計(jì)，從而提供了一定的空間與彈性，例如，Nvidia專為自動(dòng)駕駛車設(shè)計(jì)的Xavier芯片增加了一個(gè)整數(shù)數(shù)學(xué)模塊以加速DNN推論。Ceva和新思科技(Synopsys)設(shè)計(jì)了類似的單元，以便增強(qiáng)其SIMD DSP核心。這些模塊只包含大量的整數(shù)MAC單元，從而提高了數(shù)學(xué)運(yùn)算效率。然而，由于他們并未置換底層的GPU或DSP架構(gòu)，所以也不像從頭設(shè)計(jì)那么有效率。

客制設(shè)計(jì)的挑戰(zhàn)之一在于深度學(xué)習(xí)算法持續(xù)迅速發(fā)展中。時(shí)下最流行的DNN開發(fā)工具TensorFlow兩年前才出現(xiàn)，數(shù)據(jù)科學(xué)家們已經(jīng)在評(píng)估新的DNN結(jié)構(gòu)、卷積函數(shù)和數(shù)據(jù)格式了。對(duì)于兩年后的DNN來說，如今為現(xiàn)有工作負(fù)載客制的設(shè)計(jì)可能不再是理想的選擇，或甚至無法發(fā)揮作用。為了解決這個(gè)問題，大多數(shù)的ASIC和ASSP設(shè)計(jì)都是可編程且靈活的，但是FPGA提供了最大靈活度。例如，微軟已經(jīng)將專有的9位浮點(diǎn)格式定義為其Brainwave深度學(xué)習(xí)平臺(tái)的一部份。

融會(huì)貫通各種選擇

縱觀深度學(xué)習(xí)發(fā)展史，半導(dǎo)體產(chǎn)業(yè)通常首先在通用CPU中實(shí)現(xiàn)新應(yīng)用。如果應(yīng)用適用于現(xiàn)有的專用芯片，如GPU和DSP，那么接下來可能會(huì)轉(zhuǎn)移到這兩者。隨著時(shí)間的推移，如果新應(yīng)用發(fā)展成一個(gè)規(guī)模市場(chǎng)，業(yè)界公司就會(huì)開始開發(fā)ASIC和ASSP，雖然這些組件可能保留一定的可編程性。只有當(dāng)算法變得極其穩(wěn)定時(shí)(例如MPEG)，才能真的看到以固定功能邏輯的應(yīng)用建置。

深度學(xué)習(xí)目前也正按這一發(fā)展路線展開。GPU和DSP顯然是適用的，而且因需求夠高，所以ASIC開始出現(xiàn)。幾家新創(chuàng)公司和其它公司正在開發(fā)即將在2018年及其后出貨的ASSP。至于少量或利基應(yīng)用，F(xiàn)PGA通常更受歡迎；深度學(xué)習(xí)已經(jīng)顯示出足以為ASIC投片帶來的前景了。

然而，哪一種DNN架構(gòu)將會(huì)勝出？如今看來還不夠明朗。盡管深度學(xué)習(xí)市場(chǎng)正迅速成長(zhǎng)，但仍遠(yuǎn)低于PC、智能手機(jī)和汽車市場(chǎng)。因此，ASIC和ASSP的商業(yè)案例看起來還微不足道。相形之下，像英特爾和Nvidia這樣的公司可以采用來自其它市場(chǎng)的高性能處理器，并增強(qiáng)其深度學(xué)習(xí)，透過大量的軟件支持和持續(xù)的更新以提供具競(jìng)爭(zhēng)力的產(chǎn)品。未來幾年，我們將會(huì)看到許多不同的硬件架構(gòu)在深度學(xué)習(xí)市場(chǎng)中共存。