英特爾在Hot Chips大會上發(fā)布了首款AI處理器，專為大型計算中心設(shè)計。該芯片基于10納米Ice Lake處理器，專為大型數(shù)據(jù)中心設(shè)計，可以用最少的能耗來處理高工作負載。本文帶來這款芯片的詳細設(shè)計細節(jié)。

近日在Hot Chips 2019大會上，英特爾發(fā)布了首款AI處理器，專為大型計算中心設(shè)計。

英特爾表示，該芯片由位于以色列海法的研發(fā)中心開發(fā)，名為Nervana NNP-I或Springhill，基于10納米Ice Lake處理器，可以用最少的能耗來處理高工作負載。

英特爾表示，隨著AI領(lǐng)域?qū)碗s計算的需求日益增加，這款新的硬件芯片將有助于大型企業(yè)使用英特爾Xeon處理器。

在Hot Chips大會上，他們提供了這款AI芯片的更多設(shè)計細節(jié)。

英特爾首款AI芯片設(shè)計細節(jié)

英特爾正采取數(shù)項不同的舉措，通過其“無處不在的AI”('AI everywhere)戰(zhàn)略，擴大其在蓬勃發(fā)展的AI市場的影響力。該公司廣泛的產(chǎn)品包括GPU，FPGA和定制ASIC，用于應(yīng)對AI領(lǐng)域的不同挑戰(zhàn)，其中一些解決方案專為計算密集型的訓練任務(wù)而設(shè)計，用于為目標識別、語音翻譯、語音合成等工作負載創(chuàng)建復雜的神經(jīng)網(wǎng)絡(luò)，將產(chǎn)生的訓練模型作為輕量級代碼運行的單獨解決方案稱為推理。

英特爾的Spring Hill Nervana神經(jīng)網(wǎng)絡(luò)推理處理器(NNP-I) 1000，我們在下文中簡稱為NNP-I，用于處理數(shù)據(jù)中心的輕量級推理工作負載。這款芯片足夠小，可以安裝在標準的M.2設(shè)備上，然后插入主板上的標準M.2端口，從而將Xeon服務(wù)器從推理密集型工作負載中解放出來，將更大的芯片釋放出來用于一般計算任務(wù)。用于訓練的神經(jīng)網(wǎng)絡(luò)處理器 (NPP-T)作為英特爾的Nervana解決方案用于訓練工作負載，但這兩種設(shè)備的底層架構(gòu)有很大的不同。

英特爾修改了10nm Ice Lake處理器，去掉了兩個計算核心和圖形引擎，以適應(yīng)12個推理計算引擎(ICE)。ICE加速器具有基于硬件的單元間同步，與兩個IA核共享一個連貫的結(jié)構(gòu)和24MB的L3緩存，這兩個IA核具有Sunny Cove微架構(gòu)。

IA核心是標準的Ice Lake核心，支持AVX-512和VNNI指令，可加速卷積神經(jīng)網(wǎng)絡(luò)，而一個完全集成的電壓調(diào)節(jié)模塊(FIVR)動態(tài)地向組件供電，將更多的功率預算分配給最活躍的on-die單元。該芯片配備了兩個LPDDR4X內(nèi)存控制器，連接到封裝內(nèi)存，你可以將其視為M.2 PCB左下方的單個組件?？刂破魈峁└哌_4.2 GT/s (68 GB/s)的吞吐量，并支持 in-band ECC。

英特爾尚未透露LPDDR4的容量，也沒有透露有關(guān)M.2設(shè)備的其他細節(jié)。我們知道英特爾將這個軟件包安裝在不同形式的插入卡上，比如上面的M.2版本，它可以插入服務(wù)器主板上的標準M.2端口，或者插入標準的PCIe插槽的更大的附加卡。與谷歌的TPU等為人AI設(shè)計的定制芯片不同，這款設(shè)備基本上與所有現(xiàn)有的現(xiàn)代服務(wù)器硬件兼容。這種方法也是可擴展的：你可以根據(jù)需要向服務(wù)器添加盡可能多的NNP-I，特別是對于包含多個M.2端口的PCIe提升板。

該設(shè)備通過PCIe 3.0 x4或x8接口與主機通信，但不使用NVMe協(xié)議。相反，它作為一個標準的PCIe設(shè)備運行。英特爾將提供一種軟件，可以將推理“作業(yè)”完全編排到加速器上，當工作完成時，該軟件將通知Xeon CPU。卸載消除了Xeon與其他類型的加速器在PCIe總線上的來回通信，這對CPU來說是一種負擔，因為它會生成中斷并需要數(shù)據(jù)移動。相反，NNP-I是一個獨立的系統(tǒng)，具有自己的I/O調(diào)節(jié)(PCH)，允許它訪問處理所需的數(shù)據(jù)。

該設(shè)備可以支持從10W到50W的不同功率范圍，這對性能有影響。M.2接口的15W限制阻礙了插入標準M.2插座的設(shè)備的功率傳輸，但NNP-I在更大的外接卡中可以在最高TDP額定值下運行，這意味著它們提供了更好的性能。在INT8操作中，TOP/s的范圍從48到92。根據(jù)配置的TDP，芯片的效率為每瓦特2~4.8 TOP/s，但該指標不包括總包功率。

推理計算引擎內(nèi)部

深入研究ICE引擎可以發(fā)現(xiàn)，每個ICE單元都有額外的4MB SRAM，有助于減少芯內(nèi)數(shù)據(jù)移動，這在功耗和時間方面總是比實際的計算操作更昂貴。深度學習計算網(wǎng)格(DL Compute Grid)是一個張量引擎，通過數(shù)據(jù)和控制結(jié)構(gòu)連接到SRAM和VP6 DSP。DSP引擎可以用于沒有專門針對固定功能DL計算網(wǎng)格進行優(yōu)化的算法。此外，其他代碼可以在Ice Lake核心上使用VNNI運行，使多個模型可以同時在設(shè)備上運行，也為快速移動的AI空間提供了一些必需的前向兼容性。

DL Compute Grid支持FP16和INT8，但也支持INT4、2和1，以支持未來可能對AI算法進行的調(diào)整。令人驚訝的是，它不支持bfloat16。通過調(diào)整工作負載在ICE單元之間的分布方式，可以優(yōu)化fabric的帶寬或延遲，如下表所示。

這里我們可以看到DL Compute Grid的特寫視圖，它被設(shè)計得很靈活，以最大化其4D并行計算能力，以及用于矢量處理的Tensilicon Vision P6 DSP。Tensilica DSP引擎是一個廣泛的VLIW機器，支持INT8, 16, 32，和FP16。該引擎是完全可編程的，并具有一個雙向管道和DL Compute Grid，可在兩個硬件同步單元之間快速傳輸數(shù)據(jù)。。

芯片的內(nèi)存子系統(tǒng)

回到內(nèi)存子系統(tǒng)，可以看到每個計算單元中所做的設(shè)計決策背后的許多合理化。這里我們可以看到硬件控制的L3緩存被分成8個3MB的片段，在AI核心和ICE單元之間共享。該設(shè)計經(jīng)過優(yōu)化，使數(shù)據(jù)盡可能接近計算引擎，并具有四個不同的層。

圖表左側(cè)的一系列blocks量化了通過內(nèi)存結(jié)構(gòu)的每一層移動數(shù)據(jù)的延遲。從DRAM到DLCompute Grid的數(shù)據(jù)傳輸被設(shè)置為基線，我們可以看到分層結(jié)構(gòu)中的每一層將數(shù)據(jù)傳輸?shù)膃ngine的速度是多么快。從L3緩存訪問比DRAM快10倍，而存儲在DL Compute Grid中的數(shù)據(jù)比DRAM快1000倍。

總之，分層設(shè)計允許Xeon向設(shè)備卸載幾種不同類型的神經(jīng)網(wǎng)絡(luò)，每一層都支持一定的精度。請注意，上面的金字塔是根據(jù)每瓦特的性能排列的。

英特爾與ResNet50共享性能數(shù)據(jù)，運行速度為每秒3600 次推理，芯片設(shè)置為10W TDP。這相當于每瓦特4.8 TOP/s的效率測量，符合公司的設(shè)計目標。值得注意的是，芯片在較低的TDP范圍內(nèi)效率更高，因此在較高的性能設(shè)置下效率可能會有所不同。這些數(shù)字也只適用于ASIC，不包括整個M.2設(shè)備的功耗。英特爾表示，未來將分享更多的性能數(shù)據(jù)。

英特爾提供了一個編譯器，可以為NNP-I的加速器定制代碼，并正在與Facebook合作，以確保Glo編譯器也支持NNP-I的加速器。Facebook是英特爾在開發(fā)期間的“定義”合作伙伴。該設(shè)備還支持所有標準框架，如PyTorch和TensorFlow等，幾乎沒有任何更改。英特爾堅持認為，任何能夠使用Xeons進行推理的人都可以使用NNP-I。

在數(shù)據(jù)中心，推理應(yīng)用遠比訓練普遍，價格合理的低功耗設(shè)備將集體銷售給超大規(guī)模和云服務(wù)提供商（CSP），意思是這可以成為英特爾的一個利潤豐厚的細分市場。該公司本身并沒有打算將這些設(shè)備推向零售市場，但確實希望CSP在未來通過基于云的實例來公開它們。

英特爾已經(jīng)研發(fā)了兩代NNP-I。該公司將在今年年底前開始批量生產(chǎn)，NNP-I已經(jīng)開始提供樣品。