在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中，卷積層一般主要使用同一組權(quán)重，從而形成 a x w 和 b x w 類型的并行MACC 運(yùn)算。因此除輸入共享外，還可以使用權(quán)重共享（見(jiàn)圖 7）。

圖 7 ：權(quán)重共享和輸入共享比較

創(chuàng)建 INT8 鏈接 MACC 的其他方法
INT8 MACC 還能用 FPGA 架構(gòu)內(nèi)與 DSP Slice 頻率近似的 LUT 來(lái)構(gòu)建。根據(jù) FPGA 的使用情況，這可以顯著提升深度學(xué)習(xí)性能，在某些情況下性能可提升三倍之多。許多情況下相對(duì)于其他非 FPGA 架構(gòu)而言，在計(jì)算可用深度學(xué)習(xí)運(yùn)算時(shí)這些可用的計(jì)算資源并未考慮在內(nèi)。

賽靈思 FPGA 中的編程架構(gòu)是獨(dú)有的，因?yàn)樗懿⑿星腋咝У靥幚矶鄻踊ぷ髫?fù)載。例如賽靈思 FPGA能并行執(zhí)行 CNN 圖像分類、網(wǎng)絡(luò)加密和數(shù)據(jù)壓縮。我們的深度學(xué)習(xí)性能競(jìng)爭(zhēng)分析并未將 MACC LUT 考慮在內(nèi)，因?yàn)橐话?LUT 用于執(zhí)行 MACC 功能比用于執(zhí)行其他并行功能時(shí)更有價(jià)值。

競(jìng)爭(zhēng)分析

在本競(jìng)爭(zhēng)分析中，將英特爾（前 Altera）的 Arria 10 和即將推出的 Stratix 10 器件與賽靈思的 Kintex UltraScale 和 Virtex UltraScale+ 進(jìn)行了對(duì)比。對(duì)這種高計(jì)算強(qiáng)度的比較，選擇的器件均為每個(gè)產(chǎn)品系列中 DSP 密度最高的器件：Arria 10 (AT115)、Stratix 10 (SX280)、Kintex UltraScale (KU115)、Virtex UltraScale+ (VU9P) 和 Virtex UltraScale+ (VU13P) 器件。比較的重點(diǎn)是能用于包括深度學(xué)習(xí)在內(nèi)的眾多應(yīng)用的通用 MACC 性能。

英特爾的 MACC 性能基于運(yùn)用預(yù)加法器的算子。但是這種實(shí)現(xiàn)方案產(chǎn)生的是乘積項(xiàng)和非唯一單獨(dú)乘積項(xiàng)之和，因此英特爾的預(yù)加法器不適用于深度學(xué)習(xí)運(yùn)算。

英特爾器件的功耗使用英特爾的 EPE 功耗估算工具估算，并假設(shè)在以下最壞情況下：
1. 在最大頻率 (FMAX) 下 DSP 利用率為 90%
2. 時(shí)鐘速率為 DSP FMAX 時(shí)邏輯利用率為 50%
3. 時(shí)鐘速率為 DSP FMAX 的一半時(shí),block RAM 利用率為 90%
4. 4 個(gè) DDR4 和 1 個(gè) PCIe Gen3 x 8
5. DSP 觸發(fā)率為 12.5%
6. 80°TJ

圖 8 所示為深度學(xué)習(xí)運(yùn)算的能效比較。憑借 INT8 優(yōu)化，賽靈思 UltraScale 和 UltraScale+ 器件在 INT8精度上相比 INT16 運(yùn)算（KU115 INT16/KU115 INT8）能效提升 1.75 倍。與英特爾的 Arria 10 和 Stratix 10器件相比，賽靈思器件在深度學(xué)習(xí)推斷運(yùn)算上能效高出 2-6 倍。

圖 8 ：INT8 深度學(xué)習(xí)能效對(duì)比：賽靈思對(duì)比英特爾

結(jié)論
本白皮書(shū)探討了如何在賽靈思 DSP48E2 Slice 上優(yōu)化 INT8 深度學(xué)習(xí)運(yùn)算，從而實(shí)現(xiàn) 1.75 倍的性能提升。賽靈思 DSP48E2 Slice 可用于在共享相同內(nèi)核權(quán)重的同時(shí)實(shí)現(xiàn)并行 INT8 MACC。為高效地實(shí)現(xiàn) INT, 需要采用 24 位輸入寬度，這項(xiàng)優(yōu)勢(shì)只有賽靈思 UltraScale 和 UltraScale+ FPGA DSP Slice 能夠提供支持。賽靈思非常適合用于深度學(xué)習(xí)應(yīng)用中的 INT8 工作負(fù)載（例如圖像分類）。賽靈思不斷創(chuàng)新新的基于軟/硬件的方法，以加快深度學(xué)習(xí)應(yīng)用的發(fā)展。

如需了解有關(guān)數(shù)據(jù)中心深度學(xué)習(xí)的更多信息，敬請(qǐng)?jiān)L問(wèn)： https://china.xilinx.com/accelerationstack

參考資料
1. 1.Dettmers, 8-Bit Approximations for Parallelism in Deep Learning, ICLR 2016
https://arxiv.org/pdf/1511.04561.pdf
2. Gysel et al, Hardware-oriented Approximation of Convolutional Neural Networks, ICLR 2016
https://arxiv.org/pdf/1604.03168v3.pdf
3. Han et al, Deep Compression:Compressing Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding, ICLR 2016
https://arxiv.org/pdf/1510.00149v5.pdf
4. Rosenblatt, F., The Perceptron:A Probabilistic Model for Information Storage and Organization in the Brain, Psychological Review, Vol. 65, No. 6, 1958