在深度學(xué)習(xí)的概念中，通?？梢院?jiǎn)化為兩大工作流，一是訓(xùn)練，二是推理。兩者完美融合才是一個(gè)現(xiàn)代化的完整深度學(xué)習(xí)網(wǎng)絡(luò)，缺一不可。訓(xùn)練用于調(diào)整神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，從而在給定的數(shù)據(jù)上實(shí)現(xiàn)良好的表現(xiàn)；推理則用于執(zhí)行訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)模型，以在新數(shù)據(jù)上獲得輸出。

為了讓一個(gè)模型用于特定的用例，比如圖像識(shí)別、語(yǔ)音識(shí)別等，開發(fā)者必須要先訓(xùn)練這個(gè)模型。一旦模型訓(xùn)練完成后，就可以投入使用（用于推理）。這兩大工作流有著類似的特點(diǎn)，但對(duì)硬件資源的要求卻存在一定的差距。

以訓(xùn)練來(lái)說(shuō)，硬件需要的是大帶寬大容量的內(nèi)存，所以芯片之間的互聯(lián)相當(dāng)重要，當(dāng)然了這些需求會(huì)極大地增加BOM和功耗。而推理則常用于自然語(yǔ)言處理、推薦系統(tǒng)和語(yǔ)音識(shí)別這樣的實(shí)時(shí)應(yīng)用中，因此必須做到低延遲、高吞吐量，再者由于更加貼近應(yīng)用端，所以低功耗和低成本也是這類AI推理硬件的首選特性。

而這幾年間，不少半導(dǎo)體公司、云服務(wù)廠商和初創(chuàng)AI芯片公司都在AI推理上頻頻布局，甚至收購(gòu)了不少企業(yè)來(lái)放大優(yōu)勢(shì)或補(bǔ)全短板，尤其是“御三家”英偉達(dá)、英特爾和AMD。筆者這里特地選擇了三家的代表性產(chǎn)品，以及他們走的不同技術(shù)路線。

市場(chǎng)與生態(tài)的寵兒——GPU王牌部隊(duì)

自英偉達(dá)從2010年推出M2050專業(yè)GPU，并大肆推行GPGPU在AI推理上的應(yīng)用后，英偉達(dá)DGX產(chǎn)品線在AI推理算力上的占比就在一路走高。2020年阿里云、AWS和騰訊云等公有云平臺(tái)中，英偉達(dá)GPU AI推理算力超過(guò)了100 exaflops，也首次奪下了云端CPU統(tǒng)治多年的推理算力寶座，這其中的旗艦就是A100 GPU。

A100 SXM / 英偉達(dá)

我們以旗艦型號(hào)A100 80GB SXM為例，318 TFLOPS的TF32算力，1248 TOPS的INT8算力，80GB的GPU內(nèi)存帶寬達(dá)到了2039GB/s。不僅支持NVLink600GB/s的互聯(lián)，也支持64GB/s的PCIe4.0互聯(lián)。A100還可以被分為7個(gè)獨(dú)立的GPU實(shí)例，無(wú)論是端到端AI還是數(shù)據(jù)中心的HPC平臺(tái)，都適合該GPU大顯身手。

但A100的缺點(diǎn)也相當(dāng)明顯，第一就是功耗，高達(dá)400W的功耗讓這張卡成了很多AI推理加速器競(jìng)相對(duì)比能效比的對(duì)象。其次就是價(jià)格，高達(dá)一萬(wàn)美元以上的單價(jià)讓不少人望而卻步，至少個(gè)人開發(fā)者使用GPU或基于該GPU的云服務(wù)器的話，不免會(huì)肉疼好一陣了。

靈活的代表——FPGA抵抗軍

對(duì)于AMD來(lái)說(shuō)，過(guò)去主要是與英偉達(dá)、英特爾在一些通用計(jì)算領(lǐng)域進(jìn)行交鋒，而在AI訓(xùn)練和推理上，AMD其實(shí)并沒(méi)有推出太多針對(duì)這類應(yīng)用的方案，直到對(duì)Xilinx的收購(gòu)。不可置否的是，AMD在數(shù)據(jù)中心和HPC已經(jīng)嶄露頭角，甚至開始拔尖，但AI推理可以說(shuō)一直是AMD的弱勢(shì)所在。

其實(shí)收購(gòu)的部分原因，也要?dú)w功于Xilinx在AI市場(chǎng)上得天獨(dú)厚的優(yōu)勢(shì)，而這種優(yōu)勢(shì)在兩家聯(lián)手之下更加明顯，這一點(diǎn)早在過(guò)去的合作中就可以看出來(lái)。2018年的Xilinx開發(fā)者論壇上，AMD的EPYC CPU和Xilinx的AlveoU250在GoogLeNet CNN框架上實(shí)現(xiàn)了3萬(wàn)張圖片每秒的世界記錄級(jí)吞吐量。目前不少公有云廠商也在用Xilinx的FPGA方案，比如阿里云就有基于XilinxVU9P的方案。

VCK5000 / Xilinx

Xilinx最近也推出了全新的VCK5000AI加速器，該卡基于Xilinx7nm的VersalACAP架構(gòu)，專為高吞吐量的AI推理打造。從紙面參數(shù)上看，這張卡好像性能不算強(qiáng)大，在ResNet-50的吞吐量上只能算優(yōu)于英偉達(dá)的T4顯卡，但VCK5000還準(zhǔn)備了一些奇招。

電路中有個(gè)叫做暗硅（DarkSilicon）的概念，指的就是在功耗限制下，處理器電路上常常出現(xiàn)“一方有難，多方看戲”的情況，所以實(shí)際的效能根本達(dá)不到紙面參數(shù)。而Xilinx稱VCK5000將實(shí)際效率推至90%，相較英偉達(dá)GPU普遍低于50%的效率可謂秒殺了，甚至高過(guò)A100。成本上，VCK5000的單價(jià)也做到了2745美元，從性價(jià)比和TCO來(lái)說(shuō)，F(xiàn)PGA方案可以說(shuō)是真香了。

初創(chuàng)公司首選——ASIC異軍突起

作為英特爾在2019年收購(gòu)的一家以色列人工智能公司，Habana倒是很少出現(xiàn)在人們的視線中，遠(yuǎn)不如同被英特爾收購(gòu)的以色列自動(dòng)駕駛芯片公司Mobileye或是晶圓代工廠TowerSemiconductor那般高調(diào)，但他們給英特爾帶來(lái)的AI方案還是有點(diǎn)東西的。

HL-100 / Habana

Habana擁有兩大產(chǎn)品線，一是主打訓(xùn)練的Gaudi系列，二是主打推理的Goya系列。雖然兩者采用了不同的芯片設(shè)計(jì)，但仍基于相同的基本架構(gòu)（TPC），只不過(guò)是針對(duì)兩種工作負(fù)載做了優(yōu)化而已。同樣以ResNet50的吞吐量作為比較，在Batch大小為10時(shí)，基于Goya的HL-100加速卡可以做到15488張圖片每秒的吞吐量，更吃驚的是其延遲可以做到0.8ms。對(duì)于延遲敏感型應(yīng)用來(lái)說(shuō)，Goya很可能就是最佳的選擇。

不過(guò)HL-100的TPC還只是基于臺(tái)積電的16nm工藝而已，而基于更先進(jìn)的工藝的TPC和HL-200系列遲遲沒(méi)有消息公布。不知是不是Habana打算在新產(chǎn)品上直接用上英特爾的工藝。

孰優(yōu)孰劣？還是取決于生態(tài)和市場(chǎng)選擇

要想對(duì)比這三家AI推理加速器的性能著實(shí)有些困難，且不說(shuō)三者在規(guī)模和功耗上的不同，所用系統(tǒng)、軟件、模型、數(shù)據(jù)集和測(cè)試環(huán)境也都是各不一樣。那么對(duì)于AI開發(fā)者來(lái)說(shuō)，應(yīng)該如何選擇呢？我們不妨從市場(chǎng)和生態(tài)的角度來(lái)看。

首先是市場(chǎng)的主流選擇，無(wú)疑目前市面應(yīng)用占比最多的還是英偉達(dá)旗下的加速器，這在數(shù)據(jù)中心和超算等場(chǎng)景中都能看出來(lái)，無(wú)論是訓(xùn)練還是推理，云服務(wù)廠商推出最多的旗艦實(shí)例基本都是基于英偉達(dá)的A100、A30等GPU，在其TensorRT推理框架的大力推動(dòng)下，英偉達(dá)占據(jù)了絕對(duì)的主導(dǎo)位置。然而作為通用方案，英偉達(dá)的A100在總體性能上雖然不錯(cuò)，但泛用性還是無(wú)法覆蓋到一些特定的應(yīng)用。比如主打超低延遲或超高吞吐量的場(chǎng)景，可能還是不如FPGA或推理專用ASIC給到的吸引力高，更不用說(shuō)這些方案在成本上的優(yōu)勢(shì)了。

反觀Xilinx的VCK5000，單純比算力的話，F(xiàn)PGA與GPU、ASIC相比優(yōu)勢(shì)不大，倒是FPGA的可編程靈活性為開發(fā)帶來(lái)了不少便利，可隨時(shí)更新和優(yōu)化硬件加速而無(wú)需重新設(shè)計(jì)硬件。但不少AI開發(fā)者可能看到Xilinx這個(gè)大名就望而生畏，紛紛表示自己一個(gè)深度學(xué)習(xí)“煉丹師”，可不想學(xué)Verilog之類的RTL編程設(shè)計(jì)。這也是為何英特爾和Xilinx等FPGA廠商近年來(lái)開始在軟件上發(fā)力的原因，像Xilinx Vitis這樣的統(tǒng)一軟件，可以說(shuō)給了一個(gè)面向全平臺(tái)開發(fā)者的方案，直接支持到Pytorch和TensorFlow這些主流的框架和模型。

至于Habana的Goya這種產(chǎn)品形式，其實(shí)是目前不少初創(chuàng)公司走的路線。與以上GPU和FPGA方案相比，他們?cè)谲浖_發(fā)上要花費(fèi)更多的心力，所以不少初創(chuàng)企業(yè)的AI加速器支持的框架和模型都不是太多，支持的程度也尚未完善。至于市場(chǎng)反響來(lái)看，Goya也不比Habana的Gaudi訓(xùn)練加速器，后者已經(jīng)有了基于該硬件的AWS實(shí)例，而Goya目前已知的應(yīng)用還是超算。未來(lái)Goya面向的，可能還是比較“?！钡膱?chǎng)景。