【核芯觀察】是電子發(fā)燒友編輯部出品的深度系列專欄，目的是用最直觀的方式令讀者盡快理解電子產(chǎn)業(yè)架構(gòu)，理清上、中、下游的各個(gè)環(huán)節(jié)，同時(shí)迅速了解各大細(xì)分環(huán)節(jié)中的行業(yè)現(xiàn)狀。以ChatGPT為首的AI大模型在今年以來(lái)可以說(shuō)是最熱的賽道，而AI大模型對(duì)算力的需求爆發(fā)，也帶動(dòng)了AI服務(wù)器中各種類型的芯片需求，所以本期核芯觀察將關(guān)注ChatGPT背后所用到的算力芯片產(chǎn)業(yè)鏈，梳理目前主流類型的AI算力芯片產(chǎn)業(yè)上下游企業(yè)以及運(yùn)作模式。

接上期ChatGPT背后的算力芯片（二）

AI服務(wù)器中的主要算力芯片之FPGA

市場(chǎng)現(xiàn)狀

FPGA的最大特點(diǎn)就是，在芯片被設(shè)計(jì)、制造完成之后，用戶依然可以通過(guò)修改其邏輯單元和開關(guān)陣列編程，來(lái)進(jìn)行功能配置，實(shí)現(xiàn)所需要的功能。在AI算法快速迭代的過(guò)程中，用戶可以通過(guò)持續(xù)優(yōu)化FPGA的功能配置，來(lái)提高運(yùn)算效率。這也是FPGA與CPU、GPU、ASIC等芯片最大的不同。

所以最初FPGA被大量用于通信領(lǐng)域，可以靈活更改高速通信協(xié)議的處理方式，適配不同場(chǎng)景。根據(jù)Frost&Sullivan的預(yù)測(cè)數(shù)據(jù)，2022年中國(guó)FPGA下游應(yīng)用中，通信占比最高為41.52%，工業(yè)應(yīng)用其次，占比31.23%。數(shù)據(jù)中心、汽車、消費(fèi)電子、AI分別占比10.54%、6.94%、5.89%、3.88%。

從全球市場(chǎng)來(lái)看，根據(jù)Frost&Sullivan數(shù)據(jù)，估算2021年全球FPGA市場(chǎng)規(guī)模為68.6億美元，2022年預(yù)計(jì)為79.4億美元，同比增長(zhǎng)15.7%；到2025年市場(chǎng)規(guī)模將增長(zhǎng)至125.8億美元，2021年到2025年年均復(fù)合增長(zhǎng)率約16.4%。

中國(guó)市場(chǎng)上，2021年FPGA市場(chǎng)規(guī)模為176.8億元，到2025年 FPGA芯片銷售額將達(dá)到332.2億元，2021至2025年年均復(fù)合增長(zhǎng)率將達(dá)到17.1%。出貨量方面，中國(guó)市場(chǎng)FPGA芯片出貨量在2020年約為1.6億顆，預(yù)計(jì)到2025年將達(dá)到3.3億顆，2021至2025年年均復(fù)合增長(zhǎng)率將達(dá)到15.0%。

其中數(shù)據(jù)中心、AI領(lǐng)域市場(chǎng)增長(zhǎng)迅速，F(xiàn)PGA能夠使數(shù)據(jù)中心的不同器件更加有效地協(xié)同，最大程度發(fā)揮每個(gè)器件的硬件優(yōu)勢(shì)避免數(shù)據(jù)轉(zhuǎn)換導(dǎo)致的算力空耗；在運(yùn)算加速領(lǐng)域，F(xiàn)PGA 在矩陣運(yùn)算、圖像處理、機(jī)器學(xué)習(xí)、非對(duì)稱加密、搜索排序等領(lǐng)域有著很廣闊的應(yīng)用前景。

在中國(guó)數(shù)據(jù)中心細(xì)分市場(chǎng)，F(xiàn)rost&Sullivan預(yù)計(jì)該市場(chǎng)規(guī)模在2021年為18.7億元，到2025年會(huì)達(dá)到34.6億元，其間年均復(fù)合增長(zhǎng)率將為16.6%。

不過(guò)自去年年底以來(lái)，由OpenAI掀起的AI熱潮，有望推動(dòng)FPGA市場(chǎng)以遠(yuǎn)超出此前預(yù)期的速度增長(zhǎng)。

近年沒有新的FPGA市場(chǎng)份額數(shù)據(jù)，按照Frost&Sullivan 2019年的數(shù)據(jù)，中國(guó)市場(chǎng)上AMD（賽靈思）、英特爾（Altera）兩家占到FPGA市場(chǎng)銷售額的九成以上，分別為55.1%和36%。而按照FPGA出貨量來(lái)看，同期AMD占36.6%、英特爾占25.3%、萊迪思占23.2%、安路科技占6%。

FPGA的核心參數(shù)是邏輯單元容量，按照邏輯單元容量來(lái)分，2019年中國(guó)FPGA市場(chǎng)中需求量最大的是100K以下和100K—500K邏輯單元容量的FPGA，份額分別占市場(chǎng)的38.2%和31.7%，更高端的500K-1KK以及1KK以上邏輯單元容量的FPGA則分別占24.4%和5.7%的份額。

全球范圍來(lái)看，F(xiàn)PGA市場(chǎng)目前由AMD和英特爾雙寡頭壟斷，占整個(gè)市場(chǎng)份額近90%，第二梯隊(duì)的海外廠商有萊迪思、Microsemi等，各占5%左右。國(guó)內(nèi)FPGA廠商主要有復(fù)旦微電子、紫光國(guó)微（紫光同創(chuàng)）、安路科技、高云半導(dǎo)體、華微電子、智多晶、京微齊力等等，不過(guò)從邏輯單元容量來(lái)看，國(guó)內(nèi)廠商主要集中在500K以下，更多產(chǎn)品線的邏輯單元容量在200K以下，中低端市場(chǎng)布局較為完善，但中高端領(lǐng)域目前國(guó)產(chǎn)FPGA仍未有大規(guī)模涉足。

復(fù)旦微電子在2018年推出了億門級(jí)FPGA系列，邏輯單元容量可達(dá)700K，據(jù)了解，其新一代十億門級(jí)的大容量FPGA有望在2023年內(nèi)推出。而2019年英特爾推出的 Stratix 10 GX 10M FPGA邏輯單元已經(jīng)高達(dá)10KK，相比之下國(guó)產(chǎn)FPGA在高端市場(chǎng)目前缺口還是較大的，但目前重要的是在中低端市場(chǎng)站穩(wěn)，奪得更多的國(guó)內(nèi)市場(chǎng)份額。

AI服務(wù)器FPGA的趨勢(shì)

衡量FPGA的容量，有兩個(gè)階段，在2000年以前，F(xiàn)PGA廠商用門級(jí)數(shù)量規(guī)模來(lái)衡量FPGA的容量，因?yàn)锳SIC的最小功能單元是“門”，而本質(zhì)上FPGA與ASIC都可以同樣功能，甚至在ASIC設(shè)計(jì)過(guò)程中都會(huì)使用到FPGA進(jìn)行驗(yàn)證，所以“門”可以間接體現(xiàn)FPGA的容量。

后來(lái)2000年后，F(xiàn)PGA廠商逐漸開始轉(zhuǎn)用統(tǒng)一的邏輯單元來(lái)表示FPGA容量，這主要是由于FPGA性能需求的升級(jí)，芯片內(nèi)部的LUT結(jié)構(gòu)和集成度不斷改變，用門級(jí)數(shù)來(lái)表示FPGA容量越來(lái)越難。

如今FPGA不僅是單純的FPGA，而是將RAM、DSP、收發(fā)器、DDR接口、CPU、GPU等許多功能嵌入到 FPGA 中，所以對(duì)于FPGA的評(píng)價(jià)指標(biāo)，也變得更加復(fù)雜，需要根據(jù)不同應(yīng)用去衡量參數(shù)。

在AI服務(wù)器中，F(xiàn)PGA往往起到加速計(jì)算的作用，F(xiàn)PGA的特性可以令其在深度學(xué)習(xí)中異構(gòu)計(jì)算、并行計(jì)算方面有一定優(yōu)勢(shì)，且其具備低延時(shí)的特性，在AI服務(wù)器中FPGA還可以實(shí)現(xiàn)數(shù)據(jù)高速收發(fā)、交換等功能。同時(shí)，相比于CPU和GPU，F(xiàn)PGA單位能耗比還更低，特別在深度學(xué)習(xí)領(lǐng)域，近年來(lái)微軟、百度、亞馬遜等已經(jīng)在數(shù)據(jù)中心大規(guī)模部署FPGA。

有數(shù)據(jù)顯示，在保持相同神經(jīng)網(wǎng)絡(luò)模型計(jì)算結(jié)果的同時(shí)，F(xiàn)PGA平臺(tái)的16位定點(diǎn)計(jì)算性能普遍是CPU的2到3倍，計(jì)算資源利用率更是CPU的接近20倍；與GPU相比，盡管計(jì)算性能沒有明顯領(lǐng)先，但功耗顯著降低，所以FPGA在AI服務(wù)器中用于計(jì)算加速是有明顯優(yōu)勢(shì)的。

在AI服務(wù)器中，F(xiàn)PGA的一些重要指標(biāo)包括邏輯單元數(shù)、DSP的數(shù)量、收發(fā)器的傳輸速率等。另一方面，F(xiàn)PGA的制程工藝也是考量FPGA的一個(gè)重要標(biāo)準(zhǔn)，目前高端FPGA的制程基本是20nm以下，AMD目前最高端的產(chǎn)品線就采用臺(tái)積電16nm制程。

同時(shí)邏輯單元數(shù)大于700K，基本在1KK以上的水平；DSP的數(shù)量較多，比如超過(guò)10000的DSP；較高的Bloch RAM容量，比如1000Mb以上；收發(fā)器速率高于50GB/s，還集成CPU等的處理單元和PCIe 5等先進(jìn)接口。

總而言之，高端的FPGA往往以SoC的形式呈現(xiàn)。而為了更加便于數(shù)據(jù)中心、AI服務(wù)器等應(yīng)用的導(dǎo)入，F(xiàn)PGA廠商也提供了比如數(shù)據(jù)中心加速卡的解決方案，比如AMD Alveo系列。

AI服務(wù)器中的主要算力芯片之ASIC

市場(chǎng)現(xiàn)狀

近年來(lái)，TPU、NPU、VPU、DPU、BPU等各種名詞層出不窮，其實(shí)這些從廣義的概念看都屬于ASIC。

ASIC其實(shí)與前面提到的FPGA有密切的關(guān)系，在ASIC開發(fā)的過(guò)程中，往往要用到FPGA驗(yàn)證。理論上一些芯片功能如果能用FPGA做出來(lái)，那么ASIC就同樣可以做到，本質(zhì)上是用兩種不同的設(shè)計(jì)理念來(lái)讓芯片實(shí)現(xiàn)部分相同的功能。

當(dāng)然，F(xiàn)PGA的靈活程度是ASIC不可比擬的，ASIC自設(shè)計(jì)之初就被限定了功能，無(wú)法像FPGA一樣在實(shí)際使用中還可以隨時(shí)重新配置芯片功能。

雖然ASIC的設(shè)計(jì)流程漫長(zhǎng)，但ASIC相比FPGA由于進(jìn)行了完整的定制，專為特定程序優(yōu)化電路，在進(jìn)行特定任務(wù)時(shí)性能會(huì)更加穩(wěn)定，并且運(yùn)行效率、能效比都會(huì)優(yōu)于FPGA。

根據(jù)Bob Broderson數(shù)據(jù)，F(xiàn)PGA的能效比集中在1-10MOPS/mW之間。ASIC的能效比處于專用硬件水平，超過(guò)100MOPS/mW，是FPGA的10倍以上。

目前來(lái)看，在AI服務(wù)器場(chǎng)景中，ASIC主要用于推理服務(wù)器，針對(duì)已經(jīng)訓(xùn)練完成的模型來(lái)設(shè)計(jì)高效的運(yùn)算硬件。但當(dāng)前AI大模型領(lǐng)域正處于爆發(fā)初期，ASIC在AI服務(wù)器上的份額或許會(huì)呈現(xiàn)后發(fā)趨勢(shì)，在相關(guān)應(yīng)用的AI模型成熟后，未來(lái)在云端推理方面將有較大的市場(chǎng)空間。正如地平線CEO余凱曾說(shuō)的，“一旦軟件算法固定下來(lái)，專用集成電路ASIC一定是未來(lái)的方向”。

KBVResearch報(bào)告數(shù)據(jù)顯示，到2025年，全球ASIC芯片市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到247億美元，在2019到2025年間的復(fù)合年增長(zhǎng)率為8.2%。

也正因?yàn)槟壳皯?yīng)用方面的一些難點(diǎn)，暫時(shí)來(lái)看，全球ASIC市場(chǎng)還未出現(xiàn)明顯的領(lǐng)先者，海內(nèi)外廠商都在高速發(fā)展的過(guò)程中。

海外的主要玩家有谷歌、Habana（英特爾收購(gòu)）等，谷歌目前已經(jīng)推出了四代 TPU產(chǎn)品，TPU v5據(jù)稱即將在今年內(nèi)面世；英特爾在2019年收購(gòu)了Habana，隨后在2022年推出了Gaudi 2；云服務(wù)器巨頭亞馬遜也在持續(xù)布局開發(fā)ASIC，此前亞馬遜計(jì)劃在Alexa語(yǔ)音助手運(yùn)算上采用ASIC，以降低對(duì)英偉達(dá)的依賴；微軟近幾年都有消息傳出，正在開發(fā)一款名為Athena的AI訓(xùn)練專用ASIC，據(jù)稱還將采用臺(tái)積電5nm制程，不過(guò)還未有這款芯片的具體消息。

國(guó)內(nèi)玩家有海思、寒武紀(jì)、燧原科技、百度、阿里等，其中海思、百度、阿里由于其公司業(yè)務(wù)場(chǎng)景對(duì)ASIC存在天然需求，因此選擇ASIC能降低其服務(wù)器建設(shè)成本。海思在2019年推出了昇騰910，百度也在同年推出了昆侖芯片、阿里也在2019年推出了含光800。

其中華為通過(guò)ASIC部署了端到端的完整生態(tài)，比如使用昇騰910時(shí)，需要搭配華為的大模型支持框架MindSpore和盤古大模型等；阿里則將含光800用于自家業(yè)務(wù)平臺(tái)的加速，比如為淘寶等平臺(tái)提供算力支持；百度的昆侖芯則主要在自身服務(wù)器、算力集群等應(yīng)用，對(duì)政企客戶等提供算力。

以公開的算力數(shù)據(jù)來(lái)算，海思的昇騰910在BF16浮點(diǎn)算力為320Tflops，已經(jīng)超越谷歌最新一代產(chǎn)品TPUv4的275Tflops，在INT8定點(diǎn)算力上同樣大幅領(lǐng)先。同時(shí)遂原科技和寒武紀(jì)的產(chǎn)品在整體性能上也與谷歌的TPUv4相差不遠(yuǎn)，當(dāng)然，由于應(yīng)用上的區(qū)別，可能是設(shè)計(jì)上有不同傾向，比如TPUv4互聯(lián)帶寬較高，1000GB/s遠(yuǎn)遠(yuǎn)領(lǐng)先于遂原科技和寒武紀(jì)的產(chǎn)品。

燧原科技在2021年推出了邃思2.0，采用12nm制程，單精度 FP32 算力為 40TFLOPS，單精度張量 TF32 算力為 160TFLOPS，整數(shù)精度 INT8 算力為 320TOPS，可用于云端AI訓(xùn)練；同期寒武紀(jì)也推出了思元370芯片，采用7nm先進(jìn)制程，算力最高可達(dá) 256TOPS (INT8)，可靈活應(yīng)用于云端推理、訓(xùn)練等領(lǐng)域。

AI服務(wù)器上ASIC的發(fā)展趨勢(shì)

ASIC作為一種專用的集成電路，它的發(fā)展永遠(yuǎn)是跟隨算法需求而定，這種表現(xiàn)在谷歌、百度、阿里、華為等云服務(wù)廠商中可能尤為明顯。

不過(guò)在2020年，英特爾發(fā)布了全新可定制解決方案，同時(shí)也將“結(jié)構(gòu)化ASIC”的概念帶火。從上文我們也了解到，F(xiàn)PGA與ASIC關(guān)系密切，同時(shí)又各有優(yōu)勢(shì)，英特爾提出的“結(jié)構(gòu)化ASIC”，就是一種各項(xiàng)特性上介于FPGA和ASIC之間的芯片。

這種結(jié)構(gòu)化ASIC在量產(chǎn)成本、邏輯門利用率、能耗、效能速度等表現(xiàn)上優(yōu)于FPGA，但又不如純ASIC表現(xiàn)得優(yōu)異，同時(shí)也具有FPGA的可編程化邏輯功效，以及加速芯片的研發(fā)設(shè)計(jì)速度與修改彈性，使芯片能更快完成并投入市場(chǎng)。

簡(jiǎn)單來(lái)說(shuō)，結(jié)構(gòu)化ASIC是一種“半成品”的ASIC，它的性能和功耗接近標(biāo)準(zhǔn)單元ASIC，同時(shí)能夠節(jié)省一半的一次性工程費(fèi)用和設(shè)計(jì)時(shí)間。但也有所損失，因?yàn)槊芏戎挥袠?biāo)準(zhǔn)單元ASIC的50%到75%，所以結(jié)構(gòu)化ASIC的成本會(huì)是標(biāo)準(zhǔn)單元ASIC的1.5-2倍。

按照英特爾的說(shuō)法，采用結(jié)構(gòu)化ASIC后，芯片編程不能像FPGA一樣可以在現(xiàn)場(chǎng)修改，而是需要在芯片工廠完成對(duì)芯片的編程。盡管成本仍然高達(dá)數(shù)十萬(wàn)美元，但只需要幾個(gè)月時(shí)間就可以完成，傳統(tǒng)ASIC則至少需要兩年。

所以目前ASIC的一個(gè)最大痛點(diǎn)是，設(shè)計(jì)時(shí)間和資源消耗，這在如今快速迭代的AI大模型和AI算法中，是難以成為主流的。而從結(jié)構(gòu)化ASIC的發(fā)展來(lái)看，事實(shí)上這個(gè)概念并非英特爾首創(chuàng)，但過(guò)去由于半導(dǎo)體工藝制程的高速發(fā)展，使得制程帶來(lái)的性能紅利要遠(yuǎn)遠(yuǎn)大于ASIC的帶來(lái)的能效提升，因此結(jié)構(gòu)化ASIC沒有受到市場(chǎng)重視。

而近年來(lái)摩爾定律逐漸放緩，芯片制程工藝也已經(jīng)邁入一個(gè)較為穩(wěn)定的階段，因此現(xiàn)階段ASIC應(yīng)用的主要限制就在于設(shè)計(jì)周期和流片等工程費(fèi)用投入?；蛟S結(jié)構(gòu)化ASIC能夠成為下一階段ASIC的一個(gè)重要發(fā)展方向，加速ASIC在AI服務(wù)器上的部署。

值得一提的是，電子發(fā)燒友網(wǎng)主辦的第七屆人工智能大會(huì)將在2023年8月23日正式召開，

在過(guò)去的三屆大會(huì)中，我們舉辦的“中國(guó)人工智能卓越創(chuàng)新獎(jiǎng)”評(píng)選活動(dòng)得到了業(yè)界的普遍認(rèn)可和廣泛好評(píng)。2023年我們將繼續(xù)這一殊榮的評(píng)選，舉辦“2023第四屆中國(guó)人工智能卓越創(chuàng)新獎(jiǎng)”評(píng)選活動(dòng)，旨在發(fā)掘和表彰人工智能領(lǐng)域優(yōu)秀人才、企業(yè)、技術(shù)以及產(chǎn)品。

“2023第四屆中國(guó)人工智能卓越創(chuàng)新獎(jiǎng)”獎(jiǎng)項(xiàng)提名于即日起到6月30日截至，提名詳情可掃描下方二維碼了解。