前言： 人工智能推理的重要性日益凸顯，高效運(yùn)行端側(cè)大模型及AI軟件背后的核心技術(shù)正是推理。不久的未來(lái)，全球芯片制造商的主要市場(chǎng)將全面轉(zhuǎn)向人工智能推理領(lǐng)域。

Groq LPU崛起，AI芯片主戰(zhàn)場(chǎng)轉(zhuǎn)向

與AI訓(xùn)練相比，AI推理與用戶終端場(chǎng)景需求更為緊密，訓(xùn)練后的大規(guī)模模型需通過(guò)AI推理實(shí)際應(yīng)用到場(chǎng)景中。

然而，目前基于英偉達(dá)GPU的AI推理方案成本較高，性能和時(shí)延問(wèn)題影響了用戶體驗(yàn)。

在Groq LPU亮相之前，大型AI模型的訓(xùn)練和推理均依賴于英偉達(dá)GPU，并采用CUDA軟件技術(shù)棧。

然而，Groq LPU的迅速崛起使市場(chǎng)開(kāi)始猜測(cè)AI芯片的主戰(zhàn)場(chǎng)或?qū)挠?xùn)練轉(zhuǎn)向推理。

Groq LPU推理卡從硬件層面解決了性能和成本問(wèn)題，使AI推理大規(guī)模部署成為可能，推動(dòng)更多AI推理類(lèi)應(yīng)用落地。

與此同時(shí)，AI推理需求的增長(zhǎng)將進(jìn)一步推動(dòng)云端推理芯片的發(fā)展，尤其是更多可替代英偉達(dá)GPU的新一代專用推理芯片將應(yīng)用于數(shù)據(jù)中心。

在推理階段，AI模型需以極致速度運(yùn)行，旨在為終端用戶提供更多的Token，從而加快響應(yīng)用戶指令的速度。

需求帶動(dòng)，重心從訓(xùn)練轉(zhuǎn)向推理

AI推理領(lǐng)域與大規(guī)模消費(fèi)電子等應(yīng)用終端需求緊密相關(guān)，因此，行業(yè)發(fā)展重心有望從[訓(xùn)練]全面轉(zhuǎn)向[推理]。

相較于AI訓(xùn)練，推理領(lǐng)域在[海量數(shù)據(jù)轟炸]應(yīng)用背景下的GPU并行化算力需求遠(yuǎn)低于訓(xùn)練領(lǐng)域。

推理進(jìn)程涉及已訓(xùn)練模型的決策或識(shí)別，擅長(zhǎng)處理復(fù)雜邏輯任務(wù)和控制流任務(wù)的以CPU為核心的中央處理器足以高效應(yīng)對(duì)諸多推理場(chǎng)景。

當(dāng)前，AI市場(chǎng)主要集中在使用大數(shù)據(jù)訓(xùn)練大語(yǔ)言模型的[訓(xùn)練]階段，英偉達(dá)成為這一領(lǐng)域的主要受益者。

然而，隨著AI大模型變得更精簡(jiǎn)、可在設(shè)備上運(yùn)行并專注于推理任務(wù)，芯片制造商的市場(chǎng)重心將轉(zhuǎn)向[推理]，即模型應(yīng)用。

展望產(chǎn)業(yè)發(fā)展趨勢(shì)，AI算力負(fù)載有望逐步從訓(xùn)練向推理端遷移，從而降低AI芯片門(mén)檻。

覆蓋可穿戴設(shè)備、電動(dòng)汽車(chē)及物聯(lián)網(wǎng)等領(lǐng)域的芯片公司有望全面滲透至AI推理芯片領(lǐng)域。

預(yù)計(jì)數(shù)據(jù)中心也將對(duì)專門(mén)用于已訓(xùn)練模型推理任務(wù)的處理器產(chǎn)生興趣，共同推動(dòng)推理市場(chǎng)規(guī)模超越訓(xùn)練市場(chǎng)。

預(yù)計(jì)在一到兩年內(nèi)，AI大模型在訓(xùn)練端和推理端都將產(chǎn)生巨量的算力/AI芯片需求。

如果未來(lái)大模型廣泛商用落地，推理端的算力/AI芯片的需求量將明顯高于訓(xùn)練端。

經(jīng)過(guò)兩到三年的AI訓(xùn)練用數(shù)據(jù)中心升級(jí)周期后，市場(chǎng)將看到更多來(lái)自推理芯片供應(yīng)商的銷(xiāo)量。

AI推理漸多，企業(yè)與資本也向推理轉(zhuǎn)移

AMD CEO蘇姿豐認(rèn)為：未來(lái)大模型推理市場(chǎng)的規(guī)模將遠(yuǎn)遠(yuǎn)大于模型訓(xùn)練市場(chǎng)。

英特爾CEO基辛格表示：當(dāng)推理發(fā)生時(shí)，就不存在CUDA依賴性了，并不是說(shuō)英特爾不會(huì)在訓(xùn)練領(lǐng)域展開(kāi)競(jìng)爭(zhēng)，而是從根本上說(shuō)，推理市場(chǎng)才是競(jìng)爭(zhēng)的焦點(diǎn)。

扎克伯格認(rèn)為：很明顯，下一代服務(wù)需要構(gòu)建全面的通用智能、構(gòu)建最好的AI助手、為企業(yè)創(chuàng)造者以及更多要在AI各個(gè)領(lǐng)域取得進(jìn)步——從推理到規(guī)劃到編碼到記憶和其他認(rèn)知能力。

伴隨著企業(yè)AI應(yīng)用逐步成熟，企業(yè)將把更多算力從模型訓(xùn)練轉(zhuǎn)移到AI推理工作中。

在芯片需求方面，訓(xùn)練芯片注重通用性，而推理芯片則與已訓(xùn)練完成的大模型具有高度綁定性。

隨著大模型應(yīng)用的不斷深化，推理需求也逐漸從云端遷移至邊緣/終端，并呈現(xiàn)出定制化的發(fā)展趨勢(shì)。

在全球AI芯片市場(chǎng)，先推理后訓(xùn)練成為主流路徑，例如英特爾收購(gòu)的AI芯片公司Habana以及我國(guó)諸多AI初創(chuàng)公司。

這一選擇背后，是下游市場(chǎng)的催化作用：隨著AI模型訓(xùn)練逐漸成熟，AI應(yīng)用逐步落地，云端推理市場(chǎng)已逐漸超過(guò)訓(xùn)練市場(chǎng)。

人工智能計(jì)算資源正由訓(xùn)練大規(guī)模AI模型逐步轉(zhuǎn)向推理，因此在客戶端、邊緣和云之間需要構(gòu)建更為均衡的基礎(chǔ)設(shè)施。

據(jù)估計(jì)，全球已有超過(guò)18家致力于AI大模型訓(xùn)練和推理的芯片設(shè)計(jì)初創(chuàng)公司，累計(jì)獲得超過(guò)60億美元融資，整體估值超過(guò)250億美元。

這些創(chuàng)業(yè)公司得到了諸如紅杉資本、OpenAI、五源資本、字節(jié)跳動(dòng)等強(qiáng)大投資方的支持。

同時(shí)，微軟、英特爾、AMD等科技巨頭也在加大[造芯]力度，使得英偉達(dá)面臨前所未有的競(jìng)爭(zhēng)壓力。

與英偉達(dá)競(jìng)速，各企業(yè)從細(xì)分領(lǐng)域突破

為降低模型訓(xùn)練與推理成本，業(yè)界持續(xù)探索實(shí)現(xiàn)高能效和高性能芯片架構(gòu)的更多可能性。

觀察諸如Meta、亞馬遜、Alphabet等科技巨頭，它們均在研發(fā)自家的AI芯片。

這些芯片更具專業(yè)性和明確目標(biāo)，相較之下，英偉達(dá)的芯片則具備更高的通用性。

①AMD：最新發(fā)布的MI300包括兩大系列，MI300X系列是一款大型GPU，擁有領(lǐng)先的生成式AI所需的內(nèi)存帶寬和大語(yǔ)言模型所需的訓(xùn)練和推理性能；

MI300A系列集成CPU+GPU，基于最新的CDNA3架構(gòu)和Zen4 CPU，可以為HPC和AI工作負(fù)載提供突破性能。

去年12月，AMD在推出旗艦MI300X加速卡之外，還宣布Instinct MI300A APU已進(jìn)入量產(chǎn)階段，預(yù)估今年開(kāi)始交付，上市后有望成為世界上最快的HPC解決方案。

去年7月，英特爾公司在北京發(fā)布了一款針對(duì)中國(guó)市場(chǎng)、采用7納米工藝的AI芯片Habana Gaudi2，該芯片可運(yùn)行大語(yǔ)言模型，加速AI訓(xùn)練及推理。

其運(yùn)行ResNet-50的每瓦性能約為英偉達(dá)A100的2倍，性價(jià)比相較于AWS云中基于英偉達(dá)的解決方案高出40%。

②英特爾：宣布與Arm公司合作，使其至強(qiáng)產(chǎn)品部署到Arm CPU上，并推出AI推理和部署運(yùn)行工具套件OpenVINO。

此外，開(kāi)源模型如LIama2陸續(xù)發(fā)布，促使更多企業(yè)直接使用這些模型，僅需AI推理芯片即可應(yīng)用，從而減少了對(duì)算力訓(xùn)練芯片的需求。

英特爾去年年底推出了新的計(jì)算機(jī)芯片，其中包括用于生成人工智能軟件的人工智能芯片Gaudi3。

Gaudi3將于今年推出，將與英偉達(dá)和AMD等競(jìng)爭(zhēng)對(duì)手的芯片競(jìng)爭(zhēng)，為大型且耗電的人工智能模型提供動(dòng)力。

③Meta：計(jì)劃在今年投產(chǎn)自研芯片，降低AI加速卡采購(gòu)成本，減少對(duì)英偉達(dá)的依賴。

該芯片功耗僅25瓦，為英偉達(dá)相同產(chǎn)品功耗的0.05%，并采用RISC-V開(kāi)源架構(gòu)。市場(chǎng)消息透露，該芯片由臺(tái)積電7納米工藝生產(chǎn)。

Meta近期宣布已構(gòu)建自有DLRM推理芯片，并已廣泛部署。

這款ASIC內(nèi)部被稱為[Artemis]，主要性能集中在推理領(lǐng)域，基于去年宣布的第二代內(nèi)部芯片產(chǎn)品線。

扎克伯格在視頻中透露了Meta人工智能計(jì)劃的更新路線圖：Meta將圍繞即將推出的Llama3構(gòu)建全新的Meta AI路線圖，目前正在推進(jìn)Llama3的AI訓(xùn)練。

Llama3將與Google最近發(fā)布的Gemini模型、OpenAI的GPT-4，以及即將推出的GPT-5模型競(jìng)爭(zhēng)。

④英偉達(dá)：去年8月，英偉達(dá)宣布推出新一代GH200 Grace Hopper超級(jí)芯片，新芯片將于今年第二季投產(chǎn)。

GH200和GH200NVL將采用基于Arm的CPU和Hopper解決大型語(yǔ)言模型的訓(xùn)練和推理問(wèn)題。

英偉達(dá)計(jì)劃基于x86架構(gòu)推出B100替代H200，并基于ARM架構(gòu)的推理芯片GB200替代GH200。

此外，英偉達(dá)還規(guī)劃了B40產(chǎn)品來(lái)替代L40S，以提供更好的面向企業(yè)客戶的AI推理解決方案。

根據(jù)英偉達(dá)計(jì)劃于今年發(fā)布Blackwell架構(gòu)，采用該架構(gòu)的B100 GPU芯片預(yù)計(jì)將大幅提高處理能力。

初步評(píng)估數(shù)據(jù)表明，與現(xiàn)有采用Hopper架構(gòu)的H200系列相比，性能提升超過(guò)100%。

⑤亞馬遜：去年初，AWS發(fā)布專為人工智能打造的Inferentia2（Inf2），計(jì)算性能提高三倍，加速器總內(nèi)存提高25%，支持分布式推理。

通過(guò)芯片之間的直接超高速連接，Inf2支持分布式推理，可以處理多達(dá)1750億個(gè)參數(shù)，使其成為當(dāng)今人工智能芯片市場(chǎng)上最強(qiáng)大的內(nèi)部制造商。

單點(diǎn)突破有收獲，國(guó)產(chǎn)有望追平

與此同時(shí)，我國(guó)華為、天數(shù)智芯等AI芯片制造商也在積極布局大模型訓(xùn)練推理及AI算力產(chǎn)品。

當(dāng)前，我國(guó)廠商如寒武紀(jì)、燧原、昆侖芯等的產(chǎn)品已具備與市場(chǎng)主流的Tesla T4正面競(jìng)爭(zhēng)的實(shí)力：其能效比為1.71TOPS/W，與T4的1.86TOPS/W差距微小。

選擇GPGPU的登臨科技、天數(shù)智芯、燧原科技已實(shí)現(xiàn)訓(xùn)練與推理的全面覆蓋，而ASIC類(lèi)芯片如平頭哥，則需專注于推理或訓(xùn)練場(chǎng)景。

①億鑄科技：基于CIM框架、RRAM存儲(chǔ)介質(zhì)的研發(fā)的[全數(shù)字存算一體]大算力芯片，通過(guò)降低數(shù)據(jù)搬運(yùn)提高運(yùn)算能效比，同時(shí)借助數(shù)字存算一體方法確保運(yùn)算精度，適用于云端AI推理和邊緣計(jì)算。

②寒武紀(jì)：思元370作為寒武紀(jì)第三代云端產(chǎn)品，運(yùn)用7納米制程工藝，成為我國(guó)首款采用Chiplet技術(shù)的AI芯片，其最大算力可達(dá)256TOPS（INT8）。

寒武紀(jì)主要采用ASIC架構(gòu)，雖通用性較差，但在特定應(yīng)用場(chǎng)景下，其算力可超越GPU。

有測(cè)試結(jié)果顯示，590性能接近A100的90%性能；590基本支持主流模型，綜合性能接近A100的80%水平。

此外，思元370也是寒武紀(jì)首款采用Chiplet技術(shù)的AI芯片，集成了390億個(gè)晶體管，最大算力高達(dá)256TOPS（INT8）。

③平頭哥：去年8月，平頭哥發(fā)布首個(gè)自研RISC-V AI平臺(tái)，支持運(yùn)行170余個(gè)主流AI模型，推動(dòng)RISC-V進(jìn)入高性能AI應(yīng)用時(shí)代。

同時(shí)，平頭哥宣布玄鐵處理器C920全新升級(jí)，C920執(zhí)行GEMM計(jì)算較Vector方案可提速15倍。

④壁仞科技：其BR100系列基于自主原創(chuàng)的芯片架構(gòu)開(kāi)發(fā)，采用成熟的7納米工藝制程，集成770億晶體管，16位浮點(diǎn)算力達(dá)到1000T以上、8位定點(diǎn)算力達(dá)到2000T以上，單芯片峰值算力達(dá)到PFLOPS級(jí)別。

同時(shí)，BR100結(jié)合了包括Chiplet等在內(nèi)的多項(xiàng)業(yè)內(nèi)前沿芯片設(shè)計(jì)、制造與封裝技術(shù)，具有高算力、高能效、高通用性等優(yōu)勢(shì)。

⑤燧原科技：成立5年多來(lái)，已建成云端訓(xùn)練和云端推理兩條產(chǎn)品線，并開(kāi)發(fā)出云燧T10、云燧T20/T21訓(xùn)練產(chǎn)品以及云燧i10、云燧i20等推理產(chǎn)品。

據(jù)媒體報(bào)道，燧原科技第三代AI芯片產(chǎn)品將于今年初上市。

⑥華為：昇騰310是面向推理和邊緣計(jì)算場(chǎng)景的低功耗芯片，是國(guó)內(nèi)面向邊緣計(jì)算場(chǎng)景最強(qiáng)算力的AI SoC。

昇騰310芯片可以實(shí)現(xiàn)高達(dá)16Tops的現(xiàn)場(chǎng)算力，支持同時(shí)識(shí)別包括車(chē)、人、障礙物、交通標(biāo)志在內(nèi)的200個(gè)不同的物體；一秒鐘內(nèi)可處理上千張圖片。

華為昇騰系列AI芯片具備一項(xiàng)獨(dú)特優(yōu)勢(shì)，即采用了華為自主研發(fā)的統(tǒng)一且可擴(kuò)展的架構(gòu)。

這一架構(gòu)實(shí)現(xiàn)了從極低功耗到極高算力場(chǎng)景的全覆蓋，使得一次開(kāi)發(fā)即可適用于所有場(chǎng)景的部署、遷移及協(xié)同，從而顯著提升了軟件開(kāi)發(fā)效率。

結(jié)尾：

隨著大模型在各類(lèi)場(chǎng)景中的應(yīng)用日益廣泛，推理環(huán)節(jié)的重要性日益凸顯。

因此，我們需要關(guān)注推理芯片的計(jì)算需求和系統(tǒng)配置，以降低成本、提升易用性，進(jìn)而促進(jìn)大模型在各個(gè)領(lǐng)域的迅速普及。

審核編輯：劉清