云天勵(lì)飛副總裁羅憶看好AI推理需求的增長(zhǎng)，他指出國(guó)內(nèi)AI面臨兩大拐點(diǎn)：1、算力需求爆發(fā)，大模型推理算力需求將在2026年超越訓(xùn)練需求，成為算力消耗的主題，占據(jù)所有算力需求的比例將超過(guò)70%。2、國(guó)產(chǎn)算力芯片的使用比例不久將會(huì)超過(guò)海外芯片，目前兩者達(dá)到五五分。

圖1：AI推理需求爆發(fā)

10月29日，在安博會(huì)的2025智能算力應(yīng)用及產(chǎn)業(yè)發(fā)展論壇上，超聚變數(shù)字技術(shù)有限公司深圳解決方案總監(jiān)丁元釗表示，原來(lái)我們預(yù)計(jì)2026年是AI推理爆發(fā)元年，2025年DeepSeek-R1，V3模型推出，直接推動(dòng)AI推理市場(chǎng)的上揚(yáng)，未來(lái)3-5年都是AI推理領(lǐng)域的規(guī)模應(yīng)用階段。不管是行業(yè)應(yīng)用，還是算力相關(guān)的芯片，都將大規(guī)模的圍繞AI推理來(lái)爆發(fā)。

AI推理火爆主要的驅(qū)動(dòng)力是什么？高通最新AI推理芯片，還有國(guó)內(nèi)AI推理芯片領(lǐng)域，沐曦科技、云天勵(lì)飛、百度昆侖芯片的最新進(jìn)展如何？本文將詳細(xì)匯總和分析。

AI推理火爆背后驅(qū)動(dòng)力：邊緣AI需求暴增，Token調(diào)用量攀升，成本可控成新趨勢(shì)

2025年以來(lái)，隨著大模型（如DeepSeek、ChatGPT等）在醫(yī)療、金融、政務(wù)、消費(fèi)電子等場(chǎng)景廣泛部署，AI工作負(fù)載正從“訓(xùn)練”轉(zhuǎn)向“推理”。2025年，全球推理任務(wù)占比預(yù)計(jì)達(dá)67%，2028年將提升至73%。

2025年被視為“AI Agent元年”，智能體從被動(dòng)執(zhí)行轉(zhuǎn)向自主規(guī)劃與決策，單次任務(wù)消耗的Token量是傳統(tǒng)對(duì)話的100倍以上。大模型普及正驅(qū)動(dòng)全球日均Token調(diào)用量飛速攀升，據(jù)統(tǒng)計(jì)，全球AI巨頭月消耗token量已經(jīng)來(lái)到千萬(wàn)億量級(jí)，且仍在持續(xù)提升。Token調(diào)用量的攀升直接帶動(dòng)了推理算力需求的指數(shù)級(jí)增長(zhǎng)。據(jù)麥肯錫預(yù)測(cè)，全球AI推理市場(chǎng)將于2028年達(dá)到1500億美元，年復(fù)合增長(zhǎng)率達(dá)40%，遠(yuǎn)高于訓(xùn)練市場(chǎng)的20%。

云天勵(lì)飛副總裁羅憶指出，Token數(shù)可能每年增長(zhǎng)10倍，但是算力基礎(chǔ)設(shè)施投入上，基本是一倍增加，如何彌補(bǔ)中間的鴻溝？這就意味著需要更少的算力解決更多Token的推理。

高通發(fā)布兩款A(yù)I芯片，進(jìn)軍數(shù)據(jù)中心AI推理市場(chǎng)

10月27日晚間，美國(guó)移動(dòng)芯片巨頭高通宣布推出兩款數(shù)據(jù)中心人工智能芯片——AI200和AI250，兩款芯片對(duì)應(yīng)的AI推理優(yōu)化解決方案，可提供更高內(nèi)存容量和優(yōu)秀的AI推理優(yōu)化，預(yù)計(jì)分別于2026年和2027年商用。

與英偉達(dá)主導(dǎo)數(shù)據(jù)中心GPU不同的是，高通選擇了一條差異化競(jìng)爭(zhēng)策略：以機(jī)架級(jí)性能、高內(nèi)存實(shí)現(xiàn)快速的生成式AI推理為核心方向，強(qiáng)調(diào)其在能效、總擁有成本等方面的優(yōu)勢(shì)。

AI200 推出一款專用機(jī)架級(jí) AI 推理解決方案，旨在為大型語(yǔ)言和多模態(tài)模型 (LLM、LMM) 推理及其他 AI 工作負(fù)載提供低總擁有成本 (TCO) 和優(yōu)化的性能。它支持每卡 768 GB LPDDR，可提供更高的內(nèi)存容量和更低的成本，從而為 AI 推理提供卓越的擴(kuò)展性和靈活性。

AI250 解決方案將首次采用基于近內(nèi)存計(jì)算的創(chuàng)新內(nèi)存架構(gòu)，通過(guò)提供超過(guò) 10 倍的有效內(nèi)存帶寬和更低的功耗，為 AI 推理工作負(fù)載帶來(lái)效率和性能的跨越式提升。

據(jù)悉，AI200 和 AI250 產(chǎn)品均采用直接液體冷卻技術(shù)進(jìn)行冷卻，利用 PCIe 互連進(jìn)行縱向擴(kuò)展，利用以太網(wǎng)進(jìn)行橫向擴(kuò)展，并提供 160kW 的機(jī)架級(jí)功耗。高通沒(méi)有透露有關(guān)每個(gè)機(jī)架的芯片數(shù)量或機(jī)架將提供的計(jì)算性能的信息。

高通還透露，首批AI機(jī)架解決方案將于2026年起部署于中東客戶“HUMAIN”公司的數(shù)據(jù)中心。這被視為高通AI芯片商業(yè)化的重要里程碑。

沐曦C600登場(chǎng)，單卡算力和內(nèi)存超越H20

在最新沐曦科技披露的IPO文件看，2025年前3個(gè)月，沐曦來(lái)自訓(xùn)推一體系列產(chǎn)品的收入占比高達(dá)97.87%。沐曦科技主要產(chǎn)品覆蓋AI計(jì)算、通用計(jì)算、圖形渲染三大領(lǐng)域，先后推出用于智算推理的曦思N系列GPU、用于訓(xùn)推一體和通用計(jì)算的曦云C系列GPU，以及正在研發(fā)用于圖形渲染的曦彩G系列GPU。

2023年，沐曦推出首款訓(xùn)推一體GPU芯片曦云C500，并在此基礎(chǔ)上推出了曦云C550；該系列基于國(guó)產(chǎn)供應(yīng)鏈的產(chǎn)品曦云C600已完成流片。

圖：曦云C600 圖片來(lái)自沐曦科技微信

以英偉達(dá) H20為例，其核心優(yōu)勢(shì)在于大容量顯存、高速互連帶寬、多精度計(jì)算能力等。曦云C500系列產(chǎn)品的單卡算力已超過(guò) H20，最新一代曦云 C600 系列產(chǎn)品的單卡算力亦領(lǐng)先于英偉達(dá)H20，并具備 FP8 計(jì)算單元，能夠支持多精度計(jì)算。同時(shí)，曦云 C600 系列產(chǎn)品配備了大容量顯存，超過(guò) H20 的96GB 版本，可以有效承載更大規(guī)模數(shù)據(jù)與模型、減少數(shù)據(jù)交換的性能損耗、提升多任務(wù)并行執(zhí)行能力。

據(jù)悉，曦云C500系列產(chǎn)品的下游客戶以國(guó)家人工智能公共算力平臺(tái)、運(yùn)營(yíng)商智算平臺(tái)、商業(yè)化智算中心以及教科研、金融等行業(yè)客戶為主。

云天勵(lì)飛推出四款推理芯片，覆蓋邊緣到云的多種場(chǎng)景

云天勵(lì)飛在灣芯展展出了多款自研芯片——DeepEdge 10、DeepEdge 10C、DeepEdge 10 Max、DeepEdge 200，覆蓋從邊緣到云端的多種推理場(chǎng)景。

DeepEdge10芯片是云天勵(lì)飛自主研發(fā)的AI推理高性能芯片,采用國(guó)產(chǎn)14nm Chiplet工藝,并內(nèi)置國(guó)產(chǎn)RISC-V核。該系列芯片基于“算力積木”AI芯片架構(gòu),能夠封裝成不同算力的芯片,覆蓋8T至256T的算力應(yīng)用,可支持包括Transformer模型、BEV模型、CV大模型、LLM大模型等各類主流模型的高效推理,并已完成DeepSeek 系列模型以及國(guó)產(chǎn)鴻蒙操作系統(tǒng)的適配。

圖：云天勵(lì)飛四款A(yù)I推理芯片

公司還推出了更高階的 DeepEdge 200 芯片，面向更高并發(fā)和云端推理場(chǎng)景。該芯片采用 D2D Chiplet + C2C Mesh Torus 互連，可把多顆 Die 像積木一樣拼成 256 TOPS 的“單片”，這款芯片通過(guò)“算力積木”把 256 TOPS 級(jí)別的大算力塞進(jìn) 35 W 功耗包絡(luò)，同時(shí)保留橫向擴(kuò)展和軟件棧兼容性，成為目前國(guó)產(chǎn) AI 推理芯片中少數(shù)能兼顧“邊緣高能效”與“云端高并發(fā)”的單芯片方案。

百度昆侖芯P800，部分性能與A100相當(dāng)，中標(biāo)中國(guó)移動(dòng)采購(gòu)大單

2025年2月20日，百度旗下的昆侖芯團(tuán)隊(duì)正式發(fā)布了P800型號(hào)AI芯片，成為國(guó)產(chǎn)AI芯片領(lǐng)域的一次重大創(chuàng)新。此次發(fā)布的重要亮點(diǎn)在于，這款芯片首度支持單機(jī)部署DeepSeek V3/R1671B滿血版大模型。

推理性能：在運(yùn)行DeepSeek-R1/V3滿血版671B模型時(shí)，昆侖芯P800單機(jī)8卡的量達(dá)到2437tokens/s，并發(fā)量達(dá)到256，比英偉達(dá)A100更快。在同樣負(fù)載情況下，P800的推理延遲比A100降低了18%。值得關(guān)注的是，昆侖芯P800在能耗方面比A100提高了約15%的功效比，在資源有限的環(huán)境中具有優(yōu)勢(shì)。

2025 年中國(guó)移動(dòng) AI 通用計(jì)算（推理型）集采，P800 拿下三個(gè)標(biāo)包 70%-100% 份額，標(biāo)志著其進(jìn)入電信級(jí)規(guī)模采購(gòu)。

本文由電子發(fā)燒友原創(chuàng)，轉(zhuǎn)載請(qǐng)注明以上來(lái)源。微信號(hào)zy1052625525。需入群交流，請(qǐng)?zhí)砑游⑿舉lecfans999，投稿爆料采訪需求，請(qǐng)發(fā)郵箱zhangying@huaqiu.com。