2024年很有可能成為AI芯片的元年。
有預(yù)測稱,今年AI芯片可能會迎來強(qiáng)勁甚至迅猛的增長。然而,一個令人關(guān)注的問題是,這種上升趨勢能夠持續(xù)多久呢?
2023年底,AMD大膽地宣稱,到2027年,數(shù)據(jù)中心AI芯片的總潛在市場(TAM)將達(dá)到4000億美元,復(fù)合年增長率(CAGR)超過70%。這一預(yù)測引起了不同的反應(yīng),但也從側(cè)面說明了大型語言模型(LLM)作為處理生成式人工智能(GenAI)應(yīng)用核心的驅(qū)動力。
作為圖形處理單元(GPU)市場的領(lǐng)導(dǎo)者,英偉達(dá)的成功證明了這些芯片的潛在市場規(guī)模。英偉達(dá)過去一年的股價上漲了217%,在過去三年增長了140%。
在最新的11月財報中,英偉達(dá)公布的營收為181.2億美元,其中數(shù)據(jù)中心營收為145.1億美元。整體銷售額同比增長206%,而數(shù)據(jù)中心銷售額同期增長了279%。所有這些都證實(shí)了數(shù)據(jù)中心芯片的銷售正經(jīng)歷急劇上升的趨勢。然而,關(guān)鍵問題是,這個增長趨勢是否能夠達(dá)到4000 億美元的高度。
英偉達(dá)在數(shù)據(jù)中心AI GPU市場至少占據(jù)80%的份額,未來三年預(yù)計將迎來巨大增長。然而,要實(shí)現(xiàn)高達(dá)4000億美元的市場規(guī)模,英偉達(dá)的表現(xiàn)需要比目前更出色,同時其他廠商也需要超出預(yù)期。
競爭者不甘示弱
AMD
AMD 認(rèn)為其將在未來三年內(nèi)實(shí)現(xiàn)大幅增長。2023 年 12 月,AMD發(fā)布了MI300 系列芯片,旨在在推理方面超越英偉達(dá)的GPU。同時發(fā)布的另一款產(chǎn)品AMD Instinct MI300A加速處理單元(APU),將CPU和GPU核心與內(nèi)存集成在一個平臺中。
MI300X 專為云提供商和企業(yè)設(shè)計,專為生成式 AI 應(yīng)用而打造,MI300X GPU 擁有超過 1500 億個晶體管,以 2.4 倍的內(nèi)存超越了英偉達(dá)的 H100。峰值內(nèi)存帶寬達(dá)到 5.3 TB/s ,是H100 3.3 TB/s 的 1.6 倍。

AMD Instinct MI300A APU 配備 128GB HBM3 內(nèi)存。據(jù)稱,與之前的 M250X 處理器相比,MI300A 在 HPC 和 AI 工作負(fù)載上的每瓦性能提高了 1.9 倍。
AMD 總裁兼首席執(zhí)行官蘇姿豐 (Lisa Su) 在去年 10 月的公司第三季度電話會議上表示:“隨著 2024 年的到來,我們預(yù)計收入將持續(xù)增長,而且主要來源將是AI。”“在AI領(lǐng)域,我們的客戶覆蓋面很廣,包括從超大規(guī)模企業(yè)到原始設(shè)備制造商、企業(yè)客戶以及一些新的人工智能初創(chuàng)企業(yè)。從工作負(fù)載的角度來看,我們希望 MI300 能夠同時處理訓(xùn)練和推理工作負(fù)載?!?/p>
英特爾上個月推出了AI芯片 Gaudi3 以及第五代 Xeon 處理器,作為進(jìn)一步進(jìn)軍數(shù)據(jù)中心AI市場的一部分。
英特爾表示,Gaudi3 是專為深度學(xué)習(xí)和創(chuàng)建大規(guī)模生成人工智能模型而設(shè)計的下一代人工智能加速器,將與英偉達(dá)的 H100 和 AMD 的 MI300X 展開競爭。
英特爾聲稱Xeon 是唯一內(nèi)置 AI 加速的主流數(shù)據(jù)中心處理器,全新第五代 Xeon 在多達(dá) 200 億個參數(shù)的模型上提供高達(dá) 42% 的推理和微調(diào)能力。它也是唯一一款具有一致且不斷改進(jìn)的 MLPerf 訓(xùn)練和推理基準(zhǔn)測試結(jié)果的 CPU。
Xeon的內(nèi)置人工智能加速器,加上優(yōu)化的軟件和增強(qiáng)的遙測功能,可以為通信服務(wù)提供商、內(nèi)容交付網(wǎng)絡(luò)和包括零售、醫(yī)療保健和制造在內(nèi)的廣泛垂直市場實(shí)現(xiàn)更易于管理、更高效的高要求網(wǎng)絡(luò)和邊緣工作負(fù)載部署。
云廠商各顯神通
AWS、谷歌等云廠商一直在為自己的大型數(shù)據(jù)中心打造定制芯片。一方面是不想過度依賴英偉達(dá),另外針對自身需求定制芯片也有助于提高性能和降低成本。
AWS
亞馬遜的AI芯片Trainium和Inferentia專為訓(xùn)練和運(yùn)行大型人工智能模型而設(shè)計。
AWS Trainium2是 AWS 專門為超過 1000 億個參數(shù)模型的深度學(xué)習(xí)訓(xùn)練打造的第二代機(jī)器學(xué)習(xí) (ML) 加速器。AWS CEO Adam Selipsky 表示,近期推出的Trainium2的速度是其前身的4倍,能源效率是其之前的2倍。Tranium2 將在 AWS 云中由 16 個芯片組成的集群中的 EC Trn2 實(shí)例中使用,在 AWS 的 EC2 UltraCluster 產(chǎn)品中可擴(kuò)展到多達(dá) 10萬個芯片。AWS表示,10萬個 Trainium 芯片可提供 65 exaflops 的計算能力,相當(dāng)于每個芯片可提供 650 teraflops 的計算能力。
AWS Inferentia2 加速器與第一代相比在性能和功能方面實(shí)現(xiàn)了重大飛躍。Inferentia2 的吞吐量提高了 4 倍,延遲低至 1/10。

AWS Inferentia2 支持多種數(shù)據(jù)類型,包括 FP32、TF32、BF16、FP16 和 UINT8,還支持新的可配置 FP8 (cFP8) 數(shù)據(jù)類型,因?yàn)樗鼫p少了模型的內(nèi)存占用和 I/O 要求。AWS Inferentia2 具有嵌入式通用數(shù)字信號處理器 (DSP),可實(shí)現(xiàn)動態(tài)執(zhí)行,因此無需在主機(jī)上展開或執(zhí)行控制流運(yùn)算符。AWS Inferentia2 還支持動態(tài)輸入形狀,這對于輸入張量大小未知的模型(例如處理文本的模型)至關(guān)重要。AWS Inferentia2 支持用 C++ 編寫的自定義運(yùn)算符。
谷歌
2023 年 12 月,谷歌發(fā)布最新的Cloud TPU v5p,并號稱是迄今最強(qiáng)大的TPU。每個 TPU v5p Pod由 8,960 個芯片組成,采用 3D 環(huán)面拓?fù)?,互連速度達(dá) 4,800 Gbps。與 TPU v4 相比,TPU v5p 的FLOPS 提高了 2 倍以上,高帶寬內(nèi)存 (HBM) 提高了 3 倍以上。
TPU v5p 專為性能、靈活性和規(guī)模而設(shè)計,訓(xùn)練大型 LLM 模型的速度比上一代 TPU v4 快 2.8 倍。此外,借助第二代SparseCores,TPU v5p訓(xùn)練嵌入密集模型的速度比 TPU v4 2快 1.9 倍。

除了性能改進(jìn)之外,TPU v5p 在每個 pod 的總可用 FLOP 方面的可擴(kuò)展性也比 TPU v4 高 4 倍。與 TPU v4 相比,每秒浮點(diǎn)運(yùn)算次數(shù) (FLOPS) 加倍,并且單個 Pod 中的芯片數(shù)量加倍,可顯著提高訓(xùn)練速度的相對性能。

微軟
2023 年 11 月,微軟推出了AI芯片Azure Maia 100。Maia 100 是 Maia AI 加速器系列中的首款產(chǎn)品。
Maia 采用 5 nm臺積電工藝制造,擁有 1050 億個晶體管,比 AMD MI300X AI GPU的 1530 億個晶體管少約 30% 。微軟表示,“Maia 支持我們首次實(shí)現(xiàn)低于 8 位數(shù)據(jù)類型(MX 數(shù)據(jù)類型),以便共同設(shè)計硬件和軟件,這有助于我們支持更快的模型訓(xùn)練和推理時間?!?/p>
Maia 100 目前正在 GPT 3.5 Turbo 上進(jìn)行測試,該模型也為 ChatGPT、Bing AI 工作負(fù)載和 GitHub Copilot 提供支持。微軟正處于部署的早期階段,還不愿意發(fā)布確切的 Maia 規(guī)范或性能基準(zhǔn)。
總的來說,從AMD 4000億美元市場的預(yù)測中至少可以得出三個結(jié)論:首先,數(shù)據(jù)中心仍是短期內(nèi)AI芯片的焦點(diǎn);其次,數(shù)據(jù)中心 AI芯片領(lǐng)域正急劇上升,盡管上升的幅度仍然是一個問題;第三, 英偉達(dá)將繼續(xù)在該領(lǐng)域占據(jù)主導(dǎo)地位,但包括 AMD 在內(nèi)的其他供應(yīng)商正努力削弱其地位。
審核編輯:劉清
-
處理器
+關(guān)注
關(guān)注
68文章
20084瀏覽量
243756 -
gpu
+關(guān)注
關(guān)注
28文章
5050瀏覽量
134011 -
晶體管
+關(guān)注
關(guān)注
78文章
10103瀏覽量
145135 -
HPC
+關(guān)注
關(guān)注
0文章
342瀏覽量
24757 -
AI芯片
+關(guān)注
關(guān)注
17文章
2035瀏覽量
36439
原文標(biāo)題:數(shù)據(jù)中心AI芯片市場有多大?
文章出處:【微信號:SDNLAB,微信公眾號:SDNLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
鑫澈導(dǎo)熱與屏蔽方案助力AI數(shù)據(jù)中心高效散熱
AI數(shù)據(jù)中心供電系統(tǒng)的發(fā)展現(xiàn)狀和未來趨勢
睿海光電以高效交付與廣泛兼容助力AI數(shù)據(jù)中心800G光模塊升級
加速AI未來,睿海光電800G OSFP光模塊重構(gòu)數(shù)據(jù)中心互聯(lián)標(biāo)準(zhǔn)
適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡(luò)
華為全新升級星河AI數(shù)據(jù)中心網(wǎng)絡(luò)
優(yōu)化800G數(shù)據(jù)中心:高速線纜、有源光纜和光纖跳線解決方案
Cadence顛覆AI數(shù)據(jù)中心設(shè)計
數(shù)據(jù)中心發(fā)展與改造
韓國將建全球最大AI數(shù)據(jù)中心
新思科技助力下一代數(shù)據(jù)中心AI芯片設(shè)計
華為發(fā)布2025數(shù)據(jù)中心能源十大趨勢
AI與數(shù)據(jù)中心驅(qū)動下 芯片電感的技術(shù)革命
AmpereOne如何滿足現(xiàn)代數(shù)據(jù)中心需求
Meta AI數(shù)據(jù)中心網(wǎng)絡(luò)用了哪家的芯片

數(shù)據(jù)中心AI芯片上升趨勢能夠持續(xù)多久呢?
評論