AI網(wǎng)絡(luò)多層次的互聯(lián)彰顯市場潛力

NVIDIA作為全球領(lǐng)先的視覺計算和人工智能公司，其市值突破萬億元的背后，除了強大的GPU產(chǎn)品線，互聯(lián)技術(shù)扮演了不可或缺的支柱角色。NVIDIA于2019年收購以色列公司Mellanox，自此成就了它的暴力美學。通過高性能的單個GPU加速卡，NVLink及NVSwitch打造Scale-up護城河，同時還配備用于后端網(wǎng)絡(luò)Scale-out的ConnectX系列智能網(wǎng)卡等全棧AI網(wǎng)絡(luò)互聯(lián)產(chǎn)品線打造AI工廠。據(jù)悉，2023年NVIDIA 在Networking領(lǐng)域的銷售額為130億美金。

（來源：整理自NVIDIA）

01

網(wǎng)間互聯(lián)：

高速以太網(wǎng)的新紀元

根據(jù)Spirent HSE Market Impact Report的高速以太網(wǎng)市場動態(tài)更新，隨著端口速度持續(xù)演進，各速度級別的采納率都保持強勁，即便是10G和25G在中小企業(yè)和5G基站部署中仍享有穩(wěn)定的需求。超越傳統(tǒng)需求曲線，基于51.2T的交換機Serdes以及AI網(wǎng)絡(luò)Scale-out從RDMA RoCE2向UEC（超以太聯(lián)盟）規(guī)范演進的趨勢已經(jīng)明朗。目前市場已經(jīng)開始展望1.6T以太網(wǎng)，以期在明年迅速把握AI驅(qū)動的市場機遇。

1.6T以太網(wǎng)

數(shù)據(jù)中心流量的預(yù)期指數(shù)級增長正在推動1.6T以太網(wǎng)的研究。盡管IEEE 802.3dj標準預(yù)計在2026年內(nèi)完成，但2024年已經(jīng)明確的基礎(chǔ)功能將支持硅芯片、光學元件和光模塊的早期開發(fā)。

面向AI和HPC的以太網(wǎng)

隨著AI和高性能計算（HPC）的需求日益增長，基于融合以太網(wǎng)的遠程直接內(nèi)存訪問RDMA（RoCEv2），預(yù)計將演進至新的超以太網(wǎng)傳輸（UET）標準(隸屬于UEC)。

800G

最初的部署將由全球主要云廠商企業(yè)引領(lǐng)，以支持數(shù)據(jù)中心內(nèi)的AI應(yīng)用，并伴隨著51.2Tbps交換機的應(yīng)用。800G提供了更高的帶寬、更低的延遲、提升的能效以及更多的連接，為數(shù)據(jù)中心的互聯(lián)提供了未來幾年的保障。

以太網(wǎng)逐步替代Infiniband

Scale-out 層面，用于AI訓(xùn)練的高速網(wǎng)絡(luò)InfiniBand的遠程直接內(nèi)存訪問（RDMA）被普遍應(yīng)用，但現(xiàn)在越來越多的關(guān)注點轉(zhuǎn)向了將開放標準、廣泛采用的以太網(wǎng)用于這一用途。與InfiniBand相比，以太網(wǎng)降低了成本和復(fù)雜性，并且沒有可擴展性的限制。

智能網(wǎng)卡和以太網(wǎng)交換機的前景可期

Dell’Oro預(yù)測，到2028年，部署在AI后端網(wǎng)絡(luò)中的以太網(wǎng)交換機端口出貨量將超過5000萬臺。到2025年，AI后端網(wǎng)絡(luò)中的以太網(wǎng)交換機端口出貨量有一半將是800Gb/s，到2028年將達到1600Gb/s。 其Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report報告稱：預(yù)計以太網(wǎng)智能網(wǎng)卡市場到 2028 年將超過 160 億美元，大幅提高的市場展望主要源于支持AI服務(wù)器集群Scale-out的后端網(wǎng)絡(luò)對以太網(wǎng)連接有強烈需求。 Dell'Oro集團高級研究總監(jiān) Baron Fung 表示：“AGI應(yīng)用的出現(xiàn)推動了將加速服務(wù)器與后端以太網(wǎng)網(wǎng)絡(luò)相互連接的需求，這對于大型語言模型的訓(xùn)練來講是必然的一步。對于以太網(wǎng)網(wǎng)卡來說，這是一個新的市場機會，與傳統(tǒng)的前端以太網(wǎng)適配器市場相比，增長顯著更高?！?到 2028 年，整個以太網(wǎng)智能 NIC 市場（包括前端和后端網(wǎng)絡(luò)的服務(wù)器連接）預(yù)計將以 27% 的復(fù)合年增長率增長。后端網(wǎng)絡(luò)的服務(wù)器訪問速度將至少比前端網(wǎng)絡(luò)領(lǐng)先一代，以跟上 GPU 加速器密集路線圖的發(fā)布步伐。

智能網(wǎng)卡Chiplet芯粒化提上日程

（來源：Broadcom）

“

Broadcom在今年上半年推出了面向AI網(wǎng)絡(luò)的400G智能網(wǎng)卡，并公布了基于以太網(wǎng)的SmartNIC Roadmap。隨著800G的步伐進一步加快，Broadcom預(yù)計將在2025-2026年間推出下一代帶寬為800G，基于Chiplet架構(gòu)的網(wǎng)卡芯片。采用Chiplet技術(shù)的超高帶寬智能網(wǎng)卡，正成為推動下一代網(wǎng)卡技術(shù)發(fā)展的新動力。這正與奇異摩爾在網(wǎng)間互聯(lián)側(cè)的產(chǎn)品路線理念不謀而和。下一代產(chǎn)品將全面支持超級以太網(wǎng)聯(lián)盟（UEC）的NIC標準。

02

片間互聯(lián)：加速卡需求旺盛，

國產(chǎn)GPU潛力突圍

全球GPU加速卡需求劇增

大模型的規(guī)模擴大需要大量的訓(xùn)練基礎(chǔ)設(shè)施，并顯著推動數(shù)據(jù)中心 AI 芯片市場。未來更多十萬卡加速器集群會進入我們的眼簾。例如，xAI 最近建立了一個擁有 100,000 個NVIDIA H100 的液冷數(shù)據(jù)中心，而 Meta 報告稱它購買了 500,000 個 GPU，其數(shù)量翻了一番，達到 100 萬個。

（來源：OCP Global Summit 2024）

“

Scale-up網(wǎng)絡(luò)演進趨勢已經(jīng)超出單個服務(wù)器機架范圍；在今年的OCP Summit上又出現(xiàn)了新定義(如上圖）：Scale-up Internal和Scale-up External 兩個部分共同構(gòu)成Scale-up網(wǎng)絡(luò)。Internal部分具體指的以單個機架為節(jié)點的GPU數(shù)量，從過去傳統(tǒng)的8卡到百卡甚至幾百卡演進（小于1000 卡）；External部分是以突破單個服務(wù)器機架為節(jié)點，也就是超節(jié)點所構(gòu)建的超帶寬域的Node數(shù)量，節(jié)點間加速卡數(shù)量預(yù)計2026年后將突破1000卡。

（更多閱讀：Kiwi Talks | Scale-up 軍備賽愈演愈烈，集體對抗英偉達的暴力美學）

根據(jù)Tech Insight機構(gòu)公布的報告表示數(shù)據(jù)中心 AI 芯片/加速器市場繼續(xù)主導(dǎo)全球半導(dǎo)體市場。該市場將以 37% 的復(fù)合年增長率增長，到 2029 年將達到 3550 億美元。其中生成式 AI 應(yīng)用是芯片的最大驅(qū)動力，到 2029 年預(yù)計有望達到 2500 億美元。GPU 在整個細分市場中占據(jù)主導(dǎo)地位，到 2023 年的總收入將達到 370 億美元，該機構(gòu)預(yù)計這一趨勢不會放緩。然而在過去五年中，我們看到 AI 加速器的平均售價 （ASP） 增長了四倍。目前正上市的 NVIDIA 的 H100 在零售市場上的價格可能高達 40,000 美元，而兩代前的 V100 價格為 10,000 美元。這樣的價格上漲在半導(dǎo)體市場上是聞所未聞的。隨著越來越多的 AI 應(yīng)用程序進入生產(chǎn)狀態(tài)，機構(gòu)預(yù)計重點將轉(zhuǎn)移到定價而不是性能上。長期來看，這種溢價和壟斷的市場發(fā)展態(tài)勢需要被打破。

國產(chǎn)GPU市場份額逐步提升

國際數(shù)據(jù)公司（IDC）發(fā)布了最新的《中國半年度加速計算市場（2024上半年）跟蹤》報告。IDC數(shù)據(jù)顯示，2024上半年中國加速服務(wù)器市場規(guī)模達到50億美元，同比2023上半年增長63%。其中GPU服務(wù)器依然占主導(dǎo)地位，達到43億美元。同時NPU、ASIC 和 FPGA等非GPU加速服務(wù)器以同比182%的增速達到近7億美元市場規(guī)模。

行業(yè)大模型的深入研發(fā)對于AI軟硬件與生態(tài)部署有著明顯帶動作用。人工智能在諸如智慧城市、智能家居等綜合復(fù)雜性場景，在金融、醫(yī)療、教育等行業(yè)的細分功能層面提供更細化更多元的方案。

2024上半年，中國加速芯片的市場規(guī)模達超過90萬張。從技術(shù)角度來看，GPU卡占據(jù)80%的市場份額；從品牌角度來看，中國本土人工智能芯片品牌的出貨量已接近20萬張，約占整個市場份額的20%。用于推理的人工智能芯片占據(jù)了61%的市場份額。在GPU加速卡入口受限之后，由于數(shù)質(zhì)化轉(zhuǎn)型大趨勢對于算力的持續(xù)需求，中國本土品牌加速卡的市場份額逐步增長。

隨著大數(shù)據(jù)的發(fā)展和計算能力的提升，根據(jù)寒武紀招股書，2022 年中國AI芯片市場規(guī)模預(yù)計達 368億元，預(yù)計 2024 年市場規(guī)模將達到 785 億元，復(fù)合增速有望達到 46%。 宏觀來看，隨著全球科技競爭的加劇，構(gòu)建自主可控的國產(chǎn)萬卡甚至十萬卡的集群系統(tǒng)，不僅關(guān)乎技術(shù)主權(quán)，更是推動AI產(chǎn)業(yè)持續(xù)健康發(fā)展的關(guān)鍵，其中生態(tài)的構(gòu)建尤為復(fù)雜且至關(guān)重要。今年三月，中國工程院院士鄭緯民指出，盡管國產(chǎn)AI芯片與業(yè)界領(lǐng)先水平仍存在差距，但生態(tài)的完善能夠有效彌補這一短板，確保大多數(shù)任務(wù)不會因芯片性能的微小差異而受顯著影響。

03

片內(nèi)互聯(lián)：Chiplet在服務(wù)器

的應(yīng)用迎來黃金期

為了提升單芯片算力，過往業(yè)內(nèi)方案集中在增加單?芯片上的晶體管數(shù)量和擴大芯片?積。但隨著先進制程發(fā)展接近物理極限，單芯片面積觸及機臺設(shè)計上限，性能持續(xù)發(fā)展受限。且傳統(tǒng)馮諾依曼計算架構(gòu)下芯片算力同時受存儲墻、I/O墻制約，芯片算力利?率低。因此Chiplet芯?；呛竽枙r代提升性能的共識。 Chiplet技術(shù)可以將不同類型的AI加速卡（如神經(jīng)網(wǎng)絡(luò)處理器、張量處理器、視覺處理器等）通過高速、低功耗的互聯(lián)方式進行集成，實現(xiàn)高效的AI計算。這種模塊化設(shè)計不僅提高了AI芯片的性能，還優(yōu)化了功耗效率。 在智能計算集群的效能核心，GPU單卡的計算能力構(gòu)成了集群整體算力的基石。Chiplet技術(shù)作為提升單個AI加速卡的快速更新和升級，具有關(guān)鍵意義，從而跟上不斷發(fā)展的人工智能算法和應(yīng)用需求。

（來源：Yole Market Update 2023）

“

根據(jù)國際知名機構(gòu)Yole發(fā)布的Chiplet Market Update 2023，預(yù)計到2025年，集成Chiplet的芯片在數(shù)據(jù)中心服務(wù)器市場比例預(yù)計可以達到87%，這一比例在2021年僅為13%。這意味著未來AI大算力芯片的芯?；瘜⑹且粋€勢不可擋的主流趨勢。

單個芯片的算力和性能高度依賴于Chiplet的設(shè)計以及先進封裝工藝，這些因素共同推動了單個加速卡算力的提升。自成立以來，奇異摩爾始終專注于Chiplet技術(shù)與互聯(lián)技術(shù)的研發(fā)，憑借深厚的Chiplet設(shè)計功底和量產(chǎn)經(jīng)驗，以及全面的片內(nèi)互聯(lián)（Scale Inside）產(chǎn)品線——包括UCIe D2D IP接口和IO Die互聯(lián)芯粒，全力助推國產(chǎn)大算力芯片性能的不斷提升。

據(jù)Yole預(yù)測，到2027年，基于Chiplet芯粒的處理器市場將超過1350億美元。到2032年，預(yù)計芯粒的采用將在消費和汽車市場全面加速，并在國防、航空航天、工業(yè)和醫(yī)療領(lǐng)域站穩(wěn)腳跟。

AI基礎(chǔ)設(shè)施的轉(zhuǎn)型正在引領(lǐng)我們進入一個全新的技術(shù)時代，其中極致的互聯(lián)技術(shù)創(chuàng)新不僅是推動產(chǎn)業(yè)發(fā)展的關(guān)鍵，更是決定未來AI網(wǎng)絡(luò)競爭力的核心因素。從片內(nèi)互聯(lián)、片間互聯(lián)再到網(wǎng)間互聯(lián)，成就多層次的高性能互聯(lián)正是奇異摩爾所持續(xù)專注的。隨著Scaling Law的延續(xù)，這場技術(shù)革命的新藍圖依賴于產(chǎn)業(yè)鏈的每一份子去譜寫、去繪制。