1. 網(wǎng)絡的價值在于延續(xù)了集群算力摩爾定律

芯片層面網(wǎng)絡：chip-to-chip場景，從PCIe到高速連接

（一）通用/傳統(tǒng)場景：PCIe是服務 器內(nèi)部通信的總線標準，制約了電口 通信速率的提升。 經(jīng)典的通用服務器內(nèi)，CPU、圖形卡、 硬盤驅動器、SSD、Wi-Fi 、以太網(wǎng) 設備等主要基于PCIe（PCI express） 協(xié)議相互連接。 相較于4.0版本，PCIe 5.0傳輸速度更 高，x16帶寬（雙向）從64 GB/s提 升到了128 GB/s；目前規(guī)范制定已迭 代至6.0版本，帶寬再翻倍。

異構計算的初步創(chuàng)新：在PCIe物 理架構和電氣接口的基礎上，英特 爾等牽頭成立CXL聯(lián)盟并最新推出 CXL 2.0-3.0規(guī)范，用于AI、高性 能計算等場景中CPU與GPU等的 互聯(lián)，通過“內(nèi)存池化”等方式優(yōu) 化內(nèi)存調用，進而提升系統(tǒng)整體性 能。

（二）Nvidia代表，已對標PCIe推出NVLink解決異構計算與AI算力網(wǎng)絡瓶頸。 NVLink是Nvidia專門設計用于點對點鏈路高速互聯(lián)的網(wǎng)絡方案（例如GPU to GPU連 接）。據(jù)Nvidia白皮書，NVLink的開銷比傳統(tǒng)網(wǎng)絡更低。 傳統(tǒng)網(wǎng)絡中復雜網(wǎng)絡功能（例如端到端重試、自適應路由、數(shù)據(jù)包重新排序等），在NVLink體系 下可以在增加端口數(shù)的情況下進行權衡。 此外，基于NVLink的網(wǎng)絡接口更加簡單，允許將應用程序層、表示層和會話層功能直接嵌入到 CUDA本身中，從而進一步減少通信開銷。

此外Nvidia發(fā)布適用于超算服務器內(nèi)部的NVSwitch芯片（最早2018 GTC大會發(fā)布第一代， 作用類似于交換機ASIC），進一步通過上述NVLink協(xié)議接口將多個GPU高速互聯(lián)到一起。 據(jù)技術文檔，在H100芯片+NVLink gen4協(xié)議這一代，Nvidia配套了NVSwitch gen3芯 片方案，采用臺積電4N工藝，滿足GPU間的點對點連接，內(nèi)嵌ALU使NVSwitch提供FP32 的400GFLOPS計算吞吐，每個芯片64個NVLink 4接口。 依據(jù)技術文檔，NVSwitch3芯片大小50mm*50mm，包括一個 SHARP 控制器，可并行管理多達 128 個 SHARP 組；內(nèi)嵌ALU可幫助NVSwitch提供FP32的400GFLOPS計算吞吐，并且支持FP16、 FP32、FP64和BF16等精度計算。 NVSwitch3芯片提供64個NVLink4接口，每個NVLink4通道x2即200Gbps單向帶寬，單個芯片可提 供64 x 200Gbps=12.8Tbps（1.6TB/s）單向帶寬、或3.2TB/s雙工帶寬。

設備層面網(wǎng)絡：InfiniBand、NVLink等正迭代通用 算力下的以太網(wǎng)需求

結合實際情況，我們認為：單SoC性能提升，不意味著算力集群整體性能的提升；單純“堆 砌”集群芯片數(shù)量，而不優(yōu)化網(wǎng)絡連接，集群性能提升很快就會遇到瓶頸。 傳統(tǒng)云計算場景下，算力設備以同構計算和簡單的異構計算為主，通用的以太網(wǎng)很難滿足大 規(guī)模GPU集群的連接需求。

英偉達解決集群性能瓶頸的方式 是引入 InfiniBand 網(wǎng) 絡 ， 并 將 C2C場景下應用的NVLink延伸至 設備間互聯(lián)。據(jù)Nvidia，2020年公司以69億美 元 的 價 格 收 購 網(wǎng) 絡 芯 片 廠 商 Mellanox，后者致力于數(shù)據(jù)中心 InfiniBand和以太網(wǎng)互聯(lián)產(chǎn)品的 研發(fā)。 2022-2023 年 DGX H100 SuperPOD集群完善，重要變化 體現(xiàn)在NVLink從板上/片間互聯(lián) 走向不同Server或板卡的互聯(lián)， 同時Nvidia也相應發(fā)布了NVLink 交換機（Hot chip等公開資料）。

據(jù)Nvidia設計，每套SuperPOD集群32臺服務器折合256個H100 GPU，AI性能高達 1EFlops；每套系統(tǒng)配18臺NVLink交換機，系統(tǒng)雙向帶寬57.6TB/s；（網(wǎng)絡需求增加） 。依照技術文檔推薦方案，每套系統(tǒng)的32臺DGX H100服務器中的400Gb/s ConnectX-7網(wǎng) 卡對外與IB交換機連接，用于連接多套SuperPOD系統(tǒng)。 兩層NVSwitch芯片設計：一層交換芯片位于服務器內(nèi)，二層交換芯片位于交換機內(nèi)。128個L1層芯片（32臺服務器，每臺4個）+36個L2層芯片（18臺NVLink交換機，每臺2個）。一 個集群內(nèi)所有256個GPU的互聯(lián)，都通過NVLink和NVLink交換機單獨完成，不經(jīng)過CX-7 PCIe網(wǎng)絡。 我們認為，從通信網(wǎng)絡角度看， DGX H100 SuperPOD高算力、高吞吐升級的精髓，在于： 將過去A100及之前用于服務器內(nèi)部GPU高效連接的NVLink，外化到整個集群，借助新的 NVLink交換機，搭建L1、L2兩層網(wǎng)絡，實現(xiàn)跨服務器、跨機柜的GPU to GPU連接。

IDC層面網(wǎng)絡：AI與通用云計算架構核心差異在于組網(wǎng)

依據(jù)實際情況，數(shù)據(jù)中心中，擁有較大外部客戶群、提供XaaS的數(shù)據(jù)中心更可能由南北向 的流量主導；另一方面，對計算和存儲有大量內(nèi)部需求時，在服務器之間看到更多的東西向 流量，可以將他們的數(shù)據(jù)中心運營成具有較高徑向的巨大集群。 兩種主要的典型數(shù)據(jù)中心架構類型： 1）超大規(guī)模數(shù)據(jù)中心。這些架構相對龐大，層與層之間有一定的收斂性，例如3:1，并且在spine層 以上依靠相干ZR光模塊互連（DCI）。800G網(wǎng)絡的一個重要邊界約束是，在服務器到TOR層使用 200G互連。而TOR-leaf/spine層通常使用PSA；spine層通常依靠PSM4 4x200G。 （層層匯聚，類似毛細血管到主靜脈，帶寬匯聚、連接數(shù)減少、網(wǎng)絡架構金字塔形。）

2）AI的數(shù)據(jù)中心網(wǎng)絡以胖樹fat-tree架構為主。比超大規(guī)模網(wǎng)絡的層數(shù)少、在各層之間幾乎無收斂。 fat-tree是業(yè)界普遍認可的實現(xiàn)無阻塞網(wǎng)絡的技術，對于任意的通信模式，總有路徑讓他們的通信帶 寬達到網(wǎng)卡帶寬，且用到的所有交換機都是相同的；fat-tree無帶寬收斂：傳統(tǒng)的樹形網(wǎng)絡拓撲中，帶寬是逐層收斂的，樹根處的網(wǎng)絡帶寬要遠小于各個 葉子處所有帶寬的總和。而fat-tree則更像是真實的樹，越到樹根，枝干越粗，即：從葉子到樹根， 網(wǎng)絡帶寬不收斂。尤其在訓練側，數(shù)據(jù)、算力以內(nèi)部流轉為主，較多依賴內(nèi)部徑向流量的統(tǒng)一高帶 寬。高速網(wǎng)絡設備/器件的需求量更大。

2. Nvidia：H100到GH200，網(wǎng)絡價值陡增

AIGC“前夜”，Nvidia A100的網(wǎng)絡架構與設備需求以 200G為基礎。

Nvidia的A100體系是典型的200G網(wǎng)絡結構。 DGX A100的核心網(wǎng)卡Mellanox ConnectX-6主要基于200Gb/s HDR InfiniBand網(wǎng)絡。因此底層 網(wǎng)絡帶寬即200G。DGX A100服務器背板明確擁有8個用于Compute的200G QSFP56接口。另外 擁有2個用于Storage的接口。 據(jù)技術文檔，A100的DGX SuperPOD集群，服務器與交換設備數(shù)量之比大致在1 : 1左右。 A100 SuperPOD設計單集群20臺DGX A100，搭配12臺用于Compute的IB交換機以及6 臺用于Storage的IB交換機（IB交換機QM8790為40 ports x 200 Gb規(guī)格）。

當前“算力之巔”：英偉達H100的網(wǎng)絡架構與設備需求 提升至400G/800G基準

在Chapter 1中我們已經(jīng)討論過，H100網(wǎng)絡架 構基礎是 InfiniBand NDR 400Gb 網(wǎng) 絡 + NVLink 800Gb網(wǎng)絡。 一個標準的DGX H100 SuperPOD由32臺DGX H100、8個機柜組成。同時搭配8個Leaf交換機和 4個Spine交換機，均為IB NDR 400。 另外搭配若干Storage交換機、Management、 UFM、In-Band、Out-of-Band設備。與A100相 比，H100主板接口明顯減少，尤其Compute接口 由8個減少為4個，但單口總帶寬提升4倍至800Gb （服務器廠商定制版本也有8×400G選擇）。 同理于A100之測算，一個128 DGX H100服務器 集群（4x SuperPOD，實際127臺服務器，預留 1臺空位替換UFM）為例，搭載1016個GPU、32 個Leaf交換機、26臺Spine交換機（InfiniBand 網(wǎng)絡需求）； 線纜數(shù)超2000條。1個SuperPOD對應8 Leaf、4 Spine；線纜數(shù)超500條。此外In-Band、Out-ofBand交換機主要需要100G、400G網(wǎng)絡。

GH200的設計精髓：最大化利用NVLink和InfiniBand 網(wǎng)絡，光連接更優(yōu)先

GH200體系的交換機需求，以256 片Grace CPU+H100 GPU為例： 96+36 = 132臺 NVLink交換機 （800G） ；24臺 InfiniBand交換機（預計 400G/800G） ；42臺 以太網(wǎng)交換機（預計 100G/200G，用于存儲、管理等）； 相比“256 GPUs的DGX SuperPOD集群，交換機用量不超 過50臺”，GH200系統(tǒng)的交換機 需求大幅提升。

因此我們預計，Nvidia未來將越來越重視在AI體系中引入NVLink網(wǎng)絡，通過網(wǎng)絡連接來 降低系統(tǒng)成本、提升整體性能： DGX H100服務器的架構設計，仍可見傳統(tǒng)PC與通用服務器一路沿襲的思路，例如 motherboard、gpu tray等結構；而GH200則基于NVLink和AI需求對“芯片-設備IDC”的網(wǎng)絡架構做了重新設計。從系統(tǒng)復雜度、投資強度、整體性能提升三方面看，網(wǎng) 絡設備與器件（包括交換機、光模塊等）在系統(tǒng)中的重要性顯著提升。

3. 谷歌：TPU v4背后，是OCS與更激進的光 網(wǎng)絡設計

谷歌TPU：迭代至v4，ASIC 3D組網(wǎng)適配AI需求

谷歌自研TPU可追溯至2014年；據(jù)谷歌論文（TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings），最新TPU v4集群 采用激進的全光組網(wǎng)方案。據(jù)歷代發(fā)布數(shù)據(jù)： TPU v1主要用于推理場景，單向架構，發(fā)布于2015年； TPU v2則定位于訓練場景，單板4顆芯片，64G HBM替代DDR3，Interconnect Router提供4個 ICI Link做芯片互聯(lián)、分別496Gbps帶寬（類似NVLink），發(fā)布于2017年； TPU v3同樣單板4顆芯片，128G HBM，ICI Link帶寬提升至656Gbps，發(fā)布于2018年； TPU v4的128G HBM帶寬升級至1200GBps，ICI Link則迭代為6路448Gbps。

谷歌OCS：全光交換、WDM等光通信技術，算力 與網(wǎng)絡同行

OCS即Optical circuit switches，是谷歌TPU v4網(wǎng)絡連接的核心交換機。 通常數(shù)據(jù)中心內(nèi)數(shù)據(jù)交換是光電混合網(wǎng)絡，設備之間的主要互聯(lián)通過光纜/銅纜/光電轉換 器件、以及交換機ASIC/Serdes/PCIE/NVLink等鏈路實現(xiàn)。 與過去在網(wǎng)絡層之間多次將信號“從電轉換為光再到電”不同，OCS是一種全光學的連接 方案，通過MEMS陣列結合光環(huán)路器、波分復用光模塊實現(xiàn)光路的靈活切換、以達到直接 通過光信號組建交換網(wǎng)絡的目的。

4. AMD、Amazon等：芯片亦持續(xù)迭代

AMD：MI300系列2.5D-3D封裝，板上帶寬顯著增加

據(jù)AMD發(fā)布會，MI300系列方案內(nèi)存 容量與帶寬顯著提升：MI300X擁有192GB的HBM3、 5.2TBps的帶寬和896GBps的Infinity Fabric帶寬； AMD Infinity 架構將 8 個MI300X 加 速器連接在一個系統(tǒng)中，提供合計1.5 TB的HBM3內(nèi)存。

Amazon：自研Trainium芯片支撐Trn1等訓練云服務

Amazon發(fā)布由自研芯片 Trainuim支持的AWS EC2 Trn1： 每臺Trn1最多可搭配16顆 Trainium芯片，芯片內(nèi)Neuron Link專用連接并搭配HBM內(nèi)存， 調用800 Gbps的Elastic Fabric Adapter網(wǎng)絡接口，可橫向拓展 至1萬顆以上的Trainium芯片。 進階版本Trn1n的EFA帶寬將達到 1600 Gbps。

5. 結論

結合上文： 1）系統(tǒng)復雜度、投資強度、整體性能提升效果三方面看，網(wǎng)絡設備與器件（包括交換機、光模塊等）在 AI系統(tǒng)中的重要性顯著提升：Nvidia H100到GH200系統(tǒng)，官方標準配置下800G光模塊用量可提升 30%-275%，同樣256GPU集群的交換機需求從不足50臺提升至150臺以上。 2）谷歌自研TPU v4背后，是矩陣計算、OCS光交換與更激進的光網(wǎng)絡設計。3D組網(wǎng)是TPU v4系統(tǒng)最 大亮點，網(wǎng)絡起重要作用，導入全光交換、WDM等光通信技術后，算力與網(wǎng)絡需求同步提升。 3）AMD最新MI300體系和AWS自研Trn訓練芯片，同樣重視帶寬、拓展性的價值。

我們認為： 在AI領域，網(wǎng)絡的價值在于延續(xù)了集群算力的摩爾定律。 1）吞吐帶寬與連接架構是算力性能不可忽視的決定因素。 2）芯片層面，高速c2c連接方案（如NVLink、CXL等）的推廣，是宏觀設備/數(shù)據(jù)中心層高速網(wǎng)絡、光 網(wǎng)絡等需求爆發(fā)的底層邏輯。 3）設備層面，單SoC性能提升+芯片“堆量”，不意味著算力集群整體性能的線性提升；而Nvidia、 Google、AMD、AWS等算力大廠正應用InfiniBand、OCS等新架構替代通用算力下的以太網(wǎng)，帶來 增量網(wǎng)絡需求。

報告節(jié)選：

?

?

?

?

編輯：黃飛

?