在支撐萬億參數(shù)時代的 AI 工廠，為何網(wǎng)絡(luò)比以往更為重要。

在全球范圍內(nèi)，AI 工廠正在崛起 —— 大量的這些新型數(shù)據(jù)中心并非為提供網(wǎng)頁或電子郵件服務(wù)而建，而是用于訓(xùn)練和部署智能本身?；ヂ?lián)網(wǎng)巨頭們已經(jīng)為其客戶在 AI 云基礎(chǔ)設(shè)施上投資了數(shù)十億美元，現(xiàn)在正在打造 AI 工廠上展開了激烈競爭，以迎接下一代的產(chǎn)品和服務(wù)。各國政府也紛紛加大投資，迫切希望借助 AI 實現(xiàn)為國民量身定制的個性化醫(yī)療及語言服務(wù)。

歡迎來到 AI 工廠時代 —— 在這個時代，規(guī)則正在被改寫，構(gòu)建方式與傳統(tǒng)的互聯(lián)網(wǎng)已截然不同。這些并非典型的超大規(guī)模數(shù)據(jù)中心，它們完全是另一番模樣?？梢詫⑺鼈円暈橛蓴?shù)萬個乃至數(shù)十萬個 GPU 拼接而成的高性能引擎——不僅僅是將他們搭建起來，還要將其作為一個整體進行編排、運營和操作。而這種編排能力，正是關(guān)鍵所在。

這個巨大的數(shù)據(jù)中心已成為新的計算單元，而這些 GPU 的連接方式定義了此計算單元的功能。單一的網(wǎng)絡(luò)架構(gòu)無法滿足需求，我們需要的是采用前沿技術(shù)進行分層設(shè)計，比如曾經(jīng)看起來像科幻小說一樣的光電一體化封裝（CPO）技術(shù)。

這種復(fù)雜性并非缺陷，而是其核心特征。AI 基礎(chǔ)設(shè)施與以往所有技術(shù)的差異化正在快速加大，若不重新思考各種路徑的連接方式，將無法進行擴展。網(wǎng)絡(luò)層設(shè)計失誤，整臺機器將陷入停滯；設(shè)計得當，則能獲得卓越性能。

伴隨這種轉(zhuǎn)變而來的是重量的顯著增加。十年前，芯片追求輕薄設(shè)計。如今，最前沿的技術(shù)卻轉(zhuǎn)向了服務(wù)器機柜內(nèi)數(shù)百公斤的銅背板，液冷通路的設(shè)計、定制的總線架以及銅背板的設(shè)計。AI 如今需要大規(guī)模、工業(yè)級的硬件支持，而且模型越復(fù)雜，越需要系統(tǒng)的縱向和橫向擴展。

以NVIDIA NVLink總線背板為例，它需要連接 5000 多根同軸電纜——緊密纏繞且布線精準。其每秒傳輸?shù)臄?shù)據(jù)量幾乎相當于整個互聯(lián)網(wǎng)的流量，可在 GPU 到 GPU 之間實現(xiàn) 130 TB/s 全連接帶寬。

這不僅是速度快，而是整個系統(tǒng)的基礎(chǔ)，在機架內(nèi)部的 AI “超級高速路”。

數(shù)據(jù)中心即計算機

訓(xùn)練現(xiàn)代大語言 AI 模型并非依賴單臺機器的運算能力，而是要協(xié)調(diào)數(shù)萬顆乃至數(shù)十萬顆作為 AI 計算超級加速器的 GPU 協(xié)同工作。

這些系統(tǒng)依賴分布式計算，將海量計算任務(wù)分配到各個節(jié)點（單個服務(wù)器），每個節(jié)點處理一部分工作負載。在訓(xùn)練過程中，這些巨型數(shù)字矩陣的分片任務(wù)需要進行定期合并和更新。這種合并通過集體操作實現(xiàn)，例如“all-reduce”（聚合來自所有節(jié)點的數(shù)據(jù)并重新分發(fā)結(jié)果）和“all-to-all”（每個節(jié)點與所有其他節(jié)點交換數(shù)據(jù)）。

這些過程極易受網(wǎng)絡(luò)速度和響應(yīng)能力的影響——工程師稱之為延遲（延遲時間）和帶寬（數(shù)據(jù)容量），這會導(dǎo)致訓(xùn)練中斷。

而在推理——即通過運行訓(xùn)練好的模型來生成答案或預(yù)測，面對的挑戰(zhàn)則完全不同。如檢索增強生成系統(tǒng)，將 LLM 與搜索結(jié)合，需要實時查詢和響應(yīng)。在云環(huán)境中，多租戶推理要求不同客戶的工作負載順暢運行且互不干擾。這需要超高速度、高吞吐量的網(wǎng)絡(luò)，既能應(yīng)對海量需求，又能確保用戶間的嚴格隔離。

傳統(tǒng)以太網(wǎng)專為單服務(wù)器工作負載設(shè)計，無法滿足分布式 AI 的需求。過去，抖動和不穩(wěn)定傳輸尚可容忍，如今卻成了瓶頸。傳統(tǒng)以太網(wǎng)交換機架構(gòu)從未針對穩(wěn)定、可預(yù)測的性能進行設(shè)計，這種局限性仍影響著其最新一代產(chǎn)品。

分布式計算需要為零抖動運行而構(gòu)建的橫向擴展基礎(chǔ)設(shè)施——能夠應(yīng)對突發(fā)的極端吞吐量、提供低延遲、保持可預(yù)測且穩(wěn)定的 RDMA 性能，并隔離網(wǎng)絡(luò)上其他業(yè)務(wù)的干擾。這也是為什么 InfiniBand 網(wǎng)絡(luò)成為高性能計算超級計算機和 AI 工廠的黃金標準。

借助NVIDIA Quantum InfiniBand，集合運算可通過 SHARP 協(xié)議（Scalable Hierarchical Aggregation and Reduction Protocol）直接運行在網(wǎng)絡(luò)上，使歸約操作的數(shù)據(jù)帶寬翻倍。它采用動態(tài)路由和基于遙測的擁塞控制技術(shù)，在多條路徑上分配流量，保證確定性帶寬并隔離噪聲。這些優(yōu)化使 InfiniBand 能精準地擴展 AI 通信。這也是為何 NVIDIA Quantum 基礎(chǔ)設(shè)施連接了全球超級計算機 TOP500 榜單中的大多數(shù)系統(tǒng)，且僅兩年內(nèi)就實現(xiàn)了 35% 的增長。

對于跨數(shù)十個機架的集群，NVIDIA Quantum X800 InfiniBand 交換機將 InfiniBand 性能推向新高度。每臺交換機提供 144 個 800 Gbps 端口，支持基于硬件的 SHARPv4 技術(shù)、動態(tài)路由和基于遙測的擁塞控制技術(shù)。該平臺還通過集成了 CPO 技術(shù)來最大限度地縮短了電器件與光器件的距離，降低了功耗和延遲。搭配每 GPU 提供 800 Gb/s 的 NVIDIA ConnectX-8 SuperNIC，這種網(wǎng)絡(luò)架構(gòu)可連接萬億參數(shù)模型及利用網(wǎng)絡(luò)計算技術(shù)。

但超大規(guī)模數(shù)據(jù)中心用戶和企業(yè)級用戶已在以太網(wǎng)軟件基礎(chǔ)設(shè)施上投入數(shù)十億美元，他們需要一條能利用現(xiàn)有生態(tài)系統(tǒng)運行 AI 工作負載的快捷路徑。NVIDIA Spectrum-X是專為分布式 AI 打造的新型以太網(wǎng)。

Spectrum-X 以太網(wǎng)：將 AI 引入企業(yè)

Spectrum-X 為 AI 重塑以太網(wǎng)。2023 年推出的 Spectrum-X 可支持無損網(wǎng)絡(luò)、動態(tài)路由和性能隔離?；?Spectrum-4 ASIC 的 SN5610 交換機支持高達 800 Gb/s 的端口速度，并通過 NVIDIA 的擁塞控制技術(shù)，在規(guī)?；瘓鼍跋驴杀３?95% 的數(shù)據(jù)吞吐量。

Spectrum-X 完全基于標準以太網(wǎng)構(gòu)建。除支持 Cumulus Linux 外，它還兼容開源 SONiC 網(wǎng)絡(luò)操作系統(tǒng)，為客戶提供靈活性。另一個核心組件是基于 NVIDIA BlueField-3 或 ConnectX-8 打造的 NVIDIA SuperNIC，可提供高達 800 Gb/s 的 RoCE 連接，并卸載數(shù)據(jù)包重排序和擁塞管理任務(wù)。

Spectrum-X 將 InfiniBand 的出色創(chuàng)新 —— 如遙測驅(qū)動的擁塞控制、動態(tài)負載均衡和直接數(shù)據(jù)放置等技術(shù)——引入以太網(wǎng)，使企業(yè)能夠擴展至數(shù)十萬顆 GPU。采用 Spectrum-X 的大型系統(tǒng)（包括全球最大的 AI 超級計算機）實現(xiàn)了 95% 的數(shù)據(jù)吞吐量，且應(yīng)用延遲零衰減。而標準以太網(wǎng)架構(gòu)因流量沖突，吞吐量僅能達到約 60%。

適用于縱向擴展和橫向擴展的產(chǎn)品組合

沒有任何單一網(wǎng)絡(luò)能滿足 AI 工廠的所有層級需求。NVIDIA 為不同層級匹配合適的網(wǎng)絡(luò)架構(gòu)，通過軟件和芯片將所有部分整合在一起。

NVLink：機架內(nèi)的縱向擴展

在服務(wù)器機架內(nèi)部，GPU 之間的通信需如同同一芯片上的不同核之間的通信般高效。NVIDIA NVLink和 NVLink 交換機跨節(jié)點擴展了 GPU 內(nèi)存和帶寬。在 NVIDIA Blackwell NVL72 系統(tǒng)中，36 顆 NVIDIA CPU 和 72 顆 NVIDIA GPU 連接在單一 NVLink 域中，總帶寬達 130 TB/s。NVLink 交換機技術(shù)進一步擴展該架構(gòu)：單臺 NVIDIA Blackwell NVL72 系統(tǒng)可提供 130 TB/s 的 GPU 帶寬，使集群支持的 GPU 數(shù)量達到單臺 8-GPU 服務(wù)器的 9 倍。借助 NVLink，整個機架成為一個大型 GPU。

光子技術(shù)：下一次飛躍

要實現(xiàn)百萬 GPU 規(guī)模的 AI 工廠，網(wǎng)絡(luò)必須突破可插拔光學(xué)器件的功率和密度限制。NVIDIA Quantum-X 和 Spectrum-X 硅光網(wǎng)絡(luò)交換機將硅光直接集成到交換機封裝中，可提供 128 至 512 個 800 Gb/s 端口，總帶寬介于 100 Tb/s 到 400 Tb/s 之間。與傳統(tǒng)光學(xué)器件相比，這些交換機的能效提升 3.5 倍，可靠性增強 10 倍，為十億瓦級 AI 工廠鋪平了道路。

兌現(xiàn)開放標準的承諾

Spectrum-X 和 NVIDIA Quantum InfiniBand 均基于開放標準構(gòu)建。Spectrum-X 是完全基于標準的以太網(wǎng)，支持 SONiC 等開放以太網(wǎng)棧；而 NVIDIA Quantum InfiniBand 和 Spectrum-X 則符合IBTA 的 InfiniBand 和 RDMA over Converged Ethernet（RoCE）規(guī)范。NVIDIA 軟件棧的核心組件（包括 NCCL 和 DOCA 庫）可在多種硬件上運行，思科（Cisco）、戴爾科技（DELL）、慧與（HPE） 和 超微（Supermicro） 等合作伙伴已將 Spectrum-X 集成到其系統(tǒng)中。

開放標準為互操作性奠定了基礎(chǔ)，但實際 AI 集群需要進行全棧（GPU、NIC、交換機、電纜和軟件）式深度優(yōu)化。投入端到端集成的供應(yīng)商能提供更優(yōu)的延遲和吞吐量。SONiC 作為在超大規(guī)模數(shù)據(jù)中心中得到強化的開源網(wǎng)絡(luò)操作系統(tǒng)，消除了許可限制和供應(yīng)商鎖定，支持高度定制化，但操作人員仍會選擇專為 AI 性能需求設(shè)計的硬件和軟件捆綁方案。實際上，僅靠開放標準無法實現(xiàn)確定性性能，還需要通過創(chuàng)新來解決這些問題。

邁向百萬 GPU 的 AI 工廠

AI 工廠正迅速擴張。歐洲多國正在建設(shè)七個國家級 AI 工廠，日本、印度和挪威的云服務(wù)商和企業(yè)也在部署 NVIDIA 驅(qū)動的 AI 基礎(chǔ)設(shè)施。下一個目標是具備百萬 GPU 規(guī)模的十億瓦級設(shè)施。要實現(xiàn)這一目標，網(wǎng)絡(luò)必須從附屬品轉(zhuǎn)變?yōu)?AI 基礎(chǔ)設(shè)施的核心支柱。

十億瓦數(shù)據(jù)中心時代帶來的啟示很簡單：數(shù)據(jù)中心如今就是計算機。NVLink 將機架內(nèi)的 GPU 連接在一起；NVIDIA Quantum InfiniBand 實現(xiàn)跨機架擴展；Spectrum-X 將這種性能推向更廣泛的市場；硅光技術(shù)確保其可持續(xù)性。在關(guān)鍵之處保持開放，在核心之處追求優(yōu)化。