在支撐萬(wàn)億參數(shù)時(shí)代的 AI 工廠(chǎng)，為何網(wǎng)絡(luò)比以往更為重要。

在全球范圍內(nèi)，AI 工廠(chǎng)正在崛起 —— 大量的這些新型數(shù)據(jù)中心并非為提供網(wǎng)頁(yè)或電子郵件服務(wù)而建，而是用于訓(xùn)練和部署智能本身?；ヂ?lián)網(wǎng)巨頭們已經(jīng)為其客戶(hù)在 AI 云基礎(chǔ)設(shè)施上投資了數(shù)十億美元，現(xiàn)在正在打造 AI 工廠(chǎng)上展開(kāi)了激烈競(jìng)爭(zhēng)，以迎接下一代的產(chǎn)品和服務(wù)。各國(guó)政府也紛紛加大投資，迫切希望借助 AI 實(shí)現(xiàn)為國(guó)民量身定制的個(gè)性化醫(yī)療及語(yǔ)言服務(wù)。

歡迎來(lái)到 AI 工廠(chǎng)時(shí)代 —— 在這個(gè)時(shí)代，規(guī)則正在被改寫(xiě)，構(gòu)建方式與傳統(tǒng)的互聯(lián)網(wǎng)已截然不同。這些并非典型的超大規(guī)模數(shù)據(jù)中心，它們完全是另一番模樣?？梢詫⑺鼈円暈橛蓴?shù)萬(wàn)個(gè)乃至數(shù)十萬(wàn)個(gè) GPU 拼接而成的高性能引擎——不僅僅是將他們搭建起來(lái)，還要將其作為一個(gè)整體進(jìn)行編排、運(yùn)營(yíng)和操作。而這種編排能力，正是關(guān)鍵所在。

這個(gè)巨大的數(shù)據(jù)中心已成為新的計(jì)算單元，而這些 GPU 的連接方式定義了此計(jì)算單元的功能。單一的網(wǎng)絡(luò)架構(gòu)無(wú)法滿(mǎn)足需求，我們需要的是采用前沿技術(shù)進(jìn)行分層設(shè)計(jì)，比如曾經(jīng)看起來(lái)像科幻小說(shuō)一樣的光電一體化封裝（CPO）技術(shù)。

這種復(fù)雜性并非缺陷，而是其核心特征。AI 基礎(chǔ)設(shè)施與以往所有技術(shù)的差異化正在快速加大，若不重新思考各種路徑的連接方式，將無(wú)法進(jìn)行擴(kuò)展。網(wǎng)絡(luò)層設(shè)計(jì)失誤，整臺(tái)機(jī)器將陷入停滯；設(shè)計(jì)得當(dāng)，則能獲得卓越性能。

伴隨這種轉(zhuǎn)變而來(lái)的是重量的顯著增加。十年前，芯片追求輕薄設(shè)計(jì)。如今，最前沿的技術(shù)卻轉(zhuǎn)向了服務(wù)器機(jī)柜內(nèi)數(shù)百公斤的銅背板，液冷通路的設(shè)計(jì)、定制的總線(xiàn)架以及銅背板的設(shè)計(jì)。AI 如今需要大規(guī)模、工業(yè)級(jí)的硬件支持，而且模型越復(fù)雜，越需要系統(tǒng)的縱向和橫向擴(kuò)展。

以NVIDIA NVLink總線(xiàn)背板為例，它需要連接 5000 多根同軸電纜——緊密纏繞且布線(xiàn)精準(zhǔn)。其每秒傳輸?shù)臄?shù)據(jù)量幾乎相當(dāng)于整個(gè)互聯(lián)網(wǎng)的流量，可在 GPU 到 GPU 之間實(shí)現(xiàn) 130 TB/s 全連接帶寬。

這不僅是速度快，而是整個(gè)系統(tǒng)的基礎(chǔ)，在機(jī)架內(nèi)部的 AI “超級(jí)高速路”。

數(shù)據(jù)中心即計(jì)算機(jī)

訓(xùn)練現(xiàn)代大語(yǔ)言 AI 模型并非依賴(lài)單臺(tái)機(jī)器的運(yùn)算能力，而是要協(xié)調(diào)數(shù)萬(wàn)顆乃至數(shù)十萬(wàn)顆作為 AI 計(jì)算超級(jí)加速器的 GPU 協(xié)同工作。

這些系統(tǒng)依賴(lài)分布式計(jì)算，將海量計(jì)算任務(wù)分配到各個(gè)節(jié)點(diǎn)（單個(gè)服務(wù)器），每個(gè)節(jié)點(diǎn)處理一部分工作負(fù)載。在訓(xùn)練過(guò)程中，這些巨型數(shù)字矩陣的分片任務(wù)需要進(jìn)行定期合并和更新。這種合并通過(guò)集體操作實(shí)現(xiàn)，例如“all-reduce”（聚合來(lái)自所有節(jié)點(diǎn)的數(shù)據(jù)并重新分發(fā)結(jié)果）和“all-to-all”（每個(gè)節(jié)點(diǎn)與所有其他節(jié)點(diǎn)交換數(shù)據(jù)）。

這些過(guò)程極易受網(wǎng)絡(luò)速度和響應(yīng)能力的影響——工程師稱(chēng)之為延遲（延遲時(shí)間）和帶寬（數(shù)據(jù)容量），這會(huì)導(dǎo)致訓(xùn)練中斷。

而在推理——即通過(guò)運(yùn)行訓(xùn)練好的模型來(lái)生成答案或預(yù)測(cè)，面對(duì)的挑戰(zhàn)則完全不同。如檢索增強(qiáng)生成系統(tǒng)，將 LLM 與搜索結(jié)合，需要實(shí)時(shí)查詢(xún)和響應(yīng)。在云環(huán)境中，多租戶(hù)推理要求不同客戶(hù)的工作負(fù)載順暢運(yùn)行且互不干擾。這需要超高速度、高吞吐量的網(wǎng)絡(luò)，既能應(yīng)對(duì)海量需求，又能確保用戶(hù)間的嚴(yán)格隔離。

傳統(tǒng)以太網(wǎng)專(zhuān)為單服務(wù)器工作負(fù)載設(shè)計(jì)，無(wú)法滿(mǎn)足分布式 AI 的需求。過(guò)去，抖動(dòng)和不穩(wěn)定傳輸尚可容忍，如今卻成了瓶頸。傳統(tǒng)以太網(wǎng)交換機(jī)架構(gòu)從未針對(duì)穩(wěn)定、可預(yù)測(cè)的性能進(jìn)行設(shè)計(jì)，這種局限性仍影響著其最新一代產(chǎn)品。

分布式計(jì)算需要為零抖動(dòng)運(yùn)行而構(gòu)建的橫向擴(kuò)展基礎(chǔ)設(shè)施——能夠應(yīng)對(duì)突發(fā)的極端吞吐量、提供低延遲、保持可預(yù)測(cè)且穩(wěn)定的 RDMA 性能，并隔離網(wǎng)絡(luò)上其他業(yè)務(wù)的干擾。這也是為什么 InfiniBand 網(wǎng)絡(luò)成為高性能計(jì)算超級(jí)計(jì)算機(jī)和 AI 工廠(chǎng)的黃金標(biāo)準(zhǔn)。

借助NVIDIA Quantum InfiniBand，集合運(yùn)算可通過(guò) SHARP 協(xié)議（Scalable Hierarchical Aggregation and Reduction Protocol）直接運(yùn)行在網(wǎng)絡(luò)上，使歸約操作的數(shù)據(jù)帶寬翻倍。它采用動(dòng)態(tài)路由和基于遙測(cè)的擁塞控制技術(shù)，在多條路徑上分配流量，保證確定性帶寬并隔離噪聲。這些優(yōu)化使 InfiniBand 能精準(zhǔn)地?cái)U(kuò)展 AI 通信。這也是為何 NVIDIA Quantum 基礎(chǔ)設(shè)施連接了全球超級(jí)計(jì)算機(jī) TOP500 榜單中的大多數(shù)系統(tǒng)，且僅兩年內(nèi)就實(shí)現(xiàn)了 35% 的增長(zhǎng)。

對(duì)于跨數(shù)十個(gè)機(jī)架的集群，NVIDIA Quantum X800 InfiniBand 交換機(jī)將 InfiniBand 性能推向新高度。每臺(tái)交換機(jī)提供 144 個(gè) 800 Gbps 端口，支持基于硬件的 SHARPv4 技術(shù)、動(dòng)態(tài)路由和基于遙測(cè)的擁塞控制技術(shù)。該平臺(tái)還通過(guò)集成了 CPO 技術(shù)來(lái)最大限度地縮短了電器件與光器件的距離，降低了功耗和延遲。搭配每 GPU 提供 800 Gb/s 的 NVIDIA ConnectX-8 SuperNIC，這種網(wǎng)絡(luò)架構(gòu)可連接萬(wàn)億參數(shù)模型及利用網(wǎng)絡(luò)計(jì)算技術(shù)。

但超大規(guī)模數(shù)據(jù)中心用戶(hù)和企業(yè)級(jí)用戶(hù)已在以太網(wǎng)軟件基礎(chǔ)設(shè)施上投入數(shù)十億美元，他們需要一條能利用現(xiàn)有生態(tài)系統(tǒng)運(yùn)行 AI 工作負(fù)載的快捷路徑。NVIDIA Spectrum-X是專(zhuān)為分布式 AI 打造的新型以太網(wǎng)。

Spectrum-X 以太網(wǎng)：將 AI 引入企業(yè)

Spectrum-X 為 AI 重塑以太網(wǎng)。2023 年推出的 Spectrum-X 可支持無(wú)損網(wǎng)絡(luò)、動(dòng)態(tài)路由和性能隔離?；?Spectrum-4 ASIC 的 SN5610 交換機(jī)支持高達(dá) 800 Gb/s 的端口速度，并通過(guò) NVIDIA 的擁塞控制技術(shù)，在規(guī)模化場(chǎng)景下可保持 95% 的數(shù)據(jù)吞吐量。

Spectrum-X 完全基于標(biāo)準(zhǔn)以太網(wǎng)構(gòu)建。除支持 Cumulus Linux 外，它還兼容開(kāi)源 SONiC 網(wǎng)絡(luò)操作系統(tǒng)，為客戶(hù)提供靈活性。另一個(gè)核心組件是基于 NVIDIA BlueField-3 或 ConnectX-8 打造的 NVIDIA SuperNIC，可提供高達(dá) 800 Gb/s 的 RoCE 連接，并卸載數(shù)據(jù)包重排序和擁塞管理任務(wù)。

Spectrum-X 將 InfiniBand 的出色創(chuàng)新 —— 如遙測(cè)驅(qū)動(dòng)的擁塞控制、動(dòng)態(tài)負(fù)載均衡和直接數(shù)據(jù)放置等技術(shù)——引入以太網(wǎng)，使企業(yè)能夠擴(kuò)展至數(shù)十萬(wàn)顆 GPU。采用 Spectrum-X 的大型系統(tǒng)（包括全球最大的 AI 超級(jí)計(jì)算機(jī)）實(shí)現(xiàn)了 95% 的數(shù)據(jù)吞吐量，且應(yīng)用延遲零衰減。而標(biāo)準(zhǔn)以太網(wǎng)架構(gòu)因流量沖突，吞吐量?jī)H能達(dá)到約 60%。

適用于縱向擴(kuò)展和橫向擴(kuò)展的產(chǎn)品組合

沒(méi)有任何單一網(wǎng)絡(luò)能滿(mǎn)足 AI 工廠(chǎng)的所有層級(jí)需求。NVIDIA 為不同層級(jí)匹配合適的網(wǎng)絡(luò)架構(gòu)，通過(guò)軟件和芯片將所有部分整合在一起。

NVLink：機(jī)架內(nèi)的縱向擴(kuò)展

在服務(wù)器機(jī)架內(nèi)部，GPU 之間的通信需如同同一芯片上的不同核之間的通信般高效。NVIDIA NVLink和 NVLink 交換機(jī)跨節(jié)點(diǎn)擴(kuò)展了 GPU 內(nèi)存和帶寬。在 NVIDIA Blackwell NVL72 系統(tǒng)中，36 顆 NVIDIA CPU 和 72 顆 NVIDIA GPU 連接在單一 NVLink 域中，總帶寬達(dá) 130 TB/s。NVLink 交換機(jī)技術(shù)進(jìn)一步擴(kuò)展該架構(gòu)：?jiǎn)闻_(tái) NVIDIA Blackwell NVL72 系統(tǒng)可提供 130 TB/s 的 GPU 帶寬，使集群支持的 GPU 數(shù)量達(dá)到單臺(tái) 8-GPU 服務(wù)器的 9 倍。借助 NVLink，整個(gè)機(jī)架成為一個(gè)大型 GPU。

光子技術(shù)：下一次飛躍

要實(shí)現(xiàn)百萬(wàn) GPU 規(guī)模的 AI 工廠(chǎng)，網(wǎng)絡(luò)必須突破可插拔光學(xué)器件的功率和密度限制。NVIDIA Quantum-X 和 Spectrum-X 硅光網(wǎng)絡(luò)交換機(jī)將硅光直接集成到交換機(jī)封裝中，可提供 128 至 512 個(gè) 800 Gb/s 端口，總帶寬介于 100 Tb/s 到 400 Tb/s 之間。與傳統(tǒng)光學(xué)器件相比，這些交換機(jī)的能效提升 3.5 倍，可靠性增強(qiáng) 10 倍，為十億瓦級(jí) AI 工廠(chǎng)鋪平了道路。

兌現(xiàn)開(kāi)放標(biāo)準(zhǔn)的承諾

Spectrum-X 和 NVIDIA Quantum InfiniBand 均基于開(kāi)放標(biāo)準(zhǔn)構(gòu)建。Spectrum-X 是完全基于標(biāo)準(zhǔn)的以太網(wǎng)，支持 SONiC 等開(kāi)放以太網(wǎng)棧；而 NVIDIA Quantum InfiniBand 和 Spectrum-X 則符合IBTA 的 InfiniBand 和 RDMA over Converged Ethernet（RoCE）規(guī)范。NVIDIA 軟件棧的核心組件（包括 NCCL 和 DOCA 庫(kù)）可在多種硬件上運(yùn)行，思科（Cisco）、戴爾科技（DELL）、慧與（HPE） 和 超微（Supermicro） 等合作伙伴已將 Spectrum-X 集成到其系統(tǒng)中。

開(kāi)放標(biāo)準(zhǔn)為互操作性奠定了基礎(chǔ)，但實(shí)際 AI 集群需要進(jìn)行全棧（GPU、NIC、交換機(jī)、電纜和軟件）式深度優(yōu)化。投入端到端集成的供應(yīng)商能提供更優(yōu)的延遲和吞吐量。SONiC 作為在超大規(guī)模數(shù)據(jù)中心中得到強(qiáng)化的開(kāi)源網(wǎng)絡(luò)操作系統(tǒng)，消除了許可限制和供應(yīng)商鎖定，支持高度定制化，但操作人員仍會(huì)選擇專(zhuān)為 AI 性能需求設(shè)計(jì)的硬件和軟件捆綁方案。實(shí)際上，僅靠開(kāi)放標(biāo)準(zhǔn)無(wú)法實(shí)現(xiàn)確定性性能，還需要通過(guò)創(chuàng)新來(lái)解決這些問(wèn)題。

邁向百萬(wàn) GPU 的 AI 工廠(chǎng)

AI 工廠(chǎng)正迅速擴(kuò)張。歐洲多國(guó)正在建設(shè)七個(gè)國(guó)家級(jí) AI 工廠(chǎng)，日本、印度和挪威的云服務(wù)商和企業(yè)也在部署 NVIDIA 驅(qū)動(dòng)的 AI 基礎(chǔ)設(shè)施。下一個(gè)目標(biāo)是具備百萬(wàn) GPU 規(guī)模的十億瓦級(jí)設(shè)施。要實(shí)現(xiàn)這一目標(biāo)，網(wǎng)絡(luò)必須從附屬品轉(zhuǎn)變?yōu)?AI 基礎(chǔ)設(shè)施的核心支柱。

十億瓦數(shù)據(jù)中心時(shí)代帶來(lái)的啟示很簡(jiǎn)單：數(shù)據(jù)中心如今就是計(jì)算機(jī)。NVLink 將機(jī)架內(nèi)的 GPU 連接在一起；NVIDIA Quantum InfiniBand 實(shí)現(xiàn)跨機(jī)架擴(kuò)展；Spectrum-X 將這種性能推向更廣泛的市場(chǎng)；硅光技術(shù)確保其可持續(xù)性。在關(guān)鍵之處保持開(kāi)放，在核心之處追求優(yōu)化。