AI 技術(shù)日益復(fù)雜，訓(xùn)練與推理領(lǐng)域的新進(jìn)展對(duì)數(shù)據(jù)中心提出了更高的要求。隨著數(shù)據(jù)中心算力的迅速提升，數(shù)據(jù)中心基礎(chǔ)設(shè)施逐漸受到了和算法和模型無(wú)關(guān)的基礎(chǔ)物理?xiàng)l件的限制，如電力供應(yīng)、散熱能力以及空間限制等，制約了 AI 工廠的物理擴(kuò)展。為了持續(xù)增長(zhǎng)，在構(gòu)建新的數(shù)據(jù)中心時(shí)，需要考慮通過(guò)遠(yuǎn)程互連技術(shù)將這些計(jì)算資源池化在一起，實(shí)現(xiàn)協(xié)同服務(wù)于單一訓(xùn)練任務(wù)或分離式推理工作負(fù)載。

傳統(tǒng)上，當(dāng)采用基于通用商業(yè)芯片構(gòu)建的遠(yuǎn)程互連以太網(wǎng)來(lái)連接多個(gè)數(shù)據(jù)中心時(shí)，首要目標(biāo)是確保數(shù)據(jù)能夠準(zhǔn)確送達(dá)目的地。由于傳輸距離較長(zhǎng)，延遲較高，導(dǎo)致網(wǎng)絡(luò)擁塞的概率顯著增加，其后果可能很?chē)?yán)重。

為緩解這一挑戰(zhàn)并防止丟包，通用以太網(wǎng)供應(yīng)商采用了深度數(shù)據(jù)包緩存作為解決方案，以此來(lái)吸收網(wǎng)絡(luò)流量的大規(guī)模突發(fā)，并已部署了這種方案。這種深度緩沖交換機(jī)雖適用于遠(yuǎn)程服務(wù)提供商和電信應(yīng)用，卻在 AI 應(yīng)用中出現(xiàn)了問(wèn)題。

特別是，基于深度緩沖交換機(jī)的高延遲是其天然的弊病，此外，當(dāng)緩沖被填滿時(shí)，就必須進(jìn)行排空。對(duì)于 AI 工作負(fù)載而言，這種情況發(fā)生的不可預(yù)測(cè)性，會(huì)導(dǎo)致大量的網(wǎng)絡(luò)抖動(dòng)或數(shù)據(jù)傳輸波動(dòng)。高延遲和這種網(wǎng)絡(luò)突發(fā)流量吸收技術(shù)帶來(lái)的不確定性，會(huì)影響訓(xùn)練和分離式推理的性能，因?yàn)檫@些任務(wù)本質(zhì)上是同步的，需要網(wǎng)絡(luò)提供穩(wěn)定且可預(yù)期的傳輸表現(xiàn)。

本文介紹了面向跨區(qū)域網(wǎng)絡(luò)的NVIDIA Spectrum-XGS 以太網(wǎng)技術(shù)是如何實(shí)現(xiàn)不同數(shù)據(jù)中心之間的互連，并提供滿足 AI 應(yīng)用所需的高性能。

什么是跨區(qū)域網(wǎng)絡(luò)？

跨區(qū)域網(wǎng)絡(luò)是一種新型的 AI 計(jì)算網(wǎng)絡(luò)互連架構(gòu)，可被視為一個(gè)新維度，獨(dú)立于現(xiàn)有的縱向擴(kuò)展和橫向擴(kuò)展網(wǎng)絡(luò)。借助于跨區(qū)域網(wǎng)絡(luò)的 Spectrum-XGS 以太網(wǎng)，不同規(guī)模和不同距離的多個(gè)數(shù)據(jù)中心能夠被整合為一個(gè)統(tǒng)一的大型 AI 工廠，首次實(shí)現(xiàn)了在跨地域的多個(gè)獨(dú)立的數(shù)據(jù)中心之間運(yùn)行大規(guī)模單 AI 訓(xùn)練與推理任務(wù)所需的網(wǎng)絡(luò)高性能。

圖 1. AI 所需的三種網(wǎng)絡(luò)類(lèi)型是縱向擴(kuò)展、橫向擴(kuò)展和跨區(qū)域擴(kuò)展

NVIDIA Spectrum-XGS 以太網(wǎng)如何實(shí)現(xiàn)跨區(qū)域網(wǎng)絡(luò)擴(kuò)展？

NVIDIA Spectrum-XGS 以太網(wǎng)是 NVIDIA Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)平臺(tái)的一項(xiàng)新技術(shù)。它采用了同樣的 Spectrum-X 以太網(wǎng)交換機(jī)和 ConnectX-8 SuperNIC 硬件組合，以及和數(shù)據(jù)中心內(nèi)橫向擴(kuò)展網(wǎng)絡(luò)相同的軟件棧與通信庫(kù)。

借助 Spectrum-XGS 以太網(wǎng)，AI 工廠之間可實(shí)現(xiàn)長(zhǎng)距離連接，如 500 米以上的連接，這意味著實(shí)現(xiàn)園區(qū)內(nèi)不同建筑之間的連接，或者跨越數(shù)十乃至數(shù)百英里，實(shí)現(xiàn)跨城市、跨州乃至跨國(guó)之間的連接。為了支持這種跨區(qū)域擴(kuò)展的連接需求，保障高效帶寬與性能隔離的算法也必須持續(xù)發(fā)展。

距離感知算法在跨區(qū)域網(wǎng)絡(luò)擴(kuò)展中的作用是什么？

長(zhǎng)距離傳輸數(shù)據(jù)面臨的主要挑戰(zhàn)之一是延遲的增加，即使數(shù)據(jù)以光的形式在光纖中傳播也是如此。數(shù)據(jù)在玻璃纖維中每傳輸 1 米需要 5 納秒，意味著每傳輸 1 公里需要 5 微秒。盡管這些數(shù)值看似微小，但在 GPU 之間的通信中，每微秒都至關(guān)重要。

Spectrum-XGS 以太網(wǎng)采用了改進(jìn)的基于遙測(cè)技術(shù)的擁塞控制與動(dòng)態(tài)路由算法，專(zhuān)門(mén)根據(jù)通信設(shè)備之間的距離進(jìn)行了優(yōu)化。在每次連接建立時(shí)，網(wǎng)絡(luò)會(huì)知道相互連接的兩臺(tái)設(shè)備是在數(shù)據(jù)中心內(nèi)，還是跨越數(shù)據(jù)中心。

這有助于交換機(jī)確定動(dòng)態(tài)路由負(fù)載均衡的最佳策略，并通知 SuperNIC 調(diào)整面向擁塞控制的數(shù)據(jù)注入速率。在網(wǎng)絡(luò)層面，這使得 Spectrum-XGS 以太網(wǎng)能夠高效處理通信，并避免額外延遲。

Spectrum-XGS 以太網(wǎng)技術(shù)在跨區(qū)域網(wǎng)絡(luò)方面具有多項(xiàng)顯著優(yōu)勢(shì)，包括：

集成、統(tǒng)一的網(wǎng)絡(luò)架構(gòu):Spectrum-X 以太網(wǎng)橫向擴(kuò)展和 Spectrum-XGS 以太網(wǎng)跨區(qū)域擴(kuò)展均基于相同的硬件、軟件和通信庫(kù)?？梢怨ぷ髫?fù)載和網(wǎng)絡(luò)操作的統(tǒng)一管理，這是通用以太網(wǎng)無(wú)法實(shí)現(xiàn)的。

基于遙測(cè)的端到端擁塞控制:統(tǒng)一架構(gòu)還支持全局網(wǎng)絡(luò)可視化。借助來(lái)自數(shù)據(jù)中心內(nèi)外網(wǎng)絡(luò)的全面遙測(cè)數(shù)據(jù)，無(wú)需深度緩沖交換即可實(shí)現(xiàn)基于遙測(cè)的擁塞控制。

智能、自動(dòng)調(diào)節(jié)負(fù)載均衡:Spectrum-X 以太網(wǎng) AI 網(wǎng)絡(luò)具有距離感知和 NVIDIA 集合通信庫(kù)（NCCL）-感知功能，能夠感知和補(bǔ)償由位置而導(dǎo)致的不同網(wǎng)絡(luò)流量模式，并動(dòng)態(tài)調(diào)整臨界值和限制，以確保最高的網(wǎng)絡(luò)性能。

更大限度地降低跨區(qū)域工作負(fù)載的延遲: Spectrum-XGS 以太網(wǎng)專(zhuān)為提供可預(yù)測(cè)的結(jié)果而進(jìn)行了優(yōu)化，這使網(wǎng)絡(luò)能夠感知和補(bǔ)償遠(yuǎn)距離傳輸?shù)臄?shù)據(jù)流，最大限度地減少延遲損失，且不存在深度緩沖帶來(lái)的抖動(dòng)風(fēng)險(xiǎn)。

彈性跨區(qū)域擴(kuò)展能力:由于相同的硬件被用于橫向擴(kuò)展和跨區(qū)域擴(kuò)展，因此可以重新分配網(wǎng)絡(luò)資源以支持?jǐn)?shù)據(jù)中心內(nèi)或數(shù)據(jù)中心間的流量。通用的淺緩沖以太網(wǎng)交換機(jī)無(wú)法被用于遠(yuǎn)程連接。

NVIDIA Spectrum-XGS 以太網(wǎng)有哪些性能優(yōu)勢(shì)？

為展示 NVIDIA Spectrum-XGS 以太網(wǎng)對(duì)跨區(qū)域擴(kuò)展性能的影響，NVIDIA 工程師在相距 10 公里的多點(diǎn)之間運(yùn)行了 NCCL 測(cè)試，并將其結(jié)果與通用以太網(wǎng)進(jìn)行了對(duì)比。如圖 2 所示，性能優(yōu)勢(shì)十分顯著：

圖 2. 與通用以太網(wǎng)相比，NVIDIA Spectrum-XGS 以太網(wǎng)可將性能提升高達(dá) 1.9 倍

相較通用以太網(wǎng)，NVIDIA Spectrum-XGS 以太網(wǎng)可提供高達(dá) 1.9 倍的 NCCL All-Reduce 帶寬，特別是對(duì)于大消息，性能提升尤為顯著，而這正是 AI 訓(xùn)練工作負(fù)載中的典型場(chǎng)景。NCCL 性能的提升有助于縮短 AI 應(yīng)用的任務(wù)完成時(shí)間。

跨區(qū)域網(wǎng)絡(luò)如何提高AI 工廠的投資回報(bào)率？

NVIDIA Spectrum-XGS 以太網(wǎng)增強(qiáng)了 AI 基礎(chǔ)設(shè)施的靈活性。該技術(shù)使數(shù)據(jù)中心能夠在任意距離下實(shí)現(xiàn)高效通信，且不犧牲性能，從而構(gòu)建出可在橫向擴(kuò)展架構(gòu)與跨區(qū)域網(wǎng)絡(luò)擴(kuò)展之間共享的通用平臺(tái)?；?Spectrum-XGS 以太網(wǎng)的多個(gè)以太網(wǎng)數(shù)據(jù)中心能夠被輕松整合為一個(gè)統(tǒng)一的整體，突破了地理位置的限制。

基于 Spectrum-XGS 構(gòu)建的以太網(wǎng)數(shù)據(jù)中心能夠被無(wú)縫整合為單一系統(tǒng)運(yùn)行，無(wú)論相距多遠(yuǎn)。這使得關(guān)鍵任務(wù)型 AI 基礎(chǔ)設(shè)施可以高效池化數(shù)據(jù)中心資源，持續(xù)為復(fù)雜 AI 工作負(fù)載提供價(jià)值。