隨著 AI 重新定義計算格局,網(wǎng)絡已成為構建未來數(shù)據(jù)中心發(fā)展的關鍵支柱。大語言模型的訓練性能不僅取決于計算資源,更受到底層網(wǎng)絡敏捷性、容量和智能程度的影響。行業(yè)正從傳統(tǒng)以 CPU 為中心的基礎架構,邁向緊耦合的、GPU 驅動和網(wǎng)絡定義的 AI 工廠。
NVIDIA 構建了一套全面的網(wǎng)絡解決方案,以滿足現(xiàn)代大規(guī)模 AI 訓練和推理對急速流量突發(fā)、高帶寬及低延遲的需求。該方案涵蓋Spectrum-X以太網(wǎng)、NVIDIA Quantum InfiniBand和BlueField平臺。通過將計算與通信一起進行編排,NVIDIA 的網(wǎng)絡產(chǎn)品組合為構建可擴展、高效且高可靠的 AI 數(shù)據(jù)中心奠定了基礎,成為了推動 AI 創(chuàng)新的中樞神經(jīng)系統(tǒng)。
在這篇博客中,我們將探討 NVIDIA 的網(wǎng)絡創(chuàng)新如何通過 CPO 技術,為大型 AI 工廠帶來顯著的能效提升和更強的可靠性。
AI 工廠基礎設施與傳統(tǒng)企業(yè)數(shù)據(jù)中心有何不同?
在傳統(tǒng)企業(yè)數(shù)據(jù)中心中,Tier 1 交換機通常部署在每個服務器機架內(nèi),通過銅纜直接連接服務器,從而降低功耗并簡化連接。這種架構能夠有效滿足以 CPU 為中心的、網(wǎng)絡需求適中的工作負載。
相比之下,NVIDIA 開創(chuàng)的現(xiàn)代 AI 工廠配備了超高密的計算機架和數(shù)以千計的 GPU,能面向單一任務實現(xiàn)協(xié)同工作。這就需要在整個數(shù)據(jù)中心內(nèi)實現(xiàn)最高帶寬和最低的延遲,一種新的網(wǎng)絡拓撲結構應運而生——即將 Tier 1 交換機部署在獨立的機柜。這種布局顯著增加了服務器與交換機之間的距離,使得光纖網(wǎng)絡變得至關重要。由此帶來的結果是功耗和光學組件數(shù)量大幅上升,如今在網(wǎng)卡到交換機以及交換機到交換機的連接中,均需依賴光學組件來實現(xiàn)高效傳輸。
如圖 1 所示,這一演變體現(xiàn)了為滿足大規(guī)模 AI 工作負載對高帶寬和低延遲的需求,在網(wǎng)絡拓撲和技術層面所發(fā)生的重大變革,并從根本上重塑了數(shù)據(jù)中心的物理結構與能耗特征。
圖 1:橫向擴展能力與 AI 密度取決于光纖連接
如何優(yōu)化 AI 工廠的網(wǎng)絡可靠性與功耗?
采用可插拔光模塊的傳統(tǒng)網(wǎng)絡交換機依賴于多個電接口。在這些架構中,數(shù)據(jù)信號需經(jīng)過一條較長的電傳輸路徑:從交換機 ASIC 出發(fā),經(jīng) PCB、連接器,最終到達外部光收發(fā)器,之后才能轉換為光信號。如圖 2 所示,這種分段式傳輸在每秒 200Gb/s 的通道中可能帶來高達 22 dB 的電損耗。這顯著增加了對復雜數(shù)字信號處理以及多個有源組件的需求。

圖 2:Spectrum-X Photonics 可將信號完整性提升 64 倍
采用可插拔光模塊的結果就是功耗更高(每個接口通常為 30W)、發(fā)熱量增加以及潛在故障點顯著增多。大量的獨立模塊和連接不僅推高了系統(tǒng)功耗和組件數(shù)量,還直接影響了鏈路的可靠性,隨著 AI 部署規(guī)模的不斷擴大,這些問題將帶來持續(xù)的運營挑戰(zhàn)。各組件的典型功耗如圖 3 所示。

圖 3:Spectrum-X Photonics 將功耗降低至 1/3.5
相比之下,采用 CPO 技術的交換機將電光轉換部分直接集成到交換機封裝中。光纖直接連接至和 ASIC 封裝在一起的光引擎,使電信號損耗降低至約 4 dB,全通道功耗降至 9W。通過簡化信號路徑并消除不需要的接口,該設計顯著提升了信號完整性、可靠性和能效,正是高密度、高性能 AI 數(shù)據(jù)中心所需的關鍵技術。
CPO 封裝為 AI 工廠帶來了哪些優(yōu)勢?
NVIDIA 推出基于 CPO 技術的系統(tǒng),正是為了應對 AI 工廠前所未有的需求。通過將光引擎直接集成至交換機 ASIC,全新的 NVIDIA Quantum-X Photonics 和 Spectrum-X Photonics(如圖 4 所示)將取代傳統(tǒng)的可插拔光模塊。這一創(chuàng)新簡化了信號傳輸路徑,顯著提升了性能、能效和系統(tǒng)可靠性。新產(chǎn)品不僅在帶寬和端口密度方面創(chuàng)下新高,更從根本上重塑了 AI 數(shù)據(jù)中心的經(jīng)濟模型與物理架構。
圖 4:集成共封裝的硅光引擎的 NVIDIA Photonics 交換 ASIC
Quantum-X Photonics如何引領下一代 InfiniBand 網(wǎng)絡的誕生
隨著 NVIDIA 推出 Quantum-X InfiniBand Photonics 平臺,NVIDIA 將 InfiniBand 交換技術提升至全新高度。該平臺具備以下功能:
交換容量達 115 Tb/s,支持 144 個端口,每個端口速率為 800 Gb/s。
借助第四代 NVIDIA SHARP 技術,實現(xiàn)每秒 14.4 萬億次的網(wǎng)絡計算能力。
液冷技術,實現(xiàn)卓越的散熱管理。
專用 InfiniBand 管理端口,支持強大的帶內(nèi)控制與監(jiān)測功能。
NVIDIA Quantum-X 采用集成硅光技術,提供無與倫比的帶寬、超低延遲和卓越的運營可靠性。該 CPO 設計不僅降低了功耗、提升了可靠性,還能實現(xiàn)快速部署,充分滿足大規(guī)模代理式 AI 工作負載對互連的嚴苛需求。
Spectrum-X Photonics如何助力構建大規(guī)模以太網(wǎng) AI 工廠
NVIDIA Spectrum-X Photonics 交換機將 CPO 技術革命拓展至以太網(wǎng)領域,專為生成式 AI 以及大規(guī)模大語言模型(LLM)的訓練與推理任務而設計。全新的 Spectrum-X Photonics 產(chǎn)品包含兩款基于液冷機箱和 Spectrum-6 ASIC 的系統(tǒng):
Spectrum SN6810:具備 128 個 800 Gb/s 端口,總帶寬達 102.4 Tb/s。
Spectrum SN6800:具備 512 個 800 Gb/s 端口,總帶寬高達 409.6 Tb/s,性能卓越。
這兩個平臺均基于 NVIDIA 硅光技術,大幅減少了離散組件和電接口的數(shù)量。與前代架構相比,新架構能效提升達 3.5 倍,同時通過減少整體易損光學元件數(shù)量,將系統(tǒng)可靠性提高了 10 倍。技術人員可享受更高的可維護性,而 AI 運營商則能將部署時間縮短至 1/ 1.3 (約 77%),并顯著縮短第一個 Token 的生成時間。
NVIDIA 的 CPO 技術組得益于強大的合作伙伴生態(tài)系統(tǒng)的支持。這種跨行業(yè)協(xié)作不僅保障了技術性能,更確保了全球大規(guī)模 AI 基礎設施部署所需的大規(guī)模量產(chǎn)能力與可靠性。
CPO 如何實現(xiàn)性能、功耗與可靠性的突破
CPO 的優(yōu)勢顯而易見:
3.5 倍能效提升:通過將光學器件直接集成到交換機 ASIC 封裝中和減少了可插拔光模塊,即使網(wǎng)絡密度大幅增加,每個端口的功耗也顯著降低。
可靠性提升 10 倍:通過減少有源器件和去除了易發(fā)生故障的光模塊,顯著提高了系統(tǒng)正常運行時間和運行可靠性。
將運營時間縮短至原來的 1/1.3 (約 77%):簡化的組裝與維護有助于加快 AI 工廠的部署,并實現(xiàn)快速擴展。
這些交換機系統(tǒng)具備業(yè)界領先的帶寬性能(高達 409.6 Tb/s,512 個端口,單端口速率達 800 Gb/s),并配備高效的液冷系統(tǒng),能夠應對高密度、高功耗的運行環(huán)境。圖 5(下圖)展示了 NVIDIA Quantum-X Photonics Q3450 和 Spectrum-X Photonics 的兩種型號:單 ASIC 的 SN6810,以及集成光纖重組功能的四 ASIC 型號 SN6800。
這些產(chǎn)品共同推動了網(wǎng)絡架構的轉型,有效滿足了 AI 工作負載對高帶寬和超低延遲的嚴苛需求。通過與先進的光學組件與強大的系統(tǒng)集成伙伴相結合,構建出一個面向當前及未來擴展需求高度優(yōu)化的網(wǎng)絡架構。隨著超大規(guī)模數(shù)據(jù)中心對快速部署和高可靠性的要求不斷提升,CPO 正從一項創(chuàng)新技術逐步轉變?yōu)椴豢苫蛉钡幕A設施。
圖 5:NVIDIA Quantum-X 與 Spectrum-X Photonics 交換機系統(tǒng)
如何開啟代理式 AI 的新時代
NVIDIA Quantum-X 和 Spectrum-X Photonics 交換機標志著網(wǎng)絡架構向專為滿足大規(guī)模 AI 嚴苛需求而設計的全新轉變。通過消除傳統(tǒng)的電和可插拔架構帶來的瓶頸,CPO 系統(tǒng)能夠提供現(xiàn)代 AI 工廠所需的高性能、高能效與高可靠性。NVIDIA Quantum-X InfiniBand 交換機預計于 2026 年初上市,Spectrum-X 以太網(wǎng)交換機則將于 2026 年下半年推出。NVIDIA 正以此引領網(wǎng)絡革新,為代理式 AI 時代樹立優(yōu)化網(wǎng)絡的新標準。
敬請關注本博客的第二部分,我們將深入探討 NVIDIA Quantum-X Photonics 和 Spectrum-X Photonics 平臺的核心——硅光引擎的架構與工作原理,揭示推動下一代光連接成為現(xiàn)實的關鍵創(chuàng)新與工程突破。從芯片集成的最新進展到新型調(diào)制技術,下一篇文章將全面解析這些光電引擎在 AI 網(wǎng)絡領域中脫穎而出的技術優(yōu)勢。
-
以太網(wǎng)
+關注
關注
41文章
5926瀏覽量
179552 -
NVIDIA
+關注
關注
14文章
5496瀏覽量
109109 -
交換機
+關注
關注
23文章
2870瀏覽量
103933 -
AI
+關注
關注
89文章
38153瀏覽量
296773
原文標題:利用 CPO 技術擴展 AI 工廠,提高能效
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
霍爾開關如何保證自身的可靠性和實用性
NVIDIA擴大與微軟合作推動AI超級工廠建設
SLM2004SCA-13GTR 200V高壓半橋驅動芯片的可靠性與時序優(yōu)化設計
選PCBA工廠只看設備?這些“軟實力”才是可靠性命門!
可靠性設計的十個重點
太誘MLCC電容的可靠性如何?
提供半導體工藝可靠性測試-WLR晶圓可靠性測試
電機微機控制系統(tǒng)可靠性分析
電路可靠性設計與工程計算技能概述
適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡
英偉達GTC2025亮點:NVIDIA認證計劃擴展至企業(yè)存儲領域,加速AI工廠部署
一文讀懂芯片可靠性試驗項目
工業(yè)電源的可靠性和擁有成本優(yōu)化

NVIDIA如何優(yōu)化AI工廠的網(wǎng)絡可靠性與功耗
評論