從大語言模型（LLM）到代理式 AI 推理和物理 AI ，隨著 AI 工作負載的復雜性和規(guī)模不斷增加，人們對更快、擴展性更高的計算基礎(chǔ)設(shè)施的需求空前強烈。滿足這些需求就要從基礎(chǔ)開始重新思考系統(tǒng)架構(gòu)。

NVIDIA 正在通過NVIDIA ConnectX-8 SuperNIC升級平臺架構(gòu)。NVIDIA ConnectX-8 SuperNIC 是業(yè)內(nèi)首款在單個設(shè)備中集成PCIe6.0 交換機和超高速網(wǎng)絡(luò)的 SuperNIC。ConnectX-8 專為現(xiàn)代 AI 基礎(chǔ)架構(gòu)設(shè)計，可提供更高的吞吐量，同時簡化系統(tǒng)設(shè)計，并提高能效和成本效益。

為 PCIe6.0 連接的時代做好準備

在基于 PCIe 連接的平臺中，尤其是配備 8 個或更多 GPU 的平臺，PCIe 交換機對于最大化 GPU 間通信帶寬和實現(xiàn)可擴展的 GPU 拓撲至關(guān)重要?，F(xiàn)有設(shè)計依賴于獨立的 PCIe 交換機，這通常會增加設(shè)計復雜性，并可能會限制性能和效率。

ConnectX-8 通過內(nèi)置的 PCIe6.0 交換機提供 48 通道的 PCIe6.0 連接解決了這一問題。將 GPU 到 GPU 和 GPU 到 NIC 通信整合到單一高性能設(shè)備中，消除了對獨立 PCIe 交換機的需求，減少了元器件數(shù)量并簡化了主板設(shè)計，為 AI 基礎(chǔ)設(shè)施打造了更具成本效益、可擴展的架構(gòu)。

此外，憑借原生 PCIe6.0 支持，ConnectX-8 可滿足新一代 GPU、CPU 和 IO 加速器日益增長的 IO 需求。它使系統(tǒng)架構(gòu)師能夠設(shè)計出向前兼容的平臺，能夠充分享用領(lǐng)先的高吞吐 PCIe6.0 設(shè)備的帶寬。

通過 NVIDIA RTX PRO 服務器加速企業(yè)工作負載

ConnectX-8 SuperNIC 現(xiàn)已全面投產(chǎn)。 在 COMPUTEX 2025 上，ConnectX-8 被發(fā)布用于全球各系統(tǒng)合作伙伴的 NVIDIA RTX PRO 服務器中。

圖 1 比較了兩種服務器架構(gòu)：采用獨立 PCIe 交換機的傳統(tǒng)設(shè)計，以及采用 NVIDIA ConnectX-8 SuperNIC 集成 PCIe6.0 交換機的 NVIDIA RTX PRO 服務器的 優(yōu)化配置。

圖 1：傳統(tǒng)（左）和與采用 ConnectX-8 SuperNIC 優(yōu)化（右）服務器設(shè)計的比較

在傳統(tǒng)設(shè)計中，服務器布局包括 2 個 CPU、8 個 GPU 和 5 個 NIC（包括 4 個 NVIDIA ConnectX-7 NIC 和 1 個 NVIDIA BlueField-3 DPU）。這種配置還需要兩到四個獨立的 PCIe 交換機來實現(xiàn) GPU 到 GPU 和 GPU 到 NIC 的連接，從而增加復雜性和組件數(shù)量。

在優(yōu)化過的設(shè)計中，用 ConnectX-8 SuperNIC 替換掉了專用 PCIe 交換機，將 PCIe6.0 交換和 800 Gb/s 網(wǎng)絡(luò)集成在了單一網(wǎng)卡設(shè)備中。

它使每個 GPU 的網(wǎng)絡(luò)帶寬翻倍，有助于消除 IO 瓶頸，并加快 GPU、NIC 和存儲之間的數(shù)據(jù)移動速度。因此，此 NVIDIA RTX PRO 服務器平臺可提供高達 2 倍的 NCCL all-to-all 性能，加速在多 GPU 和多節(jié)點工作負載中至關(guān)重要的集合通信，并提高 AI 工廠的可擴展性。

在圖 1 的基礎(chǔ)上，圖 2 讓我們更深入地了解經(jīng)過優(yōu)化設(shè)計的服務器架構(gòu)如何改善三種主要 GPU 通信路徑之間的連接：

GPU 到 GPU 通信跨越兩個 CPU 插座：在傳統(tǒng)設(shè)計中，此路徑可能會遇到主機 CPU 和內(nèi)部插座瓶頸問題，根據(jù) CPU 之間鏈路的利用率不同，可能被限制在 25 GB/s 或更低的速度。相比之下，基于 ConnectX-8 的優(yōu)化設(shè)計可為集群內(nèi)的所有 GPU 間通信提供高達 每個GPU 50 GB/s 的 IO 帶寬，因為 NCCL 直接通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)所有流量。

GPU 到 NIC 通信：在 2：1 的 GPU 到 NIC 配置下，經(jīng)過優(yōu)化的架構(gòu)為每個 GPU 提供 50 GB/s 的帶寬，無論 GPU 或主機系統(tǒng)是 PCIe5.0 或 PCIe6.0。

GPU 到 GPU 通信通過同一 PCIe 交換機：相較 PCIe5.0，配備 PCIe6.0 的系統(tǒng)可將帶寬提高一倍，從而顯著加速同一 PCIe 交換機上的點對點 GPU 傳輸。

圖 2：傳統(tǒng)（左）和與采用 ConnectX-8 SuperNIC 的優(yōu)化（右）服務器設(shè)計的比較，強調(diào)了三種關(guān)鍵的 GPU 通信路徑

通過將 PCIe 交換直接集成到 SuperNIC 中，ConnectX-8 還簡化了主板設(shè)計、改善了氣流并增強了可維護性。這將打造一個更緊湊、更節(jié)能、更經(jīng)濟高效的平臺。在 NVIDIA 參考設(shè)計的支持下，這項創(chuàng)新可幫助系統(tǒng)廠商更快地擴展其系統(tǒng)，并提高性能及降低 TCO。

基于 PCIe 總線的 AI 基礎(chǔ)架構(gòu)的未來

NVIDIA ConnectX-8 正在重新定義基于 PCIe 總線的系統(tǒng)的可能性。通過將 PCIe6.0 交換機和高性能 SuperNIC 集成到單一集成設(shè)備中，ConnectX-8 可簡化服務器設(shè)計，減少組件數(shù)量，并解鎖現(xiàn)代 AI 工作負載所需的高帶寬通信路徑。從而打造更簡單、更節(jié)能的平臺，同時降低總體擁有成本（TCO）并實現(xiàn)出色的性能可擴展性。

此外，ConnectX-8 SuperNIC 還可在基于多 GPU 的平臺中實現(xiàn)增強的機密計算能力。

在 COMPUTEX 2025 上，領(lǐng)先的數(shù)據(jù)中心合作伙伴展示了由內(nèi)置 NVIDIA ConnectX-8 SuperNIC 的 NVIDIA RTX PRO 服務器所加速的先進 AI 平臺架構(gòu)。