英偉達憑借其 GB200、300 NVL72 機架系統(tǒng)，在全球多個AI技術前沿地區(qū)已實現(xiàn)大規(guī)模出貨與應用，成為業(yè)內首家也是少數(shù)能將“超節(jié)點”概念從理論推向極致工程化實踐的公司。

大摩對2025年全年GB200/300 NVL72出貨量的預測在28K臺左右，分別由廣達、Wistron以及鴻海等公司（ODM）組裝集成。

英偉達構建的“超節(jié)點”（Super Node）生態(tài)，是一個以CUDA統(tǒng)一軟件棧為基座、以極致協(xié)同設計為靈魂、貫穿從硅物理到AI應用的全棧式體系。其核心并非單一技術突破，而在于通過端到端的深度集成，將每一層的性能與效率推向極限，從而將龐大的數(shù)據(jù)中心塑造成一臺能夠高效執(zhí)行單一AI任務的“巨型計算機”。

更實際的來說，超節(jié)點系統(tǒng)的根本需求直接地來源于上層AI的應用本身。如何將AI模型的訓練或者推理在計算、通信與內存訪問等模式下，通過深度的軟硬件協(xié)同設計，構成一個高效執(zhí)行的整體，這個為特定AI負載而生的協(xié)同系統(tǒng)，才是真正意義的超節(jié)點。

從硬件層到模型算法，構筑全鏈條生態(tài)范式

AI生態(tài)是一個貫穿“硬件層→系統(tǒng)底層→框架工具→模型算法→推理服務→運維管理→終端應用”的全棧式技術體系。其核心在于打通從芯片算力到行業(yè)場景的完整鏈條，旨在實現(xiàn)計算資源的全局智能調度、AI模型的高效部署迭代，以及產(chǎn)業(yè)智能價值的全面挖掘與釋放。

服務與管理層

服務與管理層是企業(yè)AI能力的“指揮中樞”與“運行平臺”，它面向企業(yè)級用戶提供綜合服務以實現(xiàn)算力資源的智能化管理和服務化輸出為目標。此層包括算力調度與管理平臺（統(tǒng)一調度 GPU/NPU 資源）、高性能推理引擎（支持多模型并發(fā)）、一站式開發(fā)平臺（DevOps+MLOps）、全域監(jiān)控與容錯系統(tǒng)（保障服務穩(wěn)定性和可靠性）。這些服務幫助企業(yè)構建自主、高效、穩(wěn)定的AI能力中臺，提高工作效率。

案例：Triton推理服務平臺是英偉達推出的開源推理服務軟件，其核心定位是成為部署與管理生產(chǎn)環(huán)境中AI模型的“操作系統(tǒng)”。它不負責底層模型的逐層優(yōu)化（屬于TensorRT的工作），而是專注于解決在GPU服務器集群上，如何同時高效、穩(wěn)定地服務成百上千個不同模型實例的系統(tǒng)級挑戰(zhàn)。

Triton的主要功能在于多框架、多模型、多實例并發(fā)服務：它能在一個服務器上同時加載和運行來自TensorFlow、PyTorch等多個后端的模型。每個模型還可以部署多個實例并利用動態(tài)批處理等技術，讓這些模型和實例并發(fā)處理請求，最大化GPU利用率，實現(xiàn)從單卡到多卡、多節(jié)點的橫向擴展。Triton可以理解為生產(chǎn)服務平臺，為企業(yè)級模型部署進行管理。

推理層

推理層致力于實現(xiàn)模型在實際業(yè)務中的高效運行，其核心目標是達到低延遲、高吞吐量、低成本的實時推理服務。它包含推理框架（如TensorRT、OpenVINO）、執(zhí)行引擎（計算圖編譯器）、性能優(yōu)化模塊（內存與緩存管理 KV Cache 優(yōu)化、計算加速如算子融合、低精度推理、并行與調度如連續(xù)批處理、混合并行）。這些組成部分保證了模型能夠在生產(chǎn)環(huán)境中穩(wěn)定、高效地運作。

（圖：來源英偉達）

案例：TensorRT是英偉達推出的高性能深度學習推理優(yōu)化引擎，專門將訓練好的AI模型轉化為高效的推理引擎，實現(xiàn)最高40倍加速。它將多個計算層合并為單個優(yōu)化內核。例如將"卷積→批歸一化→激活函數(shù)"三個獨立操作融合成一個CUDA kernel，減少67%的內存訪問次數(shù)和GPU啟動開銷。TensorRT實現(xiàn)精準與量化，最大化利用GPU Tensor Core，同時支持多精度推理包括FP16，INT8，F(xiàn)P8/INT4等，實現(xiàn)倍數(shù)性能提升和顯存節(jié)省。

此外，其具備內核自動調優(yōu)功能，針對不同的模型架構、輸入尺寸和英偉達GPU架構（如Ampere, Hopper），TensorRT會從海量的優(yōu)化內核實現(xiàn)中，自動為每一層操作選擇或生成運行最快的那個內核。這使得同一個模型在不同代次的GPU上都能獲得最優(yōu)性能。

模型與算法

模型與算法層聚焦于模型本身的技術創(chuàng)新與優(yōu)化，旨在不犧牲精度的前提下，提升模型推理速度與部署效率。該層涉及模型架構創(chuàng)新（如 Transformer、MoE）、模型優(yōu)化技術（量化、壓縮、剪枝、蒸餾）、模型算法加速與改進，以及模型 IDE／模型倉庫（支持模型版本管理、共享與復用）。這些元素結合在一起，促進了模型的快速迭代和高效利用。

（圖：由AI Agent生成）

案例：DeepSeek-V3在架構創(chuàng)新上取得了突破性進展。該模型擁有671B總參數(shù)，但每個token僅激活37B參數(shù)，激活率僅為5.5%，這極大降低了推理成本 團隊引入了創(chuàng)新的MLA（Multi-head Latent Attention）機制，將傳統(tǒng)MHA（Multi-head Attention）中的KV緩存壓縮至原來的1/8，直接解決了長文本推理中的顯存瓶頸問題。

在優(yōu)化層面，DeepSeek采用了FP8混合精度訓練，在不損失模型精度的前提下，將訓練速度提升了2.3倍。同時，通過自研的DualPipe流水線并行算法，實現(xiàn)了跨節(jié)點94.6%的通信效率，遠超傳統(tǒng)方案的75-80%水平。在2048個GPU節(jié)點的超節(jié)點集群上，DeepSeek-V3的訓練吞吐量達到了每秒14.8萬tokens，訓練總成本僅為557萬美元，相比GPT-4等同級別模型降低了60%以上。這一系列數(shù)據(jù)充分證明：算法架構的精心設計與硬件基礎設施的深度耦合，能夠創(chuàng)造出遠超線性疊加的系統(tǒng)級性能增益。

框架與工具

這一層面向算法工程師，提供了構建神經(jīng)網(wǎng)絡所需的深度學習框架、分布式訓練工具包和自動化運維工具。優(yōu)秀的框架層能夠自動處理復雜的并行策略（數(shù)據(jù)并行、模型并行、流水線并行），極大地降低了模型開發(fā)的門檻。

（圖：AI Agent生成）

舉例：Megatron-LM 是由NVIDIA開發(fā)的大規(guī)模語言模型訓練框架。Megatron-LM作為一個輕量級的研究框架，利用Megatron-Core以無與倫比的速度訓練LLM。Megatron-Core作為主要組件，是一個開源庫，包含GPU優(yōu)化技術和對大規(guī)模訓練至關重要的前沿系統(tǒng)級優(yōu)化。它支持多種高級模型混合并行技術，包括張量、序列、流水線、上下文和 MoE 專家并行。該庫提供可定制的構建模塊、訓練彈性功能（如快速分布式檢查點）以及許多創(chuàng)新功能。

在單超節(jié)點內部（如DGX系統(tǒng)，通過NVLink全互聯(lián)），Megatron-LM會優(yōu)先將通信最密集的張量并行組部署在NVLink帶寬最高、延遲最低的GPU子集內，最大化利用其數(shù)TB/s的互聯(lián)帶寬。對于跨超節(jié)點的流水線并行，則通過InfiniBand或Spectrum-X以太網(wǎng)進行通信，框架會優(yōu)化通信與計算的重疊，減少跨節(jié)點通信的延遲影響。

系統(tǒng)與底層

系統(tǒng)與底層負責操作系統(tǒng)、驅動程序及基礎運行環(huán)境的構建，其核心目標是實現(xiàn)硬件抽象、資源統(tǒng)一管理和高并發(fā)處理能力。這一層的主要任務是將復雜的硬件拓撲對上層透明化，并提供高效的內存管理、設備通信和并行計算原語。它需要解決異構硬件的兼容性問題，確保算力資源的細粒度切分與調度。

具體而言，系統(tǒng)與底層包含以下核心組件：操作系統(tǒng)與驅動程序——包括各種Linux發(fā)行版（如Ubuntu、CentOS）以及國產(chǎn)操作系統(tǒng)（如麒麟OS、統(tǒng)信UOS），以及針對AI加速器定制的驅動程序（CUDA Driver、ROCm等）；并行與通信庫——如MPI（Message Passing Interface）用于跨節(jié)點進程通信，NCCL（NVIDIA Collective Communications Library）專門優(yōu)化其GPU間集合通信；DeepEP是專門針對稀疏激活專家特性設計的通信庫，僅按需通信，從而提升帶寬和時延性能；異構計算支持——實現(xiàn)CPU/GPU/NPU等不同計算單元的協(xié)同工作，通過統(tǒng)一的運行時（如OpenCL、SYCL）屏蔽底層差異。通過這些組件，系統(tǒng)與底層確保了不同硬件之間的無縫協(xié)作和高效資源共享。

硬件層

硬件層作為整個算力軟件生態(tài)系統(tǒng)的基石，旨在為上層提供強大、異構且可擴展的計算底座。這一層包括多種類型的硬件設備，如GPU、NPU、ASIC、FPGA 等。此外，還包括高速互聯(lián)技術和海量數(shù)據(jù)存儲解決方案，確保了底層硬件能夠高效地支持大規(guī)模并行計算和數(shù)據(jù)處理需求。

計算：單卡算力

算力芯片是驅動AI大模型與推動產(chǎn)業(yè)發(fā)展的核心戰(zhàn)略資源。今年1月初，英偉達正式推出新一代“Rubin”計算架構。相比前代Blackwell，Rubin在計算、互聯(lián)與存儲方面均實現(xiàn)提升，單卡算力方面，其采用Vera CPU與Rubin GPU異構集成設計。

Vera CPU

集成88個定制Olympus核心，支持176線程空間多線程，兼容Armv9.2。

通過NVLink-C2C與Rubin GPU互聯(lián)，共享1.8 TB/s帶寬，為上一代Blackwell 的2倍、是PCIe Gen 6的7倍。

Rubin GPU

首次搭載Transformer引擎，可動態(tài)調節(jié)各層精度，兼顧吞吐量與關鍵區(qū)域精度。

推理性能達50 PFLOPS（NVFP4），為Blackwell的5倍，保持精度并提升BF16/FP4性能；訓練性能達35 PFLOPS，為Blackwell的3.5倍。

網(wǎng)絡互聯(lián)

在AI大規(guī)模集群超節(jié)點概念盛行的當下，計算芯片廠商們的競爭早已不在局限于單顆計算芯片的性能，還包括網(wǎng)絡互聯(lián)在內的系統(tǒng)性解決方案的比拼。在2020年完成對Mellanox的收購后，英偉達快速補齊了AI基礎設施網(wǎng)絡拼圖，實現(xiàn)了片間互聯(lián)（人員NVLink+ NVSwitch）和網(wǎng)間互聯(lián)（如ConnectX 系列網(wǎng)卡進階）等全?；ヂ?lián)優(yōu)化方案，形成了極高的技術壁壘和生態(tài)粘性。

Scale out：

Connect X系列超級網(wǎng)卡升級

英偉達ConnectX網(wǎng)卡是構建現(xiàn)代數(shù)據(jù)中心，特別是AI計算集群的底層關鍵技術，其通過硬件深度集成RDMA協(xié)議，以及不斷創(chuàng)新的硬件卸載、低延遲通信和超高帶寬技術，支撐著從傳統(tǒng)數(shù)據(jù)中心到“AI工廠”的演進。

英偉達于近期推出的NVIDIA ConnectX-9 超級網(wǎng)卡，可處理橫向擴展網(wǎng)絡，每個 GPU 可提供 1.6 TB/s 的 RDMA 帶寬，是上一代帶寬2倍，實現(xiàn)機架外部的通訊。 ConnectX-9 與 Vera CPU 共同設計，旨在最大限度地提高數(shù)據(jù)路徑效率，并引入完全軟件定義、可編程的加速數(shù)據(jù)路徑，使 AI 實驗室能夠實現(xiàn)針對其特定模型架構優(yōu)化的自定義數(shù)據(jù)傳輸算法。其計劃搭載于Vera Rubin NVL72機架，但尚未量產(chǎn)出貨。

Scale up：NVLink/NVSwitch

超節(jié)點通過緊密耦合多個GPU，使其協(xié)同如單一計算單元，其核心在于實現(xiàn)極低延遲與超高帶寬的互聯(lián)。英偉達憑借其NVLink協(xié)議實現(xiàn)這一目標，該協(xié)議自2014年首次推出至今已迭代至第六代。在全新Rubin架構中集成的NVLink 6.0，使單GPU互聯(lián)帶寬達到3.6 TB/s，為上一代（NVLink 5.0）的2倍，SerDes速率達224 GT/s。

NVLink與NVSwitch協(xié)同構成了英偉達大規(guī)模高效計算集群的基礎。最新NVSwitch 6.0的端口速率提升至400 Gbps，采用SerDes技術保障高速信號傳輸；每顆GPU可實現(xiàn)3.6 TB/s的全互連帶寬。每個Vera Rubin NVL72機架配備9臺該交換機，總縱向擴展帶寬達260 TB/s，支持高效穩(wěn)定地訓練與運行參數(shù)規(guī)模達10萬億級的超大模型。

能耗/液冷/供電

為了滿足人工智能和高性能計算對于更強數(shù)據(jù)中心的需求，越來越多高性能的計算芯片被各大廠商相繼推出。然而高性能通常與高功耗相伴，Blackwell B200 GPU單顆芯片的功耗1000W， GB200 NVL72超節(jié)點功耗超過120kw。而最新推出的Rubin NVL144和規(guī)劃中的Rubin Ultra NVL576，功耗分別突破200kw和1000kw。

液冷方面，隨著高性能服務器機柜功率普遍突破100kW，傳統(tǒng)風冷方案已無法滿足散熱需求。對此，液冷技術成為行業(yè)主流解決方案。以英偉達最新發(fā)布的Rubin NVL72系統(tǒng)為例，該平臺實現(xiàn)了全系統(tǒng)級液冷設計，完全取消傳統(tǒng)風冷組件，并首次采用微通道冷板技術。優(yōu)化后的冷卻系統(tǒng)流速達60L/min以上，散熱效率為上一代系統(tǒng)的兩倍，同時仍支持高達45°C的進水溫度。

供電方案方面，芯片功耗的急劇上升使電力成為制約AI規(guī)?；渴鸬年P鍵因素。為突破現(xiàn)有供電方案瓶頸，英偉達率先推動機架電源從54V直流向800V高壓直流（HVDC）升級。該方案采用邊緣固態(tài)變壓器（SST），直接將10kV-20kV交流電轉換為800V直流，簡化供電鏈路為“高壓市電→800V DC→芯片低壓”。此舉顯著降低了電阻損耗、釋放了機架內部空間、改善了熱管理效果，并具備高度可擴展性，支持單機架供電能力從100kW逐步提升至1MW。

總結

過去數(shù)十年，無論是硬件還是軟件層級，在進化迭代上更多考慮單點突破帶動性能狂飆。進入2025年之后，在摩爾定律及算法技術瓶頸等各方面因素推動下，產(chǎn)業(yè)鏈軟硬件環(huán)節(jié)更加考慮系統(tǒng)層級協(xié)同，如行業(yè)也不再一味追求“超級硬件”和“超級集群”，而是強調從軟件側、互聯(lián)等各方面更大程度釋放硬件的潛力。2026年，系統(tǒng)的優(yōu)化工作將會更加精細化，與進一步探索基于低成本硬件的極致性價比，其根本驅動力與最終歸宿，都指向一個務實的目標：更高效地推動AI技術走出實驗室與數(shù)據(jù)中心，滲透至千行百業(yè)，并以更低的總體成本創(chuàng)造普惠價值。