本周在加利福尼亞州帕洛阿爾托（Palo Alto）舉行的 Hot Chips 大會(huì)上，NVIDIA 專家詳細(xì)介紹了 NVIDIA NVLink 和Spectrum-X 以太網(wǎng)技術(shù)、Blackwell 以及 CUDA 如何為全球數(shù)百萬(wàn)的 AI 工作流加速推理。

AI 邏輯推理和網(wǎng)絡(luò)成為 Hot Chips 大會(huì)的首要焦點(diǎn)。

Hot Chips是一個(gè)面向行業(yè)和學(xué)術(shù)界的關(guān)于處理器及系統(tǒng)架構(gòu)的重要論壇，在太平洋時(shí)間 8 月 24 - 26 日于斯坦福大學(xué)舉辦，旨在展示創(chuàng)新成果，推動(dòng) AI 工廠發(fā)展，助力萬(wàn)億美元的數(shù)據(jù)中心計(jì)算市場(chǎng)。

大會(huì)期間，NVIDIA 與谷歌（Google）和微軟（Microsoft）等行業(yè)領(lǐng)導(dǎo)者在 8 月 24 日（星期日）一起舉辦了一場(chǎng)“授課式”會(huì)議——探討如何為數(shù)據(jù)中心設(shè)計(jì)以機(jī)柜為單位的新架構(gòu)。

此外，NVIDIA 專家還在四場(chǎng)會(huì)議和一場(chǎng)課程中詳細(xì)介紹了：

NVIDIA 網(wǎng)絡(luò)（包括NVIDIA ConnectX-8 SuperNIC）支持機(jī)整柜和數(shù)據(jù)中心規(guī)模的 AI 邏輯推理。（由NVIDIA 負(fù)責(zé)網(wǎng)卡和 SoC 的首席架構(gòu)師 Idan Burstein 主講）

由NVIDIA Blackwell 架構(gòu)所支持的神經(jīng)渲染的進(jìn)步及推理能力的巨大飛躍——從而提供更高級(jí)別的圖形和仿真功能。（由 NVIDIA 系統(tǒng)架構(gòu)高級(jí)總監(jiān) Marc Blackstein 主講）

基于硅光技術(shù)的NVIDIA CPO 交換機(jī)——采用光速光纖取代銅纜，可更快地傳送信息，并且功耗更低，助力打造高效、高性能的十億瓦級(jí) AI 工廠。本次演講還將重點(diǎn)介紹 NVIDIA Spectrum-XGS 以太網(wǎng)，這是一種新的跨地域擴(kuò)展技術(shù)，可將多個(gè)分布式數(shù)據(jù)中心組合為 AI 超級(jí)工廠。（由 NVIDIA 網(wǎng)絡(luò)高級(jí)副總裁 Gilad Shainer 主講）

NVIDIA GB10 超級(jí)芯片成為NVIDIA DGX Spark臺(tái)式超級(jí)計(jì)算機(jī)的引擎。（由 NVIDIA 高級(jí)杰出工程師 Andi Skende 主講）

這些都是 NVIDIA 的最新技術(shù)如何通過(guò)加速推理來(lái)推動(dòng)各個(gè)領(lǐng)域和各種規(guī)模的 AI 創(chuàng)新的一部分。

NVIDIA 網(wǎng)絡(luò)促進(jìn)了大規(guī)模的 AI 創(chuàng)新

AI 邏輯推理指的是 AI 系統(tǒng)可以通過(guò)多個(gè) AI 推理步驟來(lái)分析和解決復(fù)雜問(wèn)題——這需要機(jī)柜級(jí)規(guī)模的性能，以便高效地提供最佳的用戶體驗(yàn)。

如今，為 AI 工作負(fù)載提供動(dòng)力的數(shù)據(jù)中心里，網(wǎng)絡(luò)如同中樞神經(jīng)系統(tǒng)一樣——將所有組件（服務(wù)器、存儲(chǔ)設(shè)備和其他硬件）統(tǒng)一連接成一個(gè)強(qiáng)大的計(jì)算單元。

Burstein 在 Hot Chips 大會(huì)上的報(bào)告將會(huì)深入探討 NVIDIA 網(wǎng)絡(luò)技術(shù)（特別是 NVIDIA ConnectX-8 SuperNIC）如何實(shí)現(xiàn)高速、低延遲的多 GPU 通信，并在大規(guī)模場(chǎng)景下提供領(lǐng)先的 AI 邏輯推理性能。

NVIDIA ConnectX-8 SuperNIC

作為 NVIDIA 網(wǎng)絡(luò)平臺(tái)的一部分，NVIDIA NVLink、NVLink Switch 和 NVLink Fusion 提供了縱向擴(kuò)展（scale-up）連接——能夠在服務(wù)器內(nèi)部及跨服務(wù)器連接 GPU 和計(jì)算元件，實(shí)現(xiàn)超低延遲、高帶寬的數(shù)據(jù)交換。

NVIDIA Spectrum-X 以太網(wǎng)提供了橫向擴(kuò)展（scale-out） 來(lái)連接整個(gè)集群，能夠快速將海量數(shù)據(jù)集導(dǎo)入到 AI 模型中，并編排數(shù)據(jù)中心內(nèi)的 GPU 到 GPU 的通信。Spectrum-XGS跨區(qū)域擴(kuò)展（scale-across）技術(shù)將 Spectrum-X 以太網(wǎng)的卓越性能和擴(kuò)展能力擴(kuò)展到多個(gè)分布式數(shù)據(jù)中心，組成十億瓦級(jí)的智能 AI 超級(jí)工廠。

NVIDIA Spectrum-XGS 以太網(wǎng)連接多個(gè)分布式 AI 數(shù)據(jù)中心

作為 Spectrum-X Ethernet 的核心，CPO 交換機(jī)推升了大規(guī)模 AI 基礎(chǔ)設(shè)施的性能和效率極限。Gilad Shainer 將在其演講中詳細(xì)介紹這一內(nèi)容。

NVIDIA Blackwell NVL72——單機(jī)柜百億億級(jí)（Exascale）計(jì)算機(jī)——配備了 36 個(gè) NVIDIA 超級(jí)芯片，其中每組芯片包含 2 個(gè) NVIDIA GPU 和 1 個(gè) NVIDIA CPU，通過(guò)目前最大的 NVLink 域?qū)崿F(xiàn)互連。NVLink 交換機(jī)為 AI 和高性能計(jì)算工作負(fù)載提供每秒 130 TB/s的低延遲 GPU 通信。

NVIDIA 單機(jī)柜系統(tǒng)

NVIDIA Blackwell 架構(gòu)，在推理性能方面實(shí)現(xiàn)了巨大的躍進(jìn)。

NVIDIA GeForce RTX 5090 D v2 GPU（同樣由 Blackwell 提供支持）——通過(guò) NVIDIA DLSS 4 技術(shù)將當(dāng)今游戲中的 AI 性能翻倍。

它還能夠?yàn)橛螒蛱砑?a href="http://www.brongaenegriffin.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)渲染功能，提供至高可達(dá) 10 倍的性能提升、10 倍的存儲(chǔ)空間擴(kuò)展，并將設(shè)計(jì)周期縮短 10 倍，有助于增強(qiáng)計(jì)算機(jī)圖形和仿真中的逼真度。這不但在低功耗的情況下提供了流暢、靈敏的視覺體驗(yàn)，而且大大提升了游戲角色和特效的擬真度。

NVIDIA CUDA 是全球應(yīng)用最廣泛的計(jì)算基礎(chǔ)設(shè)施，讓用戶能在任何地方利用 NVIDIA Blackwell 部署與運(yùn)行AI模型。

全球已有數(shù)億臺(tái)的 GPU 運(yùn)行 CUDA，從NVIDIA Blackwell 架構(gòu)規(guī)模的系統(tǒng)到搭載 GeForce RTX 和 NVIDIA RTX PRO 的 PC 和工作站，包括由 NVIDIA GB10 提供支持的 NVIDIA DGX Spark（在 Skende 的會(huì)議中討論過(guò)的）也即將發(fā)布。

從算法到 AI 超級(jí)計(jì)算機(jī)

對(duì)大語(yǔ)言模型（LLM）的全面優(yōu)化

NVIDIA DGX Spark

DGX Spark 用小巧的機(jī)身提供了強(qiáng)大的性能和功能，使開發(fā)者、研究人員、數(shù)據(jù)科學(xué)家和學(xué)生能夠在桌面上突破生成式 AI 的界限，加速各行業(yè)的工作負(fù)載。

作為 NVIDIA Blackwell 平臺(tái)的一部分，DGX Spark 支持 NVFP4，這是一種低精度數(shù)值格式，用于實(shí)現(xiàn)高效的代理式 AI 推理，特別是針對(duì)大語(yǔ)言模型（LLM）。

通過(guò)開源協(xié)作推動(dòng)推理創(chuàng)新

NVIDIA 通過(guò)加速各種開放源代碼庫(kù)和框架，來(lái)加速和優(yōu)化 LLM 和分布式推理的 AI 工作負(fù)載。這些平臺(tái)包括NVIDIA TensorRT-LLM、NVIDIA Dynamo、TileIR、Cutlass、NVIDIA 集合通信庫(kù)和 NIXL——它們都已被集成到數(shù)百萬(wàn)個(gè)工作流中。

為了支持開發(fā)者們能夠使用自己的框架，NVIDIA 已與頂級(jí)開放框架供應(yīng)商合作，為 FlashInfer、PyTorch、SGLang、vLLM 等提供模型優(yōu)化。

此外，NVIDIA NIM 微服務(wù)也可用于 OpenAI 的 gpt-oss 和 Llama 4 等熱門開放模型，使開發(fā)者能夠輕松地在其喜歡的基礎(chǔ)設(shè)施上，像運(yùn)行自托管模型一樣靈活安全地操作托管應(yīng)用程序界面。

參與 NVIDIA 在 Hot Chips 大會(huì)上的活動(dòng)，以了解推理和加速計(jì)算的最新進(jìn)展。