電子發(fā)燒友網(wǎng)報(bào)道（文/梁浩斌）近日，英偉達(dá)在AI infra峰會(huì)上發(fā)布了專為大規(guī)模上下文推理設(shè)計(jì)的全新GPU系列Rubin CPX，性能堪稱炸裂！

英偉達(dá)創(chuàng)始人兼CEO黃仁勛表示，“正如 RTX 革新了圖形技術(shù)與物理 AI，Rubin CPX 則是首款專為大規(guī)模上下文 AI 設(shè)計(jì)的 CUDA GPU—— 在該場(chǎng)景下，模型可一次性基于數(shù)百萬(wàn)個(gè)token進(jìn)行推理。”

作為基于Rubin架構(gòu)的一款A(yù)I芯片，Rubin CPX采用了成本效益極高的單芯片設(shè)計(jì)，集成強(qiáng)大的NVFP4計(jì)算資源，其GPU專為AI推理任務(wù)優(yōu)化，可以實(shí)現(xiàn)極高的性能和能效比。按照英偉達(dá)的說(shuō)法，Rubin CPX平臺(tái)可實(shí)現(xiàn) 30 至 50 倍的投資回報(bào)率（ROI），這意味著1億美元的資本性支出（CAPEX）投入，能帶來(lái)高達(dá)50億美元的收入，又呼應(yīng)了老黃此前的名言“買得越多賺得越多”，這不是新一代“印鈔機(jī)”嗎？

那么Rubin CPX是怎么實(shí)現(xiàn)高效AI推理的？

為什么需要Rubin CPX？

要理解Rubin CPX的作用，首先要知道分布式推理的架構(gòu)原理。

AI推理過(guò)程包含兩個(gè)截然不同的階段：上下文階段與生成階段，這兩個(gè)階段對(duì)AI基礎(chǔ)設(shè)施的需求存在本質(zhì)差異。其中，上下文階段受計(jì)算能力限制，需要通過(guò)高吞吐量處理來(lái)接收并分析大量輸入數(shù)據(jù)，進(jìn)而生成首個(gè)token輸出結(jié)果。

與之不同的是，生成階段受內(nèi)存帶寬限制，需依賴高速內(nèi)存?zhèn)鬏敿癗VLink等高速互聯(lián)方案，以維持逐推理單元（token-by-token）的輸出性能。 為了提高計(jì)算效率，英偉達(dá)通過(guò)分布式推理可以實(shí)現(xiàn)這兩個(gè)階段的獨(dú)立處理，從而對(duì)計(jì)算和內(nèi)存資源進(jìn)行針對(duì)性優(yōu)化。這一架構(gòu)變革能夠提升吞吐量、降低延遲，并提高整體資源利用率。

具體來(lái)說(shuō)，分布式推理的流程是，文檔 / 數(shù)據(jù)庫(kù) / 視頻等數(shù)據(jù)輸入至上下文處理器；其輸出會(huì)傳輸至鍵值緩存（KV 緩存），供 GPU B 生成節(jié)點(diǎn)讀取以生成結(jié)果。GPU A 針對(duì)長(zhǎng)上下文處理進(jìn)行了優(yōu)化，而 GPU B 則在上下文階段與生成階段均能實(shí)現(xiàn)出色的總擁有成本表現(xiàn)。

然而，分布式架構(gòu)也帶來(lái)了新的復(fù)雜性層級(jí)，需要在低延遲 KV 緩存?zhèn)鬏?、大語(yǔ)言模型感知路由（LLM-aware Routing）及高效內(nèi)存管理之間實(shí)現(xiàn)精準(zhǔn)協(xié)同。英偉達(dá) Dynamo可作為這些組件的編排層，其功能在最新的 MLPerf 推理基準(zhǔn)測(cè)試結(jié)果中發(fā)揮了關(guān)鍵作用。

而分布式推理要發(fā)揮出其優(yōu)勢(shì)，在上下文處理階段的效率提升尤為重要。Rubin CPX GPU就是專為解決這個(gè)階段的計(jì)算效率的一種解決方案，目標(biāo)是為高價(jià)值長(zhǎng)上下文推理工作負(fù)載提供高吞吐量性能，同時(shí)可無(wú)縫集成至分布式基礎(chǔ)設(shè)施中。

Vera Rubin NVL144 CPX平臺(tái)：GB300 NVL72的7.5倍性能

Rubin CPX 具備30 petaFLOPs的NVFP4計(jì)算能力、128 GB的GDDR7內(nèi)存、硬件級(jí)別的視頻解碼/編碼支持，以及三倍于NVIDIA GB300的注意力機(jī)制加速性能。

比如處理視頻時(shí)，AI模型每處理1小時(shí)的內(nèi)容可能需要多達(dá)100 萬(wàn)個(gè)token，這突破了傳統(tǒng) GPU的計(jì)算極限。Rubin CPX在單芯片中集成了視頻解碼器與編碼器，以及長(zhǎng)上下文推理處理功能，從而在視頻搜索、高質(zhì)量生成式視頻等長(zhǎng)時(shí)長(zhǎng)應(yīng)用場(chǎng)景中，實(shí)現(xiàn)了前所未有的性能。

同時(shí)，英偉達(dá)也推出了一套集成Rubin CPX 、NVIDIA Vera CPU、Rubin GPU的完整高性能分布式服務(wù)解決方案——NVIDIA Vera Rubin NVL144 CPX。
NVIDIA Vera Rubin NVL144 CPX機(jī)架集成144個(gè)Rubin CPX GPU、144個(gè)Rubin GPU 以及36個(gè) Vera CPU，能夠?qū)崿F(xiàn)8 exaFLOPs的NVFP4計(jì)算性能，是GB300 NVL72的7.5倍，同時(shí)還提供100 TB的高速內(nèi)存和高達(dá)1.7 PB/s的內(nèi)存帶寬。

Vera Rubin NVL144 CPX采用了NVIDIA Quantum-X800 InfiniBand或Spectrum-X以太網(wǎng)技術(shù)，與NVIDIA ConnectX-9 SuperNIC配合使用，并由Dynamo平臺(tái)進(jìn)行管理。英偉達(dá)表示，在規(guī)模化應(yīng)用中，該平臺(tái)能夠?qū)崿F(xiàn)30至50倍的投資回報(bào)。 值得一提的是，對(duì)于已經(jīng)訂購(gòu)Vera Rubin NVL144系統(tǒng)的用戶，英偉達(dá)也提供專用的Rubin CPX 計(jì)算托盤，可以在現(xiàn)有的Vera Rubin NVL144系統(tǒng)上拓展推理能力。

根據(jù)此前英偉達(dá)的上市時(shí)間表，Rubin架構(gòu)GPU預(yù)計(jì)在2026年正式上市，預(yù)計(jì)在今年9月交付客戶測(cè)試。而同為Rubin架構(gòu)的Rubin CPX GPU，英偉達(dá)預(yù)計(jì)會(huì)在2026年下半年上市，Vera Rubin NVL144 CPX則預(yù)計(jì)在2026年底上市。

近日英偉達(dá)宣布，年度技術(shù)大會(huì)GTC2026將會(huì)在2026年3月16日至19日舉行，預(yù)計(jì)在大會(huì)上將正式推出Rubin GPU和Vera CPU兩大產(chǎn)品。

寫在最后

Rubin CPX的推出，可以說(shuō)是AI推理側(cè)的一顆“重磅炸彈”。正如黃仁勛提到的“Rubin CPX 是 AI 推理領(lǐng)域的 RTX”，AI算力硬件正在通過(guò)細(xì)分場(chǎng)景的優(yōu)化，實(shí)現(xiàn)革命性的效率提升。同時(shí)借助Rubin CPX，英偉達(dá)開(kāi)拓了算力硬件的新形式，占領(lǐng)長(zhǎng)上下文推理領(lǐng)域的“無(wú)人區(qū)”。在視頻、代碼生成等用到巨量Token的領(lǐng)域，未來(lái)Rubin CPX可能會(huì)占據(jù)極為有利的生態(tài)位，繼續(xù)筑牢英偉達(dá)在AI基建市場(chǎng)的護(hù)城河。