新聞?wù)?/strong>

● NVIDIA Dynamo 1.0 為大規(guī)模分布式推理提供了生產(chǎn)級(jí)的開(kāi)源基礎(chǔ)架構(gòu)。

● Dynamo 和 NVIDIA TensorRT LLM 優(yōu)化已原生集成到 LangChain、llm-d、LMCache、SGLang 和 vLLM 等開(kāi)源框架中，以提升推理性能。

● Dynamo 將 NVIDIA Blackwell GPU 推理性能至高提升 7 倍，并通過(guò)免費(fèi)的開(kāi)源軟件降低了 Token 成本，為數(shù)百萬(wàn) GPU 提供了增加收益的機(jī)會(huì)。

● NVIDIA 推理平臺(tái)已被云服務(wù)提供商亞馬遜云科技 (AWS)、微軟 Azure、谷歌云和 Oracle Cloud Infrastructure (OCI) 以及 NVIDIA 云合作伙伴阿里云、CoreWeave、Together AI 和 Nebius 所集成，并被 AI 原生公司 Cursor 和 Perplexity、推理端點(diǎn)提供商 Baseten、Deep Infra 和 Fireworks 以及字節(jié)跳動(dòng)、美團(tuán)、PayPal 和 Pinterest 等全球企業(yè)采用。

**加利福尼亞州圣何塞—— GTC —— 太平洋時(shí)間 2026 年 3 月 16 日 —— **NVIDIA 今日宣布，用于大規(guī)模生成式和智能體推理的開(kāi)源軟件 NVIDIA Dynamo 1.0 現(xiàn)已在全球范圍內(nèi)被廣泛采用。Dynamo 1.0 與 NVIDIA Blackwell 平臺(tái)相結(jié)合，助力云提供商、AI 創(chuàng)新者和全球企業(yè)能夠以無(wú)與倫比的規(guī)模、效率和速度提供高性能的 AI 推理服務(wù)。

隨著代理式 AI 系統(tǒng)在各行各業(yè)的應(yīng)用，數(shù)據(jù)中心內(nèi)的推理擴(kuò)展已成為一項(xiàng)復(fù)雜的資源編排挑戰(zhàn)，不同規(guī)模、不同模態(tài)的請(qǐng)求以及性能目標(biāo)會(huì)以不可預(yù)測(cè)的突發(fā)形式出現(xiàn)。

正如計(jì)算機(jī)的操作系統(tǒng)協(xié)調(diào)硬件和應(yīng)用程序一樣，Dynamo 1.0 作為 AI 工廠的分布式“操作系統(tǒng)”，在集群中無(wú)縫地協(xié)調(diào) GPU 和顯存、內(nèi)存等存儲(chǔ)資源，以驅(qū)動(dòng)復(fù)雜的 AI 工作負(fù)載。在最近的行業(yè)基準(zhǔn)測(cè)試中，Dynamo 將 NVIDIA Blackwell GPU 的推理性能至高提升 7 倍，并通過(guò)免費(fèi)的開(kāi)源軟件降低了 Token 成本，為數(shù)百萬(wàn) GPU 帶來(lái)了增加收益的機(jī)會(huì)。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“推理是智能的引擎，驅(qū)動(dòng)了每一次查詢(xún)、每一個(gè)智能體以及每一個(gè)應(yīng)用。通過(guò) NVIDIA Dynamo，我們創(chuàng)建了首個(gè)面向 AI 工廠的‘操作系統(tǒng)’。整個(gè)生態(tài)系統(tǒng)中的快速采用表明新一波代理式 AI 浪潮已經(jīng)到來(lái)，NVIDIA 正在全球范圍內(nèi)推動(dòng)其發(fā)展?！?/p>

Dynamo 1.0 通過(guò)引入更智能的“流量控制”以及在 GPU 和低成本存儲(chǔ)之間移動(dòng)數(shù)據(jù)的能力，將推理工作分配到多個(gè) GPU 上，從而減少了資源浪費(fèi)并緩解了顯存限制。針對(duì)代理式 AI 和長(zhǎng)提示，它可以將請(qǐng)求路由到已在稍早步驟獲得最相關(guān)“短期記憶”的 GPU，然后在無(wú)需使用時(shí)卸載該顯存。

NVIDIA 推理平臺(tái)發(fā)展勢(shì)頭強(qiáng)勁

通過(guò)將 NVIDIA Dynamo 和 NVIDIA TensorRT? LLM 庫(kù)優(yōu)化集成到 LangChain、llm-d、LMCache、SGLang、vLLM 等各大供應(yīng)商的熱門(mén)框架中，NVIDIA 正在加速開(kāi)源生態(tài)系統(tǒng)的發(fā)展。核心的 Dynamo 構(gòu)建模塊，例如用于實(shí)現(xiàn)更智能 KV 存儲(chǔ)管理的 KVBM、用于實(shí)現(xiàn)快速 GPU 到 GPU 數(shù)據(jù)移動(dòng)的 NVIDIA NIXL 以及用于簡(jiǎn)化擴(kuò)展的 NVIDIA Grove，也可作為獨(dú)立模塊使用。NVIDIA 還將 TensorRT LLM CUDA^?^ 內(nèi)核貢獻(xiàn)給 FlashInfer 項(xiàng)目，以便將其原生集成到開(kāi)源框架中。

NVIDIA 推理平臺(tái)在整個(gè) AI 生態(tài)系統(tǒng)中得到支持，包括：

● 云服務(wù)提供商： 亞馬遜云科技 (AWS) 、微軟 Azure、谷歌云、OCI

● NVIDIA 云合作伙伴： 阿里云、CoreWeave、Crusoe、DigitalOcean、Gcore、GMI Cloud、Lightning AI、Nebius、Nscale、Together AI、Vultr

● AI 原生公司： Cursor、Hebbia、Perplexity

● 推理端點(diǎn)提供商： Baseten、Deep Infra、Fireworks

● 全球企業(yè)： 阿斯利康、貝萊德、字節(jié)跳動(dòng)、Coupang、Instacart、美團(tuán)、PayPal、Pinterest、Shopee、軟銀集團(tuán)

CoreWeave 產(chǎn)品和工程執(zhí)行副總裁 Chen Goldberg 表示：“隨著 AI 從實(shí)驗(yàn)性試點(diǎn)轉(zhuǎn)向持續(xù)的大規(guī)模生產(chǎn)，底層基礎(chǔ)設(shè)施必須像其支持的模型一樣具備動(dòng)態(tài)性。采用 NVIDIA Dynamo 使我們能夠?yàn)椴渴饛?fù)雜的 AI 智能體提供更無(wú)縫、更具彈性的環(huán)境。這一底座具有穩(wěn)定性和高性能編排能力，助力業(yè)界具有挑戰(zhàn)性的智能體工作負(fù)載實(shí)現(xiàn)全球部署。”

Nebius 首席技術(shù)官 Danila Shtan 表示：“大規(guī)模交付可靠的 AI 推理不僅需要強(qiáng)大的 GPU，還需要將性能轉(zhuǎn)化為實(shí)際客戶(hù)價(jià)值的軟件。從 Dynamo 到 TensorRT LLM，我們高度重視 NVIDIA 的軟件堆棧，其帶來(lái)了深度優(yōu)化、可預(yù)測(cè)的性能以及更快的部署速度，幫助我們?yōu)榭蛻?hù)提供更簡(jiǎn)單、更高性能的 AI 生產(chǎn)路徑?！?/p>

Pinterest 首席技術(shù)官 Matt Madrigal 表示：“為數(shù)億用戶(hù)提供直觀的多模態(tài) AI 體驗(yàn)，需要全球規(guī)模的實(shí)時(shí)智能。作為開(kāi)源領(lǐng)域的重要實(shí)踐者，我們致力于構(gòu)建可擴(kuò)展的 AI 技術(shù)。通過(guò) NVIDIA Dynamo 對(duì)部署進(jìn)行優(yōu)化，我們得以基于高性能 AI 基礎(chǔ)設(shè)施持續(xù)拓展，為用戶(hù)提供無(wú)縫、個(gè)性化體驗(yàn)。”

Together AI 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Vipul Ved Prakash 表示：“AI 原生企業(yè)需要能夠可靠、高效地隨其應(yīng)用規(guī)模而擴(kuò)展的推理能力。NVIDIA Dynamo 1.0 與 Together AI 的前沿推理研究相結(jié)合，助力我們構(gòu)建高性能堆棧，為大規(guī)模生產(chǎn)工作負(fù)載提供加速且經(jīng)濟(jì)高效的推理?！?/p>