NVIDIA 正式推出準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型系列NVIDIA Nemotron Nano 2。

*圖中，ISL 與 OSL 分別代表輸入和輸出序列長(zhǎng)度，吞吐量數(shù)據(jù)均在單顆 NVIDIA GPU 上以 bfloat16 精度測(cè)得。

如“NVIDIA Nemotron Nano 2：準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型”技術(shù)報(bào)告所示，推理模型 NVIDIA-Nemotron-Nano-v2-9B 在復(fù)雜推理基準(zhǔn)測(cè)試中，實(shí)現(xiàn)了與領(lǐng)先的同規(guī)模開源模型 Qwen3-8B 相當(dāng)乃至更佳的準(zhǔn)確率，吞吐量較后者至高提升6倍。

我們?cè)?Hugging Face 上發(fā)布了以下三個(gè)模型，它們均支持 128K 上下文長(zhǎng)度：

NVIDIA-Nemotron-Nano-9B-v2：經(jīng)過(guò)對(duì)齊和剪枝的推理模型

NVIDIA-Nemotron-Nano-9B-v2-Base：經(jīng)過(guò)剪枝的基礎(chǔ)模型

NVIDIA-Nemotron-Nano-12B-v2-Base：未經(jīng)過(guò)對(duì)齊或剪枝的基礎(chǔ)模型

數(shù)據(jù)集

此外，作為行業(yè)領(lǐng)先開源模型的首次嘗試，我們公開了在預(yù)訓(xùn)練中使用的大部分?jǐn)?shù)據(jù)。

Nemotron-Pre-Training-Dataset-v1 數(shù)據(jù)集包含6.6萬(wàn)億個(gè) Token，涵蓋高質(zhì)量網(wǎng)絡(luò)爬取、數(shù)學(xué)、代碼、SFT 和多語(yǔ)言問(wèn)答數(shù)據(jù)，分為以下四個(gè)類別：

Nemotron-CC-v2：基于 Nemotron-CC（Su 等人，2025 年）的后續(xù)版本，新增了 2024 至 2025 年間的八個(gè) Common Crawl 快照數(shù)據(jù)集。數(shù)據(jù)集經(jīng)過(guò)整體去重處理，并使用 Qwen3-30B-A3B 對(duì)其進(jìn)行了合成重述。此外，該數(shù)據(jù)集還包含15 種語(yǔ)言的合成多樣化問(wèn)答，可支持強(qiáng)大的多語(yǔ)言邏輯推理和通用知識(shí)預(yù)訓(xùn)練。

Nemotron-CC-Math-v1：一個(gè)以數(shù)學(xué)為重點(diǎn)的數(shù)據(jù)集，包含1,330 億個(gè) Token。該數(shù)據(jù)集使用NVIDIALynx + LLM 管線從 Common Crawl 中提取數(shù)據(jù)，在保留方程和代碼格式的同時(shí)，將數(shù)學(xué)內(nèi)容統(tǒng)一標(biāo)準(zhǔn)化為 LaTex 的編輯形式，確保了關(guān)鍵數(shù)學(xué)內(nèi)容和代碼片段完整無(wú)損，生成的預(yù)訓(xùn)練數(shù)據(jù)在基準(zhǔn)測(cè)試中顯著優(yōu)于現(xiàn)有數(shù)學(xué)數(shù)據(jù)集。

Nemotron-Pretraining-Code-v1：基于 GitHub 構(gòu)建的大規(guī)模精選代碼數(shù)據(jù)集。該數(shù)據(jù)集經(jīng)過(guò)多階段去重、許可證強(qiáng)制執(zhí)行和啟發(fā)式質(zhì)量檢查過(guò)濾，包含11 種編程語(yǔ)言的 LLM 生成代碼問(wèn)答對(duì)。

Nemotron-Pretraining-SFT-v1：覆蓋STEM、學(xué)術(shù)、邏輯推理和多語(yǔ)言領(lǐng)域的合成生成數(shù)據(jù)集。該數(shù)據(jù)集包含復(fù)雜的多選題和解析題，這些問(wèn)題源自高質(zhì)量數(shù)學(xué)和科學(xué)素材、研究生級(jí)的學(xué)術(shù)文本以及經(jīng)過(guò)指令微調(diào)的 SFT 數(shù)據(jù)（涵蓋數(shù)學(xué)、代碼、通用問(wèn)答和邏輯推理任務(wù)）。

Nemotron-Pretraining-Dataset-sample：數(shù)據(jù)集的精簡(jiǎn)采樣版本，包含10 個(gè)代表性子集，內(nèi)容涵蓋高質(zhì)量問(wèn)答數(shù)據(jù)、專注于數(shù)學(xué)領(lǐng)域的提取內(nèi)容、代碼元數(shù)據(jù)及 SFT 風(fēng)格指令數(shù)據(jù)。

技術(shù)亮點(diǎn)

數(shù)據(jù)集的亮點(diǎn)包括：

Nemotron-CC-Math：通過(guò)文本瀏覽器 (Lynx) 渲染網(wǎng)頁(yè)并結(jié)合大語(yǔ)言模型 (phi-4) 進(jìn)行后處理，首次實(shí)現(xiàn)在大規(guī)模網(wǎng)頁(yè)下正確保留各種數(shù)學(xué)格式的方程和代碼的處理流程（包括長(zhǎng)尾格式）。相較于過(guò)去基于啟發(fā)式的方法，這是一次突破性改進(jìn)。內(nèi)部預(yù)訓(xùn)練實(shí)驗(yàn)表明，使用 Nemotron-CC-Math 數(shù)據(jù)集訓(xùn)練的模型在 MATH 測(cè)試上較最強(qiáng)基線提升了 4.8 至 12.6 分，在 MBPP+ 代碼生成任務(wù)上提升了 4.6 至 14.3 分。

Nemotron-CC-v2：此前研究表明，從高質(zhì)量英文網(wǎng)頁(yè)爬取數(shù)據(jù)生成的合成多樣化問(wèn)答數(shù)據(jù)，能顯著提升大語(yǔ)言模型 (LLM) 通用能力（如 MMLU 等基準(zhǔn)測(cè)試顯示）。在此基礎(chǔ)上，我們通過(guò)將此數(shù)據(jù)集翻譯成 15 種語(yǔ)言，把這一發(fā)現(xiàn)擴(kuò)展到更多語(yǔ)言。消融實(shí)驗(yàn)顯示，加入翻譯過(guò)的多樣化問(wèn)答數(shù)據(jù)后，Global-MMLU 平均準(zhǔn)確率比僅使用多語(yǔ)言 Common Crawl 數(shù)據(jù)提升了 10.0 分。

Nemotron-Pretraining-Code：除 1,751 億個(gè)高質(zhì)量合成代碼數(shù)據(jù) Token 外，我們還發(fā)布了元數(shù)據(jù)，使用戶能夠復(fù)現(xiàn)一個(gè)精心整理、寬松授權(quán)的代碼數(shù)據(jù)集（規(guī)模達(dá) 7,474 億 Token）。

模型的亮點(diǎn)包括：

預(yù)訓(xùn)練階段：Nemotron-Nano-12B-v2-Base 采用Warmup-Stable-Decay 學(xué)習(xí)率調(diào)度器在 20 萬(wàn)億個(gè) Token 上以 FP8 精度進(jìn)行預(yù)訓(xùn)練。隨后，通過(guò)持續(xù)的預(yù)訓(xùn)練長(zhǎng)上下文擴(kuò)展階段，可在不降低其他基準(zhǔn)性能的情況下支持 128k 上下文長(zhǎng)度。

后訓(xùn)練階段：Nemotron Nano 2 通過(guò)監(jiān)督式微調(diào) (SFT)、組相對(duì)策略優(yōu)化 (GRPO)、直接偏好優(yōu)化 (DPO) 和基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF) 進(jìn)行后訓(xùn)練。其中約 5% 的數(shù)據(jù)包含故意截?cái)嗟倪壿嬐蒲?，使推理時(shí)能夠精細(xì)控制思考預(yù)算。

壓縮：最后，我們對(duì)基礎(chǔ)模型和對(duì)齊后的模型進(jìn)行了壓縮，使其能夠在單顆 NVIDIA GPU(22 GiB 內(nèi)存，bfloat16 精度)上實(shí)現(xiàn) 128k Token 上下文長(zhǎng)度的推理。此結(jié)果通過(guò)擴(kuò)展基于 Minitron 的壓縮策略以壓縮受約束的邏輯推理模型實(shí)現(xiàn)。

數(shù)據(jù)示例

示例 1：我們的處理流程能夠同時(shí)保留數(shù)學(xué)公式和代碼，而之前的預(yù)訓(xùn)練數(shù)據(jù)集通常會(huì)丟失或損壞數(shù)學(xué)公式。

引用

@misc{nvidia2025nvidianemotronnano2,
   title={NVIDIA Nemotron Nano2: An AccurateandEfficient Hybrid Mamba-Transformer Reasoning Model},
   author={NVIDIA},
   year={2025},
   eprint={2508.14444},
   archivePrefix={arXiv},
   primaryClass={cs.CL},
   url={https://arxiv.org/abs/2508.14444},