為擴(kuò)展開(kāi)放模型生態(tài)，NVIDIA 發(fā)布全新開(kāi)放模型、數(shù)據(jù)和工具，推動(dòng)各行業(yè) AI 技術(shù)的發(fā)展。

這些模型包括適用于代理式 AI 的NVIDIA Nemotron系列、適用于物理 AI的NVIDIA Cosmos平臺(tái)、適用于輔助駕駛汽車開(kāi)發(fā)的全新NVIDIA Alpamayo系列、適用于機(jī)器人的NVIDIA Isaac GR00T以及適用于生物醫(yī)學(xué)的NVIDIA Clara，它們將為企業(yè)提供構(gòu)建真實(shí)世界 AI 系統(tǒng)所需的技術(shù)工具。

NVIDIA 貢獻(xiàn)了開(kāi)源訓(xùn)練框架及全球規(guī)模最大的開(kāi)放多模態(tài)數(shù)據(jù)集之一，包括 10 萬(wàn)億語(yǔ)言訓(xùn)練 token、50 萬(wàn)條機(jī)器人軌跡、45.5 萬(wàn)種蛋白質(zhì)結(jié)構(gòu)及 100 TB 汽車傳感器數(shù)據(jù)。如此規(guī)?？涨暗亩嘣_(kāi)放資源將加速語(yǔ)言、機(jī)器人、科學(xué)研究及輔助駕駛汽車領(lǐng)域的創(chuàng)新。

領(lǐng)先科技企業(yè)例如博世、CodeRabbit、CrowdStrike、Cohesity、Fortinet、Franka Robotics、Humanoid、Palantir、Salesforce、ServiceNow、日立和 Uber 等，正在使用并基于 NVIDIA 的開(kāi)放模型技術(shù)進(jìn)行開(kāi)發(fā)。

NVIDIA Nemotron 賦予 AI 智能體語(yǔ)音、多模態(tài)智能和安全能力

基于近期發(fā)布的NVIDIA Nemotron 3系列開(kāi)放模型與數(shù)據(jù)，NVIDIA 推出 Nemotron 語(yǔ)音、多模態(tài)檢索增強(qiáng)生成 (RAG) 和安全模型。

Nemotron Speech包含全新ASR 模型等多個(gè)榜首級(jí)的開(kāi)放模型，可實(shí)現(xiàn)實(shí)時(shí)低延遲語(yǔ)音識(shí)別，適用于實(shí)時(shí)字幕和語(yǔ)音 AI 應(yīng)用。日常及模態(tài)基準(zhǔn)測(cè)試顯示，該模型性能較同類模型提升 10 倍。

Nemotron RAG包含全新的嵌入與重排序視覺(jué)語(yǔ)言模型 (VLM)，能夠提供高精度的多語(yǔ)言和多模態(tài)數(shù)據(jù)洞察，提高文檔搜索與信息檢索能力。

Nemotron Safety模型可提升 AI 應(yīng)用的安全性與可信度，目前已包括支持?jǐn)U展語(yǔ)言的Llama Nemotron 內(nèi)容安全模型，以及高精度檢測(cè)敏感數(shù)據(jù)的Nemotron PII模型。

博世正在使用 Nemotron Speech 實(shí)現(xiàn)駕駛者與汽車的交互。ServiceNow 使用 Nemotron 等開(kāi)放數(shù)據(jù)集訓(xùn)練其 Apriel 系列模型，以獲得高成本效益的多模態(tài)性能。

Cadence 與 IBM 正在嘗試使用 NVIDIA Nemotron RAG 模型提高對(duì)復(fù)雜技術(shù)文檔的檢索與推理能力。

CrowdStrike、Cohesity 和 Fortinet 正在使用 NVIDIA Nemotron Safety 模型，以增強(qiáng)其 AI 應(yīng)用的可信度。

Palantir 正在將 Nemotron 模型集成到其 Ontology 框架中，以開(kāi)發(fā)首創(chuàng)的專業(yè) AI 智能體集成技術(shù)棧。CodeRabbit正在使用 Nemotron 模型驅(qū)動(dòng)和擴(kuò)展其 AI 代碼審核系統(tǒng)，在保持高審核精度的同時(shí)提升速度與成本效益。

NVIDIA 同時(shí)面向開(kāi)發(fā)者發(fā)布了多個(gè)開(kāi)源數(shù)據(jù)集、訓(xùn)練資源和藍(lán)圖，包括榮登MMTEB 排行榜的Llama Embed Nemotron 8B模型的數(shù)據(jù)集與訓(xùn)練代碼。NVIDIA 還發(fā)布了更新版LLM Router，指導(dǎo)開(kāi)發(fā)者如何自動(dòng)將 AI 請(qǐng)求發(fā)送至最適合的模型，以及用于開(kāi)發(fā)全新 Nemotron 語(yǔ)音 ASR 模型的數(shù)據(jù)集。

適用于各類物理 AI 與機(jī)器人的新模型

開(kāi)發(fā)適用于機(jī)器人和自主系統(tǒng)的物理 AI 需要海量多元數(shù)據(jù)集，以及能在復(fù)雜現(xiàn)實(shí)環(huán)境中感知、推理并行動(dòng)的模型。在 Hugging Face 平臺(tái)上，機(jī)器人技術(shù)是增長(zhǎng)較快的領(lǐng)域，NVIDIA 的開(kāi)源機(jī)器人模型和數(shù)據(jù)集位居下載量榜首。

NVIDIA 推出NVIDIA Cosmos 開(kāi)源世界基礎(chǔ)模型，通過(guò)類人推理與世界生成能力加快物理 AI 的開(kāi)發(fā)與驗(yàn)證。

Cosmos Reason 2是一個(gè)全新的榜首級(jí)推理型 VLM，可幫助機(jī)器人與 AI 智能體在物理世界中實(shí)現(xiàn)更高精度的視覺(jué)感知、理解與交互。

Cosmos Transfer 2.5與Cosmos Predict 2.5是兩個(gè)領(lǐng)先的模型，可在各種不同環(huán)境與條件下生成大規(guī)模合成視頻。

基于 Cosmos 平臺(tái)，NVIDIA 還推出了適用于各類具身物理 AI 的開(kāi)源模型與藍(lán)圖：

Isaac GR00T N1.6是專為人形機(jī)器人打造的開(kāi)源推理視覺(jué)語(yǔ)言行動(dòng) (VLA) 模型，它能實(shí)現(xiàn)全身控制，并借助 NVIDIA Cosmos Reason 增強(qiáng)推理和上下文理解。

用于視頻搜索和總結(jié)的 NVIDIA Blueprint作為 NVIDIA Metropolis 平臺(tái)的一部分，是一個(gè)適用于構(gòu)建視覺(jué) AI 智能體的參考工作流。這些 AI 智能體可通過(guò)分析海量錄制和實(shí)時(shí)視頻，從而提升運(yùn)營(yíng)效率并維護(hù)環(huán)境秩序。

Salesforce、Milestone、日立、Uber、VAST Data和Encord正在使用 Cosmos Reason 開(kāi)發(fā)用于交通和工作場(chǎng)所生產(chǎn)力的 AI 智能體。Franka Robotics、Humanoid 和 NEURA Robotics 在投產(chǎn)前使用 Isaac GR00T 仿真、訓(xùn)練和驗(yàn)證機(jī)器人的新行為。

適用于推理型輔助駕駛汽車的 NVIDIA Alpamayo

開(kāi)發(fā)安全、可規(guī)?；妮o助駕駛依賴于 AI 能夠在復(fù)雜的真實(shí)環(huán)境和場(chǎng)景中進(jìn)行感知、推理和行動(dòng)，以及支持快速訓(xùn)練、測(cè)試和大規(guī)模優(yōu)化的開(kāi)發(fā)工作流。

NVIDIA 推出全新 NVIDIA Alpamayo 系列開(kāi)放模型、仿真工具和大型數(shù)據(jù)集，將推動(dòng)推理型輔助駕駛汽車的開(kāi)發(fā)進(jìn)程。該系列包含：

Alpamayo 1：首個(gè)應(yīng)用于輔助駕駛汽車的大型開(kāi)放 VLA 推理模型，使汽車能夠理解周圍環(huán)境并解釋其決策背后的邏輯。

AlpaSim：一款開(kāi)源的仿真框架，支持在多樣化環(huán)境和極端事件中對(duì)推理型輔助駕駛模型進(jìn)行閉環(huán)訓(xùn)練與評(píng)估。

NVIDIA 還同時(shí)發(fā)布了物理 AI 開(kāi)放數(shù)據(jù)集。該數(shù)據(jù)集包含超過(guò) 1,700 小時(shí)的駕駛數(shù)據(jù)，覆蓋極其廣泛的地理區(qū)域與環(huán)境條件，涵蓋推動(dòng)推理架構(gòu)發(fā)展所需的罕見(jiàn)且復(fù)雜的真實(shí)世界極端場(chǎng)景。

適用于醫(yī)療與生命科學(xué)的 NVIDIA Clara

為降低成本并加速治療方案的落地，NVIDIA 推出全新 Clara AI 模型，彌合數(shù)字藥物研發(fā)與現(xiàn)實(shí)醫(yī)療之間的差距。

新模型將幫助研究人員設(shè)計(jì)更加安全、有效且更易生產(chǎn)的療法，具體包括以下模型：

La-Proteina幫助設(shè)計(jì)大規(guī)模、原子級(jí)精確的蛋白質(zhì)，用于研究和候選藥物開(kāi)發(fā)，為科學(xué)家研究此前被視為無(wú)法治療的疾病提供了新工具。

ReaSyn v2通過(guò)將制造藍(lán)圖融入研發(fā)過(guò)程，確保 AI 設(shè)計(jì)的藥物能夠?qū)嶋H合成。

KERMT通過(guò)預(yù)測(cè)潛在藥物與人體的相互作用，在研發(fā)早期提供高精度、計(jì)算安全的測(cè)試。

RNAPro通過(guò)預(yù)測(cè) RNA 分子的復(fù)雜三維結(jié)構(gòu)，挖掘個(gè)性化醫(yī)療的潛力。

此外，NVIDIA 還發(fā)布了一個(gè)包含 45.5 萬(wàn)個(gè)合成蛋白質(zhì)結(jié)構(gòu)的數(shù)據(jù)集，幫助 AI 研究人員開(kāi)發(fā)更加精準(zhǔn)的 AI 模型。

歡迎使用 NVIDIA 開(kāi)放模型與技術(shù)

NVIDIA 開(kāi)放模型、數(shù)據(jù)和框架現(xiàn)已登陸 GitHub 和 Hugging Face，以及各類云、推理和 AI 基礎(chǔ)設(shè)施平臺(tái)及NVIDIA 官網(wǎng)，供開(kāi)發(fā)者靈活獲取配套資源。

其中多款模型也以NVIDIA NIM形式提供，支持在任意 NVIDIA 加速的基礎(chǔ)設(shè)施上進(jìn)行安全且可擴(kuò)展的部署，涵蓋從邊緣到云的各種場(chǎng)景。