全新 Mistral 3 系列涵蓋從前沿級到緊湊型模型，針對 NVIDIA 平臺(tái)進(jìn)行了優(yōu)化，助力 Mistral AI 實(shí)現(xiàn)云到邊緣分布式智能愿景。

Mistral AI 近日發(fā)布了開源多語言、多模態(tài)模型 Mistral 3 系列，并且針對 NVIDIA 超級計(jì)算和邊緣平臺(tái)進(jìn)行了優(yōu)化。

Mistral Large 3 是專家混合 (MoE) 模型，無需為每個(gè) token 激活全部神經(jīng)元，可以僅調(diào)用模型中影響最大的部分，既可在無浪費(fèi)的前提下實(shí)現(xiàn)高效擴(kuò)展，又可確保準(zhǔn)確性不受損，使企業(yè)級 AI 不僅成為可能，而且更具實(shí)用性。

Mistral AI 的全新模型為企業(yè)級 AI 帶來了業(yè)界領(lǐng)先的準(zhǔn)確性與效率。模型自 12 月 2 日起全面上線，覆蓋云端、數(shù)據(jù)中心、邊緣等場景。

憑借 41B 活躍參數(shù)、675B 總參數(shù)及 256K 上下文窗口，Mistral Large 3 實(shí)現(xiàn)了可擴(kuò)展、高效且具有自適應(yīng)性的企業(yè)級 AI 工作負(fù)載。

通過整合 NVIDIA Grace Blackwell 機(jī)架級擴(kuò)展系統(tǒng)與 Mistral AI 的 MoE 架構(gòu)，企業(yè)可借助先進(jìn)的并行計(jì)算與硬件優(yōu)化技術(shù)，高效部署并擴(kuò)展大型 AI 模型。

該整合成為 Mistral AI 邁向其倡導(dǎo)的“分布式智能”時(shí)代的重要一步，彌合了研究突破與實(shí)際應(yīng)用之間的差距。

該模型采用精細(xì)化 MoE 架構(gòu)，通過調(diào)用 NVIDIA NVLink 的協(xié)同內(nèi)存域及寬專家并行的優(yōu)化技術(shù)，充分發(fā)揮大規(guī)模專家并行的性能優(yōu)勢。

這些優(yōu)勢與保持準(zhǔn)確性的低精度 NVFP4 及 NVIDIA Dynamo 分離推理優(yōu)化技術(shù)相疊加，確保大規(guī)模訓(xùn)練與推理達(dá)到極佳性能。

在 NVIDIA Grace Blackwell 機(jī)架級擴(kuò)展系統(tǒng)上，Mistral Large 3 的性能較基于前代 NVIDIA Hopper GPU 提升了 10 倍。這種代際飛躍帶來了更好的用戶體驗(yàn)、更低的單 token 成本及更高的能效。

Mistral AI 不僅推動(dòng)了前沿大語言模型技術(shù)的發(fā)展，還發(fā)布了九款小語言模型，助力開發(fā)者在任意環(huán)境中運(yùn)行 AI。

緊湊型的 Ministral 3 套件經(jīng)過優(yōu)化，可在 NVIDIA 的邊緣平臺(tái)運(yùn)行，包括 NVIDIA Spark、RTX PC 或筆記本及 NVIDIA Jetson 設(shè)備。

NVIDIA 與 Llama.cpp、Ollama 等頂尖的 AI 框架合作，確保能夠在邊緣的 NVIDIA GPU 上達(dá)到優(yōu)異性能。

開發(fā)者和愛好者現(xiàn)可通過 Llama.cpp 和 Ollama 體驗(yàn) Ministral 3 套件中快速、高效的邊緣 AI。

Mistral 3 模型系列現(xiàn)已上線，在助力全球研究者與開發(fā)者試驗(yàn)、定制和加速 AI 創(chuàng)新的同時(shí)，推動(dòng)前沿技術(shù)全民化。

通過將 Mistral AI 模型連接到用于 AI 智能體生命周期開發(fā)的開源 NVIDIA NeMo 工具 (例如 Data Designer、Customizer、Guardrails 和 NeMo Agent Toolkit)，企業(yè)可根據(jù)自身用例進(jìn)一步定制這些模型，從而加速從原型到生產(chǎn)的轉(zhuǎn)化。

為了實(shí)現(xiàn)云端到邊緣的高效運(yùn)算，NVIDIA 針對 Mistral 3 系列模型優(yōu)化了包括 NVIDIA TensorRT LLM、SGLang 和 vLLM 在內(nèi)的推理框架。

Mistral 3 現(xiàn)已登陸主流開源平臺(tái)及云服務(wù)提供商。此外，該系列模型很快將能以 NVIDIA NIM 的形式部署。

無論 AI 需要應(yīng)用于何種場景，這些模型均已就緒。