英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個(gè)AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型，基于使用了神經(jīng)架構(gòu)搜索（NAS）方法，推理速度比原70B大模型提升2.2倍，具備更準(zhǔn)確和更高效的運(yùn)算效率；能夠大幅降低運(yùn)行成本。
通過NAS技術(shù)微調(diào)；大幅降低了內(nèi)存消耗、計(jì)算復(fù)雜性；Llama-3.1-Nemotron-51B AI 模型在單個(gè)H100 GPU上的表現(xiàn)非常優(yōu)秀，在推理過程中可以在單個(gè) GPU 上運(yùn)行 4 倍以上的工作負(fù)載。這使得單片H100 GPU即可處理更大型的推理任務(wù)；這無疑是顯著的降低了訓(xùn)練成本。這為AI提供了高效、經(jīng)濟(jì)的方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4015瀏覽量
96806 -
AI大模型
+關(guān)注
關(guān)注
0文章
391瀏覽量
892
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-
發(fā)表于 06-25 07:20
首創(chuàng)開源架構(gòu)，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
AI的演進(jìn)正在逼近“終端智能涌現(xiàn)”的拐點(diǎn)，從通用模型向場(chǎng)景落地遷移成為關(guān)鍵議題。聯(lián)發(fā)科以“AI隨芯，應(yīng)用無界”為主題召開天璣開發(fā)者大會(huì)2025（MDDC 2025），不僅聚合了全球生態(tài)資源，還
發(fā)表于 04-13 19:52
英偉達(dá)Cosmos-Reason1 模型深度解讀
英偉達(dá)近期發(fā)布的 Cosmos-Reason1 模型在物理常識(shí)推理領(lǐng)域引發(fā)廣泛關(guān)注。作為專為物理世界交互設(shè)計(jì)的多模態(tài)大語言模型，它通過融合視
NVIDIA 推出開放推理 AI 模型系列，助力開發(fā)者和企業(yè)構(gòu)建代理式 AI 平臺(tái)
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ)，助力構(gòu)建能夠獨(dú)立工作或以團(tuán)隊(duì)形式完成復(fù)雜
發(fā)表于 03-19 09:31
?300次閱讀
K1 AI CPU基于llama.cpp與Ollama的大模型部署實(shí)踐
AICPU芯片，已于今年4月份發(fā)布。下面我們以K1為例，結(jié)合llama.cpp來展示AICPU在大模型領(lǐng)域的優(yōu)勢(shì)。
IBM在watsonx.ai平臺(tái)推出DeepSeek R1蒸餾模型
IBM近日宣布了一項(xiàng)重要更新，為其企業(yè)級(jí)AI開發(fā)平臺(tái)watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和
在算力魔方上本地部署Phi-4模型
?作者：算力魔方創(chuàng)始人/英特爾邊緣計(jì)算創(chuàng)新大使 劉力 前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑》，
英偉達(dá)發(fā)布Nemotron-CC大型AI訓(xùn)練數(shù)據(jù)庫
近日，英偉達(dá)在其官方博客上宣布了一項(xiàng)重大進(jìn)展，推出了一款名為Nemotron-CC的大型英文AI訓(xùn)練數(shù)據(jù)庫。這一數(shù)據(jù)庫的發(fā)布，標(biāo)志著
NVIDIA推出開放式Llama Nemotron系列模型
作為 NVIDIA NIM 微服務(wù)，開放式 Llama Nemotron 大語言模型和 Cosmos Nemotron 視覺語言模型可在任何
英偉達(dá)發(fā)布Cosmos世界基礎(chǔ)模型
近日，在2025年1月6日于拉斯維加斯拉開帷幕的國際消費(fèi)類電子產(chǎn)品展覽會(huì)(CES)上，英偉達(dá)宣布了一項(xiàng)重大創(chuàng)新——Cosmos世界基礎(chǔ)模型平臺(tái)。該平臺(tái)集成了先進(jìn)的生成世界基礎(chǔ)模型，旨在
Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑
新的高度。 一，技術(shù)突破：開源智能的新高度 Llama 3.3 70B 模型的發(fā)布，標(biāo)志著開源AI模型
Meta推出Llama 3.3 70B，AI大模型競(jìng)爭白熱化
在今年的AI領(lǐng)域，Meta也不甘落后，推出了其壓軸之作——Llama 3.3 70B大模型。與此同時(shí)，馬斯克的xAI也宣布其Grok模型從今
Llama 3 與開源AI模型的關(guān)系
在人工智能（AI）的快速發(fā)展中，開源AI模型扮演著越來越重要的角色。它們不僅推動(dòng)了技術(shù)的創(chuàng)新，還促進(jìn)了全球開發(fā)者社區(qū)的合作。Llama 3，作為一個(gè)新興的
Llama 3 模型與其他AI工具對(duì)比
Llama 3模型與其他AI工具的對(duì)比可以從多個(gè)維度進(jìn)行，包括但不限于技術(shù)架構(gòu)、性能表現(xiàn)、應(yīng)用場(chǎng)景、定制化能力、開源與成本等方面。以下是對(duì)Llama 3
工商網(wǎng)監(jiān)
評(píng)論