AMD發(fā)布首款小語(yǔ)言AI模型Llama-135m
近日，AMD在Huggingface平臺(tái)上正式推出了自家首款“小語(yǔ)言模型”——AMD-Llama-135m。這款模型以其獨(dú)特的推測(cè)解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個(gè)token，并采用了Apache 2.0開(kāi)源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測(cè)解碼”能力，這一功能的基本原理是通過(guò)使用一個(gè)小型草稿模型來(lái)生成一組候選token，然后由更大的目標(biāo)模型對(duì)這些候選token進(jìn)行驗(yàn)證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個(gè)token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測(cè)解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實(shí)現(xiàn)了更加高效的計(jì)算和存儲(chǔ)資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來(lái)，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
amd
+關(guān)注
關(guān)注
25文章
5586瀏覽量
136340 -
AI
+關(guān)注
關(guān)注
88文章
35109瀏覽量
279631 -
模型
+關(guān)注
關(guān)注
1文章
3519瀏覽量
50414
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無(wú)符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
NVIDIA推出開(kāi)放式Llama Nemotron系列模型
作為 NVIDIA NIM 微服務(wù)，開(kāi)放式 Llama Nemotron 大語(yǔ)言模型和 Cosmos Nemotron 視覺(jué)語(yǔ)言模型可在任何
極空間私有云聯(lián)合UnifyDrive亮相CES：發(fā)布全球首款大語(yǔ)言模型 AI NAS
的是，作為國(guó)內(nèi)領(lǐng)先的網(wǎng)絡(luò)存儲(chǔ)品牌極空間私有云此次聯(lián)合UnifyDrive宣布推出全球首款配備大語(yǔ)言模型（LLM）的AINAS，同時(shí)也是全球首
Meta重磅發(fā)布Llama 3.3 70B：開(kāi)源AI模型的新里程碑
新的高度。 一，技術(shù)突破：開(kāi)源智能的新高度 Llama 3.3 70B 模型的發(fā)布，標(biāo)志著開(kāi)源AI模型在智能水平上的一大飛躍。它不僅達(dá)到了之
使用NVIDIA TensorRT提升Llama 3.2性能
Llama 3.2 模型集擴(kuò)展了 Meta Llama 開(kāi)源模型集的模型陣容，包含視覺(jué)語(yǔ)言
AMD發(fā)布10億參數(shù)開(kāi)源AI模型OLMo
AMD公司近日宣布了一項(xiàng)重大進(jìn)展，推出了首個(gè)完全開(kāi)放的10億參數(shù)語(yǔ)言模型系列——AMD OLMo。這一舉措為開(kāi)發(fā)者和研究人員提供了強(qiáng)大的AI
Llama 3 與開(kāi)源AI模型的關(guān)系
在人工智能（AI）的快速發(fā)展中，開(kāi)源AI模型扮演著越來(lái)越重要的角色。它們不僅推動(dòng)了技術(shù)的創(chuàng)新，還促進(jìn)了全球開(kāi)發(fā)者社區(qū)的合作。Llama 3，作為一個(gè)新興的
Llama 3 模型與其他AI工具對(duì)比
Llama 3模型與其他AI工具的對(duì)比可以從多個(gè)維度進(jìn)行，包括但不限于技術(shù)架構(gòu)、性能表現(xiàn)、應(yīng)用場(chǎng)景、定制化能力、開(kāi)源與成本等方面。以下是對(duì)Llama 3
Llama 3 語(yǔ)言模型應(yīng)用
在人工智能領(lǐng)域，語(yǔ)言模型的發(fā)展一直是研究的熱點(diǎn)。隨著技術(shù)的不斷進(jìn)步，我們見(jiàn)證了從簡(jiǎn)單的關(guān)鍵詞匹配到復(fù)雜的上下文理解的轉(zhuǎn)變。 一、Llama 3 語(yǔ)言
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發(fā)布了Llama3.2：一個(gè)多語(yǔ)言大型語(yǔ)言
亞馬遜云科技上線Meta Llama 3.2模型
亞馬遜云科技近日宣布，Meta公司的新一代模型Llama 3.2已在其平臺(tái)上正式上線。該模型包括Meta首款多模態(tài)
亞馬遜云科技正式上線Meta Llama 3.2模型
亞馬遜云科技宣布，Meta的新一代模型Llama 3.2，包括其首款多模態(tài)模型，現(xiàn)已在Amazon Bedrock和Amazon SageM
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個(gè)AI大模型是源自 Meta 公司的
Meta發(fā)布全新開(kāi)源大模型Llama 3.1
科技巨頭Meta近期震撼發(fā)布了其最新的開(kāi)源人工智能（AI）模型——Llama 3.1，這一舉措標(biāo)志著Meta在AI領(lǐng)域的又一重大突破。Met
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企業(yè)和各國(guó)現(xiàn)在能夠使用自有數(shù)據(jù)與 Llama 3.1 405B 和 NVIDIA Nemotron 模型配對(duì)，來(lái)構(gòu)建“超級(jí)模型” NVIDIA
發(fā)表于 07-24 09:39
?916次閱讀
工商網(wǎng)監(jiān)
評(píng)論