AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標(biāo)模型對這些候選token進(jìn)行驗證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實現(xiàn)了更加高效的計算和存儲資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
amd
+關(guān)注
關(guān)注
25文章
5669瀏覽量
139431 -
AI
+關(guān)注
關(guān)注
91文章
39117瀏覽量
299707 -
模型
+關(guān)注
關(guān)注
1文章
3692瀏覽量
51948
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
【CIE全國RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系統(tǒng)部署方案書 (System Proposal)
方案要點
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進(jìn)制包。
模型策略 ：采用
發(fā)表于 11-27 14:43
AMD Vitis AI 5.1測試版現(xiàn)已開放下載
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元（ NPU ）的支持。Vit
AMD Vitis AI 5.1測試版發(fā)布
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元 (NPU) 的支持。Vit
皓麗全球首款四攝AI會議平板：AI全視之眼 + AI智會大模型雙加持
2025年，智能會議設(shè)備市場迎來里程碑式突破——連續(xù)多年蟬聯(lián)電商銷量冠軍的皓麗（Horion）正式推出全球首款四攝AI會議平板，以“AI全視之眼+A
深蘭科技發(fā)布全球首款兒童心理健康AI陪伴玩偶產(chǎn)品
近日，深蘭科技在上海舉辦“AI機器人場景應(yīng)用渠道合作峰會”，會議上重磅發(fā)布了全球首款兒童心理健康AI陪伴玩偶產(chǎn)品，標(biāo)志著深蘭科技叩響C端消費
使用 NPU 插件對量化的 Llama 3.1 8b 模型進(jìn)行推理時出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
首創(chuàng)開源架構(gòu)，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
模型、通義千問、混元等多種先進(jìn)端側(cè)大模型，還包含視覺、語言、多模態(tài)等多種多樣的大模型，開發(fā)者可以通過Gen-AI Model Hub一鍵調(diào)用
發(fā)表于 04-13 19:52
人民網(wǎng)發(fā)布首款智能硬件AI之眼
昨天，在成都舉辦的第十二屆中國網(wǎng)絡(luò)視聽大會智慧媒體論壇上，人民網(wǎng)正式發(fā)布了智能硬件“AI之眼”。據(jù)悉，此次發(fā)布的“AI之眼”1.0版本名叫“AIyou（愛游）”。 這也是人民網(wǎng)研發(fā)的
銷售易在騰訊云城市峰會上發(fā)布中國首款AI CRM
各行各業(yè)的200余位來賓共同探討AI時代下客戶數(shù)字化轉(zhuǎn)型的新路徑。 會上,銷售易發(fā)布 中國首款AI CRM——NeoAgent?產(chǎn)品矩陣和C
無法在OVMS上運行來自Meta的大型語言模型 （LLM），為什么?
無法在 OVMS 上運行來自 Meta 的大型語言模型 （LLM），例如 LLaMa2。
從 OVMS GitHub* 存儲庫運行 llama_chat Python* Demo 時
發(fā)表于 03-05 08:07
K1 AI CPU基于llama.cpp與Ollama的大模型部署實踐
AICPU芯片，已于今年4月份發(fā)布。下面我們以K1為例，結(jié)合llama.cpp來展示AICPU在大模型領(lǐng)域的優(yōu)勢。
添越智創(chuàng)基于 RK3588 開發(fā)板部署測試 DeepSeek 模型全攻略
在 AI 技術(shù)日新月異的當(dāng)下，新的模型與突破不斷涌現(xiàn)。近期，DeepSeek（深度求索）模型以其卓越性能和親民成本，迅速在全球開發(fā)者圈子里引發(fā)熱議。作為一款強大的
發(fā)表于 02-14 17:42
IBM在watsonx.ai平臺推出DeepSeek R1蒸餾模型
IBM近日宣布了一項重要更新，為其企業(yè)級AI開發(fā)平臺watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和Llama 3.3 70b蒸餾版本。這一舉措旨在通過先進(jìn)
Hugging Face推出最小AI視覺語言模型
Hugging Face平臺于1月23日發(fā)布博文，推出了兩款令人矚目的輕量級AI模型——SmolVLM-256M-Instruct和Smol
工商網(wǎng)監(jiān)
評論