Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來了新進(jìn)展。10月24日，Meta正式推出了這兩個(gè)模型的量化版本，旨在進(jìn)一步優(yōu)化模型性能，拓寬其應(yīng)用場景。
據(jù)Meta介紹，量化后的Llama 3.2模型在大小上平均減少了56%，RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運(yùn)行過程中能夠占用更少的資源，同時(shí)速度提高了2至4倍。此外，量化后的模型還降低了功耗，這對于將其部署到移動設(shè)備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型，不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力，也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動設(shè)備上的廣泛應(yīng)用，人工智能將更深入地融入人們的日常生活，為社會帶來更多的便利和可能性。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1814文章
49955瀏覽量
263615 -
開源
+關(guān)注
關(guān)注
3文章
4124瀏覽量
45767 -
Meta
+關(guān)注
關(guān)注
0文章
318瀏覽量
12390
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
【CIE全國RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
8GB 物理內(nèi)存 （且操作系統(tǒng)還要占用約 500MB+）。
結(jié)論 ：如果直接照搬官方文檔下載 Q4 模型， 100% 會因?yàn)閮?nèi)存不足（OOM）而無法運(yùn)行 。
為了滿足賽題要求，必須采用 “極限量化
發(fā)表于 11-27 14:43
下一波輕量化AI+AR眼鏡熱潮將至
近期，Meta發(fā)布了今年第二季度的財(cái)報(bào)，2025 年第二季度，Meta Reality Labs共實(shí)現(xiàn)了 3.7 億美元的收入，比 2024 年第二季度的 3.53 億美元增長 5%。在這增長背后的主要原因，是輕
利用Arm i8mm指令優(yōu)化llama.cpp
本文將為你介紹如何利用 Arm i8mm 指令，具體來說，是通過帶符號 8 位整數(shù)矩陣乘加指令 smmla，來優(yōu)化 llama.cpp 中 Q6_K 和 Q4_K 量化模型推理。
使用 NPU 插件對量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
瑞芯微模型量化文件構(gòu)建
模型是一張圖片輸入時(shí)，量化文件如上圖所示。但是我現(xiàn)在想量化deepprivacy人臉匿名模型，他的輸入是四個(gè)輸入。該模型訓(xùn)練時(shí)數(shù)據(jù)集只標(biāo)注
發(fā)表于 06-13 09:07
今日看點(diǎn)丨臺積電、Intel合資運(yùn)營代工業(yè)務(wù)；韓國計(jì)劃向當(dāng)?shù)仄囆袠I(yè)注入3萬億韓元援助
1. Meta 發(fā)布人工智能新模型系列 Llama 4 ，首次采用“混合專家”架構(gòu) ? 當(dāng)?shù)貢r(shí)間周六(4月5日)，美國科技巨頭Meta推出了
發(fā)表于 04-07 11:26
?608次閱讀
IBM發(fā)布全新Granite 3.2 AI模型
Granite 3.2 是小型的 AI 模型，通過對開發(fā)人員友好的授權(quán)條款，提供推理、視覺和護(hù)欄功能。
是否可以輸入隨機(jī)數(shù)據(jù)集來生成INT8訓(xùn)練后量化模型？
無法確定是否可以輸入隨機(jī)數(shù)據(jù)集來生成 INT8 訓(xùn)練后量化模型。
發(fā)表于 03-06 06:45
無法在OVMS上運(yùn)行來自Meta的大型語言模型 （LLM），為什么?
無法在 OVMS 上運(yùn)行來自 Meta 的大型語言模型 （LLM），例如 LLaMa2。
從 OVMS GitHub* 存儲庫運(yùn)行 llama_chat Python* Demo 時(shí)
發(fā)表于 03-05 08:07
一種基于正交與縮放變換的大模型量化方法
近年來，大規(guī)模語言模型（Large Language Models, LLMs）在自然語言處理領(lǐng)域取得了革命性進(jìn)展。以 GPT 系列、LLaMA 等為代表的模型，通過千億級參數(shù)的復(fù)雜結(jié)構(gòu)展現(xiàn)出強(qiáng)大的語義理解和生成能力。
普渡機(jī)器人接入DeepSeek滿血版模型
自2月20日起，普渡機(jī)器人正式接入DeepSeek滿血版模型，機(jī)器人智能語音交互能力迎來智能化升級里程碑！此次升級中，首批搭載該模型的貝拉Pro機(jī)器人已在部分商超落地測試，后續(xù)將逐步推廣至其他機(jī)型及場景。
K1 AI CPU基于llama.cpp與Ollama的大模型部署實(shí)踐
AICPU芯片，已于今年4月份發(fā)布。下面我們以K1為例，結(jié)合llama.cpp來展示AICPU在大模型領(lǐng)域的優(yōu)勢。
寧暢推出DeepSeek大模型一體機(jī)
為加速人工智能大模型技術(shù)在企業(yè)級場景中的規(guī)模化落地，寧暢正式發(fā)布DeepSeek大模型一體機(jī)解決方案。作為一款面向企業(yè)的“開箱即用”智能算力平臺，寧暢大模型一體機(jī)，搭載業(yè)界領(lǐng)先的Dee
Meta組建四大專研小組，深入探索DeepSeek模型
近日，據(jù)報(bào)道，臉書母公司Meta為了提升其大模型Llama的性能，專門成立了四個(gè)研究小組，深入探索量化巨頭幻方量化旗下的國產(chǎn)大
工商網(wǎng)監(jiān)
評論