Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來了新進展。10月24日，Meta正式推出了這兩個模型的量化版本，旨在進一步優(yōu)化模型性能，拓寬其應用場景。
據(jù)Meta介紹，量化后的Llama 3.2模型在大小上平均減少了56%，RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運行過程中能夠占用更少的資源，同時速度提高了2至4倍。此外，量化后的模型還降低了功耗，這對于將其部署到移動設備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型，不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力，也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動設備上的廣泛應用，人工智能將更深入地融入人們的日常生活，為社會帶來更多的便利和可能性。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
人工智能
+關(guān)注
關(guān)注
1820文章
50324瀏覽量
266940 -
開源
+關(guān)注
關(guān)注
3文章
4346瀏覽量
46442 -
Meta
+關(guān)注
關(guān)注
0文章
325瀏覽量
12496
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
后量化模型在 iMX93 NPU 上運行，但輸出不正確怎么解決
我正在使用 MobileNet 的自定義實現(xiàn)，旨在對 spark 進行二進制分類。轉(zhuǎn)換為 tflite 并將其量化為 int8 后，模型按預期在 NPU 上運行，但輸出沒有意義。該模型在量化
發(fā)表于 03-18 07:53
AWQ/GPTQ量化模型加載與顯存優(yōu)化實戰(zhàn)
大語言模型（LLM）推理顯存需求呈指數(shù)級增長，70B參數(shù)的模型需要約140GB顯存（FP16），遠超單卡GPU容量。量化技術(shù)通過降低模型參數(shù)精度（從FP16到INT4），在精度損失最小
正面對決GPT-5和Germini-3，DeepSeek-V3.2震撼發(fā)布
12月1日，中國 AI創(chuàng)新企業(yè) DeepSeek 再度加速技術(shù)迭代，今日宣布推出 DeepSeek-V3.2 與 V3.2-Speciale 兩款模型。公司在官網(wǎng)上指出，DeepSeek-V3
【CIE全國RISC-V創(chuàng)新應用大賽】基于 K1 AI CPU 的大模型部署落地
8GB 物理內(nèi)存 （且操作系統(tǒng)還要占用約 500MB+）。
結(jié)論 ：如果直接照搬官方文檔下載 Q4 模型， 100% 會因為內(nèi)存不足（OOM）而無法運行 。
為了滿足賽題要求，必須采用 “極限量化
發(fā)表于 11-27 14:43
新思科技SLM解決方案守護AI芯片萬億算力
2024年，Meta訓練了一款AI模型“Llama 3”，并將相關(guān)訓練成果匯總發(fā)表了一篇論文，受到廣泛關(guān)注。在為期54天的預訓練過程中，Llama 3遭遇了466次訓練中斷，其中意外中
Arm與Meta深化戰(zhàn)略合作
智能的毫瓦級設備，到訓練全球最先進 AI 模型的兆瓦級系統(tǒng)，此次合作將推動 AI 覆蓋多種計算類型、工作負載及使用體驗，為 Meta 的全球平臺提供核心支撐。
寒武紀成功適配DeepSeek-V3.2-Exp模型
2025年9月29日，寒武紀已同步實現(xiàn)對深度求索公司最新模型DeepSeek-V3.2-Exp的適配，并開源大模型推理引擎vLLM-MLU源代碼。代碼地址和測試步驟見文末，開發(fā)者可以在寒武紀軟硬件平臺上第一時間體驗DeepSee
大規(guī)模專家并行模型在TensorRT-LLM的設計
DeepSeek-V3 / R1 等模型采用大規(guī)模細粒度混合專家模型 (MoE) 架構(gòu)，大幅提升了開源模型的質(zhì)量。Llama 4 和 Qwen3 等新
下一波輕量化AI+AR眼鏡熱潮將至
近期，Meta發(fā)布了今年第二季度的財報，2025 年第二季度，Meta Reality Labs共實現(xiàn)了 3.7 億美元的收入，比 2024 年第二季度的 3.53 億美元增長 5%。在這增長背后的主要原因，是輕
利用Arm i8mm指令優(yōu)化llama.cpp
本文將為你介紹如何利用 Arm i8mm 指令，具體來說，是通過帶符號 8 位整數(shù)矩陣乘加指令 smmla，來優(yōu)化 llama.cpp 中 Q6_K 和 Q4_K 量化模型推理。
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
2.0.0版本的ST Edge AI Core在linux平臺上可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運行報錯，缺少文件，為什么？
2.0.0版本的ST Edge AI Core工具在linux平臺上應該是可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運行報錯，缺少文件。
發(fā)表于 06-17 06:29
瑞芯微模型量化文件構(gòu)建
模型是一張圖片輸入時，量化文件如上圖所示。但是我現(xiàn)在想量化deepprivacy人臉匿名模型，他的輸入是四個輸入。該模型訓練時數(shù)據(jù)集只標注
發(fā)表于 06-13 09:07
探索在Arm平臺運行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當今的開源大語言模型不僅功能強大，而且在設計時充分考慮了實際部署的需求，因而具有輕量化和經(jīng)濟高效的特點，可大規(guī)模部署到數(shù)十億臺設備上。簡而言之，對于開發(fā)者可能想到的各種情形，當今的開源大語言
評論