大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果?？梢钥吹?，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
無損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8585 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8726 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4665 -
大模型
+關(guān)注
關(guān)注
2文章
3432瀏覽量
4952
原文標(biāo)題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號：OSC開源社區(qū)，微信公眾號：OSC開源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
，AI 模型體積龐大，部署在 NPU上常常面臨困難，這凸顯了模型壓縮技術(shù)的重要性。要實(shí)現(xiàn)高效的實(shí)時(shí)邊緣 AI，需要深入探討NPU 與模型壓縮
利用自壓縮實(shí)現(xiàn)大型語言模型高效縮減
隨著語言模型規(guī)模日益龐大，設(shè)備端推理變得越來越緩慢且耗能巨大。一個(gè)直接且效果出人意料的解決方案是剪除那些對任務(wù)貢獻(xiàn)甚微的完整通道（channel）。我們早期的研究提出了一種訓(xùn)練階段的方法——自壓縮
小白學(xué)大模型：從零實(shí)現(xiàn) LLM語言模型
在當(dāng)今人工智能領(lǐng)域，大型語言模型（LLM）的開發(fā)已經(jīng)成為一個(gè)熱門話題。這些模型通過學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語言文本，完成各種復(fù)雜的任務(wù)，如寫作、翻譯、問答等。https
?VLM（視覺語言模型）?詳細(xì)解析
視覺語言模型（Visual Language Model, VLM）是一種結(jié)合視覺（圖像/視頻）和語言（文本）處理能力的多模態(tài)人工智能模型，能夠理解并生成與視覺內(nèi)容相關(guān)的自然
大語言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)
本文系統(tǒng)性地闡述了大型語言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實(shí)踐應(yīng)用。通過深入分析各類解碼算法的工作機(jī)制、性能特征和優(yōu)化方法，為研究者和工程師提供了全面
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-CLZO Data Compression Core/無損數(shù)據(jù)壓縮IP CoreLZOAccel-C是一個(gè)無損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)
發(fā)表于 01-24 23:53
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-C是一個(gè)無損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)。Core接收未壓縮的輸入數(shù)據(jù)塊，產(chǎn)生壓縮后的數(shù)據(jù)塊。輸入的數(shù)據(jù)塊可以被分段，并且不同數(shù)據(jù)塊的分段
AI大語言模型開發(fā)步驟
開發(fā)一個(gè)高效、準(zhǔn)確的大語言模型是一個(gè)復(fù)雜且多階段的過程，涉及數(shù)據(jù)收集與預(yù)處理、模型架構(gòu)設(shè)計(jì)、訓(xùn)練與優(yōu)化、評估與調(diào)試等多個(gè)環(huán)節(jié)。接下來，AI部落小編為大家詳細(xì)闡述AI大語言
大語言模型開發(fā)框架是什么
大語言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語言模型的軟件工具和庫。下面，AI部落小編為您介紹大語言模
如何優(yōu)化自然語言處理模型的性能
優(yōu)化自然語言處理（NLP）模型的性能是一個(gè)多方面的任務(wù)，涉及數(shù)據(jù)預(yù)處理、特征工程、模型選擇、模型調(diào)參、模
大語言模型開發(fā)語言是什么
在人工智能領(lǐng)域，大語言模型（Large Language Models, LLMs）背后，離不開高效的開發(fā)語言和工具的支持。下面，AI部落小編為您介紹大語言
云端語言模型開發(fā)方法
云端語言模型的開發(fā)是一個(gè)復(fù)雜而系統(tǒng)的過程，涉及數(shù)據(jù)準(zhǔn)備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個(gè)環(huán)節(jié)。下面，AI部落小編為您分享云端語言模型的開發(fā)
百問FB顯示開發(fā)圖像處理 - PNG圖像處理
2.3 PNG圖像處理
2.3.1 PNG文件格式和libpng編譯
?跟JPEG文件格式一樣，PNG也是一種使用了算法壓縮后的圖像格式，與JPEG不同，
發(fā)表于 12-02 09:25
工商網(wǎng)監(jiān)
評論