作者 / 資深開發(fā)者關(guān)系工程師 Omar Sanseviero 和高級開發(fā)者關(guān)系工程師 Ian Ballantyne

從第一個 Gemma 模型于去年年初推出以來，已逐漸發(fā)展為生機勃勃的 Gemmaverse 生態(tài)系統(tǒng)，累計下載量突破 1.6 億。這個生態(tài)系統(tǒng)包括十余款專業(yè)模型系列，涵蓋從安全防護到醫(yī)療應用的各領(lǐng)域。其中，最令人振奮的是來自社區(qū)的無數(shù)創(chuàng)新。從像 Roboflow 這樣的創(chuàng)新者構(gòu)建的企業(yè)級計算機視覺，到東京科學研究所創(chuàng)建的高性能日語 Gemma 變體，各位的作品為我們指明了未來的發(fā)展路徑。

乘此發(fā)展勢頭，我們宣布 Gemma 3n 現(xiàn)已全面發(fā)布。雖然預覽版已先行展示了一些功能，但這一移動設備優(yōu)先的架構(gòu)現(xiàn)在能夠發(fā)揮出全部的潛能。Gemma 3n 為幫助塑造了 Gemma 的開發(fā)者社區(qū)而生。包括 Hugging Face Transformers、llama.cpp、Google AI Edge、Ollama 和 MLX 在內(nèi)，您熟悉和慣用的多種工具都支持該模型，讓您能輕松針對特定的設備端應用進行微調(diào)和部署。本篇文章將以開發(fā)者視角深入探索，介紹 Gemma 3n 背后的一些創(chuàng)新，分享新的基準測試結(jié)果，并向您展示如何立即開始構(gòu)建。

Gemma 3n 的新功能

Gemma 3n 代表了設備端 AI 的重大進步，為邊緣設備帶來了強大的多模態(tài)功能;過去，這些性能僅在去年基于云端的一些前沿模型中有所展現(xiàn)。

多模態(tài)設計: Gemma 3n 原生支持圖像、音頻、視頻和文本輸入以及文本輸出。

針對設備端優(yōu)化: Gemma 3n 模型的設計以效率為重點，基于有效參數(shù)提供兩種尺寸: E2B 和 E4B。雖然其原始參數(shù)數(shù)量分別為 5B 和 8B，但憑借架構(gòu)創(chuàng)新，它們能夠以媲美傳統(tǒng) 2B 和 4B 模型的內(nèi)存占用運行，E2B 僅需 2GB 內(nèi)存、E4B 僅需 3GB 內(nèi)存即可運行。

突破性架構(gòu): Gemma 3n 的核心特征包括新穎的組件，如用于計算靈活性的 MatFormer 架構(gòu)、用于內(nèi)存效率的逐層嵌入 (PLE)、用于架構(gòu)效率的 LAuReL 和 AltUp，以及針對設備端用例優(yōu)化的全新音頻編碼器和基于 MobileNet-v5 的視覺編碼器。

改進的質(zhì)量: Gemma 3n 在多語言 (支持 140 種語言的文本和 35 種語言的多模態(tài)理解)、數(shù)學、編碼和推理方面的質(zhì)量均有提升。E4B 版本的 LMArena 得分超過 1,300，是首個達到該基準且參數(shù)低于 100 億的模型。

有效

https://developers.googleblog.com/zh-hans/introducing-gemma-3n-developer-guide/

要實現(xiàn)這種設備端性能的飛躍，需要從零開始，對模型進行顛覆性的重新構(gòu)思和設計，其基礎是 Gemma 3n 獨特的移動設備優(yōu)先架構(gòu)，而這一切都源于 MatFormer。

MatFormer:

一個模型，多種尺寸

Gemma 3n 的核心是 MatFormer (Matryoshka Transformer) 架構(gòu)，這是一種專為彈性推理而構(gòu)建的新型嵌套式 Transformer。您可以把它想象成俄羅斯套娃: 一個更大的模型包含著更小、功能齊全的自身版本。這種方法將 Matryoshka 表征學習的概念從嵌入層擴展到所有 Transformer 組件。

MatFormer

https://arxiv.org/abs/2310.07707

Matryoshka 表征學習

https://huggingface.co/papers/2205.13147

如上圖所示，在對 4B 有效參數(shù) (E4B) 模型進行 MatFormer 訓練期間，2B 有效參數(shù) (E2B) 子模型在其內(nèi)部同時得到優(yōu)化。這在當下為開發(fā)者提供了兩種強大的功能和用例:

預提取的模型: 您可以直接下載并使用主 E4B 模型以獲得最高級的功能，也可以使用我們已經(jīng)為您提取的獨立 E2B 子模型，獲得主模型 2 倍的推理速度。

使用混合匹配 (Mix-n-Match) 自定義調(diào)整尺寸: 為了更精細地控制以適應特定的硬件限制，您可以使用我們稱之為 "混合匹配" 的方法，創(chuàng)建介于 E2B 和 E4B 之間的各種自定義尺寸模型。此技術(shù)允許您精確切分 E4B 模型的參數(shù)，主要是通過調(diào)整每層前饋網(wǎng)絡隱藏維度 (從 8,192 到 16,384) 并選擇性地跳過某些層來實現(xiàn)。我們即將發(fā)布 MatFormer Lab，該工具可演示如何檢索這些最優(yōu)模型，這些模型是在 MMLU 等基準測試中通過評估多種配置組合而篩選出來的。

△ 不同模型尺寸的預訓練 Gemma 3n 檢查點的 MMLU 分數(shù) (使用混合匹配)

MatFormer Lab

https://goo.gle/gemma3n-matformer-lab

展望未來，MatFormer 架構(gòu)也為彈性執(zhí)行鋪平了道路。雖然這項能力并非本次發(fā)布實現(xiàn)的一部分，但它允許單個部署的 E4B 模型在 E4B 和 E2B 推理路徑之間動態(tài)切換，從而根據(jù)當前任務和設備負載，實時優(yōu)化性能和內(nèi)存用量。

逐層嵌入 (PLE):

解鎖更高的內(nèi)存效率

Gemma 3n 模型包含逐層嵌入 (PLE)。這項創(chuàng)新專為設備端部署量身定制，它在不增加設備加速器 (GPU/TPU) 所需的高速內(nèi)存占用量的情況下，顯著提升了模型質(zhì)量。

雖然 Gemma 3n E2B 和 E4B 模型的總參數(shù)量分別為 5B 和 8B，但逐層嵌入 (PLE) 技術(shù)卻能讓這些參數(shù)中的很大一部分 (即與各層相關(guān)的嵌入)，在 CPU 上高效地加載和計算。這意味著通常在更為受限的加速器內(nèi)存 (VRAM) 中，只需加載核心 Transformer 權(quán)重 (E2B 約為 2B，E4B 約為 4B)。

△ 使用逐層嵌入，您可以在加速器中僅加載約 2B 參數(shù)的情況下使用 Gemma 3n E2B

KV 緩存共享:

更迅速的長上下文處理

對于諸多先進的設備端多模態(tài)應用而言，處理長輸入 (例如源自音頻和視頻流的連續(xù)序列) 至關(guān)重要。Gemma 3n 引入了 KV 緩存共享功能，旨在極大縮短流式響應應用的首個 token 生成時間。

KV 緩存共享優(yōu)化了模型處理初始輸入階段 (通常稱為 "預填充" 階段) 的方式。將局部注意力和全局注意力中間層的鍵 (Keys) 和值 (Values) 直接與所有頂層共享，與 Gemma 3 4B 相比，預填充性能顯著提升了 2 倍。這意味著該模型可以比以前更快地注入和理解冗長的提示序列。

音頻理解:

語音轉(zhuǎn)文本和翻譯功能

Gemma 3n 使用基于通用語音模型 (USM) 的高級音頻編碼器。編碼器為每 160ms 的音頻生成一個 token (約每秒 6 個 tokens)，然后將其作為輸入集成到語言模型中，從而為模型提供高度精細的聲音上下文表征。

通用語音模型

https://arxiv.org/abs/2303.01037

這種集成的音頻功能解鎖了設備端開發(fā)的多種關(guān)鍵特性，包括:

自動語音識別 (ASR): 直接在設備端實現(xiàn)高質(zhì)量的語音轉(zhuǎn)文字。

自動語音翻譯 (AST): 將口語翻譯成另一種語言的文本。

我們觀察到，對于英語和西班牙語、法語、意大利語及葡萄牙語之間的翻譯，AST 的表現(xiàn)尤為出色，為針對這些語言的應用開發(fā)者提供了巨大潛力。對于語音翻譯等任務，利用思維鏈提示可以顯著改進結(jié)果。以下是一個示例:

```

user

Transcribe the following speech segment in Spanish, then translate it into English:

model

```

截至文章發(fā)布時，Gemma 3n 編碼器可處理長達 30 秒的音頻片段。然而，這并不是一個根本上的限制。底層的音頻編碼器是一種流式編碼器，通過額外的長篇格式音頻訓練，編碼器可以處理任意長度的音頻。后續(xù)實現(xiàn)將解鎖延遲更低、時間更長的流媒體應用。

MobileNet-V5:

最先進的全新視覺編碼器

除了集成的音頻功能外，Gemma 3n 還配備了全新的高效視覺編碼器 MobileNet-V5-300M，可為邊緣設備上的多模態(tài)任務提供最先進的性能。

MobileNet-V5 旨在為受限的硬件賦予靈活性和強大功能，為開發(fā)者提供:

支持多種輸入分辨率: 原生支持 256x256、512x512 和 768x768 像素的分辨率，讓您可以根據(jù)特定應用需求平衡性能和細節(jié)。

廣泛的視覺理解力: 該功能采用海量的多模態(tài)數(shù)據(jù)集協(xié)同訓練，擅長各種圖像和視頻理解任務。

高吞吐量: 在 Google Pixel 上每秒處理幀數(shù)高達 60 幀，實現(xiàn)設備端實時視頻分析和交互式體驗。

這種性能水平是通過多項架構(gòu)創(chuàng)新實現(xiàn)的，包括:

MobileNet-V4 模塊的先進基礎 (包括通用倒置瓶頸和移動 MQA)。

顯著擴展的架構(gòu)，采用混合深度金字塔模型，其規(guī)模是最大的 MobileNet-V4 變體的 10 倍。

一種新型的多尺度融合 VLM 適配器，可優(yōu)化 token 質(zhì)量，以提高準確性和效率。

得益于新穎的架構(gòu)設計和先進的蒸餾技術(shù)，MobileNet-V5-300M 在 Gemma 3 中的性能大大優(yōu)于基準 SoViT (使用 SigLip 訓練，無蒸餾)。在 Google Pixel Edge TPU 上，該編碼器在有量化情況下提速 13 倍 (無量化時為 6.5 倍)，所需參數(shù)減少 46%，內(nèi)存占用減少為原來的 1/4，同時在視覺-語言任務上的準確性顯著提升。

我們很期待與大家分享該模型的更多研發(fā)工作，后續(xù)即將發(fā)布的 MobileNet-V5 技術(shù)報告將深入探討模型架構(gòu)、數(shù)據(jù)擴展策略和先進的蒸餾技術(shù)。

與社區(qū)共建

我們始終將 Gemma 3n 的易用性放在首位，也非常榮幸能與眾多杰出的開源開發(fā)者合作，確保模型能在多個熱門工具和平臺得到廣泛支持，其中包括來自 AMD、Axolotl、Docker、Hugging Face、llama.cpp、LMStudio、MLX、NVIDIA、Ollama、RedHat、SGLang、Unsloth 和 vLLM 等團隊的貢獻。

這個生態(tài)系統(tǒng)僅僅是開始，這項技術(shù)的真正價值在于用它構(gòu)建的成果。正因如此，我們推出了 "Gemma 3n 挑戰(zhàn)賽"，使用 Gemma 3n 獨特的 On-Device、離線和多模態(tài)能力，打造一款造福世界的產(chǎn)品。即刻參與挑戰(zhàn)賽，提交引人注目的視頻介紹，并通過精妙的演示展現(xiàn)產(chǎn)品的現(xiàn)實影響力，就有機會贏取 15 萬美元的獎金和精美禮品!歡迎加入挑戰(zhàn)，共創(chuàng)美好未來。

開始使用 Gemma 3n

準備好即刻探索 Gemma 3n 的潛力了嗎?請查收以下攻略:

直接體驗: 只需點擊幾下，即可使用 Google AI Studio 試用 Gemma 3n。Gemma 模型也可以直接從 AI Studio 部署到 Cloud Run。

下載模型: 在 Hugging Face 和 Kaggle 上查找模型權(quán)重。

學習&集成: 深入了解我們的綜合文檔，快速將 Gemma 集成到您的項目中，或從我們的推理和微調(diào)指南開始入門。

使用您青睞的設備端 AI 工具構(gòu)建，包括 Google AI Edge Gallery/LiteRT-LLM、Ollama、MLX、llama.cpp、Docker 和 transformers.js 等。

使用您喜愛的開發(fā)工具: 利用您偏好的工具和框架，包括 Hugging Face Transformers 和 TRL、NVIDIA NeMo Framework、Unsloth 和 LMStudio。

隨心部署: Gemma 3n 提供多種部署選項，包括 Google GenAI API、Vertex AI、SGLang、vLLM 和 NVIDIA API Catalog。