幻方量化旗下組織深度求索發(fā)布了國內(nèi)首個開源 MoE 大模型 ——DeepSeekMoE，全新架構(gòu)，免費(fèi)商用。

今年 4 月，幻方量化發(fā)布公告稱，公司將集中資源和力量，全力投身到服務(wù)于全人類共同利益的人工智能技術(shù)之中，成立新的獨(dú)立研究組織，探索 AGI 的本質(zhì)。幻方將這個新組織命名為 “深度求索 (DeepSeek)”。

DeepSeekMoE 的模型、代碼、論文均已同步發(fā)布。

模型下載：https://huggingface.co/deepseek-ai

微調(diào)代碼：https://github.com/deepseek-ai/DeepSeek-MoE

技術(shù)報告：https://github.com/deepseek-ai/DeepSeek-MoE/blob/main/DeepSeekMoE.pdf

據(jù)介紹，DeepSeekMoE 的多尺度（2B->16B->145B）模型效果均領(lǐng)先：

DeepSeekMoE-2B 可接近 MoE 模型的理論上限2B Dense 模型性能（即相同 Attention/FFN 參數(shù)配比的 2B Dense 模型），僅用了 17.5% 計算量

DeepSeekMoE-16B 性能比肩 LLaMA2 7B 的同時，僅用了 40% 計算量，也是本次主力開源模型，40G 顯存可單卡部署

DeepSeekMoE-145B 上的早期實(shí)驗(yàn)進(jìn)一步證明該 MoE 架構(gòu)明顯領(lǐng)先于 Google 的 MoE 架構(gòu) GShard，僅用 28.5%（甚至 18.2%）計算量即可匹配 67B Dense 模型的性能

混合專家模型 (Mixed Expert Models，簡稱 MoEs)是用于提高大語言模型效率和準(zhǔn)確度的技術(shù)。這種方法的核心是將復(fù)雜任務(wù)劃分為更小、更易管理的子任務(wù)，每個子任務(wù)由專門的小型模型或 “專家” 負(fù)責(zé)，然后根據(jù)輸入數(shù)據(jù)的特性選擇性地激活這些 “專家”。 MoE 核心組成：

專家 (Experts)：訓(xùn)練有素的小型神經(jīng)網(wǎng)絡(luò)，擅長特定領(lǐng)域。每個專家通常專注于處理一種特定類型的數(shù)據(jù)或任務(wù)。專家的設(shè)計可以是多種形式，如完全連接的網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)等。

門控機(jī)制 (Gating Mechanism)：MoE 架構(gòu)決策者，這是一個智能路由系統(tǒng)，負(fù)責(zé)決定哪些專家應(yīng)該被激活來處理當(dāng)前的輸入數(shù)據(jù)。門控機(jī)制基于輸入數(shù)據(jù)的特性，動態(tài)地將數(shù)據(jù)分配給不同的專家。

官方稱 DeepSeekMoE 是自研的全新 MoE 框架，主要包含兩大創(chuàng)新：

細(xì)粒度專家劃分：不同于傳統(tǒng) MoE 直接從與標(biāo)準(zhǔn) FFN 大小相同的 N 個專家里選擇激活 K 個專家（如 Mistral 7B8 采取 8 個專家選 2 專家），DeepSeekMoE把 N 個專家粒度劃分更細(xì)，在保證激活參數(shù)量不變的情況下，從 mN 個專家中選擇激活 mK 個專家（如 DeepSeekMoE 16B 采取 64 個專家選 8 個專家），如此可以更加靈活地組合多個專家

共享專家分離：DeepSeekMoE 把激活專家區(qū)分為共享專家（Shared Expert）和獨(dú)立路由專家（Routed Expert），此舉有利于將共享和通用的知識壓縮進(jìn)公共參數(shù)，減少獨(dú)立路由專家參數(shù)之間的知識冗余

審核編輯：劉清