背景

春節(jié)前，國產(chǎn)大模型 DeepSeek 橫空出世，迅速成為AI領(lǐng)域的焦點。作為端側(cè)AI能效比優(yōu)異的 AX650N、AX630C 芯片平臺早已在節(jié)前完成 DeepSeek R1 蒸餾版本 1.5B、7B、8B 的適配，并在春節(jié)期間，海外開發(fā)者已基于 AX630C 平臺順利復(fù)現(xiàn)，DeepSeek 端側(cè)部署順利出海！

本文將通過走馬觀花的方式，分享基于愛芯元智的 AX650N、AX630C 芯片適配 DeepSeek R1 系列模型的最新進展，向業(yè)界對端側(cè)大模型部署的開發(fā)者提供一種新的思路，促進社區(qū)對端側(cè)大模型的探索。

DeepSeek R1 介紹

DeepSeek R1 是幻方量化旗下大模型公司 DeepSeek 研發(fā)的系列推理模型，自誕生起就備受矚目。它采用強化學(xué)習(xí)訓(xùn)練，推理時包含大量反思和驗證，思維鏈長度可達數(shù)萬字。在數(shù)學(xué)、代碼以及復(fù)雜邏輯推理任務(wù)上，DeepSeek R1 有著出色的表現(xiàn)，能取得媲美 OpenAI o1 的推理效果，還能為用戶展現(xiàn)完整的思考過程。

官方鏈接：https://www.deepseek.com/

論文：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek R1 部署

考慮到端側(cè)AI芯片資源的局限性，我們選擇部署 DeepSeek-R1-Distill-Qwen-1.5B 版本進行展示。感興趣的朋友可以通過我們的Pulsar2工具鏈

（https://pulsar2-docs.readthedocs.io/zh-cn/latest/appendix/build_llm.html）

轉(zhuǎn)換 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B 等模型。

為了方便快速嘗鮮，我們已經(jīng)開源基于 AX650N、AX630C 適配好的模型。

模型獲取

可以從 Huggingface 上獲?。?/p>

https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B

上板運行

AX650N：

AX630C：

結(jié)束語

隨著大語言模型小型化的快速發(fā)展，特別是 DeepSeek 推動了大模型的技術(shù)平權(quán)，相信從今年開始越來越多有趣的大模型應(yīng)用將逐漸從云端服務(wù)遷移到端側(cè)設(shè)備，高效AI推理芯片的應(yīng)用也將迎來更廣闊的天地。而愛芯元智作為專注于邊端側(cè)的智能芯片平臺，必將大有用武之地。

更多開源大模型適配案例請參考：

https://github.com/AXERA-TECH/ax-llm。