2024年12月26日，DeepSeek-V3橫空出世，以其卓越性能備受矚目。該模型發(fā)布即支持昇騰，用戶可在昇騰硬件和MindIE推理引擎上實(shí)現(xiàn)高效推理，但在實(shí)際操作中，部署流程與常見問題困擾著不少開發(fā)者。

本文將為你詳細(xì)闡述昇騰DeepSeek模型部署的優(yōu)秀實(shí)踐。

昇騰DeepSeek模型部署的常見問題及解決方案見：
DeepSeek在昇騰上的模型部署 - 常見問題及解決方案
https://modelers.cn/updates/zh/modelers/20250226-deepseek-bestpractice-acend-deploy-part2/

01 硬件要求及組網(wǎng)

推薦參考配置如下，部署DeepSeek-V3/R1量化模型至少需要多節(jié)點(diǎn)Atlas 800I A2（8*64G）服務(wù)器。

本方案以DeepSeek-R1為主進(jìn)行介紹，DeepSeek-V3與R1的模型結(jié)構(gòu)和參數(shù)量一致，部署方式與R1相同。

02 運(yùn)行環(huán)境準(zhǔn)備

推薦使用鏡像部署

1、鏡像部署

昇騰官方在Ascend hub提供環(huán)境示例鏡像，含推理部署配套軟件以及模型運(yùn)行腳本，用戶可參考構(gòu)建運(yùn)行環(huán)境鏡像進(jìn)行部署。

鏡像部署及啟動(dòng)參照ModelZoo指南中“加載鏡像”章節(jié)，該指南中還包含“容器啟動(dòng)”等指引:
https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#加載鏡像

鏡像申請(qǐng)/下載（含于上述指南）：
https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f

2、裸機(jī)部署

根據(jù)MindIE安裝指南安裝軟件包和運(yùn)行依賴軟件。

安裝指南：

根據(jù)指南安裝全部軟件包和環(huán)境
https://www.hiascend.com/document/detail/zh/mindie/100/envdeployment/instg/mindie_instg_0001.html

模型獲取：
https://modelers.cn/models/MindIE/DeepSeek-R1

03 權(quán)重文件準(zhǔn)備

BF16權(quán)重下載：https://modelers.cn/models/State_Cloud/DeepSeek-V3-BF16

INT8量化后權(quán)重下載：https://modelers.cn/models/State_Cloud/DeepSeek-R1-W8A8/tree/main

如已下載BF16模型，也可采用以下步驟進(jìn)行模型量化，權(quán)重BF16->INT8轉(zhuǎn)換預(yù)計(jì)7~8小時(shí)。

Step1：安裝ModelSlim

git clone https://gitee.com/ascend/msit.git

cd msit/msmodelslim

bash install.sh

Step2: 運(yùn)行量化命令

cd msit/msmodelslim/example/DeepSeek/

python3 quant_deepseek_w8a8.py

--model_path {浮點(diǎn)權(quán)重路徑}

--save_path {W8A8量化權(quán)重路徑}

更多詳細(xì)量化教程請(qǐng)參考 DeepSeek量化文檔 https://gitee.com/ascend/msit/tree/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim/example/DeepSeek

Msmodelslim代碼倉 https://gitee.com/ascend/msit/tree/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim

04 運(yùn)行前檢查

服務(wù)器檢查：https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#前置準(zhǔn)備 軟件版本配套檢查，含：HDK、CANN、PTA、MindIE、MindStudio 1、檢查組網(wǎng)鏈接狀態(tài) a)檢查物理鏈接for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done b)檢查鏈接情況for i in {0..7}; do hccn_tool -i $i -link -g ; done c)檢查網(wǎng)絡(luò)健康情況for i in {0..7}; do hccn_tool -i $i -net_health -g ; done d)查看偵測(cè)ip的配置是否正確for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done e)查看網(wǎng)關(guān)是否配置正確for i in {0..7}; do hccn_tool -i $i -gateway -g ; done f)檢查NPU底層tls校驗(yàn)行為一致性，建議全0for i in {0..7}; do hccn_tool -i $i -tls -g ; done | grep switch g)# NPU底層tls校驗(yàn)行為置0操作for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done

2、根據(jù)組網(wǎng)設(shè)置準(zhǔn)備rank_table_file.json

使用多節(jié)點(diǎn)推理時(shí)，需要將包含設(shè)備ip，服務(wù)器ip等信息的json文件地址傳遞給底層通信算子。參考如下格式，配置rank_table_file.json:

05 模型部署與配置

獨(dú)立模型： https://modelers.cn/models/MindIE/DeepSeek-R1

服務(wù)化部署：

1、運(yùn)行指南 https://modelers.cn/models/MindIE/DeepSeek-R1/blob/main/README.md（服務(wù)化測(cè)試）

2、服務(wù)啟動(dòng) https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0004.html

3、接口指引 https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0062.html

?

06 模型運(yùn)行

??

?

1、純模型測(cè)試

模型腳本已預(yù)制在鏡像中，參照以下鏈接即可拉起精度測(cè)試及模型測(cè)試https://modelers.cn/models/MindIE/DeepSeek-R1/blob/main/README.md （純模型測(cè)試部分）

2、服務(wù)化測(cè)試

1. 運(yùn)行指南 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#服務(wù)化測(cè)試

2. 服務(wù)啟動(dòng) https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0004.html

3. 常用接口指引 https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0062.html