DeepSeek讓各行業(yè)引入AI大模型的意識和積極性明顯提高，已推動(dòng)AI在政務(wù)、能源、制造等領(lǐng)域廣泛鋪展開來。

很多政企用戶接入DeepSeek之后，感受到了AI大模型給業(yè)務(wù)帶來了“旦用難回”的體驗(yàn)，很快就從試用的第一階段，進(jìn)入第二階段——大模型推理集群的擴(kuò)容升級。

當(dāng)“有沒有Deepseek用”不再成為問題，那么“Deepseek好不好用”的挑戰(zhàn)就迎面而來。

一來，人多了，大量訪問請求帶來的高并發(fā)，就像春運(yùn)高峰期涌入巨大的人流量，會出現(xiàn)請求積壓，模型推理思考時(shí)間變長，token吞吐速度下降，用戶的等待時(shí)延達(dá)到50-100毫秒，服務(wù)器繁忙和排隊(duì)讓人惱火。

二來，機(jī)器多了，增加更多服務(wù)器會遇到物理天花板，機(jī)器擴(kuò)容并不會線性提升在線推理服務(wù)的體驗(yàn)，就像即使增加了更多車廂，但鐵軌承載能力有限，也無法運(yùn)送更多旅客（AI任務(wù)）了。

當(dāng)行業(yè)智能化進(jìn)入深度應(yīng)用DeepSeek的第二階段，不得不面臨高并發(fā)推理的技術(shù)挑戰(zhàn)。在堆算力的同時(shí)，也要同步優(yōu)化性能體驗(yàn)，相當(dāng)于想要運(yùn)送更多乘客，不僅要增加車廂數(shù)量，還要同步改造軌道、站臺和管理機(jī)制，將老式火車升級為高鐵，才能綜合提高運(yùn)輸效率。

以DeepSeek為例，前不久公布了其利潤率，高達(dá)545%，其中就涉及大量工程化能力，比如引入大EP推理集群，實(shí)現(xiàn)高并發(fā)推理吞吐量指數(shù)級增長。

對于更多行業(yè)和企業(yè)來說，沒有DeepSeek那樣的極客天才和頂尖技術(shù)團(tuán)隊(duì)，怎樣用大EP來解決高并發(fā)推理挑戰(zhàn)呢？當(dāng)AI大模型開始進(jìn)入千行萬業(yè)的深水區(qū)，亟需一場大EP的“運(yùn)力革命”。

很多政企客戶在接入了Deepseek之后，使用量進(jìn)一步增加，有了擴(kuò)展推理集群規(guī)模的需求，推理資源需要從2臺擴(kuò)展到10臺，從16卡擴(kuò)展到千卡，但擴(kuò)容升級并不是往機(jī)房一放、網(wǎng)絡(luò)一連，就能高枕無憂了。

就像印度仍在使用的老式火車，僅靠增加車廂，還是無法提高運(yùn)力，每個(gè)乘客能占用的火車空間極小，體驗(yàn)很差，火車不堪重負(fù)，延誤晚點(diǎn)成了家常便飯。類似問題，在Deepseek和各種大模型與業(yè)務(wù)的結(jié)合中，高并發(fā)推理卡住了用戶的體驗(yàn)瓶頸。

面對上述問題，大EP大規(guī)模專家并行的技術(shù)架構(gòu)，成為趨勢。

簡單來說，大EP就是將MoE（混合專家）模型中數(shù)千個(gè)專家，分配到更多的卡（算力）上去。原本一張卡只能拉10個(gè)人，有了大EP，可以同時(shí)拉100個(gè)（高并發(fā)）；原本只能跑一趟車，現(xiàn)在可以同時(shí)跑八趟車（提高專家計(jì)算路數(shù)batch size），那么乘客就不用長時(shí)間等待了。

所以，通過大EP可以提高高并發(fā)推理場景下的計(jì)算效率，實(shí)現(xiàn)更大的吞吐和更低的時(shí)延。用戶體感上，比如一家銀行的工作人員同時(shí)訪問Deepseek，不會遇到排隊(duì)、延遲、過長等待等情況。

大EP這么好，怎么才能部署到自己的一體機(jī)或推理資源池呢？不經(jīng)過一番努力，確實(shí)很難吃到大EP的蛋糕。

一方面，推理場景的算力需求指數(shù)級擴(kuò)展，而海外廠商的推理芯片如H20，雖然顯存高，但算力不足，處理大EP場景時(shí)吞吐驟降。Deepseek公開的論文來看，仍然使用H800來進(jìn)行推理。更強(qiáng)算力且供應(yīng)鏈穩(wěn)定的推理硬件，是大EP必不可少的。

另一方面，當(dāng)請求總量猛增之后，會帶來多種多樣的負(fù)載，且極不均衡，相當(dāng)于有的車廂坐的人多，有的車廂坐的人少，負(fù)載不均一樣會導(dǎo)致體驗(yàn)不佳。

此外，大EP場景的All-to-All通信，導(dǎo)致卡間通信占比時(shí)間高，相當(dāng)于每個(gè)車廂的專家都要通知到，這就會耽誤進(jìn)出站的效率。NVLink在大EP場景中，實(shí)際有效帶寬利用率就不足。

由此可見，當(dāng)行業(yè)使用Deepseek進(jìn)入深水區(qū)，面對高并發(fā)推理場景，不能抱有“頭疼醫(yī)頭腳疼醫(yī)腳”的僥幸心理，而需要通盤思考和系統(tǒng)攻堅(jiān)。

今天來看，各行各業(yè)擁抱Deepseek不是追逐一時(shí)風(fēng)口，而是對智能化發(fā)展趨勢的長期價(jià)值判斷。普惠LLM進(jìn)入千行萬業(yè)，已經(jīng)是大勢所趨。

而大EP無法順利被行業(yè)用起來，就意味著接入Deepseek始終存在時(shí)延高、體驗(yàn)差、成本難優(yōu)化的問題，那么行業(yè)智能化也就無法順利達(dá)成。

不過也不必過于擔(dān)心，Deepseek、科大訊飛等模廠，與昇騰等算力廠商，以及政企行業(yè)用戶，一直保持著緊密協(xié)作與溝通，自開年Deepseek熱潮以來，從部署實(shí)踐中沉淀了大量技術(shù)創(chuàng)新。

近期，昇騰推出了大EP解決方案，面向高并發(fā)推理場景，一站式升級為智能化“高鐵”。

具體來說，昇騰大EP解決方案借助五大關(guān)鍵技術(shù)，與昇騰算力深度協(xié)同優(yōu)化，成功突破了“專家負(fù)載均衡+通信優(yōu)化”兩大難題。

針對專家負(fù)載不均的難題：

昇騰大EP解決方案提出了MoE負(fù)載均衡技術(shù)，可以自動(dòng)尋優(yōu)，根據(jù)業(yè)務(wù)情況、集群規(guī)模，找到最優(yōu)的專家，自動(dòng)預(yù)測哪個(gè)專家更忙，自動(dòng)配比，當(dāng)一個(gè)專家負(fù)載過多時(shí)自動(dòng)講解，從而實(shí)現(xiàn)了備份節(jié)點(diǎn)和副本專家靈活可擴(kuò)展、高可用和極致均衡，性能得到極大提升。

采用多種創(chuàng)新技術(shù)，做到自適應(yīng)的autoPD分離部署。根據(jù)Prefill和Decode的動(dòng)態(tài)負(fù)載，進(jìn)行P、D實(shí)例的自動(dòng)伸縮，無需人工介入，從而減少計(jì)算訪存資源競爭。結(jié)合多級緩存內(nèi)存資源池化，對冷熱溫?cái)?shù)據(jù)進(jìn)行區(qū)分，可以讓系統(tǒng)的有效吞吐提升50%以上。

針對All-to-All通信優(yōu)化的難題：

昇騰大EP解決方案提出了雙流/多維混合并行，其中Prefill micro-batch雙流并行，可以實(shí)現(xiàn)計(jì)算和通信的相互掩蓋；MoE expert專家雙流并行，實(shí)現(xiàn)兩條數(shù)據(jù)流Stream的并行計(jì)算；Weight權(quán)重預(yù)取雙流并行，可以把訪存和通信并行起來，降低權(quán)重加載時(shí)間，提升效率。

MLA預(yù)處理階段，昇騰大EP解決方案把大量的小算子，合成為大的融合算子，將計(jì)算耗時(shí)降低70%，讓算力能力充分發(fā)揮出來。

如果你覺得上述技術(shù)創(chuàng)新多、不好記，那么只需要，借助昇騰大EP解決方案，行業(yè)應(yīng)用Deepseek時(shí)，可以做到：

快。訪問Deepseek無需等待。昇騰大EP可以將單卡并發(fā)提升3倍，Decode階段響應(yīng)速度穩(wěn)定在50ms以內(nèi)，支撐600+并發(fā)請求。

省。業(yè)務(wù)使用Deepseek上量之后，推理集群擴(kuò)展的同時(shí)，性能也保持線性度，擴(kuò)容綜合成本更優(yōu)。

正如高鐵改變了中國人的出行，昇騰大EP為高并發(fā)推理鋪設(shè)了一條“高速鐵路”，改變了Deepseek上量擴(kuò)容階段的體驗(yàn)，為行業(yè)智能化提速增效。

僅用兩個(gè)多月的時(shí)間，Deepseek就完成了從試用階段到擴(kuò)容階段的進(jìn)階。高并發(fā)推理場景和大EP技術(shù)架構(gòu)，成為應(yīng)用Deepseek的新挑戰(zhàn)。這也提醒我們，行業(yè)智能化是一個(gè)循序漸進(jìn)的過程，不可能一蹴而就。

自主創(chuàng)新算力與國產(chǎn)模型如同高鐵的雙軌，成為支撐起智能中國的“新基建”。昇騰生態(tài)之所以與Deepseek等大模型更加適配，答案逐步清晰明確。

首先，昇騰有硬件，為行業(yè)智能化提供“永不沉降”的算力路基。昇騰硬件的FP16和INT8算力，可達(dá)到H20的2倍以上，且功耗更低，足以支撐各行業(yè)智能化的平穩(wěn)前進(jìn)。

此外，昇騰有軟硬件的協(xié)同優(yōu)化能力。隨著行業(yè)智能化的不斷深入，AI模型對算力需求不斷擴(kuò)張，但硬件的物理天花板和企業(yè)的投入產(chǎn)出比，都要求計(jì)算性能持續(xù)優(yōu)化。昇騰的AI軟硬件，提供從預(yù)訓(xùn)練到微調(diào)到強(qiáng)化學(xué)習(xí)，到推理集群、一體機(jī)，全流程全覆蓋的方案，可以快速響應(yīng)客戶需求，高效支撐技術(shù)創(chuàng)新。目前，昇騰與DeepSeek最新技術(shù)已經(jīng)實(shí)現(xiàn)了“day0”級別同步，確保企業(yè)智能化在昇騰軟硬件基座上，始終行駛在技術(shù)最前沿。

更重要的是，昇騰有伙伴。行業(yè)智能化是一個(gè)體系化工程，不是單一硬件或軟件廠商就能獨(dú)自完成的。在自主創(chuàng)新算力生態(tài)中，昇騰一方面兼容主流生態(tài)與PyTorch等國內(nèi)外框架，同時(shí)與ISV伙伴、各大模廠都保持著緊密共生與合作。這意味著，當(dāng)行業(yè)用戶基于昇騰底座開發(fā)AI應(yīng)用，能得到生態(tài)的全方位助力，減少智能化升級的阻力，降低綜合成本。

今天，智能化已經(jīng)成為全球經(jīng)濟(jì)發(fā)展的主航道。在自主算力與國產(chǎn)模型所鑄就的雙軌上，行業(yè)智能化也將走深向遠(yuǎn)，向著智能時(shí)代飛馳。

審核編輯 黃宇