AI產(chǎn)業(yè)已從“追求模型能力極限”轉(zhuǎn)向“追求推理體驗最優(yōu)化”，推理體驗決定用戶與AI的交互質(zhì)感。當(dāng)前推理應(yīng)用快速發(fā)展，Token調(diào)用量爆發(fā)式增長，推理遇到“推不動、推得慢、推得貴”三大瓶頸，成為產(chǎn)業(yè)規(guī)?；l(fā)展的攔路虎。在有限算力下，長序列輸入導(dǎo)致首Token時延（TTFT）增加，甚至超長序列超出模型上下文窗口限制；隨著并發(fā)數(shù)增加，推理吞吐開始下降，任務(wù)頻繁卡頓；歷史對話和行業(yè)知識的重復(fù)調(diào)用造成算力浪費(fèi)，加大推理成本。如何優(yōu)化推理效率，是AI產(chǎn)業(yè)突破發(fā)展瓶頸的關(guān)鍵。

算力的有效利用對AI推理性能和成本優(yōu)化發(fā)揮著至關(guān)重要的作用，是企業(yè)核心競爭力。算力平臺需適配多元存儲、Kubernetes集群及推理框架，但硬件生態(tài)碎片化、資源分配僵化、調(diào)度缺乏AI任務(wù)感知、運(yùn)維可觀性不足等技術(shù)兼容難題，正嚴(yán)重制約推理應(yīng)用發(fā)展。

近日，華為數(shù)據(jù)存儲與「DaoCloud 道客」聯(lián)合推出了AI推理加速聯(lián)合解決方案。該方案融合了華為UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理技術(shù)和道客d.run算力調(diào)度平臺，圍繞大模型歷史數(shù)據(jù)，實現(xiàn)KV Cache數(shù)據(jù)池化管理，以資源的精細(xì)化管理和智能調(diào)度提升算力利用率，為AI推理加速提供全方位技術(shù)支撐。

道客d.run算力調(diào)度平臺可支持算力與顯存資源的細(xì)粒度切分及池化，通過多種調(diào)度策略實現(xiàn)算力資源的最大化利用。調(diào)度器具備拓?fù)涓兄芰Γ蓛?yōu)化任務(wù)在xPU間的通信效率，保障AI任務(wù)穩(wěn)定低耗運(yùn)行。平臺提供企業(yè)級運(yùn)維支持，提供多租戶隔離、資源配額管理、完整的監(jiān)控告警及計費(fèi)計量等功能，滿足企業(yè)級使用與運(yùn)維需求。同時具備多元生態(tài)兼容性，適配NVIDIA、華為昇騰、寒武紀(jì)等多種品牌AI算力，支持TensorFlow等主流AI框架，借助Kubernetes的CSI無縫對接華為OceanStor AI存儲，簡化管理并為AI任務(wù)數(shù)據(jù)讀寫提供穩(wěn)定支撐。

華為UCM是以KV Cache為核心，構(gòu)建多級緩存空間的分層管理與智能流動機(jī)制，實現(xiàn)數(shù)據(jù)在高性能緩存HBM、內(nèi)存DRAM和外置OceanStor A系列存儲的分級緩存和查詢，確保推理記憶知識全量保存。并且，UCM還融合多項創(chuàng)新加速算法：自適應(yīng)全局Prefix Cache支持公共前綴、歷史對話和RAG知識塊多種拼接組合場景的復(fù)用，通過以查代算，最大程度改善TTFT；全流程稀疏加速算法提供Prefill階段的超長KV分片卸載和增量稀疏，以及Decode階段的動態(tài)稀疏，提升長序列推理吞吐。

在Qwen3-32B模型上，測試問答助手場景，開啟Prefix Cache和RAG Chunk功能。測試數(shù)據(jù)表明，首Token時延降低約55%，且隨著序列長度越長，TTFT降低效果越明顯，通過“以查代算”的方式，避免了大量歷史對話信息的重復(fù)計算。

圖1 問答助手場景對比開關(guān)UCM的TTFT

測試長文檔推理場景，設(shè)定序列長度輸入32K+輸出1K，開啟Chunk Prefill和GSA稀疏化功能。測試數(shù)據(jù)表明，在并發(fā)數(shù)為30時，TTFT最大降低47%，端到端吞吐最大提升75%。

圖2 長文檔推理場景對比開關(guān)UCM的TTFT

圖3 長文檔推理場景對比開關(guān)UCM的E2E吞吐

關(guān)閉UCM，當(dāng)并發(fā)數(shù)超17時，請求開始排隊；開啟UCM，當(dāng)并發(fā)數(shù)超32時，請求開始排隊。在以上情況下，開啟UCM對比關(guān)閉UCM場景，并發(fā)能力提升88.24%。

圖4 長文檔推理場景對比開關(guān)UCM的并發(fā)能力

目前，該方案正在電力、金融等行業(yè)試點。未來，雙方將持續(xù)深化技術(shù)合作，推動技術(shù)迭代與行業(yè)適配，助力AI技術(shù)在更多行業(yè)的落地應(yīng)用。

審核編輯 黃宇