當(dāng)下，AI模型規(guī)模持續(xù)膨脹、多模態(tài)應(yīng)用場景日益復(fù)雜，企業(yè)正面臨異構(gòu)算力資源碎片化帶來的嚴(yán)峻挑戰(zhàn)。為應(yīng)對行業(yè)痛點(diǎn)，江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）正式發(fā)布自主研發(fā)的StackRUNS異構(gòu)分布式推理框架，高效融合異構(gòu)算力，精細(xì)化配置算力資源，釋放算力效能。

潤和軟件發(fā)布StackRUNS異構(gòu)分布式推理框架

StackRUNS是基于“異構(gòu)算力建模+動態(tài)調(diào)度優(yōu)化+統(tǒng)一通信接口+模型分層加載”核心技術(shù)打造的輕量級分布式推理框架，可實(shí)現(xiàn)多類型AI設(shè)備的資源整合與大模型的協(xié)同高效推理，廣泛適用于對推理能力有高要求但資源異構(gòu)、預(yù)算受限的實(shí)際應(yīng)用場景，如多節(jié)點(diǎn)異構(gòu)硬件的老舊部署環(huán)境、突發(fā)性大模型任務(wù)需求、高?；蚩蒲袡C(jī)構(gòu)低成本模型實(shí)驗(yàn)場景。目前，StackRUNS已在教育、安防、能源等行業(yè)落地，通過智能調(diào)度算力、分鐘級快速部署、分布式協(xié)同等能力，加快大模型落地進(jìn)程。

功能架構(gòu)

StackRUNS功能架構(gòu)圖

1. 框架適配層：統(tǒng)一接入主流推理框架

通過統(tǒng)一的框架適配能力，StackRUNS可有效屏蔽上層差異，提升系統(tǒng)的靈活性與兼容性，支持主流框架與模型組件的即插即用，大幅縮短模型部署與遷移周期。

支持PyTorch、TensorFlow、MindSpore等主流AI框架；

無縫集成llama.cpp、vLLM等主流推理引擎；

插件化架構(gòu)，支持多模型統(tǒng)一推理入口，便于快速上層接入與復(fù)用。

2.調(diào)度層：智能調(diào)度與自動并行優(yōu)化

通過異構(gòu)設(shè)備資源的智能感知與動態(tài)調(diào)度，StackRUNS可最大化利用系統(tǒng)整體算力，并通過推理場景的深度優(yōu)化，顯著提升大模型多設(shè)備協(xié)同推理的效率與可控性。

異構(gòu)資源感知與建模，實(shí)現(xiàn)不同設(shè)備算力精準(zhǔn)識別；

自動并行策略生成與模型切分，支持切片并行、專家路由等；

涵蓋精度控制與任務(wù)生命周期管理，保障精度性能雙優(yōu)；

通信圖優(yōu)化與算子融合，提升跨設(shè)備數(shù)據(jù)流通效率。

3. 通信適配層：統(tǒng)一通信接口與性能反饋機(jī)制

StackRUNS具備統(tǒng)一通信能力適配的異構(gòu)平臺，可有效消除設(shè)備間通信瓶頸，為分布式推理提供高效、穩(wěn)定的通信支撐，提升跨設(shè)備協(xié)同性能。

提供統(tǒng)一通信算子接口，適配 HCCL、NCCL、RCCL等多種通信協(xié)議；

支持通信運(yùn)行時(shí)、拓?fù)涔芾砼c性能建模，為調(diào)度策略提供反饋依據(jù)；

深度學(xué)習(xí)框架通信插件化集成，增強(qiáng)生態(tài)兼容性。

4. 硬件支持層：兼容多種AI算力平臺

StackRUNS全面兼容主流AI硬件平臺，涵蓋Ascend、NVIDIA、AMD、ARM、Intel、Mac等，實(shí)現(xiàn)算力資源的靈活組合與無縫協(xié)同，推動AI應(yīng)用從“專用單機(jī)”邁向“異構(gòu)集群”，釋放硬件潛能。

核心技術(shù)

StackRUNS架構(gòu)圖

1. 異構(gòu)算力識別與建模

通過自動識別和建模不同類型的計(jì)算資源，StackRUNS建立了統(tǒng)一的資源抽象層，確保在異構(gòu)環(huán)境下的資源統(tǒng)一管理和高效利用。

資源抽象與建模：對各類計(jì)算設(shè)備的性能、內(nèi)存、帶寬等關(guān)鍵參數(shù)進(jìn)行建模，形成統(tǒng)一的資源描述；

動態(tài)資源感知：實(shí)時(shí)監(jiān)控資源的使用情況，支持動態(tài)調(diào)整和優(yōu)化。

2. 調(diào)度層

調(diào)度層根據(jù)任務(wù)需求和資源狀況，可根據(jù)計(jì)算任務(wù)智能分配算力資源，實(shí)現(xiàn)資源的高效利用和任務(wù)執(zhí)行效率。

任務(wù)劃分與分配：將大模型分解為多個(gè)子任務(wù)，合理分配到不同的計(jì)算節(jié)點(diǎn)；

負(fù)載均衡：根據(jù)資源使用情況，動態(tài)調(diào)整任務(wù)分配，避免資源瓶頸；

容錯(cuò)與恢復(fù)：在節(jié)點(diǎn)故障時(shí)，能夠快速重新調(diào)度任務(wù)，確保系統(tǒng)穩(wěn)定性。

3. 通信適配層

通信適配層提供統(tǒng)一的通信接口，支持多種通信協(xié)議，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸，確保在分布式環(huán)境下的統(tǒng)一、可靠通信。

協(xié)議適配：支持如NCCL、HCCL、RCCL等多種通信協(xié)議，確保在不同硬件平臺上的兼容性；

通信優(yōu)化：通過通信圖優(yōu)化、算子融合等技術(shù)，減少通信開銷，提高數(shù)據(jù)傳輸效率。

4. 大模型分層加載通訊

針對超大規(guī)模模型，StackRUNS采用分層加載和通信策略，優(yōu)化模型的加載和推理過程，保持模型性能的同時(shí)，顯著降低通信成本，提升整體推理效率。

分層加載：通過結(jié)構(gòu)感知的模型切分，需考慮各層之間的依賴關(guān)系和數(shù)據(jù)傳輸量；

通信與計(jì)算重疊執(zhí)行：采用流水線并行策略，在模型推理過程中，采用異步通信策略，提高并行度和效率；

通信內(nèi)容優(yōu)化：采用混合精度傳輸策略，在不影響模精度的前提下，減少通信數(shù)據(jù)量是降低通信成本的直接方式；

拓?fù)涓兄耐ㄐ挪呗裕?/strong>根據(jù)硬件拓?fù)浣Y(jié)構(gòu)，優(yōu)化通信路徑和方式，提升通信效率。