近日，在高效適配Qwen3系列模型推理后，壁仞科技宣布完成旗艦版Qwen3-235B-A22B模型的訓(xùn)練適配和優(yōu)化。由此，壁仞科技已實現(xiàn)Qwen3系列模型在國產(chǎn)GPU平臺的高效全棧式訓(xùn)練與推理支持。

近日，阿里巴巴通義千問正式發(fā)布并開源8款新版Qwen3系列“混合推理模型”。從官方披露的數(shù)據(jù)來看，旗艦?zāi)Ｐ蚎wen3-235B-A22B在代碼、數(shù)學(xué)、通用能力等基準(zhǔn)測試中，與DeepSeek-R1等頂級模型相比，表現(xiàn)出極具競爭力的結(jié)果。

壁仞科技在Qwen3發(fā)布后數(shù)小時內(nèi)完成了全系列模型的推理支持。受益于前期適配DeepSeek-V3滿血版訓(xùn)練的關(guān)鍵技術(shù)和成功經(jīng)驗，壁仞科技進(jìn)一步升級快速實現(xiàn)Qwen3-235B-A22B旗艦版最大參數(shù)量模型的訓(xùn)練適配與優(yōu)化支持。基于壁仞科技自研Megatron-LM-BR訓(xùn)練插件，用戶可實現(xiàn)大模型零代碼修改下無縫運(yùn)行，開箱即用。

值得關(guān)注的是，Megatron-LM-BR融合了壁仞科技自主知識產(chǎn)權(quán)的三大核心技術(shù)：虛擬層+動態(tài)重排、Async Offload、多維算子融合，實現(xiàn)了適配通用性與訓(xùn)練性能的雙重保障。

01業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術(shù)

顯著降低流水線氣泡

阿里開源的Pai-Megatron-Patch發(fā)布了Qwen3 MoE 模型的最佳實踐，但Qwen3-235B-A22B模型包含94個Transformer Layer，其默認(rèn)的策略如PP8無法均衡切分Layer導(dǎo)致無法使用Interleave with Virtual Pipeline高效流水線機(jī)制，因此造成流水線等待問題。壁仞科技基于Megatron-LM-BR自主研發(fā)了"虛擬層+動態(tài)重排"技術(shù)：通過插入兩個虛擬層將總層數(shù)擴(kuò)展至96層，實現(xiàn)均勻切分以支持Interleave with Virtual Pipeline機(jī)制；同時對部分Layer進(jìn)行動態(tài)重排，使流水線計算通信負(fù)載均衡，從而顯著降低流水線氣泡率。

02業(yè)界首創(chuàng)Async Offload技術(shù)

實現(xiàn)精度無損極速預(yù)訓(xùn)練

為發(fā)揮算力優(yōu)勢和提升顯存效率，壁仞科技自主研發(fā)Async Offload（異步卸載）機(jī)制：將大量激活張量和優(yōu)化器狀態(tài)異步遷移至CPU內(nèi)存，僅使用64張GPU卡即可支持Qwen3-235B-A22B精度無損的全參模型高效預(yù)訓(xùn)練；而業(yè)界其他已發(fā)布案例至少需要256卡，另外其他方案如FP8可以降低顯存消耗，但容易對精度產(chǎn)生影響。壁仞科技同時還支持智能重計算策略，動態(tài)識別顯存瓶頸層，實現(xiàn)"算力換空間"智能決策。通過Async Offload和重計算顯存優(yōu)化雙擎技術(shù)，壁仞科技實現(xiàn)了算力開銷和顯存節(jié)約的最佳均衡。

03融合算子多維加速體系

充分釋放算力潛能

針對GroupedMLP、Permutation、Unpermutation等關(guān)鍵耗時算子，壁仞科技基于其GPU架構(gòu)特點實現(xiàn)了泛化的圖算/通算融合優(yōu)化。支持多計算操作極致的片上融合、張量處理器與矢量處理器極致異步融合、多級緩存的流水融合、以及計算與通信融合，并進(jìn)一步引入自動化的Kernel Selection技術(shù)，基于硬件計算/通信/訪存建模的Cost Model針對不同工作負(fù)載自適應(yīng)選擇最優(yōu)內(nèi)核實現(xiàn)，將芯片綜合能效發(fā)揮到極致，同時也確保了通用的泛化能力。在保持精度無損的同時，達(dá)成計算效率、硬件利用率與內(nèi)存帶寬的多維度協(xié)同優(yōu)化。