海光DCU實現(xiàn)文心4.5模型高效適配； FLOPs利用率突破47%。

2025年6月30日，在百度文心4.5系列大模型正式開源當(dāng)日，海光信息技術(shù)股份有限公司宣布其深度計算單元（DCU）率先完成對該系列模型的深度技術(shù)適配，預(yù)訓(xùn)練模型FLOPs利用率（MFU）達(dá)到47%，在多個文本與多模態(tài)基準(zhǔn)測試中取得SOTA水平。此次合作標(biāo)志著國產(chǎn)算力基礎(chǔ)設(shè)施與大模型技術(shù)的協(xié)同創(chuàng)新進(jìn)入新階段。

技術(shù)突破：異構(gòu)計算架構(gòu)賦能MoE模型高效訓(xùn)練

海光DCU基于GPGPU通用架構(gòu)，通過飛槳深度學(xué)習(xí)框架對文心4.5系列模型實現(xiàn)全流程優(yōu)化，涵蓋47B/3B混合專家（MoE）模型及0.3B稠密參數(shù)模型的高效訓(xùn)練、推理與部署。其創(chuàng)新性體現(xiàn)在：

• 多模態(tài)異構(gòu)計算：針對MoE架構(gòu)設(shè)計動態(tài)負(fù)載均衡策略，顯存帶寬利用率提升30%

• 混合精度優(yōu)化：采用FP8技術(shù)降低顯存占用，使424B總參數(shù)量模型的訓(xùn)練效率接近國際一線水平

• 生態(tài)兼容性：依托DTK軟件棧實現(xiàn)與文心模型的無縫對接，適配周期縮短50%

行業(yè)價值：自主可控技術(shù)體系加速AI落地

此次合作驗證了國產(chǎn)DCU在高性能計算領(lǐng)域的三大優(yōu)勢：

1. 效能領(lǐng)先：47%的MFU利用率較行業(yè)平均水平提升15%以上

2. 多模態(tài)支持：文心4.5的跨模態(tài)理解能力在DCU平臺上實現(xiàn)無損遷移

3. 產(chǎn)業(yè)鏈安全：從芯片、框架到模型的完整技術(shù)自主權(quán)，為金融、制造等行業(yè)提供可靠算力選擇

海光DCU與文心模型的深度適配，證明了國產(chǎn)算力支撐前沿AI創(chuàng)新的能力。未來將持續(xù)優(yōu)化千億級參數(shù)模型的訓(xùn)練效率，推動中國智能算力生態(tài)建設(shè)。