海光DCU實(shí)現(xiàn)文心4.5模型高效適配； FLOPs利用率突破47%。

2025年6月30日，在百度文心4.5系列大模型正式開源當(dāng)日，海光信息技術(shù)股份有限公司宣布其深度計(jì)算單元（DCU）率先完成對(duì)該系列模型的深度技術(shù)適配，預(yù)訓(xùn)練模型FLOPs利用率（MFU）達(dá)到47%，在多個(gè)文本與多模態(tài)基準(zhǔn)測(cè)試中取得SOTA水平。此次合作標(biāo)志著國產(chǎn)算力基礎(chǔ)設(shè)施與大模型技術(shù)的協(xié)同創(chuàng)新進(jìn)入新階段。

技術(shù)突破：異構(gòu)計(jì)算架構(gòu)賦能MoE模型高效訓(xùn)練

海光DCU基于GPGPU通用架構(gòu)，通過飛槳深度學(xué)習(xí)框架對(duì)文心4.5系列模型實(shí)現(xiàn)全流程優(yōu)化，涵蓋47B/3B混合專家（MoE）模型及0.3B稠密參數(shù)模型的高效訓(xùn)練、推理與部署。其創(chuàng)新性體現(xiàn)在：

• 多模態(tài)異構(gòu)計(jì)算：針對(duì)MoE架構(gòu)設(shè)計(jì)動(dòng)態(tài)負(fù)載均衡策略，顯存帶寬利用率提升30%

• 混合精度優(yōu)化：采用FP8技術(shù)降低顯存占用，使424B總參數(shù)量模型的訓(xùn)練效率接近國際一線水平

• 生態(tài)兼容性：依托DTK軟件棧實(shí)現(xiàn)與文心模型的無縫對(duì)接，適配周期縮短50%

行業(yè)價(jià)值：自主可控技術(shù)體系加速AI落地

此次合作驗(yàn)證了國產(chǎn)DCU在高性能計(jì)算領(lǐng)域的三大優(yōu)勢(shì)：

1. 效能領(lǐng)先：47%的MFU利用率較行業(yè)平均水平提升15%以上

2. 多模態(tài)支持：文心4.5的跨模態(tài)理解能力在DCU平臺(tái)上實(shí)現(xiàn)無損遷移

3. 產(chǎn)業(yè)鏈安全：從芯片、框架到模型的完整技術(shù)自主權(quán)，為金融、制造等行業(yè)提供可靠算力選擇

海光DCU與文心模型的深度適配，證明了國產(chǎn)算力支撐前沿AI創(chuàng)新的能力。未來將持續(xù)優(yōu)化千億級(jí)參數(shù)模型的訓(xùn)練效率，推動(dòng)中國智能算力生態(tài)建設(shè)。