近日,摩爾線程發(fā)布其面向PyTorch深度學(xué)習(xí)框架的MUSA擴(kuò)展庫——Torch-MUSA v2.1.1。該版本在v2.1.0的基礎(chǔ)上,進(jìn)一步擴(kuò)展了對大規(guī)模深度學(xué)習(xí)模型訓(xùn)練與推理的支持能力,并在編譯優(yōu)化、計(jì)算性能和算子生態(tài)等方面實(shí)現(xiàn)顯著增強(qiáng)。
Torch-MUSA v2.1.1核心特性
全新的v2.1.1版本集成了v2.1.0版本的多項(xiàng)重要特性,主要包括:
▼FSDP2分布式訓(xùn)練支持:引入基于DTensor的每參數(shù)分片策略,結(jié)合摩爾線程MUSA架構(gòu)GPU深度優(yōu)化,大幅提升大模型分布式訓(xùn)練效率。
▼AOTInductor集成:支持模型針對摩爾線程計(jì)算卡進(jìn)行提前編譯(Ahead-of-Time編譯),優(yōu)化推理部署流程。
▼內(nèi)存管理優(yōu)化:新增可插拔的MUSA內(nèi)存統(tǒng)一系統(tǒng)分配器后端,有效緩解GPU內(nèi)存碎片化問題,降低訓(xùn)練峰值內(nèi)存占用。
▼Triton-MUSA后端增強(qiáng):為torch.compile提供完整的Triton-MUSA后端支持,減少設(shè)備特定代碼,提升編譯效率。
▼PyTorch3D原生支持:擴(kuò)展對PyTorch3D計(jì)算庫的支持,確保3D深度學(xué)習(xí)工作流在摩爾線程計(jì)算卡上的流暢運(yùn)行。
本次發(fā)布的 v2.1.1 版本,聚焦于進(jìn)一步釋放硬件潛力,并在關(guān)鍵計(jì)算路徑上實(shí)現(xiàn)加速:
▼引入MUSA Graphs后端:為torch.compile新增MUSA Graphs后端,進(jìn)一步降低主機(jī)開銷,并通過MUSA Graph技術(shù)實(shí)現(xiàn)端到端的計(jì)算加速。
▼集成muSolver計(jì)算庫:將muSolver深度集成至多個線性代數(shù)算子的后端,提升計(jì)算效率和數(shù)值穩(wěn)定性。
▼新增融合算子:支持使用MUSA原生的FusedAdamW和FusedAdam,通過算子融合減少內(nèi)核啟動開銷,提升訓(xùn)練效率。
▼算子性能優(yōu)化與擴(kuò)展:持續(xù)優(yōu)化算子性能,原生支持算子數(shù)量增加至950+。
▼擴(kuò)展基準(zhǔn)測試模塊:加強(qiáng)對更多算子用例的性能評估支持,方便用戶進(jìn)行全面的性能對比與分析。
體驗(yàn)與生態(tài)兼容持續(xù)優(yōu)化
從上一版本開始,Torch-MUSA在用戶體驗(yàn)和生態(tài)兼容性方面實(shí)現(xiàn)了顯著的改進(jìn)與優(yōu)化:
▼簡化集成流程:從v2.1.0開始支持torch_musa自動加載,用戶無需在Python腳本中顯式調(diào)用"import torch_musa"導(dǎo)入即可使用,簡化了集成流程。
▼生態(tài)兼容:v2.1.0和v2.2.0均基于PyTorch 2.5.0構(gòu)建,確保了與主流PyTorch生態(tài)工具鏈的兼容性。
▼持續(xù)性能優(yōu)化:在FP8混合精度訓(xùn)練(v2.0.0引入的特性)、內(nèi)核融合、通信優(yōu)化等方面進(jìn)行了持續(xù)優(yōu)化,為用戶帶來更加穩(wěn)定、高效的開發(fā)體驗(yàn)。
▼Torch-MUSA 開源地址:
https://github.com/MooreThreads/torch_musa
▼版本迭代:
v1.1.0:初次發(fā)布,支持PyTorch 2.0,提供基礎(chǔ)張量操作和常見神經(jīng)網(wǎng)絡(luò)層的MUSA加速。
v1.2.0:進(jìn)一步擴(kuò)展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA專有特性如compare_tool、musa_converter,幫助用戶更快的定位模型精度問題。
v1.3.0:支持PyTorch 2.2.0,性能進(jìn)一步提升,支持FSDP,支持更復(fù)雜的模型和更大規(guī)模的數(shù)據(jù)處理。
v2.0.0:首次原生支持FP8數(shù)據(jù)類型,支持PyTorch 2.5.0,新增MUSA虛擬內(nèi)存管理技術(shù)優(yōu)化大模型訓(xùn)練內(nèi)存效率,通過集成Triton-MUSA后端顯著提升torch.compile編譯效率,支持MUSA Graph技術(shù)。
v2.1.0:支持FSDP2,集成AOTInductor,支持PyTorch3D,為torch.compile提供完整的Triton-MUSA后端支持,支持torch_musa自動加載。
v2.1.1:torch.compile支持MUSA Graphs后端,原生支持算子超950個,并優(yōu)化了大量算子性能。
▼未來計(jì)劃:
Torch-MUSA將繼續(xù)跟進(jìn)PyTorch的版本更新,計(jì)劃下一版本支持PyTorch 2.7,并持續(xù)優(yōu)化性能與功能,為基于MUSA架構(gòu)的國產(chǎn)全功能GPU構(gòu)建更強(qiáng)大的深度學(xué)習(xí)生態(tài)。
▼ 關(guān)于摩爾線程
摩爾線程以全功能GPU為核心,致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案,為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。
我們的目標(biāo)是成為具備國際競爭力的GPU領(lǐng)軍企業(yè),為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺。我們的愿景是為美好世界加速。
-
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5586瀏覽量
123612 -
pytorch
+關(guān)注
關(guān)注
2文章
812瀏覽量
14413 -
摩爾線程
+關(guān)注
關(guān)注
2文章
247瀏覽量
5948
原文標(biāo)題:強(qiáng)化FSDP2分布式訓(xùn)練支持,摩爾線程發(fā)布Torch-MUSA v2.1.1
文章出處:【微信號:moorethreads,微信公眾號:摩爾線程】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
摩爾線程發(fā)布大模型訓(xùn)練仿真工具SimuMax v1.0

摩爾線程發(fā)布圖形顯卡驅(qū)動程序v310.120
摩爾線程吳慶詳解 MUSA 軟件棧:以技術(shù)創(chuàng)新釋放 KUAE 集群潛能,引領(lǐng) GPU 計(jì)算新高度?

摩爾線程發(fā)布圖形顯卡驅(qū)動程序v300.110.1
摩爾線程發(fā)布圖形顯卡驅(qū)動程序v300.110
摩爾線程發(fā)布Torch-MUSA v2.0.0版本 支持原生FP8和PyTorch 2.5.0
摩爾線程Linux驅(qū)動v3.0.0發(fā)布

摩爾線程GPU成功適配Deepseek-V3-0324大模型

摩爾線程發(fā)布圖形顯卡驅(qū)動v290.100.1
摩爾線程完成DeepSeek開源庫FlashMLA和DeepGEMM適配
摩爾線程圖形顯卡MTT S80實(shí)現(xiàn)DeepSeek模型部署

評論