chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

摩爾線程發(fā)布Torch-MUSA v2.1.1版本

摩爾線程 ? 來源:摩爾線程 ? 2025-09-10 11:02 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,摩爾線程發(fā)布其面向PyTorch深度學(xué)習(xí)框架的MUSA擴(kuò)展庫——Torch-MUSA v2.1.1。該版本在v2.1.0的基礎(chǔ)上,進(jìn)一步擴(kuò)展了對大規(guī)模深度學(xué)習(xí)模型訓(xùn)練與推理的支持能力,并在編譯優(yōu)化、計(jì)算性能和算子生態(tài)等方面實(shí)現(xiàn)顯著增強(qiáng)。

Torch-MUSA v2.1.1核心特性

全新的v2.1.1版本集成了v2.1.0版本的多項(xiàng)重要特性,主要包括:

▼FSDP2分布式訓(xùn)練支持:引入基于DTensor的每參數(shù)分片策略,結(jié)合摩爾線程MUSA架構(gòu)GPU深度優(yōu)化,大幅提升大模型分布式訓(xùn)練效率。

▼AOTInductor集成:支持模型針對摩爾線程計(jì)算卡進(jìn)行提前編譯(Ahead-of-Time編譯),優(yōu)化推理部署流程。

▼內(nèi)存管理優(yōu)化:新增可插拔的MUSA內(nèi)存統(tǒng)一系統(tǒng)分配器后端,有效緩解GPU內(nèi)存碎片化問題,降低訓(xùn)練峰值內(nèi)存占用。

▼Triton-MUSA后端增強(qiáng):為torch.compile提供完整的Triton-MUSA后端支持,減少設(shè)備特定代碼,提升編譯效率。

▼PyTorch3D原生支持:擴(kuò)展對PyTorch3D計(jì)算庫的支持,確保3D深度學(xué)習(xí)工作流在摩爾線程計(jì)算卡上的流暢運(yùn)行。

本次發(fā)布的 v2.1.1 版本,聚焦于進(jìn)一步釋放硬件潛力,并在關(guān)鍵計(jì)算路徑上實(shí)現(xiàn)加速:

▼引入MUSA Graphs后端:為torch.compile新增MUSA Graphs后端,進(jìn)一步降低主機(jī)開銷,并通過MUSA Graph技術(shù)實(shí)現(xiàn)端到端的計(jì)算加速。

▼集成muSolver計(jì)算庫:將muSolver深度集成至多個線性代數(shù)算子的后端,提升計(jì)算效率和數(shù)值穩(wěn)定性。

▼新增融合算子:支持使用MUSA原生的FusedAdamW和FusedAdam,通過算子融合減少內(nèi)核啟動開銷,提升訓(xùn)練效率。

▼算子性能優(yōu)化與擴(kuò)展:持續(xù)優(yōu)化算子性能,原生支持算子數(shù)量增加至950+。

▼擴(kuò)展基準(zhǔn)測試模塊:加強(qiáng)對更多算子用例的性能評估支持,方便用戶進(jìn)行全面的性能對比與分析。

體驗(yàn)與生態(tài)兼容持續(xù)優(yōu)化

從上一版本開始,Torch-MUSA在用戶體驗(yàn)和生態(tài)兼容性方面實(shí)現(xiàn)了顯著的改進(jìn)與優(yōu)化:

▼簡化集成流程:從v2.1.0開始支持torch_musa自動加載,用戶無需在Python腳本中顯式調(diào)用"import torch_musa"導(dǎo)入即可使用,簡化了集成流程。

▼生態(tài)兼容:v2.1.0和v2.2.0均基于PyTorch 2.5.0構(gòu)建,確保了與主流PyTorch生態(tài)工具鏈的兼容性。

▼持續(xù)性能優(yōu)化:在FP8混合精度訓(xùn)練(v2.0.0引入的特性)、內(nèi)核融合、通信優(yōu)化等方面進(jìn)行了持續(xù)優(yōu)化,為用戶帶來更加穩(wěn)定、高效的開發(fā)體驗(yàn)。

▼Torch-MUSA 開源地址:

https://github.com/MooreThreads/torch_musa

▼版本迭代:

v1.1.0:初次發(fā)布,支持PyTorch 2.0,提供基礎(chǔ)張量操作和常見神經(jīng)網(wǎng)絡(luò)層的MUSA加速。

v1.2.0:進(jìn)一步擴(kuò)展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA專有特性如compare_tool、musa_converter,幫助用戶更快的定位模型精度問題。

v1.3.0:支持PyTorch 2.2.0,性能進(jìn)一步提升,支持FSDP,支持更復(fù)雜的模型和更大規(guī)模的數(shù)據(jù)處理。

v2.0.0:首次原生支持FP8數(shù)據(jù)類型,支持PyTorch 2.5.0,新增MUSA虛擬內(nèi)存管理技術(shù)優(yōu)化大模型訓(xùn)練內(nèi)存效率,通過集成Triton-MUSA后端顯著提升torch.compile編譯效率,支持MUSA Graph技術(shù)。

v2.1.0:支持FSDP2,集成AOTInductor,支持PyTorch3D,為torch.compile提供完整的Triton-MUSA后端支持,支持torch_musa自動加載。

v2.1.1:torch.compile支持MUSA Graphs后端,原生支持算子超950個,并優(yōu)化了大量算子性能。

▼未來計(jì)劃:

Torch-MUSA將繼續(xù)跟進(jìn)PyTorch的版本更新,計(jì)劃下一版本支持PyTorch 2.7,并持續(xù)優(yōu)化性能與功能,為基于MUSA架構(gòu)的國產(chǎn)全功能GPU構(gòu)建更強(qiáng)大的深度學(xué)習(xí)生態(tài)。

▼ 關(guān)于摩爾線程

摩爾線程以全功能GPU為核心,致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案,為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國際競爭力的GPU領(lǐng)軍企業(yè),為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺。我們的愿景是為美好世界加速。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5586

    瀏覽量

    123612
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    812

    瀏覽量

    14413
  • 摩爾線程
    +關(guān)注

    關(guān)注

    2

    文章

    247

    瀏覽量

    5948

原文標(biāo)題:強(qiáng)化FSDP2分布式訓(xùn)練支持,摩爾線程發(fā)布Torch-MUSA v2.1.1

文章出處:【微信號:moorethreads,微信公眾號:摩爾線程】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    摩爾線程發(fā)布大模型訓(xùn)練仿真工具SimuMax v1.0

    近日,摩爾線程正式發(fā)布并開源大模型分布式訓(xùn)練仿真工具SimuMax 1.0版本。該版本在顯存和性能仿真精度上實(shí)現(xiàn)突破性提升,同時引入多項(xiàng)關(guān)鍵
    的頭像 發(fā)表于 09-11 18:19 ?2125次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b><b class='flag-5'>發(fā)布</b>大模型訓(xùn)練仿真工具SimuMax <b class='flag-5'>v</b>1.0

    摩爾線程發(fā)布圖形顯卡驅(qū)動程序v310.120

    8月20日,摩爾線程發(fā)布版本號為v310.120的圖形顯卡驅(qū)動程序。本次更新帶來多項(xiàng)重大技術(shù)升級:新增對Windows 11 24H2
    的頭像 發(fā)表于 08-21 16:07 ?634次閱讀

    摩爾線程吳慶詳解 MUSA 軟件棧:以技術(shù)創(chuàng)新釋放 KUAE 集群潛能,引領(lǐng) GPU 計(jì)算新高度?

    的分享。GPU 計(jì)算軟件開發(fā)總監(jiān)吳慶登上講臺,發(fā)表了題為《摩爾線程 MUSA 軟件棧助力 KUAE 集群釋放無限潛能》的演講。他從專業(yè)視角出發(fā),為在場聽眾深入剖析了 MUSA 軟件棧在
    的頭像 發(fā)表于 07-28 13:47 ?5103次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>吳慶詳解 <b class='flag-5'>MUSA</b> 軟件棧:以技術(shù)創(chuàng)新釋放 KUAE 集群潛能,引領(lǐng) GPU 計(jì)算新高度?

    摩爾線程發(fā)布圖形顯卡驅(qū)動程序v300.110.1

    近日,摩爾線程發(fā)布版本號為v300.110.1的圖形顯卡驅(qū)動程序。本次更新針對近期上市的高人氣游戲《劍星》進(jìn)行了專項(xiàng)優(yōu)化,MTT S80在該
    的頭像 發(fā)表于 06-24 18:01 ?740次閱讀

    摩爾線程發(fā)布圖形顯卡驅(qū)動程序v300.110

    近日,摩爾線程發(fā)布版本號為v300.110的圖形顯卡驅(qū)動程序,為游戲玩家和專業(yè)用戶帶來全方位的性能優(yōu)化與體驗(yàn)提升,特別在3DMark基準(zhǔn)測試
    的頭像 發(fā)表于 05-22 17:26 ?780次閱讀

    摩爾線程發(fā)布Torch-MUSA v2.0.0版本 支持原生FP8和PyTorch 2.5.0

    近日,摩爾線程正式發(fā)布Torch-MUSA v2.0.0版本,這是其面向PyTorch深度學(xué)習(xí)框
    的頭像 發(fā)表于 05-11 16:41 ?1065次閱讀

    摩爾線程Linux驅(qū)動v3.0.0發(fā)布

    近日,摩爾線程正式推出Linux驅(qū)動程序v3.0.0,全面支持圖形顯卡MTT S80和高性能專業(yè)顯卡MTT X300。作為v2.7.0RC4之后的重大升級
    的頭像 發(fā)表于 05-08 11:38 ?946次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>Linux驅(qū)動<b class='flag-5'>v</b>3.0.0<b class='flag-5'>發(fā)布</b>

    摩爾線程GPU成功適配Deepseek-V3-0324大模型

    近日,DeepSeek正式發(fā)布了其大語言模型的全新小版本迭代——DeepSeek-V3-0324,這一版本在推理能力、代碼生成、中文寫作以及搜索能力等多個維度實(shí)現(xiàn)了顯著提升。憑借其先進(jìn)
    的頭像 發(fā)表于 03-31 11:34 ?936次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>GPU成功適配Deepseek-<b class='flag-5'>V</b>3-0324大模型

    摩爾線程發(fā)布圖形顯卡驅(qū)動v290.100.1

    3月20日,摩爾線程發(fā)布版本號為v290.100.1的圖形顯卡驅(qū)動程序。在DirectX 12模式下,新驅(qū)動對《戰(zhàn)地風(fēng)云5》《幽靈行者2》進(jìn)
    的頭像 發(fā)表于 03-21 14:26 ?555次閱讀

    摩爾線程完成DeepSeek開源庫FlashMLA和DeepGEMM適配

    自DeepSeek啟動“開源周”以來,已陸續(xù)開源三個代碼庫。摩爾線程基于全新MUSA Compute Capability 3.1計(jì)算架構(gòu),可提供原生FP8計(jì)算能力,同時升級了高性能線性代數(shù)模板庫
    的頭像 發(fā)表于 02-27 14:40 ?825次閱讀

    摩爾線程圖形顯卡MTT S80實(shí)現(xiàn)DeepSeek模型部署

    摩爾線程“全功能”圖形顯卡MTT S80,不僅游戲渲染性能強(qiáng)大,能玩《黑神話:悟空》,現(xiàn)在還能本地部署DeepSeek R1蒸餾模型。搭配最新發(fā)布MUSA SDK RC3.1.1
    的頭像 發(fā)表于 02-21 15:46 ?3553次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>圖形顯卡MTT S80實(shí)現(xiàn)DeepSeek模型部署

    摩爾線程發(fā)布圖形顯卡驅(qū)動v290.100

    2月20日,摩爾線程發(fā)布版本號為v290.100的圖形顯卡驅(qū)動程序。此次更新針對多款熱門游戲進(jìn)行了深度優(yōu)化,旨在為玩家?guī)砀鲿?、更穩(wěn)定的游
    的頭像 發(fā)表于 02-20 18:16 ?960次閱讀

    摩爾線程發(fā)布圖形顯卡驅(qū)動程序v280.90.2

    1月20日,摩爾線程發(fā)布最新圖形顯卡驅(qū)動程序v280.90.2。
    的頭像 發(fā)表于 01-21 10:07 ?740次閱讀

    摩爾線程發(fā)布最新圖形顯卡驅(qū)動程序v280.90.1

    12月20日,摩爾線程發(fā)布最新圖形顯卡驅(qū)動程序v280.90.1,旨在通過深入的性能優(yōu)化和關(guān)鍵問題修復(fù),為用戶帶來更加流暢和沉浸式的游戲體驗(yàn)。 在本次更新中,
    的頭像 發(fā)表于 12-21 16:16 ?786次閱讀

    摩爾線程發(fā)布v280.90圖形顯卡驅(qū)動程序

    日前,摩爾線程發(fā)布版本號為v280.90的圖形顯卡驅(qū)動程序。全新升級的驅(qū)動程序,可以在Windows 10和Windows 11操作系統(tǒng)環(huán)境
    的頭像 發(fā)表于 11-26 16:21 ?1130次閱讀