天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓練，突破異構(gòu)算力束縛
11月29日，北京智源人工智能研究院副院長兼總工程師林詠華在2023人工智能計算大會上宣布，正式開源700億參數(shù)大模型Aquila2-70B-Expr（異構(gòu)先驅(qū)版），這是首個基于英偉達混合資源及天數(shù)智芯混合資源完成訓練的大模型，也是智源研究院與天數(shù)智芯合作取得的最新成果，再次證明了天數(shù)智芯通用GPU產(chǎn)品支持大模型訓練的能力，以及與主流產(chǎn)品的兼容能力。
據(jù)林詠華副院長介紹，為了解決異構(gòu)算力混合訓練難題，智源研究院開發(fā)了高效并行訓練框架FlagScale，支持異構(gòu)算力混合訓練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓練。在此基礎上，雙方進一步深化合作。天數(shù)智芯首先搭建了128節(jié)點的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓練。訓練到20萬步，導出模型并完成總計11項性能指標的評估，涉及常識推斷、多任務語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數(shù)據(jù)集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓練的權(quán)重文件水平相當。同時，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點集群環(huán)境，用于智源研究院混合并行訓練研究。智源研究院利用120節(jié)點BI-V100集群加上8節(jié)點BI-V150集群進行Aquila2-70B-Expr大模型混合訓練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓練，對模型性能影響甚微。
END
據(jù)林詠華副院長介紹，為了解決異構(gòu)算力混合訓練難題，智源研究院開發(fā)了高效并行訓練框架FlagScale，支持異構(gòu)算力混合訓練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓練。在此基礎上，雙方進一步深化合作。天數(shù)智芯首先搭建了128節(jié)點的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓練。訓練到20萬步，導出模型并完成總計11項性能指標的評估，涉及常識推斷、多任務語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數(shù)據(jù)集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓練的權(quán)重文件水平相當。同時，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點集群環(huán)境，用于智源研究院混合并行訓練研究。智源研究院利用120節(jié)點BI-V100集群加上8節(jié)點BI-V150集群進行Aquila2-70B-Expr大模型混合訓練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓練，對模型性能影響甚微。
這一成果極具商業(yè)價值和應用前景，有助于解決智算中心換代升級、增容后新舊計算卡并用難題，為智算中心高效運行提供了新方案。
END
原文標題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓練，突破異構(gòu)算力束縛
文章出處：【微信公眾號：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
天數(shù)智芯
+關(guān)注
關(guān)注
0文章
100瀏覽量
6447
原文標題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓練，突破異構(gòu)算力束縛
文章出處：【微信號：IluvatarCoreX，微信公眾號：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
算力與電力的終極博弈，填上了AIDC的“電力黑洞”
），專注于提供人工智能訓練與推理所需的算力服務、數(shù)據(jù)服務和算法服務。AIDC采用異構(gòu)計算架構(gòu)，結(jié)合GPU、FPGA、ASIC等多種AI加速芯片，形成高并發(fā)分布式系統(tǒng)，以滿足大
華為聯(lián)合中國移動研究院發(fā)布“算力路由AI推理及視聯(lián)網(wǎng)應用樣板”
2025年8月20日；在第九屆未來網(wǎng)絡發(fā)展大會期間，華為聯(lián)合中國移動研究院發(fā)布“算力路由AI推理及視聯(lián)網(wǎng)應用樣板”，標志著算力網(wǎng)絡在商用探索
商湯大裝置發(fā)布基于DeepLink的異構(gòu)混合調(diào)度方案
調(diào)度復雜、跨域訓練穩(wěn)定性不足等行業(yè)挑戰(zhàn)，全面提升異構(gòu)集群的協(xié)同效率與運行可靠性，加速國產(chǎn)AI算力從“可用”邁向“好用”，為大模型
壁仞科技擔任智算集群異構(gòu)混訓工作組組長
參與了本次交流，分享智算集群異構(gòu)混訓的關(guān)鍵技術(shù)進展、成功落地案例，為突破大模型異構(gòu)算
RAKsmart智能算力架構(gòu)：異構(gòu)計算+低時延網(wǎng)絡驅(qū)動企業(yè)AI訓練范式升級
在AI大模型參數(shù)量突破萬億、多模態(tài)應用爆發(fā)的今天，企業(yè)AI訓練正面臨算力效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能
弘信電子旗下燧弘華創(chuàng)與聯(lián)想發(fā)布多元異構(gòu)算力調(diào)度平臺
近日，燧弘華創(chuàng)慶陽綠色智算中心迎來里程碑時刻——由燧弘華創(chuàng)與聯(lián)想合作共建的多元異構(gòu)算力調(diào)度平臺正式發(fā)布。
科技云報到：要算力更要“算利”，“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局？
科技云報到：要算力更要“算利”，“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局？
浪潮信息與智源研究院攜手共建大模型多元算力生態(tài)
近日，浪潮信息與北京智源人工智能研究院正式簽署戰(zhàn)略合作協(xié)議，雙方將緊密合作，共同構(gòu)建大模型多元算力開源創(chuàng)新生態(tài)。 此次合作旨在提升大
浪潮信息與智源研究院達成戰(zhàn)略合作協(xié)議
近日，浪潮信息與智源研究院達成戰(zhàn)略合作協(xié)議，雙方將緊密協(xié)作共建大模型多元算力開源創(chuàng)新生態(tài)，提升大模型
“芯合”異構(gòu)混合并行訓練系統(tǒng)1.0發(fā)布
近日，中國移動研究院副院長段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產(chǎn)業(yè)合作伙伴，共同推出了“芯合”異構(gòu)
壁仞科技聯(lián)合中國電信等合作伙伴共同發(fā)布智算異構(gòu)四芯混訓解決方案
工智能實驗室等發(fā)布了“智算異構(gòu)四芯混訓解決方案”，打造算力、網(wǎng)絡、平臺、通信庫、框架全棧異構(gòu)方案
澎峰科技助力中國移動 重磅發(fā)布智算“芯合”算力原生基礎軟件棧2.0
11月30日 ，由中國通信學會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網(wǎng)絡算網(wǎng)一體創(chuàng)新發(fā)展論壇 ”在成都召開。中國移動研究院
澎峰科技助力中國移動發(fā)布智算“芯合”算力原生基礎軟件棧2.0
近日 ，由中國通信學會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網(wǎng)絡算網(wǎng)一體創(chuàng)新發(fā)展論壇 ”在成都召開。中國移動研究院攜手澎峰
芯啟源成為算力產(chǎn)業(yè)發(fā)展方陣會員單位
近日，由中國信息通信研究院(以下簡稱“信通院”)牽頭成立的算力產(chǎn)業(yè)發(fā)展方陣在合肥市成功召開第一次工作組全會，芯啟
工商網(wǎng)監(jiān)
評論