GTC 2023：深度學(xué)習(xí)之張星并行和流水線并行
除了數(shù)據(jù)并行之外，還有其他的主流并行技術(shù)，即張星并行和流水線并行訓(xùn)練。
張星并行和流水線并行技術(shù)通常被描述為模型并行，在開源社區(qū)中，最著名的兩個(gè)系統(tǒng)是NVIDIA的Megatron- M和Microsoft的DeepSpeed。
Megatron- M使用一維張量并行，線算符的權(quán)重被分割，大型矩陣乘法被分解為在不同設(shè)備上執(zhí)行的較小矩陣藏法，這可以是模型大小在集群中擴(kuò)展并提高計(jì)算效率。
微軟的DeepSpeed和NVIDIA的Megatron- M兼容，并通過Zero Redundancy Optimizer改善數(shù)據(jù)并行訓(xùn)練，消除內(nèi)存冗余。
Colossal-AI不僅提供了完整的現(xiàn)有并行方法，還提供了更高級(jí)的辦法，例如2D、2.5D 和3D張星并行，以及序列并行。
與1D張量并行相比，這些并稱為是2.5D 和3D張星并行，不僅切分參數(shù)，而且沿更多張量唯獨(dú)切分輸入和輸出，正方形或者立方體的每個(gè)子集，表示可以分配給不同處理器的部分?jǐn)?shù)據(jù)和工作。
2D張量并行基于經(jīng)典SUMMA矩陣?yán)?a target="_blank">算法
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1813文章
49706瀏覽量
261183 -
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4038瀏覽量
97605 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5589瀏覽量
123880 -
gtc
+關(guān)注
關(guān)注
0文章
73瀏覽量
4718
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
FPGA中的流水線設(shè)計(jì)
令預(yù)取、 譯碼、 執(zhí)行、 寫回結(jié)果， openrisc采用的是 5 級(jí)整數(shù)流水線。當(dāng)然它們的核心思想都是利用并行執(zhí)行提高效率。總結(jié)一下，流水線就是插入寄存器，以面積換取速度。`
發(fā)表于 10-26 14:38
基于流水線負(fù)載平衡模型的并行爬蟲研究
針對(duì)并行爬蟲系統(tǒng)在多任務(wù)并發(fā)執(zhí)行時(shí)所遇到的模塊間負(fù)載平衡問題，提出流水線負(fù)載平衡模型(PLB)，將不同的任務(wù)抽象為獨(dú)立模塊而達(dá)到各模塊的處理速度相等，采用多線程的方式
發(fā)表于 03-31 10:19
?19次下載
基于流水線技術(shù)的并行高效FIR濾波器設(shè)計(jì)
基于流水線技術(shù)的并行高效FIR濾波器設(shè)計(jì)
基于流水線技術(shù)，利用FPGA進(jìn)行并行可重復(fù)配置高精度的FIR濾波器設(shè)計(jì)。使用VHDL可以很方便地改變?yōu)V波器的系數(shù)和階數(shù)。在DSP中采用
發(fā)表于 03-28 15:12
?976次閱讀
流水線中的相關(guān)培訓(xùn)教程[1]
流水線中的相關(guān)培訓(xùn)教程[1]
學(xué)習(xí)目標(biāo)
理解流水線中相關(guān)的分類及定義；
發(fā)表于 04-13 15:56
?1229次閱讀
基于流水線的并行FIR濾波器設(shè)計(jì)
基于流水線技術(shù)，利用FPGA進(jìn)行并行可重復(fù)配置高精度的 FIR濾波器 設(shè)計(jì)。使用VHDL可以很方便地改變?yōu)V波器的系數(shù)和階數(shù)。在DSP中采用這種FIR濾波器的設(shè)計(jì)方法可以充分發(fā)揮FPGA的優(yōu)勢(shì)。
發(fā)表于 07-18 17:09
?63次下載
CPU流水線的定義
cpu流水線技術(shù)是一種將指令分解為多步，并讓不同指令的各步操作重疊，從而實(shí)現(xiàn)幾條指令并行處理，以加速程序運(yùn)行過程的技術(shù)。
發(fā)表于 12-14 15:29
?5079次閱讀
Verilog基本功之：流水線設(shè)計(jì)Pipeline Design
，并暫存中間數(shù)據(jù)的方法。 目的是將一個(gè)大操作分解成若干的小操作，每一步小操作的時(shí)間較小，所以能提高頻率，各小操作能并行 執(zhí)行，所以能提高數(shù)據(jù)吞吐率（提高處理速度）。 二. 什么時(shí)候用流水線設(shè)計(jì) 使用流水線一般是時(shí)序比較緊張
發(fā)表于 09-25 17:12
?7668次閱讀
各種流水線特點(diǎn)及常見流水線設(shè)計(jì)方式
按照流水線的輸送方式大體可以分為：皮帶流水裝配線、板鏈線、倍速鏈、插件線、網(wǎng)帶線、懸掛線及滾筒流水線這七類流水線。
嵌入式_流水線
，每個(gè)子過程由專門的功能部件來(lái)實(shí)現(xiàn)。? 把多個(gè)處理過程在時(shí)間上錯(cuò)開，依次通過各功能段，這樣，每個(gè)子過程就可以與其他的子過程并行進(jìn)行。流水線中的每個(gè)子過程及其功能部件稱為流水線的級(jí)或段，段與段相互連接形成
發(fā)表于 10-20 20:51
?6次下載
什么是流水線 Jenkins的流水線詳解
jenkins 有 2 種流水線分為聲明式流水線與腳本化流水線，腳本化流水線是 jenkins 舊版本使用的流水線腳本，新版本 Jenkin
發(fā)表于 05-17 16:57
?1493次閱讀
以Gpipe作為流水線并行的范例進(jìn)行介紹
和充沛優(yōu)質(zhì)的硬件資源 算法的迭代創(chuàng)新 在大模型訓(xùn)練這個(gè)系列里，我們將一起探索學(xué)習(xí)幾種經(jīng)典的分布式并行范式，包括 流水線并行（Pipeline Parallelism），數(shù)據(jù)
Google GPipe為代表的流水線并行范式
但在實(shí)際應(yīng)用中，流水線并行并不特別流行，主要原因是模型能否均勻切割，影響了整體計(jì)算效率，這就需要算法工程師做手調(diào)。因此，今天我們來(lái)介紹一種應(yīng)用最廣泛，最易于理解的并行范式：數(shù)據(jù)并行。
工商網(wǎng)監(jiān)
評(píng)論