從Transformer問(wèn)世至2023年ChatGPT爆火到2024年Sora吸睛，人們逐漸意識(shí)到隨著模型參數(shù)規(guī)模增加，模型的效果越來(lái)越好，且兩者之間符合Scalinglaw規(guī)律，且當(dāng)模型的參數(shù)規(guī)模超過(guò)數(shù)百億后，AI大模型的語(yǔ)言理解能力、邏輯推理能力以及問(wèn)題分析能力迅速提升。同時(shí)，隨著模型參數(shù)規(guī)模與性能提升后，AI大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的需求相比于傳統(tǒng)模型也隨之產(chǎn)生變化。

為滿足大規(guī)模訓(xùn)練集群高效的分布式計(jì)算，AI大模型訓(xùn)練流程中通常會(huì)包含數(shù)據(jù)并行、流水線并行及張量并行等多種并行計(jì)算模式，不同并行模式下均需要多個(gè)計(jì)算設(shè)備間進(jìn)行集合通信操作。另外，訓(xùn)練過(guò)程中通常采用同步模式，需多機(jī)多卡間完成集合通信操作后才可進(jìn)行訓(xùn)練的下一輪迭代或計(jì)算。

因此，在AI大模型的大規(guī)模訓(xùn)練集群中，如何設(shè)計(jì)高效的集群組網(wǎng)方案，滿足低時(shí)延、高吞吐的機(jī)間通信，從而降低多機(jī)多卡間數(shù)據(jù)同步的通信耗時(shí)，提升GPU有效計(jì)算時(shí)間占比（GPU計(jì)算時(shí)間/整體訓(xùn)練時(shí)間），對(duì)于AI分布式訓(xùn)練集群的效率提升至關(guān)重要。以下將從規(guī)模、帶寬、時(shí)延、穩(wěn)定性及網(wǎng)絡(luò)部署角度分析AI大模型對(duì)于網(wǎng)絡(luò)的需求。

1

超大規(guī)模組網(wǎng)需求

AI 應(yīng)用計(jì)算量呈幾何級(jí)數(shù)增長(zhǎng)，算法模型向巨量化發(fā)展，人工智能模型參數(shù)在過(guò)去十年增長(zhǎng)了十萬(wàn)倍，當(dāng)前AI超大模型的參數(shù)目前已經(jīng)達(dá)到了千億~萬(wàn)億的級(jí)別。訓(xùn)練這樣的模型，毫無(wú)疑問(wèn)需要超高算力。此外，超大模型對(duì)于顯存的需求也很高。以1T參數(shù)模型為例，使用16bit精度存儲(chǔ)，首先需要消耗2TB的存儲(chǔ)空間。

除此之外，在訓(xùn)練過(guò)程中，前向計(jì)算產(chǎn)生的激活值、反向計(jì)算產(chǎn)生的梯度、參數(shù)更新需要的優(yōu)化器狀態(tài)等中間變量均需要存儲(chǔ)，且中間變量在單次迭代中也會(huì)不斷增加。一個(gè)使用Adam優(yōu)化器的訓(xùn)練過(guò)程，峰值會(huì)產(chǎn)生7倍于模型參數(shù)量的中間變量。如此高的顯存消耗，意味著需要幾十上百個(gè)GPU才能完整存儲(chǔ)一個(gè)模型的訓(xùn)練過(guò)程。

可是，僅僅有了大量GPU，仍然無(wú)法訓(xùn)練出有效的大模型。合適的并行方式才是提升訓(xùn)練效率的關(guān)鍵。目前超大模型主要有三種并行方式：數(shù)據(jù)并行、流水線并行、張量并行。在千億~萬(wàn)億級(jí)別的大模型訓(xùn)練時(shí)，以上三種并行都會(huì)存在。訓(xùn)練超大模型需要數(shù)千GPU組成的集群。表面上看，這和云數(shù)據(jù)中心當(dāng)前已經(jīng)達(dá)到數(shù)萬(wàn)服務(wù)器的互聯(lián)規(guī)模相比，還處于下風(fēng)。但實(shí)際上，幾千節(jié)點(diǎn)的GPU互聯(lián)，比數(shù)萬(wàn)服務(wù)器的互聯(lián)更具有挑戰(zhàn)，因?yàn)榫W(wǎng)絡(luò)能力和計(jì)算能力需要高度匹配。

云數(shù)據(jù)中心使用CPU計(jì)算，網(wǎng)絡(luò)需求一般在10Gbps~100Gbps，并且使用傳統(tǒng)TCP/IP傳輸層協(xié)議。但AI超大模型訓(xùn)練使用GPU訓(xùn)練，算力比CPU高好幾個(gè)數(shù)量級(jí)，互聯(lián)網(wǎng)絡(luò)需求在100Gbps~400Gbps，此外使用了RDMA協(xié)議來(lái)減少傳輸時(shí)延，提升網(wǎng)絡(luò)吞吐。

具體來(lái)說(shuō)，數(shù)千GPU的高性能組網(wǎng)，在網(wǎng)絡(luò)規(guī)模上有以下問(wèn)題需要考慮

·大規(guī)模RDMA網(wǎng)絡(luò)遇到的問(wèn)題，例如鏈路頭阻、PFC死鎖風(fēng)暴

·網(wǎng)絡(luò)性能優(yōu)化，包括更高效的擁塞控制、負(fù)載均衡技術(shù)

·網(wǎng)卡連接性能問(wèn)題，單主機(jī)受到硬件性能限制，如何構(gòu)建數(shù)千RDMA的QP連接

·網(wǎng)絡(luò)拓?fù)溥x擇，是傳統(tǒng)Fat Tree結(jié)構(gòu)更好，還是可以參考高性能計(jì)算的Torus，Dragonfly等組網(wǎng)

2

超高帶寬需求

在AI大模型訓(xùn)練場(chǎng)景下，機(jī)內(nèi)與機(jī)外的集合通信操作將產(chǎn)生大量的通信數(shù)據(jù)量。從機(jī)內(nèi)GPU通信角度看，以千億參數(shù)規(guī)模的AI模型為例，模型并行產(chǎn)生的AllReduce集合通信數(shù)據(jù)量將達(dá)到百GB級(jí)別，因此機(jī)內(nèi)GPU間的通信帶寬及方式對(duì)于流完成時(shí)間十分重要。服務(wù)器內(nèi)GPU應(yīng)支持高速互聯(lián)協(xié)議，且其進(jìn)一步避免了GPU通信過(guò)程中依靠CPU內(nèi)存緩存數(shù)據(jù)的多次拷貝操作。

從機(jī)間GPU通信角度看，流水線并行、數(shù)據(jù)并行及張量并行模式需要不同的通信操作，部分集合通信數(shù)據(jù)將達(dá)到百GB級(jí)別，且復(fù)雜的集合通信模式將在同一時(shí)刻產(chǎn)生多對(duì)一與一對(duì)多的通信。因此機(jī)間GPU的高速互聯(lián)對(duì)于網(wǎng)絡(luò)的單端口帶寬、節(jié)點(diǎn)間的可用鏈路數(shù)量及網(wǎng)絡(luò)總帶寬提出了高要求。另外，GPU與網(wǎng)卡間通常通過(guò)PCIe總線互聯(lián)，PCIe總線的通信帶寬決定網(wǎng)卡單端口帶寬能否完全發(fā)揮。以PCIe3.0總線（16lane對(duì)應(yīng)單向16GB/秒帶寬）為例，當(dāng)機(jī)間通信配備200Gbps的單端口帶寬時(shí)，機(jī)間的網(wǎng)絡(luò)性能將無(wú)法完全被使用。

3

超低時(shí)延及抖動(dòng)需求

在數(shù)據(jù)通信傳輸過(guò)程中產(chǎn)生的網(wǎng)絡(luò)時(shí)延由靜態(tài)時(shí)延和動(dòng)態(tài)時(shí)延兩個(gè)部分構(gòu)成。靜態(tài)時(shí)延包含數(shù)據(jù)串行時(shí)延、設(shè)備轉(zhuǎn)發(fā)時(shí)延和光電傳輸時(shí)延，靜態(tài)時(shí)延由轉(zhuǎn)發(fā)芯片的能力和傳輸?shù)木嚯x決定，當(dāng)網(wǎng)絡(luò)拓?fù)渑c通信數(shù)據(jù)量確定時(shí)，此部分時(shí)延通常為固定值，而真正對(duì)網(wǎng)絡(luò)性能影響比較大的是動(dòng)態(tài)時(shí)延。動(dòng)態(tài)時(shí)延包含了交換機(jī)內(nèi)部排隊(duì)時(shí)延和丟包重傳時(shí)延，通常由網(wǎng)絡(luò)擁塞和丟包引起。

以1750億參數(shù)規(guī)模的GPT-3模型訓(xùn)練為例，從理論估算模型分析，當(dāng)動(dòng)態(tài)時(shí)延從10us提升至1000us時(shí)，GPU有效計(jì)算時(shí)間占比將降低接近10%，當(dāng)網(wǎng)絡(luò)丟包率為千分之一時(shí)，GPU 有效計(jì)算時(shí)間占比將下降13%，當(dāng)網(wǎng)絡(luò)丟包率達(dá)到1%時(shí)，GPU有效計(jì)算時(shí)間占比將低于5%。如何降低計(jì)算通信時(shí)延、提升網(wǎng)絡(luò)吞吐是AI大模型智算中心能夠充分釋放算力的核心問(wèn)題。

除時(shí)延外，網(wǎng)絡(luò)變化因素引入的時(shí)延抖動(dòng)也對(duì)訓(xùn)練效率產(chǎn)生影響。訓(xùn)練過(guò)程中計(jì)算節(jié)點(diǎn)的集合通信過(guò)程一般可以拆解成多個(gè)節(jié)點(diǎn)間并行執(zhí)行P2P通信，例如N個(gè)節(jié)點(diǎn)間Ring AllReduce 集合通信包含2*(N-1)次的數(shù)據(jù)通信子流程，每個(gè)子流程中所有節(jié)點(diǎn)均完成P2P通信（并行執(zhí)行）才可結(jié)束這個(gè)子流程。當(dāng)網(wǎng)絡(luò)出現(xiàn)波動(dòng)時(shí)，某兩個(gè)節(jié)點(diǎn)間的P2P的流完成時(shí)間（FCT）將明顯變長(zhǎng)。因網(wǎng)絡(luò)抖動(dòng)引入的P2P通信時(shí)間變化可理解為木桶效率的最弱一環(huán)，將會(huì)導(dǎo)致其所屬的子流程的完成時(shí)間也隨之變長(zhǎng)。因此，網(wǎng)絡(luò)抖動(dòng)導(dǎo)致集合通信的效率變低，從而影響到AI大模型的訓(xùn)練效率。

4

超高穩(wěn)定性需求

Transformer 誕生以后，開啟了大模型快速演進(jìn)的序章。過(guò)去5年時(shí)間，模型從61M，增長(zhǎng)到540B，翻了近1萬(wàn)倍！集群算力決定了AI模型訓(xùn)練速度的快慢，單塊V100訓(xùn)練GTP-3 需要335年，10000張V100的集群，集群系統(tǒng)完美線性擴(kuò)展需要12天左右時(shí)間。

網(wǎng)絡(luò)系統(tǒng)的可用性是作為基礎(chǔ)來(lái)決定整個(gè)集群的計(jì)算穩(wěn)定性。一方面，網(wǎng)絡(luò)故障域大，集群中一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的故障可能會(huì)影響數(shù)十個(gè)甚至更多的計(jì)算節(jié)點(diǎn)的連通性，降低系統(tǒng)算力的完整性；另一方面，網(wǎng)絡(luò)性能波動(dòng)影響大，網(wǎng)絡(luò)作為集群共享資源相較于單個(gè)計(jì)算節(jié)點(diǎn)不容易被隔離，性能波動(dòng)會(huì)導(dǎo)致所有計(jì)算資源的利用率都受影響。因此在AI大模型訓(xùn)練任務(wù)周期中，維持網(wǎng)絡(luò)的穩(wěn)定高效是極其重要的目標(biāo)，對(duì)網(wǎng)絡(luò)運(yùn)維帶來(lái)了新的挑戰(zhàn)。

在訓(xùn)練任務(wù)期間一旦發(fā)生故障，可能需要容錯(cuò)替換或者彈性擴(kuò)縮容的方式來(lái)處理故障節(jié)點(diǎn)。一旦參與計(jì)算的節(jié)點(diǎn)位置發(fā)生了變化，導(dǎo)致當(dāng)前的通信模式或許就不是最優(yōu)的，需要通過(guò)作業(yè)重新排布和調(diào)度，以此來(lái)提升整體訓(xùn)練的效率。另外，一些網(wǎng)絡(luò)故障（例如靜默丟包）的發(fā)生是不可被預(yù)期的，一旦發(fā)生不僅會(huì)導(dǎo)致集合通信效率降低，同時(shí)還會(huì)引發(fā)通信庫(kù)超時(shí)，造成訓(xùn)練業(yè)務(wù)長(zhǎng)時(shí)間卡死，很大程度上影響訓(xùn)練效率。因此需要通過(guò)獲取細(xì)粒度的業(yè)務(wù)流吞吐、丟包等信息，可避障自愈的耗時(shí)控制在秒級(jí)別內(nèi)。

5

網(wǎng)絡(luò)自動(dòng)化部署需求

智能無(wú)損網(wǎng)絡(luò)的構(gòu)建往往基于RDMA協(xié)議及擁塞控制機(jī)制，但與之相伴隨的是一系列復(fù)雜多樣化的配置。其中任一個(gè)參數(shù)配置錯(cuò)誤都可能會(huì)影響到業(yè)務(wù)的性能，還有可能會(huì)引出些許不符合預(yù)期的問(wèn)題。據(jù)統(tǒng)計(jì)，超過(guò)90%的高性能網(wǎng)絡(luò)故障是由配置錯(cuò)誤導(dǎo)致的問(wèn)題，出現(xiàn)這一問(wèn)題的主要原因是網(wǎng)卡配置參數(shù)多，其中參數(shù)量取決于架構(gòu)版本、業(yè)務(wù)類型和網(wǎng)卡類型。由于AI大模型訓(xùn)練中集群規(guī)模大，進(jìn)一步增大配置的復(fù)雜度。因此，高效或自動(dòng)化部署配置能夠有效的提升大模型集群系統(tǒng)的可靠性和效率。自動(dòng)化部署配置需要能夠做到多臺(tái)并行部署配置的能力，自動(dòng)選擇擁塞控制機(jī)制相關(guān)參數(shù)以及根據(jù)網(wǎng)卡類型和業(yè)務(wù)類型選擇相關(guān)配置。

同樣的，在復(fù)雜的架構(gòu)和配置條件下，在業(yè)務(wù)運(yùn)行過(guò)程中可快速準(zhǔn)確地故障定位，能夠有效保障整體業(yè)務(wù)效率。自動(dòng)化的故障檢測(cè)一方面可以快速定界問(wèn)題，精準(zhǔn)推送問(wèn)題至管理人員，另一方面可以減少問(wèn)題定位成本，快速定位問(wèn)題根因并給出解決方案。

芯啟源不但在各大開源社區(qū)持續(xù)貢獻(xiàn)，參與和引領(lǐng)行業(yè)發(fā)展，在國(guó)內(nèi)率先支持RDMA、GPU Direct等技術(shù)，成為旁路CPU和主機(jī)內(nèi)存的最佳AI/HPC解決方案。每個(gè)GPU可配置一個(gè)DPU進(jìn)行高速互聯(lián)，解決傳輸瓶頸。進(jìn)一步地，芯啟源下一代DPU采用Chiplet方式進(jìn)行GPU和DPU的互聯(lián)將帶來(lái)更高靈活性。

芯啟源DPU從芯片、硬件到軟件都實(shí)現(xiàn)了國(guó)產(chǎn)自主可控，并率先在國(guó)內(nèi)取得大量商業(yè)訂單，其中在一些運(yùn)營(yíng)商的省級(jí)規(guī)模部署場(chǎng)景實(shí)現(xiàn)了上線超兩年、且穩(wěn)定運(yùn)行無(wú)任何異常。從傳統(tǒng)業(yè)務(wù)場(chǎng)景到AI/HPC場(chǎng)景，芯啟源DPU均提供可靠穩(wěn)定的解決方案，幫助客戶實(shí)現(xiàn)業(yè)務(wù)平滑升級(jí)和AI/HPC等新業(yè)務(wù)的快速部署。

DPU是AIGC大模型算力網(wǎng)絡(luò)的關(guān)鍵設(shè)施，芯啟源作為國(guó)產(chǎn)DPU的領(lǐng)跑者，將持續(xù)推進(jìn)“人工智能+”行動(dòng)，賦能中國(guó)千行百業(yè)的數(shù)智化革新，助力新質(zhì)生產(chǎn)力。

本文轉(zhuǎn)載自微信公眾號(hào)“牛逼的IT”，小編略作修改

審核編輯：劉清