隨著大模型的興起，為了應(yīng)對(duì)新的AI應(yīng)用，AI或算力數(shù)據(jù)中心建設(shè)如火如荼。

無(wú)論是作為聊天機(jī)器人，推薦系統(tǒng)還是在各個(gè)領(lǐng)域中實(shí)現(xiàn)流程自動(dòng)化，比如無(wú)人駕駛、人臉識(shí)別；AI技術(shù)都有望提升并加速眾多企業(yè)和公共設(shè)施的運(yùn)營(yíng)，甚至改變?nèi)藗兊纳罘绞健?/p>

然而，AI網(wǎng)絡(luò)或算力網(wǎng)絡(luò)作為一個(gè)概念，常常讓人感到困惑且被誤解，AI和算力需要網(wǎng)絡(luò)么？

在本文中，我們將探討關(guān)于AI網(wǎng)絡(luò)的五個(gè)基本要點(diǎn)，以及隨著AI的發(fā)展，網(wǎng)絡(luò)所面臨的獨(dú)特挑戰(zhàn)。

GPU是AI的核心

簡(jiǎn)單來(lái)說(shuō)，AI的核心是圖形處理單元（GPU）或神經(jīng)處理單元（NPU）。

過(guò)去，我們通常認(rèn)為中央處理單元（CPU）是計(jì)算機(jī)的核心。但GPU的優(yōu)勢(shì)在于，它在執(zhí)行數(shù)學(xué)計(jì)算特別是矩陣計(jì)算方面非常出色，從某種角度來(lái)說(shuō)，與人腦神經(jīng)元更接近。

CPU時(shí)代的數(shù)據(jù)中心網(wǎng)絡(luò)處理的大多是供人閱讀的文字或多媒體，典型的就是網(wǎng)站的瀏覽、文件傳輸以及觀看視頻，數(shù)據(jù)中心往往能夠同時(shí)支持?jǐn)?shù)億人的同時(shí)在線及高速的視頻碼流傳輸。

而在構(gòu)建大語(yǔ)言模型或深度學(xué)習(xí)模型時(shí)，需要讓GPU進(jìn)行“訓(xùn)練”，這涉及到解決可能包含數(shù)十億參數(shù)的矩陣和梯度運(yùn)算。GPU的計(jì)算非常的快，整個(gè)“訓(xùn)練”過(guò)程異常嚴(yán)苛，不允許有任何的錯(cuò)誤發(fā)生，一旦發(fā)生錯(cuò)誤或延遲，整個(gè)“訓(xùn)練”的周期就會(huì)被拉長(zhǎng)。這樣的運(yùn)算量，以及對(duì)無(wú)損和低延時(shí)的要求，對(duì)于傳統(tǒng)的數(shù)據(jù)中心而言，突然就變得捉襟見(jiàn)肘了。

AI訓(xùn)練任務(wù)由多GPU協(xié)同完成

大語(yǔ)言模型在訓(xùn)練的參數(shù)和模型復(fù)雜度上有非常明顯的提升，完成這些計(jì)算必須讓多達(dá)上千個(gè)GPU共同處理訓(xùn)練任務(wù)，即便如此，訓(xùn)練或微調(diào)大模型也可能需要數(shù)周甚至數(shù)月的時(shí)間。

一般的多GPU互聯(lián)的架構(gòu)是將一組GPU服務(wù)器放置在機(jī)架中，并通過(guò)機(jī)架頂部的交換機(jī)相互連接。機(jī)架與機(jī)架通過(guò)CLOS網(wǎng)絡(luò)結(jié)構(gòu)將它們?nèi)窟B接起來(lái)。隨著解決問(wèn)題復(fù)雜性的提升，對(duì)GPU的需求也會(huì)增加，有些情況下單個(gè)數(shù)據(jù)中心的電力不足以支持的時(shí)候，甚至需要跨數(shù)據(jù)中心連接通信來(lái)完成更大型的訓(xùn)練任務(wù)。

AI集群是一臺(tái)超級(jí)計(jì)算機(jī)

在構(gòu)建AI集群時(shí)，不僅僅要將GPU相互連接，更需要把它作為一個(gè)系統(tǒng)，解決很多錯(cuò)誤和優(yōu)化的問(wèn)題。正因?yàn)锳I集群的規(guī)模不斷的上升，其中任何單點(diǎn)錯(cuò)誤會(huì)導(dǎo)致整體訓(xùn)練任務(wù)的失敗或效率低下，整個(gè)系統(tǒng)的組成部件比如模塊、線纜、交換機(jī)、網(wǎng)卡、服務(wù)器、存儲(chǔ)甚至電源，冷卻系統(tǒng)等，都會(huì)影響整個(gè)系統(tǒng)的執(zhí)行和維護(hù)。AI集群已經(jīng)慢慢由一個(gè)組網(wǎng)變成為一臺(tái)超級(jí)計(jì)算機(jī)，越來(lái)越多的工作將會(huì)圍繞在部件之間的協(xié)同而不僅是部件內(nèi)部的單點(diǎn)優(yōu)化展開(kāi)。

網(wǎng)絡(luò)成為了訓(xùn)練效率的關(guān)鍵瓶頸

在去年秋天的開(kāi)放計(jì)算項(xiàng)目（OCP）全球峰會(huì)上，Marvell Technology的Loi Nguyen指出，網(wǎng)絡(luò)成為了AI部署的新瓶頸。GPU在解決計(jì)算問(wèn)題或處理訓(xùn)練負(fù)載方面非常有效。然而，進(jìn)行并行計(jì)算的GPU在完成本身處理的信息之外需要獲取其他GPU處理完成的信息，彼此之間需要相互通信和同步。

如果一個(gè)GPU無(wú)法獲取所需信息，或者同步需要較長(zhǎng)時(shí)間，其他所有GPU都必須等待，直到協(xié)作任務(wù)完成。在技術(shù)層面上，由網(wǎng)絡(luò)擁塞導(dǎo)致的數(shù)據(jù)包延遲或丟失可能會(huì)引發(fā)數(shù)據(jù)包重傳，顯著增加任務(wù)完成時(shí)間（JCT）。

這意味著價(jià)值數(shù)百萬(wàn)甚至數(shù)千萬(wàn)美元的GPU長(zhǎng)時(shí)間處于閑置狀態(tài)，從而導(dǎo)致AI產(chǎn)品的上市時(shí)間延遲并影響公司的財(cái)務(wù)成果。

測(cè)試對(duì)于AI網(wǎng)絡(luò)至關(guān)重要

為了確保AI集群的高效運(yùn)行，需要網(wǎng)絡(luò)對(duì)GPU協(xié)同作業(yè)可能存在的擁塞和錯(cuò)誤有提前的感知以及良好的應(yīng)對(duì)。

這要求對(duì)網(wǎng)絡(luò)處理AI負(fù)載的性能進(jìn)行詳盡的測(cè)試和基準(zhǔn)評(píng)估。但這并非易事，因?yàn)镚PU協(xié)同作業(yè)的負(fù)載區(qū)別于傳統(tǒng)網(wǎng)絡(luò)的流量負(fù)載，微突發(fā)、大象流、低熵是比較典型的特征。

因此，在測(cè)試AI網(wǎng)絡(luò)時(shí)，我們會(huì)面臨諸多挑戰(zhàn)：

? GPU短缺，無(wú)法復(fù)刻生產(chǎn)網(wǎng)絡(luò)環(huán)境或無(wú)法長(zhǎng)時(shí)間復(fù)現(xiàn)問(wèn)題。

?在生產(chǎn)系統(tǒng)上進(jìn)行測(cè)試可能會(huì)降低系統(tǒng)的處理能力。

?系統(tǒng)內(nèi)的部件不能提供足夠的日志及調(diào)試能力，無(wú)法準(zhǔn)確定位問(wèn)題。

?此外，獲取GPU之間集合通信更細(xì)節(jié)的信息，比如 Queue-Pair 的信息是一個(gè)挑戰(zhàn)。

為了應(yīng)對(duì)這些挑戰(zhàn)，可以首先在實(shí)驗(yàn)室環(huán)境中對(duì)建議配置的一個(gè)子集或小的組網(wǎng)進(jìn)行測(cè)試，對(duì)關(guān)鍵參數(shù)進(jìn)行基準(zhǔn)測(cè)試，比如任務(wù)完成時(shí)間（JCT）、AI集群可達(dá)到的帶寬，以及這些參數(shù)與網(wǎng)絡(luò)利用率和交換機(jī)緩存消耗的比較。

這種基準(zhǔn)測(cè)試有助于找到GPU/工作負(fù)載與網(wǎng)絡(luò)設(shè)計(jì)/參數(shù)設(shè)置之間的平衡。當(dāng)計(jì)算架構(gòu)師和網(wǎng)絡(luò)工程師對(duì)結(jié)果滿意時(shí)，他們可以將這些設(shè)置應(yīng)用于生產(chǎn)環(huán)境，并測(cè)量新的結(jié)果。

結(jié)論

為了充分利用AI算力，必須對(duì)AI網(wǎng)絡(luò)的設(shè)備和基礎(chǔ)設(shè)施進(jìn)行優(yōu)化。

企業(yè)和學(xué)術(shù)界正在提出更多好的架構(gòu)和算法來(lái)優(yōu)化AI系統(tǒng)的各個(gè)部件及部件間協(xié)同，以應(yīng)對(duì)未來(lái)更多AI應(yīng)用給大型網(wǎng)絡(luò)帶來(lái)的挑戰(zhàn)。

測(cè)試對(duì)AI系統(tǒng)非常關(guān)鍵，只有通過(guò)確定可重復(fù)的測(cè)試，行業(yè)才能實(shí)現(xiàn)從探索性實(shí)驗(yàn)到可交付的迭代，這會(huì)是優(yōu)化AI這臺(tái)超級(jí)計(jì)算機(jī)的基礎(chǔ)。

關(guān)于是德科技

是德科技（NYSE：KEYS）啟迪并賦能創(chuàng)新者，助力他們將改變世界的技術(shù)帶入生活。作為一家標(biāo)準(zhǔn)普爾 500 指數(shù)公司，我們提供先進(jìn)的設(shè)計(jì)、仿真和測(cè)試解決方案，旨在幫助工程師在整個(gè)產(chǎn)品生命周期中更快地完成開(kāi)發(fā)和部署，同時(shí)控制好風(fēng)險(xiǎn)。我們的客戶遍及全球通信、工業(yè)自動(dòng)化、航空航天與國(guó)防、汽車、半導(dǎo)體和通用電子等市場(chǎng)。我們與客戶攜手，加速創(chuàng)新，創(chuàng)造一個(gè)安全互聯(lián)的世界。