英特爾和微軟等幾家科技巨頭計(jì)劃開發(fā)開放的“Ultra Ethernet”解決方案堆棧，以滿足人工智能和高性能計(jì)算工作負(fù)載不斷增長的網(wǎng)絡(luò)需求。

周三，這些公司通過一個(gè)名為“Ultra Ethernet Consortium”（UEC：超以太網(wǎng)聯(lián)盟）的新組織宣布了他們的計(jì)劃，該聯(lián)盟尋求通過“全行業(yè)合作”“為高性能網(wǎng)絡(luò)構(gòu)建一個(gè)完整的基于以太網(wǎng)的通信堆棧架構(gòu)”。

該聯(lián)盟由 Linux 基金會成立，其他創(chuàng)始人包括網(wǎng)絡(luò)芯片巨頭 Broadcom、網(wǎng)絡(luò)硬件供應(yīng)商 Cisco 和 Arista Networks、英特爾芯片競爭對手 AMD、服務(wù)器巨頭 Hewlett Packard Enterprise、Facebook 母公司 Meta 和解決方案提供商巨頭擁有的網(wǎng)絡(luò)安全業(yè)務(wù) Evidian阿托斯。

該集團(tuán)正在攻克一個(gè)快速增長的領(lǐng)域，這可能為渠道合作伙伴帶來重大機(jī)遇。研究公司 650 Group 表示，數(shù)據(jù)中心人工智能網(wǎng)絡(luò)市場預(yù)計(jì)今年將增長至 30 億美元，到 2027 年將達(dá)到 100 億美元。

“這并不是要徹底改革以太網(wǎng)，”Ultra Ethernet Consortium主席J Metz 博士在一份聲明中表示。“這是關(guān)于調(diào)整以太網(wǎng)以提高具有特定性能要求的工作負(fù)載的效率。我們正在研究每一層——從物理層一直到軟件層——以找到大規(guī)模提高效率和性能的最佳方法?！?/p>

據(jù)超以太網(wǎng)聯(lián)盟 (UEC) 在新聞稿中所說，他們正在匯集領(lǐng)先的公司進(jìn)行全行業(yè)合作，為高性能網(wǎng)絡(luò)構(gòu)建一個(gè)完整的基于以太網(wǎng)的通信堆棧架構(gòu)。人工智能 (AI) 和高性能計(jì)算 (HPC) 工作負(fù)載正在快速發(fā)展，需要一流的功能、性能、互操作性和總體擁有成本，同時(shí)又不犧牲開發(fā)人員和最終用戶的友好性。超級以太網(wǎng)解決方案堆棧將利用以太網(wǎng)的普遍性和靈活性來處理各種工作負(fù)載，同時(shí)具有可擴(kuò)展性和成本效益。

該聯(lián)盟將致力于最大限度地減少通信堆棧的變化，同時(shí)維護(hù)和促進(jìn)以太網(wǎng)互操作性。

據(jù)報(bào)道，UEC 為改進(jìn)以太網(wǎng)而做出的首批努力之一是目前稱為 UEC 傳輸?shù)募夹g(shù)。

Metz 表示，UEC 傳輸正在開發(fā)中，以幫助提供比目前 RDMA 更好的以太網(wǎng)傳輸。雖然仍將支持 RDMA，但 UEC 旨在提供更靈活的傳輸，不需要無損網(wǎng)絡(luò)。這將允許多對多人工智能工作負(fù)載所需的多路徑和無序數(shù)據(jù)包傳輸?shù)裙δ堋?/p>

“UEC 傳輸是一種處理傳輸層的新形式，它具有一些語義調(diào)整、擁塞通知協(xié)議和一些安全增強(qiáng)功能，”Metz 說。

UEC 技術(shù)咨詢委員會主席 Uri Elzur 告訴 SDxCentral，通過即插即用和合規(guī)性測試確?；ゲ僮餍詫⑹俏磥淼闹攸c(diǎn)。Elzur 表示，UEC 的目標(biāo)是確保其開放性和可互操作性。

“為了實(shí)現(xiàn)我們的目標(biāo)，必須改變一系列事情，同時(shí)我們保留以太網(wǎng)環(huán)境的優(yōu)點(diǎn)，并在此基礎(chǔ)上構(gòu)建一個(gè)堆棧，”Elzur 說。

該聯(lián)盟的技術(shù)目標(biāo)是開發(fā)規(guī)范、API 和源代碼來定義：

以太網(wǎng)通信的協(xié)議、電信號和光信號特征、應(yīng)用程序接口和/或數(shù)據(jù)結(jié)構(gòu)。

鏈路級和端到端網(wǎng)絡(luò)傳輸協(xié)議可擴(kuò)展或替換現(xiàn)有鏈路和傳輸協(xié)議。

鏈路級和端到端擁塞、遙測和信令機(jī)制；上述各項(xiàng)均適用于人工智能、機(jī)器學(xué)習(xí)和高性能計(jì)算環(huán)境。

軟件、存儲、管理和安全結(jié)構(gòu)可促進(jìn)各種工作負(fù)載和操作環(huán)境。

UEC 將遵循模塊化、兼容、可互操作層和緊密集成的系統(tǒng)方法，為要求苛刻的工作負(fù)載提供全面改進(jìn)。創(chuàng)始公司正在為聯(lián)盟的四個(gè)工作組做出極具價(jià)值的貢獻(xiàn)：物理層、鏈路層、傳輸層和軟件層。

“

現(xiàn)代AI工作的網(wǎng)絡(luò)需求

網(wǎng)絡(luò)對于高效且經(jīng)濟(jì)高效的人工智能模型訓(xùn)練變得越來越重要。GPT-3、Chinchilla 和 PALM 等大型語言模型 (LLM) 以及 DLRM 和 DHEN 等推薦系統(tǒng)在數(shù)千個(gè) GPU 的集群上進(jìn)行訓(xùn)練。

訓(xùn)練由頻繁的計(jì)算和通信階段組成，其中下一階段訓(xùn)練的啟動取決于整個(gè) GPU 套件通信階段的完成。最后到達(dá)的消息控制所有 GPU 的進(jìn)度。這種尾部延遲（Tail latency，通過通信階段最后一條消息的到達(dá)時(shí)間來衡量）是系統(tǒng)性能的關(guān)鍵指標(biāo)。

就參數(shù)數(shù)量、嵌入表?xiàng)l目和上下文緩沖區(qū)的字?jǐn)?shù)而言，大型模型的規(guī)模不斷增加。例如，2020 年，GPT-3 是最先進(jìn)的，擁有 1750 億個(gè)參數(shù)。最近，他們宣布了 GPT-4 模型，預(yù)計(jì)有 1 萬億個(gè)參數(shù)，而 DLRM 擁有數(shù)萬億個(gè)參數(shù)，并且預(yù)計(jì)還會增長。這些越來越大的模型需要越來越大的集群來訓(xùn)練并在網(wǎng)絡(luò)上驅(qū)動更大的消息。當(dāng)網(wǎng)絡(luò)性能不佳時(shí)，這些昂貴的集群就得不到充分利用。連接這些計(jì)算資源的網(wǎng)絡(luò)必須盡可能高效且經(jīng)濟(jì)高效。

高性能計(jì)算 (HPC) 工作的要求也同樣很高，而且 HPC 和人工智能在分布式計(jì)算資源的規(guī)模和高效利用方面的需求日益趨同。雖然 AI 工作負(fù)載通常非常需要帶寬，但 HPC 還包括對延遲更加敏感的工作負(fù)載。

“

以太網(wǎng)的優(yōu)勢

目前，許多大型集群（包括用于人工智能訓(xùn)練的 GPU 的超大規(guī)模部署）已經(jīng)在基于以太網(wǎng)的 IP 網(wǎng)絡(luò)上運(yùn)行，利用了它們的許多優(yōu)勢：

廣泛的多供應(yīng)商生態(tài)系統(tǒng)，由來自許多參與方的可互操作以太網(wǎng)交換機(jī)、NIC、電纜、收發(fā)器、光學(xué)器件、管理工具和軟件組成

經(jīng)過驗(yàn)證的 IP 網(wǎng)絡(luò)尋址和路由規(guī)模，可實(shí)現(xiàn)機(jī)架規(guī)模、建筑規(guī)模和數(shù)據(jù)中心規(guī)模網(wǎng)絡(luò)

一系列用于測試、測量、部署和高效運(yùn)營以太網(wǎng)的工具

通過競爭性生態(tài)系統(tǒng)和規(guī)模經(jīng)濟(jì)降低成本的歷史經(jīng)驗(yàn)

IEEE 以太網(wǎng)標(biāo)準(zhǔn)經(jīng)過驗(yàn)證的能力，能夠在許多物理層和光層上快速、定期地推進(jìn)

我們預(yù)計(jì)這些優(yōu)勢將成為關(guān)鍵要求，并且以太網(wǎng)在未來將越來越多地主導(dǎo)各種規(guī)模的人工智能和高性能計(jì)算工作負(fù)載。

“

未來人工智能和高性能計(jì)算網(wǎng)絡(luò)的關(guān)鍵需求

即使考慮到使用以太網(wǎng)的優(yōu)點(diǎn)，也可以而且應(yīng)該進(jìn)行改進(jìn)。網(wǎng)絡(luò)必須不斷發(fā)展，以更好地提供前所未有的性能，以適應(yīng)未來網(wǎng)絡(luò)規(guī)模的擴(kuò)大和帶寬的提高。最重要的是需要網(wǎng)絡(luò)支持盡快將消息傳遞到所有參與端點(diǎn)，即使是少數(shù)端點(diǎn)也不會出現(xiàn)長時(shí)間延遲。應(yīng)盡量減少“尾部延遲”。

為了實(shí)現(xiàn)低尾部延遲，UEC 規(guī)范通過滿足下一代應(yīng)用程序的以下關(guān)鍵網(wǎng)絡(luò)要求，提供了重大改進(jìn)：

1、Multi-pathing and packet spraying

2、Flexible delivery order

3、Modern congestion control mechanisms

4、End-to-end telemetry

5、Larger scale, stability, and reliability

最后一點(diǎn)給前面的所有點(diǎn)帶來了額外的負(fù)擔(dān)。高性能系統(tǒng)幾乎沒有容錯(cuò)空間，而在較大的網(wǎng)絡(luò)中，容錯(cuò)空間會變得更加復(fù)雜。，隨著系統(tǒng)的發(fā)展，確定性和可預(yù)測性變得更加困難，需要新的方法來實(shí)現(xiàn)整體穩(wěn)定性。

“

超以太網(wǎng)聯(lián)盟的目標(biāo)

在白皮書中，UCE表示，超以太網(wǎng)聯(lián)盟的成員認(rèn)為，現(xiàn)在是重新開始并用超以太網(wǎng)傳輸取代傳統(tǒng) RoCE 協(xié)議的時(shí)候了。超以太網(wǎng)傳輸是一種現(xiàn)代傳輸協(xié)議，旨在提供 AI 和 HPC 應(yīng)用程序所需的性能，同時(shí)保留超以太網(wǎng)生態(tài)系統(tǒng)的優(yōu)勢。

TCP/IP 和以太網(wǎng)成功的兩個(gè)基本教訓(xùn)是，傳輸協(xié)議應(yīng)提供丟失恢復(fù)功能，并且無損結(jié)構(gòu)在不觸發(fā)隊(duì)頭阻塞和擁塞擴(kuò)散的情況下運(yùn)行非常具有挑戰(zhàn)性。UEC 傳輸遵循這些原則，建立在分布式路由算法和基于端點(diǎn)的可靠性和擁塞控制的成熟路徑之上。UEC 傳輸協(xié)議通過提供以下功能超越了現(xiàn)狀：

開放協(xié)議規(guī)范從一開始就設(shè)計(jì)為在IP 和以太網(wǎng)上運(yùn)行

多路徑、數(shù)據(jù)包噴射傳送（packet-spraying delivery ），充分利用 AI 網(wǎng)絡(luò)，不會造成擁塞或隊(duì)頭阻塞，無需集中式負(fù)載均衡算法和路由控制器

Incast 管理機(jī)制，以最小的丟包控制到目標(biāo)主機(jī)的最終鏈路上的扇入

高效的速率控制算法，允許傳輸快速提升至線速，同時(shí)不會導(dǎo)致競爭流的性能損失

用于無序數(shù)據(jù)包傳送的 API，可選擇按順序完成消息，最大限度地提高網(wǎng)絡(luò)和應(yīng)用程序的并發(fā)性，并最大限度地減少消息延遲

可擴(kuò)展未來網(wǎng)絡(luò)，支持 1,000,000 個(gè)端點(diǎn)

性能和最佳網(wǎng)絡(luò)利用率，無需針對網(wǎng)絡(luò)和工作負(fù)載調(diào)整擁塞算法參數(shù)

旨在在商用硬件上實(shí)現(xiàn) 800G、1.6T 和未來更快以太網(wǎng)的線速性能

UEC 規(guī)范將超越傳輸層，定義標(biāo)準(zhǔn)語義層、改進(jìn)的低延遲交付機(jī)制以及一致的 AI 和 HPC API，并提供標(biāo)準(zhǔn)的多供應(yīng)商支持，以便通過 UEC 傳輸協(xié)議實(shí)現(xiàn)這些 API。

“

英偉達(dá)可能遭遇重創(chuàng)？

一位解決方案提供商高管表示，超以太網(wǎng)聯(lián)盟的一個(gè)可能目標(biāo)是提供 Nvidia InfiniBand 網(wǎng)絡(luò)解決方案的替代方案，該解決方案針對 AI 和 HPC 工作負(fù)載。他發(fā)現(xiàn)值得注意的是，英偉達(dá)并不是該組織的成員。

“他們正在嘗試找到一種處理這些織物的替代方法，”位于明尼蘇達(dá)州伯恩斯維爾的 HPC 系統(tǒng)集成商 Nor-Tech 的工程副總裁 Dominic Daninger 說。

英偉達(dá)沒有回應(yīng)置評請求。

Daninger 表示，如果成功構(gòu)建可互操作且速度更快的基于以太網(wǎng)的解決方案堆棧，該團(tuán)隊(duì)可能會削弱 Nvidia 在人工智能和 HPC 領(lǐng)域的主導(dǎo)地位。這是因?yàn)?Nvidia 推出了 InfiniBand 解決方案，該解決方案是該公司通過2021 年收購 Mellanox獲得的，作為連接 GPU 集群以執(zhí)行此類工作負(fù)載的最佳低延遲解決方案。

他表示：“英特爾、AMD 和博通等公司可能有興趣擺脫與 Nvidia 的加速器和連接結(jié)構(gòu)的束縛?！?/p>

該團(tuán)隊(duì)的目標(biāo)是開發(fā)超越“當(dāng)今專業(yè)技術(shù)”性能的基于以太網(wǎng)的架構(gòu)，重點(diǎn)關(guān)注功能、性能、總體擁有成本、互操作性以及為用戶和開發(fā)人員提供的友好環(huán)境。

從技術(shù)角度來看，超以太網(wǎng)聯(lián)盟正在尋求開發(fā)規(guī)范、API 和源代碼，以定義基于以太網(wǎng)的解決方案堆棧中的多個(gè)方面。

堆棧中的這些方面包括支持各種工作負(fù)載和操作環(huán)境所需的軟件、存儲、管理和安全構(gòu)造。它們還涵蓋鏈路和傳輸協(xié)議以及電氣和光學(xué)信號特征以及以太網(wǎng)通信的應(yīng)用程序接口和數(shù)據(jù)結(jié)構(gòu)。

超以太網(wǎng)聯(lián)盟預(yù)計(jì)首批采用其規(guī)范的產(chǎn)品將于 2024 年問世。

審核編輯：劉清