引言

在現(xiàn)代計(jì)算機(jī)網(wǎng)絡(luò)中，傳輸效率和低時(shí)延是高性能計(jì)算、云計(jì)算、分布式存儲(chǔ)等應(yīng)用的關(guān)鍵需求。而遠(yuǎn)程直接內(nèi)存訪問(wèn)(RDMA，Remote Direct Memory Access)技術(shù)因其高效的數(shù)據(jù)傳輸特性，已經(jīng)成為高性能計(jì)算和存儲(chǔ)系統(tǒng)的核心技術(shù)之一。然而，傳統(tǒng)的RDMA協(xié)議需要專門的硬件支持和網(wǎng)絡(luò)環(huán)境，這使得它的普及面臨一定的挑戰(zhàn)。

為了克服這一挑戰(zhàn)，RDMA技術(shù)在以太網(wǎng)環(huán)境中的實(shí)現(xiàn)成為了關(guān)鍵，這就是RoCE(RDMA over Converged Ethernet)協(xié)議的誕生。RoCE協(xié)議使得RDMA能夠在標(biāo)準(zhǔn)的以太網(wǎng)設(shè)備上運(yùn)行，從而讓RDMA技術(shù)的應(yīng)用范圍更廣泛，尤其在現(xiàn)代數(shù)據(jù)中心中得到了越來(lái)越多的應(yīng)用。

本文將深入探討RoCE協(xié)議的工作原理、版本演變以及在實(shí)際應(yīng)用中如何通過(guò)高效的擁塞控制機(jī)制確保數(shù)據(jù)傳輸?shù)母咝?，最終使得RDMA能夠在各種網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)無(wú)損、低延遲的數(shù)據(jù)傳輸。

RDMA技術(shù)概述

首先，讓我們了解一下什么是RDMA以及它為什么如此重要。

上圖的藍(lán)色箭頭表示傳統(tǒng)經(jīng)過(guò)CPU的訪問(wèn)路徑，綠色箭頭表示RDMA技術(shù)的訪問(wèn)路徑。

遠(yuǎn)程直接內(nèi)存訪問(wèn)(RDMA)技術(shù)允許計(jì)算機(jī)系統(tǒng)直接訪問(wèn)遠(yuǎn)程計(jì)算機(jī)的內(nèi)存，而無(wú)需通過(guò)操作系統(tǒng)的干預(yù)或網(wǎng)絡(luò)協(xié)議棧的處理。這種方式極大提高了數(shù)據(jù)傳輸效率，減少了網(wǎng)絡(luò)傳輸?shù)难舆t。

RDMA的最大優(yōu)勢(shì)在于，它幾乎消除了傳統(tǒng)網(wǎng)絡(luò)協(xié)議棧中的開(kāi)銷，直接在內(nèi)存中讀取或?qū)懭霐?shù)據(jù)，避免了內(nèi)存復(fù)制和操作系統(tǒng)調(diào)用的延遲。這使得RDMA在對(duì)延遲和帶寬有極高要求的應(yīng)用場(chǎng)景，如大規(guī)模并行計(jì)算、實(shí)時(shí)數(shù)據(jù)處理、分布式數(shù)據(jù)庫(kù)等領(lǐng)域，展現(xiàn)了巨大的潛力。

然而，RDMA技術(shù)在傳統(tǒng)以太網(wǎng)環(huán)境下難以實(shí)現(xiàn)，因?yàn)镽DMA通常需要在專用網(wǎng)絡(luò)(如InfiniBand)上運(yùn)行，這些網(wǎng)絡(luò)專為低延遲和高帶寬設(shè)計(jì)，不適用于普通的以太網(wǎng)。為了解決這一問(wèn)題，RoCE協(xié)議應(yīng)運(yùn)而生，它將RDMA協(xié)議移植到標(biāo)準(zhǔn)以太網(wǎng)上，讓RDMA能夠在更加廣泛的網(wǎng)絡(luò)環(huán)境中運(yùn)行。

RoCE協(xié)議與傳統(tǒng)以太網(wǎng)的關(guān)系

傳統(tǒng)以太網(wǎng)雖然被廣泛使用，但并不是為低延遲和高吞吐量設(shè)計(jì)的。尤其在網(wǎng)絡(luò)擁塞和流量管理方面，以太網(wǎng)的表現(xiàn)通常無(wú)法滿足高性能計(jì)算和存儲(chǔ)的需求。因此，RoCE協(xié)議的設(shè)計(jì)旨在結(jié)合以太網(wǎng)的普及性與RDMA的高性能特性。

RoCE協(xié)議通過(guò)將RDMA數(shù)據(jù)封裝在標(biāo)準(zhǔn)的以太網(wǎng)幀中，使得它可以在普通的以太網(wǎng)設(shè)備上運(yùn)行，而不需要專門的硬件支持。這種設(shè)計(jì)使得RoCE不僅可以與現(xiàn)有的以太網(wǎng)硬件兼容，還能大幅降低成本，從而使RDMA能夠普及到更廣泛的應(yīng)用場(chǎng)景中。

RoCE的版本演變

RoCE協(xié)議的發(fā)展經(jīng)歷了兩個(gè)主要版本：RoCEv1和RoCEv2。

1RoCEv1：這個(gè)版本的RoCE協(xié)議只在L2(數(shù)據(jù)鏈路層)上使用以太網(wǎng)頭部封裝，但在L3(網(wǎng)絡(luò)層)仍然使用InfiniBand的GRH(Global Routing Header)。這種設(shè)計(jì)使得RoCEv1只能在局域網(wǎng)(LAN)內(nèi)使用，無(wú)法跨越不同子網(wǎng)進(jìn)行通信，限制了它的應(yīng)用場(chǎng)景。據(jù)訪問(wèn)需多次內(nèi)存拷貝，傳輸時(shí)延大;

2RoCEv2：為了彌補(bǔ)RoCEv1的不足，RoCEv2采用了更靈活的設(shè)計(jì)，改用IP/UDP進(jìn)行L3封裝，使得RoCEv2能夠在L3子網(wǎng)之間進(jìn)行通信。這一改進(jìn)不僅解決了跨子網(wǎng)通信的問(wèn)題，還通過(guò)UDP協(xié)議支持了更高效的負(fù)載均衡，從而使得RoCEv2能夠在大規(guī)模數(shù)據(jù)中心中廣泛應(yīng)用。

RoCEv2協(xié)議的工作原理

RoCEv2協(xié)議的核心設(shè)計(jì)是利用UDP協(xié)議來(lái)進(jìn)行數(shù)據(jù)封裝。相比傳統(tǒng)的TCP協(xié)議，UDP具有較低的開(kāi)銷和更高的傳輸效率，這使得RoCEv2能夠在RDMA應(yīng)用中提供高效的數(shù)據(jù)傳輸。然而，UDP的缺點(diǎn)是它并不保證數(shù)據(jù)的可靠傳輸，這就意味著在數(shù)據(jù)丟失或網(wǎng)絡(luò)出現(xiàn)問(wèn)題時(shí)，需要額外的機(jī)制來(lái)確保數(shù)據(jù)的完整性。

為了解決UDP的缺點(diǎn)，RoCEv2依賴一個(gè)Lossless Network(無(wú)丟包網(wǎng)絡(luò))來(lái)確保數(shù)據(jù)傳輸?shù)母咝浴Ｔ谶@樣的網(wǎng)絡(luò)中，任何丟包都可能導(dǎo)致性能急劇下降，因此確保零丟包是RoCEv2高效運(yùn)行的前提。

什么是無(wú)丟包網(wǎng)絡(luò)

Lossless Network(無(wú)丟包網(wǎng)絡(luò))是確保RoCEv2協(xié)議能夠順利工作的關(guān)鍵。無(wú)丟包網(wǎng)絡(luò)通過(guò)擁塞控制和流量管理機(jī)制，防止在數(shù)據(jù)傳輸過(guò)程中發(fā)生丟包現(xiàn)象。RoCEv2對(duì)網(wǎng)絡(luò)的丟包非常敏感，因?yàn)閬G包會(huì)導(dǎo)致RDMA操作中斷，進(jìn)而影響到整個(gè)應(yīng)用的性能。

在傳統(tǒng)的以太網(wǎng)中，當(dāng)數(shù)據(jù)流量超過(guò)網(wǎng)絡(luò)處理能力時(shí)，可能會(huì)出現(xiàn)丟包現(xiàn)象。而在RoCEv2中，為了避免這種情況，通常要求網(wǎng)絡(luò)具備流量控制和擁塞控制的能力。

網(wǎng)絡(luò)擁塞控制與流量管理

在高性能網(wǎng)絡(luò)中，網(wǎng)絡(luò)擁塞是一個(gè)常見(jiàn)問(wèn)題，它會(huì)影響數(shù)據(jù)包的傳輸效率，導(dǎo)致延遲增加和吞吐量下降。尤其是在RoCEv2協(xié)議中，網(wǎng)絡(luò)擁塞可能導(dǎo)致數(shù)據(jù)包丟失，而丟包直接影響到RDMA操作，最終影響應(yīng)用性能。因此，網(wǎng)絡(luò)擁塞控制是RoCEv2協(xié)議設(shè)計(jì)中的一個(gè)關(guān)鍵要素。

擁塞通常發(fā)生在網(wǎng)絡(luò)中的數(shù)據(jù)傳輸鏈路和交換設(shè)備上。當(dāng)大量數(shù)據(jù)同時(shí)傳輸時(shí)，如果交換機(jī)的緩存滿了，數(shù)據(jù)就會(huì)丟失。此時(shí)，流量的增加會(huì)導(dǎo)致網(wǎng)絡(luò)處理能力的下降，進(jìn)而造成擁塞。

1流量控制：主要用于防止發(fā)送方數(shù)據(jù)流量過(guò)快，超出接收方處理能力，從而導(dǎo)致數(shù)據(jù)丟失。在RoCEv2中，流量控制可以通過(guò)網(wǎng)絡(luò)設(shè)備的PFC(Priority Flow Control)機(jī)制來(lái)實(shí)現(xiàn)。

2擁塞控制：擁塞控制則是針對(duì)整個(gè)網(wǎng)絡(luò)層面的問(wèn)題。它主要關(guān)注的是網(wǎng)絡(luò)鏈路和交換機(jī)是否能高效地處理大量數(shù)據(jù)流。在RoCEv2中，擁塞控制機(jī)制幫助在網(wǎng)絡(luò)開(kāi)始出現(xiàn)擁塞時(shí)調(diào)整數(shù)據(jù)傳輸?shù)乃俾?，從而避免擁塞的進(jìn)一步惡化。

RoCEv2協(xié)議的擁塞控制通常依賴兩種方法：PFC和ECN。

基于優(yōu)先級(jí)的流量控制(PFC)

PFC(Priority Flow Control，優(yōu)先級(jí)流量控制)是為了避免數(shù)據(jù)包在網(wǎng)絡(luò)中丟失而采取的一種機(jī)制。它的基本工作原理是在發(fā)現(xiàn)網(wǎng)絡(luò)出現(xiàn)擁塞時(shí)，通過(guò)發(fā)送一個(gè)“暫停幀”來(lái)告訴發(fā)送方暫時(shí)停止數(shù)據(jù)的發(fā)送，從而為網(wǎng)絡(luò)騰出空間。PFC的目標(biāo)是確保高優(yōu)先級(jí)流量(如RDMA流量)能夠在擁塞情況下保持優(yōu)先傳輸。

PFC的工作流程簡(jiǎn)述如下：

1數(shù)據(jù)流量過(guò)載：當(dāng)網(wǎng)絡(luò)中的某些鏈路發(fā)生擁塞時(shí)，交換機(jī)會(huì)根據(jù)流量的優(yōu)先級(jí)做出相應(yīng)的反應(yīng)。

2暫停幀：當(dāng)檢測(cè)到某些流量達(dá)到擁塞閾值時(shí)，交換機(jī)會(huì)發(fā)送暫停幀給發(fā)送方，通知它停止傳輸某一優(yōu)先級(jí)的流量。件運(yùn)行TCP/IP協(xié)議棧完成報(bào)文封裝，導(dǎo)致CPU負(fù)載重且CPU性能成為傳輸帶寬、時(shí)延等關(guān)鍵性能指標(biāo)的瓶頸;

3恢復(fù)傳輸：一旦網(wǎng)絡(luò)中的擁塞得以緩解，交換機(jī)會(huì)發(fā)送恢復(fù)幀，通知發(fā)送方可以恢復(fù)數(shù)據(jù)的傳輸。

PFC的優(yōu)點(diǎn)在于能夠有效避免丟包，保證了RoCEv2協(xié)議在傳輸過(guò)程中的高效性。然而，PFC也有一些潛在的問(wèn)題：

1死鎖問(wèn)題：如果多個(gè)流量因擁塞同時(shí)被暫停，并且這些流量互相依賴，可能會(huì)造成數(shù)據(jù)流無(wú)法繼續(xù)傳輸，形成“死鎖”。

2風(fēng)暴問(wèn)題：在網(wǎng)絡(luò)中大量暫停幀同時(shí)涌入可能會(huì)引起網(wǎng)絡(luò)的進(jìn)一步擁塞，形成所謂的“暫停風(fēng)暴”，這會(huì)導(dǎo)致網(wǎng)絡(luò)的進(jìn)一步癱瘓。

盡管如此，PFC仍然是RoCEv2的基礎(chǔ)組件之一，特別適合用于在較小的局域網(wǎng)內(nèi)進(jìn)行優(yōu)先級(jí)管理。

ECN(顯式擁塞通知)技術(shù)

ECN(Explicit Congestion Notification)是一種網(wǎng)絡(luò)層面的技術(shù)，旨在更智能地處理網(wǎng)絡(luò)中的擁塞問(wèn)題，而不僅僅是依賴暫停幀的流量控制。ECN的設(shè)計(jì)目的是允許網(wǎng)絡(luò)設(shè)備在出現(xiàn)擁塞時(shí)提前向端點(diǎn)發(fā)送通知，以便發(fā)送端調(diào)整其傳輸速率，而不是等待網(wǎng)絡(luò)設(shè)備發(fā)生丟包后才做出反應(yīng)。

ECN的工作原理非常簡(jiǎn)單：當(dāng)網(wǎng)絡(luò)設(shè)備檢測(cè)到可能的擁塞時(shí)，數(shù)據(jù)包會(huì)被標(biāo)記為“擁塞通知”(CNP，Congestion Notification Packet)。接收端收到帶有ECN標(biāo)記的數(shù)據(jù)包后，會(huì)通知發(fā)送端調(diào)整數(shù)據(jù)發(fā)送速率。ECN技術(shù)有兩個(gè)主要的優(yōu)點(diǎn)：

1減少丟包：相比于傳統(tǒng)的擁塞控制方法(如丟包和重新傳輸)，ECN通過(guò)提前發(fā)出擁塞通知，避免了丟包的發(fā)生。

2減少延遲：在沒(méi)有丟包的情況下，數(shù)據(jù)傳輸?shù)难舆t較低，這對(duì)高性能計(jì)算和實(shí)時(shí)應(yīng)用尤為重要。

雖然ECN能夠有效地減輕網(wǎng)絡(luò)擁塞，但其仍然需要在網(wǎng)絡(luò)設(shè)備和操作系統(tǒng)層面進(jìn)行廣泛的支持。RoCEv2協(xié)議中的ECN使得它在處理大規(guī)模數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量時(shí)表現(xiàn)更為高效。

DCQCN：量化擁塞通知與多路徑傳輸

DCQCN(Data Center Quantized Congestion Notification)是一種更加高級(jí)的擁塞控制算法，專門為高帶寬、低延遲的網(wǎng)絡(luò)環(huán)境設(shè)計(jì)，尤其適用于大規(guī)模數(shù)據(jù)中心。與傳統(tǒng)的ECN不同，DCQCN采用了“量化擁塞通知”的方式，通過(guò)更加細(xì)粒度的控制來(lái)平衡流量，從而避免單一流量的過(guò)度擁塞。

DCQCN的工作原理如下：

1量化通知：當(dāng)交換機(jī)檢測(cè)到擁塞時(shí)，它會(huì)生成一個(gè)量化通知包，并通過(guò)特定的算法確定數(shù)據(jù)流量的調(diào)整幅度。這種量化通知不僅僅是簡(jiǎn)單地告訴發(fā)送方“減慢”速度，而是通過(guò)具體的數(shù)值指示如何調(diào)整發(fā)送速率。

2多路徑傳輸：DCQCN還能夠支持多個(gè)傳輸路徑的選擇，幫助分擔(dān)網(wǎng)絡(luò)負(fù)載，避免某一路徑的過(guò)度擁塞。這種多路徑的設(shè)計(jì)使得網(wǎng)絡(luò)資源的利用更加高效，避免了單一鏈路的瓶頸。

這種方法有效提高了RoCEv2協(xié)議在大規(guī)模數(shù)據(jù)中心和云計(jì)算環(huán)境中的應(yīng)用性能，尤其是在處理大量并行數(shù)據(jù)流時(shí)，能夠?qū)崿F(xiàn)更好的帶寬利用和流量管理。

RoCEv2的實(shí)際應(yīng)用場(chǎng)景

RoCEv2協(xié)議在多個(gè)領(lǐng)域都展現(xiàn)了巨大的潛力，尤其在需要高帶寬和低延遲的應(yīng)用場(chǎng)景中，如高性能計(jì)算(HPC)、大數(shù)據(jù)分析、分布式存儲(chǔ)系統(tǒng)等。

1高性能計(jì)算(HPC)：HPC集群往往需要通過(guò)RDMA技術(shù)來(lái)實(shí)現(xiàn)節(jié)點(diǎn)間的快速數(shù)據(jù)傳輸，RoCEv2協(xié)議在以太網(wǎng)上的實(shí)現(xiàn)，使得HPC系統(tǒng)能夠在現(xiàn)有的網(wǎng)絡(luò)架構(gòu)上實(shí)現(xiàn)低延遲、高吞吐量的網(wǎng)絡(luò)通信，滿足大規(guī)模并行計(jì)算的需求。

2分布式存儲(chǔ)：在大規(guī)模分布式存儲(chǔ)系統(tǒng)中，數(shù)據(jù)傳輸效率是影響系統(tǒng)性能的關(guān)鍵因素。RoCEv2通過(guò)高效的數(shù)據(jù)傳輸機(jī)制，使得分布式存儲(chǔ)系統(tǒng)能夠在不同節(jié)點(diǎn)之間快速地同步數(shù)據(jù)，減少存儲(chǔ)延遲。

3云計(jì)算和虛擬化：RoCEv2協(xié)議在云計(jì)算環(huán)境中非常有用，它能夠確保虛擬機(jī)和容器之間的數(shù)據(jù)快速交換，尤其在需要實(shí)時(shí)處理的大數(shù)據(jù)和流媒體應(yīng)用中，RoCEv2能夠確保網(wǎng)絡(luò)延遲在最低限度內(nèi)，從而提高云服務(wù)的響應(yīng)速度和用戶體驗(yàn)。

挑戰(zhàn)與未來(lái)發(fā)展

盡管RoCEv2在高性能網(wǎng)絡(luò)中展現(xiàn)了諸多優(yōu)勢(shì)，但AI網(wǎng)絡(luò)Scale Out互聯(lián)層面仍面臨一些挑戰(zhàn)：

1擁塞控制滯后：雖然PFC和ECN能夠有效減少擁塞和丟包，但在高并發(fā)的網(wǎng)絡(luò)環(huán)境中，控制策略的滯后仍然會(huì)影響性能。未來(lái)的研究可能會(huì)致力于提高擁塞控制的響應(yīng)速度，減少對(duì)網(wǎng)絡(luò)性能的影響。

2網(wǎng)絡(luò)管理復(fù)雜性：RoCEv2要求網(wǎng)絡(luò)必須支持無(wú)丟包的流量控制，這增加了網(wǎng)絡(luò)的配置和管理復(fù)雜度。隨著數(shù)據(jù)中心規(guī)模的擴(kuò)大，如何有效管理RoCEv2網(wǎng)絡(luò)將成為一個(gè)重要問(wèn)題。

3RoCE的可能發(fā)展：隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，未來(lái)可能會(huì)出現(xiàn)modernized RoCE等新版本，進(jìn)一步優(yōu)化擁塞控制算法和多路徑傳輸性能，以滿足未來(lái)更為復(fù)雜和高帶寬的應(yīng)用需求。

總結(jié)

RoCE協(xié)議憑借其高效的低延遲數(shù)據(jù)傳輸能力，在現(xiàn)代高性能計(jì)算和分布式存儲(chǔ)系統(tǒng)中扮演著重要角色。且以太網(wǎng)的成熟度、低部署成本、兼容性強(qiáng)和運(yùn)維便利性，使得RoCE在需要高性能RDMA同時(shí)希望控制成本、簡(jiǎn)化部署的場(chǎng)景(如云計(jì)算、AI訓(xùn)練、大數(shù)據(jù)分析)中越來(lái)越受到青睞。RoCE通過(guò)結(jié)合RDMA和標(biāo)準(zhǔn)以太網(wǎng)的優(yōu)勢(shì)，使得RDMA能夠廣泛應(yīng)用于多種網(wǎng)絡(luò)環(huán)境。

盡管現(xiàn)有的RoCEv2面臨一定的挑戰(zhàn)，如PFC風(fēng)暴、死鎖的問(wèn)題，但我們?nèi)云诖瑖?guó)內(nèi)外Scale Out生態(tài)聯(lián)盟(UEC、GSE等)齊心協(xié)力、共同構(gòu)建下一代高性能modernized RDMA技術(shù)，通過(guò)支持多路徑傳輸?shù)臄?shù)據(jù)包噴灑技術(shù)、自適應(yīng)路由、增強(qiáng)重傳機(jī)制等功能，結(jié)合RoCE多種具備競(jìng)爭(zhēng)力的特點(diǎn)，能夠使行業(yè)更好地把握未來(lái)高性能網(wǎng)絡(luò)技術(shù)的發(fā)展趨勢(shì)，迎接更快速、更高效、更智能的網(wǎng)絡(luò)時(shí)代。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計(jì)算平臺(tái)量身打造，以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。

我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計(jì)算提供了堅(jiān)實(shí)的支撐。

奇異摩爾的核心團(tuán)隊(duì)匯聚了來(lái)自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn)，致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過(guò)50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn)，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界，愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力，技術(shù)探索新場(chǎng)景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計(jì)算奠定穩(wěn)固的基石。