引言

在現(xiàn)代計算機網(wǎng)絡(luò)中，傳輸效率和低時延是高性能計算、云計算、分布式存儲等應(yīng)用的關(guān)鍵需求。而遠程直接內(nèi)存訪問(RDMA，Remote Direct Memory Access)技術(shù)因其高效的數(shù)據(jù)傳輸特性，已經(jīng)成為高性能計算和存儲系統(tǒng)的核心技術(shù)之一。然而，傳統(tǒng)的RDMA協(xié)議需要專門的硬件支持和網(wǎng)絡(luò)環(huán)境，這使得它的普及面臨一定的挑戰(zhàn)。

為了克服這一挑戰(zhàn)，RDMA技術(shù)在以太網(wǎng)環(huán)境中的實現(xiàn)成為了關(guān)鍵，這就是RoCE(RDMA over Converged Ethernet)協(xié)議的誕生。RoCE協(xié)議使得RDMA能夠在標(biāo)準(zhǔn)的以太網(wǎng)設(shè)備上運行，從而讓RDMA技術(shù)的應(yīng)用范圍更廣泛，尤其在現(xiàn)代數(shù)據(jù)中心中得到了越來越多的應(yīng)用。

本文將深入探討RoCE協(xié)議的工作原理、版本演變以及在實際應(yīng)用中如何通過高效的擁塞控制機制確保數(shù)據(jù)傳輸?shù)母咝?，最終使得RDMA能夠在各種網(wǎng)絡(luò)環(huán)境中實現(xiàn)無損、低延遲的數(shù)據(jù)傳輸。

RDMA技術(shù)概述

首先，讓我們了解一下什么是RDMA以及它為什么如此重要。

上圖的藍色箭頭表示傳統(tǒng)經(jīng)過CPU的訪問路徑，綠色箭頭表示RDMA技術(shù)的訪問路徑。

遠程直接內(nèi)存訪問(RDMA)技術(shù)允許計算機系統(tǒng)直接訪問遠程計算機的內(nèi)存，而無需通過操作系統(tǒng)的干預(yù)或網(wǎng)絡(luò)協(xié)議棧的處理。這種方式極大提高了數(shù)據(jù)傳輸效率，減少了網(wǎng)絡(luò)傳輸?shù)难舆t。

RDMA的最大優(yōu)勢在于，它幾乎消除了傳統(tǒng)網(wǎng)絡(luò)協(xié)議棧中的開銷，直接在內(nèi)存中讀取或?qū)懭霐?shù)據(jù)，避免了內(nèi)存復(fù)制和操作系統(tǒng)調(diào)用的延遲。這使得RDMA在對延遲和帶寬有極高要求的應(yīng)用場景，如大規(guī)模并行計算、實時數(shù)據(jù)處理、分布式數(shù)據(jù)庫等領(lǐng)域，展現(xiàn)了巨大的潛力。

然而，RDMA技術(shù)在傳統(tǒng)以太網(wǎng)環(huán)境下難以實現(xiàn)，因為RDMA通常需要在專用網(wǎng)絡(luò)(如InfiniBand)上運行，這些網(wǎng)絡(luò)專為低延遲和高帶寬設(shè)計，不適用于普通的以太網(wǎng)。為了解決這一問題，RoCE協(xié)議應(yīng)運而生，它將RDMA協(xié)議移植到標(biāo)準(zhǔn)以太網(wǎng)上，讓RDMA能夠在更加廣泛的網(wǎng)絡(luò)環(huán)境中運行。

RoCE協(xié)議與傳統(tǒng)以太網(wǎng)的關(guān)系

傳統(tǒng)以太網(wǎng)雖然被廣泛使用，但并不是為低延遲和高吞吐量設(shè)計的。尤其在網(wǎng)絡(luò)擁塞和流量管理方面，以太網(wǎng)的表現(xiàn)通常無法滿足高性能計算和存儲的需求。因此，RoCE協(xié)議的設(shè)計旨在結(jié)合以太網(wǎng)的普及性與RDMA的高性能特性。

RoCE協(xié)議通過將RDMA數(shù)據(jù)封裝在標(biāo)準(zhǔn)的以太網(wǎng)幀中，使得它可以在普通的以太網(wǎng)設(shè)備上運行，而不需要專門的硬件支持。這種設(shè)計使得RoCE不僅可以與現(xiàn)有的以太網(wǎng)硬件兼容，還能大幅降低成本，從而使RDMA能夠普及到更廣泛的應(yīng)用場景中。

RoCE的版本演變

RoCE協(xié)議的發(fā)展經(jīng)歷了兩個主要版本：RoCEv1和RoCEv2。

1RoCEv1：這個版本的RoCE協(xié)議只在L2(數(shù)據(jù)鏈路層)上使用以太網(wǎng)頭部封裝，但在L3(網(wǎng)絡(luò)層)仍然使用InfiniBand的GRH(Global Routing Header)。這種設(shè)計使得RoCEv1只能在局域網(wǎng)(LAN)內(nèi)使用，無法跨越不同子網(wǎng)進行通信，限制了它的應(yīng)用場景。據(jù)訪問需多次內(nèi)存拷貝，傳輸時延大;

2RoCEv2：為了彌補RoCEv1的不足，RoCEv2采用了更靈活的設(shè)計，改用IP/UDP進行L3封裝，使得RoCEv2能夠在L3子網(wǎng)之間進行通信。這一改進不僅解決了跨子網(wǎng)通信的問題，還通過UDP協(xié)議支持了更高效的負載均衡，從而使得RoCEv2能夠在大規(guī)模數(shù)據(jù)中心中廣泛應(yīng)用。

RoCEv2協(xié)議的工作原理

RoCEv2協(xié)議的核心設(shè)計是利用UDP協(xié)議來進行數(shù)據(jù)封裝。相比傳統(tǒng)的TCP協(xié)議，UDP具有較低的開銷和更高的傳輸效率，這使得RoCEv2能夠在RDMA應(yīng)用中提供高效的數(shù)據(jù)傳輸。然而，UDP的缺點是它并不保證數(shù)據(jù)的可靠傳輸，這就意味著在數(shù)據(jù)丟失或網(wǎng)絡(luò)出現(xiàn)問題時，需要額外的機制來確保數(shù)據(jù)的完整性。

為了解決UDP的缺點，RoCEv2依賴一個Lossless Network(無丟包網(wǎng)絡(luò))來確保數(shù)據(jù)傳輸?shù)母咝浴Ｔ谶@樣的網(wǎng)絡(luò)中，任何丟包都可能導(dǎo)致性能急劇下降，因此確保零丟包是RoCEv2高效運行的前提。

什么是無丟包網(wǎng)絡(luò)

Lossless Network(無丟包網(wǎng)絡(luò))是確保RoCEv2協(xié)議能夠順利工作的關(guān)鍵。無丟包網(wǎng)絡(luò)通過擁塞控制和流量管理機制，防止在數(shù)據(jù)傳輸過程中發(fā)生丟包現(xiàn)象。RoCEv2對網(wǎng)絡(luò)的丟包非常敏感，因為丟包會導(dǎo)致RDMA操作中斷，進而影響到整個應(yīng)用的性能。

在傳統(tǒng)的以太網(wǎng)中，當(dāng)數(shù)據(jù)流量超過網(wǎng)絡(luò)處理能力時，可能會出現(xiàn)丟包現(xiàn)象。而在RoCEv2中，為了避免這種情況，通常要求網(wǎng)絡(luò)具備流量控制和擁塞控制的能力。

網(wǎng)絡(luò)擁塞控制與流量管理

在高性能網(wǎng)絡(luò)中，網(wǎng)絡(luò)擁塞是一個常見問題，它會影響數(shù)據(jù)包的傳輸效率，導(dǎo)致延遲增加和吞吐量下降。尤其是在RoCEv2協(xié)議中，網(wǎng)絡(luò)擁塞可能導(dǎo)致數(shù)據(jù)包丟失，而丟包直接影響到RDMA操作，最終影響應(yīng)用性能。因此，網(wǎng)絡(luò)擁塞控制是RoCEv2協(xié)議設(shè)計中的一個關(guān)鍵要素。

擁塞通常發(fā)生在網(wǎng)絡(luò)中的數(shù)據(jù)傳輸鏈路和交換設(shè)備上。當(dāng)大量數(shù)據(jù)同時傳輸時，如果交換機的緩存滿了，數(shù)據(jù)就會丟失。此時，流量的增加會導(dǎo)致網(wǎng)絡(luò)處理能力的下降，進而造成擁塞。

1流量控制：主要用于防止發(fā)送方數(shù)據(jù)流量過快，超出接收方處理能力，從而導(dǎo)致數(shù)據(jù)丟失。在RoCEv2中，流量控制可以通過網(wǎng)絡(luò)設(shè)備的PFC(Priority Flow Control)機制來實現(xiàn)。

2擁塞控制：擁塞控制則是針對整個網(wǎng)絡(luò)層面的問題。它主要關(guān)注的是網(wǎng)絡(luò)鏈路和交換機是否能高效地處理大量數(shù)據(jù)流。在RoCEv2中，擁塞控制機制幫助在網(wǎng)絡(luò)開始出現(xiàn)擁塞時調(diào)整數(shù)據(jù)傳輸?shù)乃俾?，從而避免擁塞的進一步惡化。

RoCEv2協(xié)議的擁塞控制通常依賴兩種方法：PFC和ECN。

基于優(yōu)先級的流量控制(PFC)

PFC(Priority Flow Control，優(yōu)先級流量控制)是為了避免數(shù)據(jù)包在網(wǎng)絡(luò)中丟失而采取的一種機制。它的基本工作原理是在發(fā)現(xiàn)網(wǎng)絡(luò)出現(xiàn)擁塞時，通過發(fā)送一個“暫停幀”來告訴發(fā)送方暫時停止數(shù)據(jù)的發(fā)送，從而為網(wǎng)絡(luò)騰出空間。PFC的目標(biāo)是確保高優(yōu)先級流量(如RDMA流量)能夠在擁塞情況下保持優(yōu)先傳輸。

PFC的工作流程簡述如下：

1數(shù)據(jù)流量過載：當(dāng)網(wǎng)絡(luò)中的某些鏈路發(fā)生擁塞時，交換機會根據(jù)流量的優(yōu)先級做出相應(yīng)的反應(yīng)。

2暫停幀：當(dāng)檢測到某些流量達到擁塞閾值時，交換機會發(fā)送暫停幀給發(fā)送方，通知它停止傳輸某一優(yōu)先級的流量。件運行TCP/IP協(xié)議棧完成報文封裝，導(dǎo)致CPU負載重且CPU性能成為傳輸帶寬、時延等關(guān)鍵性能指標(biāo)的瓶頸;

3恢復(fù)傳輸：一旦網(wǎng)絡(luò)中的擁塞得以緩解，交換機會發(fā)送恢復(fù)幀，通知發(fā)送方可以恢復(fù)數(shù)據(jù)的傳輸。

PFC的優(yōu)點在于能夠有效避免丟包，保證了RoCEv2協(xié)議在傳輸過程中的高效性。然而，PFC也有一些潛在的問題：

1死鎖問題：如果多個流量因擁塞同時被暫停，并且這些流量互相依賴，可能會造成數(shù)據(jù)流無法繼續(xù)傳輸，形成“死鎖”。

2風(fēng)暴問題：在網(wǎng)絡(luò)中大量暫停幀同時涌入可能會引起網(wǎng)絡(luò)的進一步擁塞，形成所謂的“暫停風(fēng)暴”，這會導(dǎo)致網(wǎng)絡(luò)的進一步癱瘓。

盡管如此，PFC仍然是RoCEv2的基礎(chǔ)組件之一，特別適合用于在較小的局域網(wǎng)內(nèi)進行優(yōu)先級管理。

ECN(顯式擁塞通知)技術(shù)

ECN(Explicit Congestion Notification)是一種網(wǎng)絡(luò)層面的技術(shù)，旨在更智能地處理網(wǎng)絡(luò)中的擁塞問題，而不僅僅是依賴暫停幀的流量控制。ECN的設(shè)計目的是允許網(wǎng)絡(luò)設(shè)備在出現(xiàn)擁塞時提前向端點發(fā)送通知，以便發(fā)送端調(diào)整其傳輸速率，而不是等待網(wǎng)絡(luò)設(shè)備發(fā)生丟包后才做出反應(yīng)。

ECN的工作原理非常簡單：當(dāng)網(wǎng)絡(luò)設(shè)備檢測到可能的擁塞時，數(shù)據(jù)包會被標(biāo)記為“擁塞通知”(CNP，Congestion Notification Packet)。接收端收到帶有ECN標(biāo)記的數(shù)據(jù)包后，會通知發(fā)送端調(diào)整數(shù)據(jù)發(fā)送速率。ECN技術(shù)有兩個主要的優(yōu)點：

1減少丟包：相比于傳統(tǒng)的擁塞控制方法(如丟包和重新傳輸)，ECN通過提前發(fā)出擁塞通知，避免了丟包的發(fā)生。

2減少延遲：在沒有丟包的情況下，數(shù)據(jù)傳輸?shù)难舆t較低，這對高性能計算和實時應(yīng)用尤為重要。

雖然ECN能夠有效地減輕網(wǎng)絡(luò)擁塞，但其仍然需要在網(wǎng)絡(luò)設(shè)備和操作系統(tǒng)層面進行廣泛的支持。RoCEv2協(xié)議中的ECN使得它在處理大規(guī)模數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量時表現(xiàn)更為高效。

DCQCN：量化擁塞通知與多路徑傳輸

DCQCN(Data Center Quantized Congestion Notification)是一種更加高級的擁塞控制算法，專門為高帶寬、低延遲的網(wǎng)絡(luò)環(huán)境設(shè)計，尤其適用于大規(guī)模數(shù)據(jù)中心。與傳統(tǒng)的ECN不同，DCQCN采用了“量化擁塞通知”的方式，通過更加細粒度的控制來平衡流量，從而避免單一流量的過度擁塞。

DCQCN的工作原理如下：

1量化通知：當(dāng)交換機檢測到擁塞時，它會生成一個量化通知包，并通過特定的算法確定數(shù)據(jù)流量的調(diào)整幅度。這種量化通知不僅僅是簡單地告訴發(fā)送方“減慢”速度，而是通過具體的數(shù)值指示如何調(diào)整發(fā)送速率。

2多路徑傳輸：DCQCN還能夠支持多個傳輸路徑的選擇，幫助分擔(dān)網(wǎng)絡(luò)負載，避免某一路徑的過度擁塞。這種多路徑的設(shè)計使得網(wǎng)絡(luò)資源的利用更加高效，避免了單一鏈路的瓶頸。

這種方法有效提高了RoCEv2協(xié)議在大規(guī)模數(shù)據(jù)中心和云計算環(huán)境中的應(yīng)用性能，尤其是在處理大量并行數(shù)據(jù)流時，能夠?qū)崿F(xiàn)更好的帶寬利用和流量管理。

RoCEv2的實際應(yīng)用場景

RoCEv2協(xié)議在多個領(lǐng)域都展現(xiàn)了巨大的潛力，尤其在需要高帶寬和低延遲的應(yīng)用場景中，如高性能計算(HPC)、大數(shù)據(jù)分析、分布式存儲系統(tǒng)等。

1高性能計算(HPC)：HPC集群往往需要通過RDMA技術(shù)來實現(xiàn)節(jié)點間的快速數(shù)據(jù)傳輸，RoCEv2協(xié)議在以太網(wǎng)上的實現(xiàn)，使得HPC系統(tǒng)能夠在現(xiàn)有的網(wǎng)絡(luò)架構(gòu)上實現(xiàn)低延遲、高吞吐量的網(wǎng)絡(luò)通信，滿足大規(guī)模并行計算的需求。

2分布式存儲：在大規(guī)模分布式存儲系統(tǒng)中，數(shù)據(jù)傳輸效率是影響系統(tǒng)性能的關(guān)鍵因素。RoCEv2通過高效的數(shù)據(jù)傳輸機制，使得分布式存儲系統(tǒng)能夠在不同節(jié)點之間快速地同步數(shù)據(jù)，減少存儲延遲。

3云計算和虛擬化：RoCEv2協(xié)議在云計算環(huán)境中非常有用，它能夠確保虛擬機和容器之間的數(shù)據(jù)快速交換，尤其在需要實時處理的大數(shù)據(jù)和流媒體應(yīng)用中，RoCEv2能夠確保網(wǎng)絡(luò)延遲在最低限度內(nèi)，從而提高云服務(wù)的響應(yīng)速度和用戶體驗。

挑戰(zhàn)與未來發(fā)展

盡管RoCEv2在高性能網(wǎng)絡(luò)中展現(xiàn)了諸多優(yōu)勢，但AI網(wǎng)絡(luò)Scale Out互聯(lián)層面仍面臨一些挑戰(zhàn)：

1擁塞控制滯后：雖然PFC和ECN能夠有效減少擁塞和丟包，但在高并發(fā)的網(wǎng)絡(luò)環(huán)境中，控制策略的滯后仍然會影響性能。未來的研究可能會致力于提高擁塞控制的響應(yīng)速度，減少對網(wǎng)絡(luò)性能的影響。

2網(wǎng)絡(luò)管理復(fù)雜性：RoCEv2要求網(wǎng)絡(luò)必須支持無丟包的流量控制，這增加了網(wǎng)絡(luò)的配置和管理復(fù)雜度。隨著數(shù)據(jù)中心規(guī)模的擴大，如何有效管理RoCEv2網(wǎng)絡(luò)將成為一個重要問題。

3RoCE的可能發(fā)展：隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，未來可能會出現(xiàn)modernized RoCE等新版本，進一步優(yōu)化擁塞控制算法和多路徑傳輸性能，以滿足未來更為復(fù)雜和高帶寬的應(yīng)用需求。

總結(jié)

RoCE協(xié)議憑借其高效的低延遲數(shù)據(jù)傳輸能力，在現(xiàn)代高性能計算和分布式存儲系統(tǒng)中扮演著重要角色。且以太網(wǎng)的成熟度、低部署成本、兼容性強和運維便利性，使得RoCE在需要高性能RDMA同時希望控制成本、簡化部署的場景(如云計算、AI訓(xùn)練、大數(shù)據(jù)分析)中越來越受到青睞。RoCE通過結(jié)合RDMA和標(biāo)準(zhǔn)以太網(wǎng)的優(yōu)勢，使得RDMA能夠廣泛應(yīng)用于多種網(wǎng)絡(luò)環(huán)境。

盡管現(xiàn)有的RoCEv2面臨一定的挑戰(zhàn)，如PFC風(fēng)暴、死鎖的問題，但我們?nèi)云诖瑖鴥?nèi)外Scale Out生態(tài)聯(lián)盟(UEC、GSE等)齊心協(xié)力、共同構(gòu)建下一代高性能modernized RDMA技術(shù)，通過支持多路徑傳輸?shù)臄?shù)據(jù)包噴灑技術(shù)、自適應(yīng)路由、增強重傳機制等功能，結(jié)合RoCE多種具備競爭力的特點，能夠使行業(yè)更好地把握未來高性能網(wǎng)絡(luò)技術(shù)的發(fā)展趨勢，迎接更快速、更高效、更智能的網(wǎng)絡(luò)時代。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計算平臺量身打造，以滿足其對高性能互聯(lián)的嚴(yán)苛需求。

我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計算提供了堅實的支撐。

奇異摩爾的核心團隊匯聚了來自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗，致力于推動技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團隊擁有超過50個高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項目的經(jīng)驗，為公司的產(chǎn)品和服務(wù)提供了強有力的技術(shù)保障。我們的使命是支持一個更具創(chuàng)造力的芯世界，愿景是讓計算變得簡單。奇異摩爾以創(chuàng)新為驅(qū)動力，技術(shù)探索新場景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計算奠定穩(wěn)固的基石。