當(dāng)前主流的負(fù)載均衡技術(shù)主要包括三種類型：逐流的ECMP負(fù)載均衡、逐包負(fù)載均衡以及基于子流（Flowlet）的負(fù)載均衡。本文將從技術(shù)原理、優(yōu)缺點(diǎn)及適用場景等方面對這三種技術(shù)進(jìn)行系統(tǒng)對比與分析。

基于ECMP的逐流負(fù)載均衡

ECMP（Equal-Cost Multi-Path）采用逐流負(fù)載分擔(dān)機(jī)制，其核心原理是基于數(shù)據(jù)包的特征信息（如IP五元組）進(jìn)行哈希計算，依據(jù)哈希值選擇轉(zhuǎn)發(fā)路徑。

該機(jī)制具備以下特點(diǎn)：

不同特征的數(shù)據(jù)流因哈希值不同而被分發(fā)至不同鏈路，實(shí)現(xiàn)全網(wǎng)負(fù)載均衡；

相同特征的數(shù)據(jù)流始終沿同一路徑轉(zhuǎn)發(fā)，保障報文順序性。

然而，隨著云計算與智算業(yè)務(wù)的發(fā)展，逐流負(fù)載均衡的局限性日益顯著：

難以應(yīng)對流大小不均的問題，大小流混合時負(fù)載均衡精度有限，帶寬利用率下降；

屬于靜態(tài)負(fù)載均衡機(jī)制，無法實(shí)時感知鏈路負(fù)載。若出現(xiàn)大象流，仍按既定算法選路，易加劇擁塞與丟包；

在智算集合通信場景下，尤其在Clos網(wǎng)絡(luò)的Leaf上行鏈路中，易出現(xiàn)哈希極化，引發(fā)網(wǎng)絡(luò)擁塞。

注：可通過靜態(tài)方式與自動化配置工具緩解該問題，詳見：主動規(guī)劃+自動化配置工具，簡單應(yīng)對AI智算網(wǎng)絡(luò)ECMP負(fù)載不均。

逐包負(fù)載均衡技術(shù)

逐包負(fù)載均衡將數(shù)據(jù)包均勻分發(fā)至各鏈路，常被稱為“Packet Spray”。其主要算法包括 Random（隨機(jī)分發(fā)數(shù)據(jù)包）和Round Robin（按序輪詢分發(fā)，理論上均衡效果最佳）。

然而，由于實(shí)際網(wǎng)絡(luò)中鏈路負(fù)載與延遲存在差異，逐包負(fù)載均衡無法保證報文按序到達(dá)，其性能高度依賴終端設(shè)備的緩存能力與亂序重組能力。

基于子流（Flowlet）的自適應(yīng)負(fù)載均衡

基于子流的負(fù)載均衡不僅實(shí)現(xiàn)對數(shù)據(jù)流的精細(xì)劃分與均衡分發(fā)，還能保持報文的時序性。RoCE交換機(jī)所支持的ARS（Adaptive Routing and Switching）技術(shù)即為典型代表，其利用ASIC硬件提供的ALB（Auto-Load-Balancing）能力，實(shí)時感知鏈路狀態(tài)并動態(tài)調(diào)整路由，從而改善擁塞、提升帶寬利用率。

為深入理解該機(jī)制，下文將從三個關(guān)鍵問題展開說明：

如何實(shí)現(xiàn)大流分割？

動態(tài)選路機(jī)制與鏈路測量指標(biāo)是什么？

何時觸發(fā)路徑的主動分配與重分配？

術(shù)語解釋

微觀流（Micro Flow）：五元組相同的一組數(shù)據(jù)包；

宏觀流（Macro Flow）：哈希值相同的微觀流集合；

空閑時間（Idle Time）：宏觀流中無流量的時間間隔（可配置）；

子流（Flowlet）：宏觀流中被空閑時間分割的連續(xù)數(shù)據(jù)包序列。

流分割：從Flow到Flowlet

Flowlet是ARS進(jìn)行負(fù)載均衡的基本單位。如下圖所示，擁有相同五元組的微觀流經(jīng)哈希計算后歸屬同一宏觀流。若宏觀流中相鄰微觀流的時間間隔超過所配置的Idle Time，則觸發(fā)流分割，形成不同的Flowlet。從業(yè)務(wù)層面來看，傳統(tǒng)意義上的“大象流”會被打散，而小流則有可能合并到一個 Flowlet 里傳輸。

注：Idle Time的配置與全局路徑時延密切相關(guān)，通常建議不小于1/2 RTT。配置過小可能導(dǎo)致Flowlet過細(xì)引發(fā)亂序；過大則無法有效分割宏觀流，引發(fā)擁塞。

動態(tài)選路與鏈路測量機(jī)制

ASIC維護(hù)宏觀流表（Macro Flow Table），記錄各宏觀流及其對應(yīng)出接口（或ECMP成員鏈路）。通過實(shí)時測量端口負(fù)載與延遲，ARS以Flowlet為粒度將流量路由至更優(yōu)路徑。

至于我們?nèi)绾蔚弥?dāng)前哪條鏈路更優(yōu)呢？這里就涉及到鏈路質(zhì)量指標(biāo)的測量問題。

鏈路質(zhì)量評估涉及以下指標(biāo)

端口帶寬：控制平面對端口線速進(jìn)行歸一化（以10G為基準(zhǔn)），并下發(fā)至ASIC；

端口利用率：ASIC采樣實(shí)時流量速率，與線速比較得出利用率及平均負(fù)載；

轉(zhuǎn)發(fā)時延：通過端口隊列深度反映鏈路延遲，ASIC采樣后計算歷史負(fù)載情況。

ECMP組實(shí)時更新各出接口的鏈路質(zhì)量，并在路徑分配時依據(jù)最新結(jié)果擇優(yōu)轉(zhuǎn)發(fā)。

路徑主動分配時機(jī)

路徑主動分配發(fā)生于流分割過程末尾。例如，當(dāng)Flowlet 1的最后一條微觀流（Micro Flow 2）經(jīng)路徑D轉(zhuǎn)發(fā)，且間隔時間T（T > Idle Time）后出現(xiàn)新微觀流（Micro Flow 3），ASIC判定Flowlet 1結(jié)束，路徑D映射失效。Micro Flow 3屬于新子流且處于非活躍狀態(tài)，此時觸發(fā)主動路徑分配。

典型應(yīng)用場景舉例

以32臺8卡GPU服務(wù)器（共256個400G網(wǎng)卡）規(guī)模為例，AIDC承載網(wǎng)采用兩層Clos架構(gòu)，Spine與Leaf設(shè)備均采用CX864E-N交換機(jī)，下行與上行端口按 1:1 收斂比設(shè)計，確保高吞吐與高帶寬，避免帶寬不對稱帶來的性能問題。

在傳統(tǒng)負(fù)載均衡機(jī)制下，Server1 的 GPU1 與 Server17 的 GPU1 通信時，流量可能集中至某一 Spine 設(shè)備，導(dǎo)致Leaf1上行端口擁塞。而啟用ARS技術(shù)后，Leaf1與Spine設(shè)備的ASIC可依據(jù)實(shí)時延遲與負(fù)載動態(tài)調(diào)整出接口。

假設(shè) Leaf1 通往 Spine8 的鏈路上發(fā)生擁塞，則 Leaf1 的 ASIC 會將更少的 Flowlet 路由到 Spine8 或跳過 Spine8，直至該鏈路上的擁塞情況緩解后，才會恢復(fù)選中該鏈路進(jìn)行流量轉(zhuǎn)發(fā)。

同樣以 Spine1 為例，其 ASIC 也能將更少的 Flowlet 路由到 Leaf32 的鏈路上而更多地選取其他質(zhì)量更好的鏈路。由此，Leaf 與 Spine 設(shè)備均能完成自治，從而達(dá)到降低整網(wǎng)鏈路擁塞情況并提高帶寬利用率。

參考文檔

[1] OCPSummit2022- Adaptive Routing in AI/ML Workloads https://www.youtube.com/watch?v=cgYOpp4xwQ8

[2] https://infohub.delltechnologies.com/zh-cn/l/dell-enterprise-sonic-quality-of-service-qos/adaptive-routing-and-switching/

[3]https://asterfusion.com/a20250528-flowlet-alb/