在長期服務于用戶AI訓練/推理生產(chǎn)網(wǎng)絡的實踐中，我們深刻觀察到傳統(tǒng)靜態(tài)或簡單度量（如跳數(shù)）的選路策略難以滿足高性能AI集群網(wǎng)絡的嚴苛要求。AI工作負載，特別是涉及大規(guī)模參數(shù)同步（如All-Reduce操作）和RDMA（如RoCEv2）流量時，對網(wǎng)絡的帶寬可用性、低延遲和極低抖動有著近乎極致的需求。

網(wǎng)絡路徑上的微小波動，如短暫擁塞導致的隊列積壓或轉(zhuǎn)發(fā)延遲增加，都可能顯著拖慢整個訓練作業(yè)的完成時間，造成昂貴的算力資源浪費。

智能選路的路徑質(zhì)量如何判定？

為了從根本上優(yōu)化AI流量的傳輸效率并最大化集群利用率，我們設計并實踐了基于多維度網(wǎng)絡狀態(tài)感知的動態(tài)智能選路技術。該技術的核心創(chuàng)新在于，聚焦關鍵影響因子，摒棄單一指標，精準識別并引入在AI集群網(wǎng)絡環(huán)境中對性能影響最為顯著的動態(tài)參數(shù)作為核心計算因子：

• 實時帶寬利用率：精確測量路徑上關鍵鏈路的當前可用帶寬。避免將高吞吐量的AI流量（如梯度同步）引導至已接近飽和的鏈路，防止擁塞崩潰和PFC反壓風暴。
• 隊列深度/使用情況： 直接監(jiān)控網(wǎng)絡設備（交換機）出口隊列的瞬時和平均深度。隊列深度是擁塞的先行指標，深度過大意味著數(shù)據(jù)包排隊等待時間（Bufferbloat）增加，直接導致傳輸延遲上升和抖動加劇，這對依賴確定性的RDMA和集合通信操作是致命的。
• 轉(zhuǎn)發(fā)時延/延遲變化： 不僅測量路徑的基礎傳播延遲，更關鍵的是持續(xù)監(jiān)測數(shù)據(jù)包轉(zhuǎn)發(fā)處理延遲及其變化（抖動）。這反映了設備本身的處理能力和當前負載狀態(tài)，高或波動的處理時延會破壞AI流量的同步性。

智能選路中的統(tǒng)計計數(shù)：ASIC賦能的高精度數(shù)據(jù)采集

在動態(tài)智能選路系統(tǒng)的實現(xiàn)中，帶寬利用率與隊列深度這兩大關鍵指標的采集直接依賴于網(wǎng)絡設備的ASIC硬件級能力。具體而言：

硬件級實時監(jiān)測（百毫秒級精度）

ASIC芯片內(nèi)置的硬件寄存器持續(xù)執(zhí)行線速統(tǒng)計，對每個端口的字節(jié)轉(zhuǎn)發(fā)計數(shù)（Byte Counter） 和各優(yōu)先級隊列的緩存占用計數(shù)（Queue Depth Counter） 進行原子級累加。這種基于硅片級電路的計數(shù)機制擺脫了軟件輪詢的延遲與性能開銷，可實現(xiàn)百毫秒級精度的數(shù)據(jù)捕獲，精準反映瞬時網(wǎng)絡擁塞狀態(tài)。

控制面高效采集（亞秒級同步）

運行于設備控制面的SONiC網(wǎng)絡操作系統(tǒng)，通過標準化的SAI（Switch Abstraction Interface）接口以亞秒級周期（通常為500ms） 主動讀取ASIC寄存器的統(tǒng)計快照。此設計確?？刂泼婺軌蚪鯇崟r地感知轉(zhuǎn)發(fā)芯片的狀態(tài)變化，為動態(tài)選路提供高時效性數(shù)據(jù)輸入。

流水線式數(shù)據(jù)處理與存儲

采集的原始計數(shù)器數(shù)據(jù)通過以下高效流水線處理：

• ① 增量計算：SAI層將本次讀數(shù)與上次讀數(shù)做差，計算出時間窗口內(nèi)的實際流量增量（ΔBytes）與隊列深度變化值（ΔQueue-Occupancy）。
• ② Redis高速緩存：處理后的增量數(shù)據(jù)被寫入內(nèi)存數(shù)據(jù)庫Redis的時序結構（TSDB）中，形成帶時間戳的指標序列。此架構滿足高吞吐、低延遲的數(shù)據(jù)存取需求，為后續(xù)分析提供支撐。

BGP宣告的優(yōu)化設計（秒級間隔）?

若按ASIC的亞秒級精度（如每100ms）通過BGP宣告路徑質(zhì)量，會導致控制面壓力劇增，頻繁生成和傳輸BGP Update消息，占用CPU和帶寬資源。微秒級變化也可能觸發(fā)不必要的路由更新，影響網(wǎng)絡穩(wěn)定性。所以，采用秒級間隔?（例如每秒1次）向鄰居發(fā)送BGP Update消息，攜帶加權平均后的路徑質(zhì)量值。路徑質(zhì)量通過BGP擴展社區(qū)屬性?（如Path Bandwidth Extended Community）傳遞，格式為浮點數(shù)（單位Gb/s）

納秒級時延測量：INT與HDC技術負載均衡中的深度應用

轉(zhuǎn)發(fā)時延計算因子基于INT（In-band Network Telemetry）技術，精度可達納秒級。HDC（High Delay Capture）是一種能捕獲ASIC中經(jīng)歷高延遲的數(shù)據(jù)包信息的INT技術。

INT硬件流水線實現(xiàn)原理

數(shù)據(jù)包進入交換機ASIC時，入口流水線在包頭插入INT Shim頭部，并記錄精確入端口時間戳（基于芯片級高精度時鐘，分辨率達納秒級）。轉(zhuǎn)發(fā)過程中，每個流水線階段（如Ingress/Egress隊列）實時追加時延元數(shù)據(jù)。包離開出口隊列時，ASIC計算，此設計消除了交換機基礎轉(zhuǎn)發(fā)延遲的影響，僅保留隊列排隊時延這一關鍵變量。

HDC（高延遲捕獲）技術深度解析

HDC是INT的功能擴展，專為捕捉網(wǎng)絡中的尾延遲（Tail Latency） 事件設計。只捕獲超過用戶預設閾值（如10μs）的異常延遲報文，實現(xiàn)靶向抓包而非全量監(jiān)控。ASIC硬件實時比對報文時延與閾值——當報文在隊列/緩存中的滯留時間超過閾值，立即觸發(fā)抓取動作。并將原始數(shù)據(jù)包的前150字節(jié)連同INT元數(shù)據(jù)（包含出入端口、時延等關鍵信息）作為HDC數(shù)據(jù)包發(fā)送到收集器。

動態(tài)閾值觸發(fā)機制

• 用戶可基于業(yè)務需求設置多級延遲閾值（如：關鍵RDMA流：>5μs、普通TCP流：>50μs）
• ASIC硬件實時比對每個包的實際隊列時延與閾值，觸發(fā)零拷貝抓包。

元數(shù)據(jù)結構化封裝

HDC告警包包含兩類關鍵信息：

• 原始包摘要：截取L2-L4層頭部（150字節(jié)），保留五元組、TCP標志位等特征
• INT元數(shù)據(jù)：

{ "ingress_port": "Ethernet1/1", "egress_port": "Ethernet1/2", "queue_id": 3, // 擁塞隊列ID "queue_depth": 16384, // 觸發(fā)時隊列深度（Bytes） "latency": 8.7, // 實測時延（μs） "timestamp": 1717501234567890 // 納秒級時間戳 }

落地實踐：AI RoCE交換機上的智能選路

動態(tài)智能選路技術在星融元交換機上開啟HDC功能，并將CPU作為HDC的收集分析器，通過分析HDC報文實現(xiàn)高精度測量交換機轉(zhuǎn)發(fā)時延，并將時延信息作為路徑質(zhì)量評價因子，提高路徑質(zhì)量評價精度。

命令行配置HDC功能控制INT進程運行，之后通過socket連接進行收包循環(huán)，將收取到的報文進行解析并將關鍵信息（出入端口、轉(zhuǎn)發(fā)時延等）寫入數(shù)據(jù)庫。

【參考文檔】

動態(tài)感知+智能決策，一文解讀 AI 場景組網(wǎng)下的動態(tài)智能選路技術

BGP在數(shù)據(jù)中心的應用2——BGP如何適應數(shù)據(jù)中心網(wǎng)絡_bgp bestpath as-path multipath-relax-CSDN博客