傳統(tǒng)的集中式存儲架構(gòu)已經(jīng)難以支撐海量數(shù)據(jù)的高并發(fā)訪問和實時處理需求，分布式存儲憑借其卓越的擴展性和靈活性，正迅速成為構(gòu)建現(xiàn)代化數(shù)據(jù)基礎(chǔ)設(shè)施的核心選擇。然而，分布式存儲的性能瓶頸往往在于網(wǎng)絡(luò)。如何構(gòu)建一個高帶寬、超低時延、零丟包的無損網(wǎng)絡(luò)，是釋放分布式存儲全部潛力、賦能企業(yè)關(guān)鍵業(yè)務(wù)（如實時數(shù)據(jù)庫、AI訓練、高性能計算）的關(guān)鍵挑戰(zhàn)。

本文將深入探討基于RoCEv2技術(shù)構(gòu)建高性能分布式存儲網(wǎng)絡(luò)的最佳實踐，幫助企業(yè)駕馭數(shù)據(jù)洪流，贏得市場先機。

駕馭數(shù)據(jù)洪流：構(gòu)建媲美InfiniBand的高性能RoCE分布式存儲網(wǎng)絡(luò)

傳統(tǒng)的集中式存儲（SAN/NAS）雖然成熟穩(wěn)定，但其擴展性瓶頸難以支撐海量數(shù)據(jù)存儲和高并發(fā)訪問的洪流。分布式存儲，憑借其彈性擴展（可達上千節(jié)點、PB/EB級容量）和線性增長的性能優(yōu)勢，正成為構(gòu)建現(xiàn)代化數(shù)據(jù)基礎(chǔ)設(shè)施的基石。

然而，分布式存儲的性能潛力能否充分發(fā)揮，網(wǎng)絡(luò)是核心命脈。傳統(tǒng)的TCP/IP以太網(wǎng)在分布式I/O場景下會消耗大量CPU資源，成為性能瓶頸。進入全閃存時代，對網(wǎng)絡(luò)帶寬和時延的要求更是達到了極致。

為何選擇RoCEv2？性能與成本的最優(yōu)解

為了解決分布式存儲的長I/O路徑和TCP性能瓶頸，高帶寬、超低時延的RDMA（遠程直接內(nèi)存訪問）技術(shù)已成為業(yè)界共識。RDMA允許服務(wù)器網(wǎng)卡直接讀寫對方內(nèi)存，繞過操作系統(tǒng)內(nèi)核，極大提升效率。

目前RDMA網(wǎng)絡(luò)主要有兩大陣營：

1. InfiniBand (IB)：性能優(yōu)異，但需要專用網(wǎng)卡、交換機和線纜，部署和管理成本高昂。
2. RoCEv2 (RDMA over Converged Ethernet v2)：基于開放的標準以太網(wǎng)傳輸IB流量，充分利用現(xiàn)有以太網(wǎng)生態(tài)，部署成本優(yōu)勢顯著。

RoCEv2的核心價值在于：

• 媲美IB的性能： 采用經(jīng)過優(yōu)化的RoCE網(wǎng)絡(luò)設(shè)備（如星融元CX-N系列交換機），可實現(xiàn)端到端的超低時延（<500ns）和高吞吐，性能表現(xiàn)足以替代甚至局部超越IB（見下圖實測數(shù)據(jù)）。

• 顯著的成本優(yōu)勢： 復用標準以太網(wǎng)硬件（網(wǎng)卡、交換機、線纜），大幅降低初始投入和運維復雜度。
• 開放生態(tài)： 基于成熟的以太網(wǎng)標準，兼容性強，技術(shù)門檻相對較低。

構(gòu)建高性能分布式存儲網(wǎng)絡(luò)：架構(gòu)與選型

組網(wǎng)架構(gòu)：分離與冗余是關(guān)鍵

計算存儲分離： 推薦部署兩張獨立的Spine-Leaf物理網(wǎng)絡(luò)：

• 存儲后端網(wǎng)： 專用于分布式存儲集群內(nèi)部通信（如多副本同步、數(shù)據(jù)重建），確?？焖贌o阻塞。
• 存儲前端網(wǎng) + 業(yè)務(wù)網(wǎng)： 承載應(yīng)用訪問存儲的流量及其他業(yè)務(wù)流量。

高可靠接入： 存儲節(jié)點至關(guān)重要，應(yīng)采用雙歸或多歸 (Multi-homing) 方式接入網(wǎng)絡(luò)，避免單點故障。

網(wǎng)絡(luò)硬件選型：面向未來，滿足嚴苛要求

• 高密度高速接口： 100G/200G/400G端口，減少設(shè)備數(shù)量，簡化架構(gòu)。
• 超低時延與無損特性： 端口轉(zhuǎn)發(fā)時延<500ns，原生支持RoCEv2及關(guān)鍵無損網(wǎng)絡(luò)特性（PFC流量控制、ECN顯式擁塞通知）。
• 彈性擴展能力： 全盒式設(shè)備，支持構(gòu)建超大規(guī)模（數(shù)千節(jié)點）、超扁平網(wǎng)絡(luò)（任意兩點≤3跳） 的存儲/計算集群。
• 開放性與自動化： 開放的軟件架構(gòu)和API，為未來自動化運維奠定基礎(chǔ)。

RoCE無損網(wǎng)絡(luò)配置與管理：從手動到自動化

RoCE網(wǎng)絡(luò)要發(fā)揮媲美IB的性能，關(guān)鍵在于“無損”配置（Zero Loss）。這涉及精細化的PFC、ECN、緩沖區(qū)等參數(shù)調(diào)整，確保高優(yōu)先級存儲流量無阻塞、零丟包、低時延傳輸。

傳統(tǒng)方式：手動配置（復雜但精細）

需要在每臺交換機和服務(wù)器網(wǎng)卡上進行一系列復雜配置，包括：

• 啟用RoCEv2模式。
• 劃分流量優(yōu)先級（DSCP/PCP）。
• 在指定隊列啟用PFC（流量控制）和ECN/DcqCN（擁塞管理）。
• 精細調(diào)整緩沖區(qū)大小、PFC觸發(fā)門限、ECN標記門限等參數(shù)。
• 配置QoS策略（DiffServ Map, Class Map, Policy Map）并綁定到接口。

#確保服務(wù)器網(wǎng)卡工作在 RoCEv2 模式下 #為業(yè)務(wù)流量配置 PCP 或 DSCP，并啟用 ECN。 #設(shè)置網(wǎng)卡RDMA CM的工作模式 [root@server ~]# cma_roce_mode -d mlx5_0 -p 1 -m #設(shè)置網(wǎng)卡的優(yōu)先級類型為DSCP [root@server ~]# mlnx_qos -i enp1s0f0 –trust=dscp DCBX mode: OS controlled Priority trust state: dscp #在隊列3上開啟PFC [root@server ~]# mlnx_qos -i enp1s0f0 -f 0,0,0,1,0,0,0,0 #在隊列3上開啟DCQCN [root@server ~]# echo 1 > /sys/class/net/enp1s0f0/ecn/roce_np/enable/3 [root@server ~]# echo 1 > /sys/class/net/enp1s0f0/ecn/roce_rp/enable/3 #設(shè)置CNP DSCP [root@server ~]# echo 48 > #在交換機端口配置以啟用 PFC 和 ECN 功能并指定隊列 #在交換機的指定隊列（與服務(wù)器上的隊列匹配）上啟用 PFC 和 ECN #調(diào)整緩沖區(qū)和閾值 # 設(shè)置PFC門限值 sonic(config)# buffer-profile pg_lossless_100000_100m_profile sonic(config-buffer-profile-pg_lossless_100000_100m_profile)# mode lossless dynamic -2 size 1518 xon 0 xoff 46496 xon-offset 13440 sonic(config-buffer-profile-pg_lossless_100000_100m_profile)# exit # 在3、4隊列開啟PFC功能（AsterNOS的PFC功能默認使能3、4隊列，無需配置） sonic(config)# priority-flow-control enable 3 sonic(config)# priority-flow-control enable 4 sonic(config)# exit # 設(shè)置ECN門限值 sonic(config)# wred roce-ecn sonic(config-wred-roce-ecn)# mode ecn gmin 15360 gmax 750000 gprobability 10 sonic(config-wred-roce-ecn)# exit # 配置Diffserv map sonic(config)# diffserv-map type ip-dscp roce-dmap sonic(config-diffservmap-roce-dmap)# ip-dscp 48 cos 6 # 配置Class map sonic(config)# class-map roce-cmap sonic(config-cmap-roce-cmap)# match cos 3 4 sonic(config-cmap-roce-cmap)# exit # 配置Policy map sonic(config)# policy-map roce-pmap sonic(config-pmap-roce-pmap )# class roce-cmap sonic(config-pmap-c)# wred roce-ecn sonic(config-pmap-c)# priority-group-buffer pg_lossless_100000_100m_profile sonic(config-pmap-c)# exit sonic(config-pmap-roce-pmap )# set cos dscp diffserv roce-dmap sonic(config-pmap-roce-pmap )# exit # 進入以太網(wǎng)接口視圖，綁定策略，將RoCE網(wǎng)絡(luò)配置在接口上使能 sonic(config)# interface ethernet 0/0 sonic(config-if-0/120)# service-policy roce-pmap

創(chuàng)新之道：自動化配置（高效且可靠 - EasyRoCE方案)

面對手動配置的挑戰(zhàn)，EasyRoCE Toolkit 提供了革命性的解決方案，讓RoCE部署和管理變得前所未有的簡單高效：

• 1行命令啟用RoCE： 業(yè)務(wù)級命令行封裝，基于最佳實踐模板一鍵完成復雜配置。
• 開箱即用的可視化監(jiān)控： 內(nèi)置RoCE Exporter容器，無縫對接Prometheus/Grafana，實時監(jiān)控關(guān)鍵RoCE指標（時延、丟包、PFC狀態(tài)、ECN標記等），網(wǎng)絡(luò)健康一目了然。
• 集中配置視圖： 統(tǒng)一展示全網(wǎng)RoCE相關(guān)配置，簡化排障流程，提升運維效率。

• 免費開放： 該工具套件對星融元簽約客戶免費提供。

性能驗證：科學測試，數(shù)據(jù)說話

部署完成后，嚴謹?shù)男阅軠y試至關(guān)重要。

關(guān)鍵指標

• IO時延 (Latency)： 單次IO請求的響應(yīng)時間（越低越好）。
• IOPS： 每秒處理的IO請求數(shù)（越高越好）。
• 吞吐量 (Throughput)： 單位時間傳輸?shù)臄?shù)據(jù)量（如MB/s, GB/s）。
• 測試模式： 需區(qū)分順序IO（連續(xù)大塊數(shù)據(jù)，高吞吐場景）和隨機IO（小塊分散數(shù)據(jù)，高IOPS場景，如數(shù)據(jù)庫），通常隨機寫是最嚴苛的負載。讀寫比例（如70%讀/30%寫）和IO大小（4K小IO, 64K/1M大IO）需模擬真實業(yè)務(wù)。

常用測試工具

• 網(wǎng)絡(luò)層： iperf (帶寬), ib_read/write_bw (RDMA帶寬), ib_read/write_lat (RDMA時延)。
• 存儲系統(tǒng)層： fio (Flexible I/O Tester) - 存儲性能測試的瑞士軍刀，可高度定制化模擬各種負載。
• 業(yè)務(wù)層： 如數(shù)據(jù)庫用swingbench/hammerdb，對象存儲用cosbench。

FIO測試參數(shù)解讀 (示例：模擬OLTP小IO負載)

測試時延時使用的是1v1的方式，測試存儲系統(tǒng)IOPS時分別用1v1、2v1的方式進行壓測。目標是測試服務(wù)器在假設(shè)的小IO業(yè)務(wù)場景中（100% 隨機，70% 讀，30% 寫，IO size 4K）的性能表現(xiàn)。

[root@server ~]# fio \ -filename=/root/randrw_70read_4k.fio \ -direct=1 \ -iodepth 1 \ -thread \ -rw=randrw \ -rwmixread=70 \ -ioengine=psync \ -bs=4k \ -size=5G \ -numjobs=8 \ -runtime=300 \ -group_reporting \ -name=randrw_70read_4k_local `-filename=/root/randrw_70read_4k.fio` 支持文件、裸盤、RBD image。該參數(shù)可以同時制定多個設(shè)備或文件，格式為：-filename=/dev/vdc:/dev/vdd（以冒號分割）。 `-direct=1` direct即使用直接寫入，繞過操作系統(tǒng)的page cache。 `-iodepth=1` iodepth是設(shè)置IO隊列深度，即單線程中一次給系統(tǒng)多少IO請求。如果使用同步方式，單線程中iodepth總是1；如果是異步方式，就可以提高iodepth，一次提交一批IO，使得底層IO調(diào)度算法可以進行合并操作，一般設(shè)置為32或64。 `-thread` fio默認是通過fork創(chuàng)建多個job，即多進程方式，如果指定thread，就是用POSIX的thread方式創(chuàng)建多個job，即使用pthread_create()方式創(chuàng)建線程。 `-rw=randrw` 設(shè)置讀寫模式，包括：write(順序?qū)?、read(順序讀)、rw(順序讀寫)、randwrite(隨機寫)、randread(隨機讀)、randrw(隨機讀寫)。 `-rwmixread=70` 設(shè)置讀寫IO的混合比例，在這個測試中，讀占總IO的70%，寫IO占比30%。 `-ioengine=psync` 設(shè)置fio下發(fā)IO的方式，本次測試使用的IO引擎為psync。 `-bs=4k` bs即block size(塊大小)，是指每個IO的數(shù)據(jù)大小 `-size=5g` 測試總數(shù)據(jù)量，該參數(shù)和runtime會同時限制fio的運行，任何一個目標先達到，fio都會終止運行。在做性能測試時，盡量設(shè)置大點，比如設(shè)置2g、5g、10g或者更大，如果基于文件系統(tǒng)測試，則需要需要小于4g。 `-numjobs=8` 本次作業(yè)同時進行測試的線程或進程數(shù)，線程還是進程由前面提到的thread參數(shù)控制。 `-runtime=300` 測試總時長，單位是s。和size一起控制fio的運行時長，在做一般性性能測試的時候，該時間也盡量設(shè)置長點，比如5分鐘、10分鐘。 `-group_reporting` 多個jobs測試的時候，測試結(jié)果默認是單獨分開的，加上這個參數(shù)，會將所有jobs的測試結(jié)果匯總起來。 `-name=randrw_70read_4k_local` 本次測試作業(yè)的名稱。

成功實踐：中國TOP3公有云的信任之選

需要進行存儲區(qū)域擴容，來滿足政府、企業(yè)客戶對云服務(wù)更高網(wǎng)絡(luò)質(zhì)量（超低時延、零丟包）和可靠性的嚴苛要求，還需保障供應(yīng)鏈穩(wěn)定和獲得專業(yè)及時的技術(shù)支持。

該方案部署 64 x 200GE 高性能數(shù)據(jù)中心交換機，用于提供大容量、超低時延轉(zhuǎn)發(fā)，構(gòu)建基于RoCEv2的全無損以太網(wǎng)絡(luò)，通過PFC+ECN+DCBX技術(shù)組合，實現(xiàn)與IB媲美的零丟包、超低時延傳輸保障。利用該設(shè)備的原生開放特性，為未來自動化運維提供基礎(chǔ)。