近日，2025年USENIX年度技術(shù)會議（ATC'25,The 2025 USENIX Annual Technical Conference）在美國波士頓與OSDI聯(lián)合召開。作為計算機系統(tǒng)領(lǐng)域頂級的CCF-A類會議，本屆ATC共收到634篇論文投稿，僅100篇成功入選，中稿率低至15.8%。其中，華為數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)實驗室與中國科學院計算技術(shù)研究所合作完成的論文——基于Compute Express Link(CXL)的解耦式機架架構(gòu)DRack，成功獲收錄。該論文提出在機柜規(guī)模內(nèi)，通過以太網(wǎng)與CXL總線多模式互連構(gòu)建網(wǎng)卡池-內(nèi)存池架構(gòu)DRack，為解決數(shù)據(jù)中心跨機柜網(wǎng)絡(luò)通信帶寬瓶頸提供了創(chuàng)新方案。

研究背景

跨機柜網(wǎng)絡(luò)通信帶寬逐漸成為
分布式計算的性能瓶頸

隨著數(shù)據(jù)密集型應用的廣泛部署，其計算規(guī)模已擴展至多主機、多機柜并行，并依托GPU、領(lǐng)域定制加速器等高性能計算單元實現(xiàn)高吞吐處理。這一趨勢對網(wǎng)卡帶寬及網(wǎng)絡(luò)帶寬提出更高要求，以滿足機柜間數(shù)據(jù)同步的時效性需求。

但在傳統(tǒng)柜頂交換機（Top of Rack，ToR）架構(gòu)中，主機私有網(wǎng)卡與機柜間核心網(wǎng)絡(luò)常因資源超額認購（over-subscription），成為跨機柜通信的性能瓶頸。研究通過實證發(fā)現(xiàn)：盡管跨機柜通信流量規(guī)模大，但單個機柜內(nèi)主機網(wǎng)卡利用率普遍偏低，核心原因有兩點：一是不同主機計算負載不均衡，數(shù)據(jù)訪問量差異顯著；二是部分主機僅運行非分布式任務，無數(shù)據(jù)同步需求。若能實現(xiàn)機柜內(nèi)閑置網(wǎng)卡資源的動態(tài)共享與靈活調(diào)度，可有效提升跨機柜通信效率。

研究創(chuàng)新性提出DRack新型機柜架構(gòu)，通過CXL總線與以太網(wǎng)融合，構(gòu)建“網(wǎng)卡池-內(nèi)存池”雙池體系，核心設(shè)計包含三點：

網(wǎng)卡解耦與共享池構(gòu)建：將機柜內(nèi)所有網(wǎng)卡從主機解耦，形成集中式共享網(wǎng)卡池，可向單個主機提供短時聚合帶寬，大幅提升網(wǎng)卡資源利用率

內(nèi)存解耦與大帶寬池構(gòu)建：考慮到主機本地內(nèi)存及PCIe鏈路帶寬遠低于網(wǎng)卡池總帶寬，單一主機難以充分利用網(wǎng)卡資源，DRack進一步解耦主機內(nèi)存，構(gòu)建聚合讀寫帶寬超越網(wǎng)卡池的機柜級內(nèi)存池，支持網(wǎng)卡池向多內(nèi)存設(shè)備并行讀寫數(shù)據(jù)。

內(nèi)存語義直訪優(yōu)化：允許主機處理器或加速器在計算過程中，通過內(nèi)存語義直接讀寫內(nèi)存池數(shù)據(jù)，無需先經(jīng)DMA將數(shù)據(jù)遷移至本地內(nèi)存，減少數(shù)據(jù)傳輸環(huán)節(jié)，提升效率。

選擇CXL互連實現(xiàn)DRack架構(gòu)，核心在于其兩大特性與設(shè)計需求高度契合：一是CXL2.0標準通過CXL交換機支持內(nèi)存與IO設(shè)備池化，CXL3.0進一步實現(xiàn)機柜級內(nèi)存共享；二是CXL支持CXL.mem協(xié)議（內(nèi)存語義），可滿足主機直訪內(nèi)存池的需求。

通過上述設(shè)計，DRack不僅有效緩解傳統(tǒng)ToR架構(gòu)的跨機柜通信瓶頸，其更優(yōu)的通信效率還能為現(xiàn)有任務調(diào)度算法（如 Crux@Sigcomm24）提供有力補充。相較于現(xiàn)有方案，DRack采用靜態(tài)架構(gòu)設(shè)計，無需應對可重構(gòu)性與流量預測的復雜性，也無需額外增置硬件；同時可通過向CXL互連架構(gòu)接入更多內(nèi)存、網(wǎng)卡設(shè)備，實現(xiàn)系統(tǒng)靈活擴展。

實驗效果：多場景性能顯著提升

鑒于目前尚無商業(yè)化CXL3.0產(chǎn)品，研究團隊開發(fā)了原型驗證系統(tǒng)，用于模擬四機柜DRack架構(gòu)：每個機柜配備2個定制化 MPSoC FPGA（模擬計算主機，集成四核CPU、雙通道內(nèi)存、四個光纖端口），CPU通過HP/HPC端口將內(nèi)存總線信號傳至FPGA側(cè)，并實現(xiàn)類CXL協(xié)議軟IP；同一機柜的2個FPGA連接服務器雙端口網(wǎng)卡，基于DPDK技術(shù)在服務器上仿真網(wǎng)卡池與CXL互連功能。

測試結(jié)果顯示，在DNN訓練、圖計算（數(shù)據(jù)密集型）及鍵值存儲（延遲敏感型）等典型應用場景中，DRack較傳統(tǒng)ToR架構(gòu)平均降低37.3%的數(shù)據(jù)同步時間。此外，網(wǎng)卡池帶寬利用率表現(xiàn)優(yōu)異：單個主機可充分利用帶寬，兩臺主機同時通信時，能根據(jù)流量大小動態(tài)共享資源，總體帶寬利用率接近1。

技術(shù)突破意義
獲國際認可，夯實創(chuàng)新地位

DRack相關(guān)技術(shù)有望與業(yè)界scaleup方案形成深度協(xié)同，整體提升高性能計算與分布式系統(tǒng)能力。在面向大規(guī)模人工智能計算場景時，該架構(gòu)能夠顯著增強基于萬卡、千機柜的大語言模型訓練與推理任務的執(zhí)行效率，降低通信開銷、提升資源利用率。同時，在傳統(tǒng)分布式應用（如圖計算、內(nèi)存鍵值存儲（如Memcached））等系統(tǒng)中，該技術(shù)也可有效優(yōu)化通訊表現(xiàn)與資源利用率，進一步提升整體系統(tǒng)吞吐與響應性能，為下一代數(shù)據(jù)中心基礎(chǔ)設(shè)施構(gòu)建提供可擴展、高效率的架構(gòu)支撐。

此次DRack相關(guān)論文獲USENIX ATC收錄，不僅意味著華為與中國科學院計算技術(shù)研究所在CXL技術(shù)與數(shù)據(jù)中心機柜架構(gòu)融合領(lǐng)域的探索，得到國際頂級學術(shù)界的高度認可，更標志著華為在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域的又一重大突破。