摘要

現(xiàn)代數(shù)據(jù)中心對內(nèi)存容量的高需求促進了內(nèi)存擴展和分解方面的多條創(chuàng)新線，其中一項獲得極大關注的工作是基于Compute eXpress Link（CXL）的內(nèi)存擴展。為了更好地利用CXL，研究人員建立了幾個仿真和實驗平臺來研究其行為和特性。然而，由于缺乏支持CXL的商業(yè)硬件，大家可能仍不清楚其功能的全貌。在這項工作中，我們在最先進的實驗平臺上探索了CXL存儲器的性能表征。首先，我們使用我們提出的微基準來研究CXL存儲器的基本性能特征?；谖覀兊挠^察結(jié)果和與連接到本地和遠程NUMA節(jié)點的標準DRAM的比較，我們還研究了CXL內(nèi)存對具有不同卸載和交織策略的端到端應用程序的影響。最后，我們?yōu)槲磥淼?a target="_blank">程序員提供了一些指南，以充分發(fā)揮CXL內(nèi)存的潛力。

?1.簡介?

在數(shù)據(jù)中心存儲和處理數(shù)據(jù)的爆炸性需求、以及傳統(tǒng)DDR內(nèi)存接口的有限帶寬和容量可擴展性，要求采用新的內(nèi)存接口技術和系統(tǒng)架構(gòu)。其中，Compute eXpress Link（CXL）已成為業(yè)界和學術界最有前途的技術之一，不僅用于內(nèi)存容量/帶寬擴展，還用于內(nèi)存分解。

CXL是由主要硬件供應商和云提供商于2019年共同制定的開放標準，目前仍在快速發(fā)展。具體來說，與傳統(tǒng)的PCIe互連相比，它提供了一組新功能，使CPU能夠以具有加載/存儲語義的高速緩存一致方式與外圍設備（及其連接的存儲器）通信。因此，與內(nèi)存相關的設備擴展是CXL的主要目標場景之一。

作為未來數(shù)據(jù)中心的事實標準，主要硬件供應商已在其產(chǎn)品路線圖中宣布支持CXL。鑒于CXL存儲器的受歡迎程度和前景，它備受關注。然而，由于缺乏支持CXL的商用硬件（尤其是CPU），最近對CXL內(nèi)存的研究都是基于使用多插槽NUMA系統(tǒng)的仿真，因為CXL內(nèi)存被公開為NUMA節(jié)點。因此，這些研究可能無法準確地對現(xiàn)實世界中的CXL內(nèi)存進行建模和表征。

隨著Intel第4代Xeon可擴展CPU（Sapphire Rapids或SPR）和商用CXL設備的出現(xiàn)，我們能夠開始了解CXL存儲器的實際特性，并定制能夠充分利用這些特性的軟件系統(tǒng)。在這項工作中，我們在由Intel SPR CPU和基于Intel Agilex-I FPGA的CXL存儲器（R-Tile中加固的CXL控制器）組成的測試臺上，對具有多個微基準和端到端應用程序的CXL內(nèi)存進行了全面分析。從我們的微基準標記中，我們發(fā)現(xiàn)CXL內(nèi)存的行為與遠程NUMA節(jié)點中的內(nèi)存不同，后者通常用于仿真。與基于NUMA的內(nèi)存相比，真正的CXL內(nèi)存具有：（1）更高的延遲，（2）更少的內(nèi)存通道（導致更低的吞吐量），以及（3）在各種操作下不同的傳輸效率。

基于上述觀察，我們還將CXL內(nèi)存應用于表現(xiàn)出不同內(nèi)存訪問行為的三個實際應用程序。我們發(fā)現(xiàn)它們對CXL內(nèi)存卸載有不同的敏感性。具體而言，我們發(fā)現(xiàn)（1）μs延遲數(shù)據(jù)庫對內(nèi)存延遲的增加高度敏感，（2）當數(shù)據(jù)庫在CXL內(nèi)存上運行時，具有中間計算層的ms延遲微服務受到的影響較小，（3）內(nèi)存密集型ML推理對CXL內(nèi)存提供的隨機訪問吞吐量敏感。在所有情況下，在連接CPU的DRAM和CXL內(nèi)存之間交錯內(nèi)存可以減少CXL內(nèi)存帶來的性能損失。

接下來，在分析了在使用CXL內(nèi)存的系統(tǒng)上運行的微基準和應用程序的性能特征后，我們?yōu)橛脩籼峁┝艘恍嵱玫闹笇Х结?，以?yōu)化他們的軟件堆棧/庫以獲得最高性能。例如，應該使用在CXL內(nèi)存和DRAM之間均勻分布的帶寬來最大限度地提高性能；應當使用高速緩存旁路指令來進行從CXL存儲器到CXL存儲器的數(shù)據(jù)移動；對于單個CXL內(nèi)存通道，由于幾個線程很容易使負載或存儲帶寬飽和，因此應該限制對CXL內(nèi)存的寫線程數(shù)量，以減少寫干擾；并且應該針對以毫秒級延遲運行的讀取量大的應用程序，其中較高的CXL內(nèi)存延遲可以通過中間計算來分攤。

本文的其余部分組織如下。我們在第2章中簡要介紹了CXL，并在第3章中描述了我們的實驗設置。然后，我們在第4章中用我們的微基準來分析CXL記憶，在第5章中用三個有代表性的應用來介紹我們的發(fā)現(xiàn)。最后，我們在第6章中提供了一些有效利用CXL內(nèi)存的指南。

2.背景

2.1

Compute eXpress Link (CXL)

PCI Express（PCIe）是高速串行計算機擴展總線的標準，它取代了舊的PCI總線。自2003年以來，每一代的帶寬都翻了一番，截至PCIe Gen 5，帶寬已達到32 GT/s（即64 GB/s，帶16個通道）。其點對點拓撲結(jié)構(gòu)借助帶寬的增長，實現(xiàn)了與PCIe連接設備（如圖形處理單元（GPU）、網(wǎng)絡接口卡（NIC）和NVMe固態(tài)硬盤（SSD））的低延遲、高帶寬通信。

CXL在PCIe物理層上構(gòu)建緩存一致性系統(tǒng)。與標準PCIe通信類似，在標準PCIe通信中，數(shù)據(jù)傳輸使用事務層數(shù)據(jù)包（TLP）報頭和數(shù)據(jù)鏈路層數(shù)據(jù)包，CXL協(xié)議的子集使用預定義的報頭和16B塊來傳輸數(shù)據(jù)。在CXL 1.1中，根據(jù)協(xié)議和傳輸?shù)臄?shù)據(jù)，CXL硬件將根據(jù)CXL規(guī)范中描述的一組規(guī)則，將標頭和數(shù)據(jù)打包到68 B flit（64 B CXL數(shù)據(jù)+2 B CRC+2 B協(xié)議ID）中。除非另有說明，否則在本文的剩余部分中，CXL指的是CXL 1.1。

CXL標準定義了三個獨立的協(xié)議：CXL.io、CXL.cache和CXL.mem。CXL.io使用標準PCIe中的TLP和DLLP等功能，主要用于協(xié)議協(xié)商和主機設備初始化。CXL.cache和CXL.mem分別為設備訪問主機的內(nèi)存和主機訪問設備的內(nèi)存使用上述協(xié)議頭。

通過將這三種協(xié)議相結(jié)合，CXL為不同的用例確定了三種類型的設備。Type-1設備使用CXL.io和CXL.cache，它們通常指的是不應用主機管理內(nèi)存的SmartNIC和加速器。Type-2設備支持所有三種協(xié)議。這些設備，如GP GPU和FPGA，具有主機CPU可以訪問和緩存的附加內(nèi)存（DRAM、HBM），并且它們還使用CXL.cache進行設備到主機的內(nèi)存訪問。Type-3設備支持CXL.io和CXL.mem，并且這些設備通常被視為對現(xiàn)有系統(tǒng)的內(nèi)存擴展。在本文中，我們將重點介紹Type-3設備，并介紹CXL.mem的較低級別細節(jié)。

由于CXL.mem協(xié)議只考慮主機到設備的內(nèi)存訪問，因此該協(xié)議由兩個簡單的內(nèi)存訪問組成：從主機到設備內(nèi)存的讀取和寫入。每次訪問都伴隨著來自設備的完成回復。從設備內(nèi)存讀取時，應答包含數(shù)據(jù)，在寫入時僅包含完成標頭。圖1顯示了這些訪問路線。

圖1：支持CXL的典型系統(tǒng)體系結(jié)構(gòu)（左）和內(nèi)存事務流

CXL.mem協(xié)議在CPU歸屬代理和設備上的CXL控制器之間進行通信。當歸屬代理處理協(xié)議時，CPU以與訪問DRAM相同的方式發(fā)出加載和存儲指令來訪問存儲器。這比其他內(nèi)存擴展解決方案（如遠程直接內(nèi)存訪問（RDMA））具有優(yōu)勢，后者涉及設備上的DMA引擎，因此具有不同的語義。將加載/存儲指令與CXL.mem集成還意味著CPU將在其所有級別的緩存中緩存PCIe連接的內(nèi)存，這對于除持久內(nèi)存之外的任何其他內(nèi)存擴展解決方案來說都是不可能的。

2.2

支持CXL的商品硬件

CXL需要主機CPU端和設備端的支持。截至目前，除了一些研究原型外，三星、SK海力士、美光和瀾起等主要硬件供應商還設計了多個支持CXL的存儲設備。為了促進更靈活的內(nèi)存功能和近內(nèi)存計算研究，英特爾還在其最新的Agilex-I系列FPGA上啟用CXL.mem，其中CXL和內(nèi)存相關的IP核在小芯片上進行硬編碼，以實現(xiàn)高性能。在主機CPU方面，Intel最新的第4代Xeon可擴展處理器（代號Sapphire Rapids，SPR）是第一款支持CXL1.1標準的高性能商用CPU。我們預計，在不久的將來，越來越多的硬件供應商的產(chǎn)品將支持更豐富的CXL。

3.實驗裝置

在這項工作中，我們使用兩個測試臺來評估最新的商品CXL硬件，如表1所示。該服務器配備Intel Gold 6414U CPU和128 GB CXL.mem協(xié)議以及4800MT/s DDR5 DRAM（分布在8個內(nèi)存通道中）。在第4代中，Intel Xeon CPU被實現(xiàn)為四個單獨的小芯片。用戶可以決定使用這4個小芯片作為統(tǒng)一處理器（即共享的末級緩存（LLC）、集成內(nèi)存控制器（iMC）和根復合體），或者在子NUMA集群（SNC）模式下，每個小芯片作為一個小NUMA節(jié)點運行。這種靈活性允許用戶微調(diào)系統(tǒng)以適應其工作負載特性，并對資源共享和隔離進行細粒度控制。在我們的實驗中，我們將探索SNC和CXL.mem之間的內(nèi)存交錯將如何影響應用程序的性能。我們還在雙插槽系統(tǒng)上進行了一些實驗，該系統(tǒng)具有兩個Intel Platinum 8460H和相同的DDR5 DRAM，以在基于NUMA的常規(guī)內(nèi)存和CXL.mem之間進行一些比較。

表1：試驗臺配置

對于CXL內(nèi)存設備，系統(tǒng)有一個Intel Agilex-I開發(fā)套件。它有16 GB 2666MT/s DDR4 DRAM作為CXL內(nèi)存，并通過x16 PCIe Gen 5接口連接到CPU。它作為一個具有16GB內(nèi)存而沒有CPU內(nèi)核的NUMA節(jié)點透明地暴露給CPU和OS，并且CXL內(nèi)存的使用與常規(guī)的基于NUMA的內(nèi)存管理相同。

請注意，CXL協(xié)議本身并沒有定義底層內(nèi)存的配置。這樣的配置包括但不限于容量、介質(zhì)（DRAM、持久存儲器、閃存芯片等）和存儲器通道的數(shù)量。因此，不同的器件可能表現(xiàn)出不同的性能特征。

4.基于微基準的特性研究

在本節(jié)中，我們介紹了使用我們的微基準來評估CXL內(nèi)存的發(fā)現(xiàn)。我們相信，這一分析深入解讀了CXL內(nèi)存用戶如何根據(jù)他們的用例更有效地利用CXL內(nèi)存。我們還將這些結(jié)果與最近關于CXL內(nèi)存的一些工作中的假設和模擬進行比較，在這些工作中，CXL內(nèi)存是使用具有一些額外延遲的跨NUMA數(shù)據(jù)訪問來模擬的。

4.1

微基準描述

為了徹底檢查CXL內(nèi)存的能力，我們開發(fā)了一個稱為MEMO的微基準測試。此基準測試旨在針對CXL內(nèi)存的各種用例，并在Linux用戶空間上運行。用戶可以提供命令行參數(shù)來指定MEMO要執(zhí)行的工作負載。之后我們計劃開源MEMO。

特別地，MEMO具有以下能力：（1）通過使用NUMA_lalloc_node函數(shù)從不同的源分配內(nèi)存，包括本地DDR5內(nèi)存、CXL內(nèi)存無CPU NUMA節(jié)點或遠程DDR5，（2）啟動指定數(shù)量的測試線程，將每個線程固定到一個內(nèi)核，并可選地啟用或禁用內(nèi)核，以及（3）使用內(nèi)聯(lián)匯編語言執(zhí)行存儲器訪問?；鶞蕼y試報告不同指令（如加載、存儲和非臨時存儲）的內(nèi)存訪問延遲或聚合帶寬，所有內(nèi)存訪問都使用AVX-512指令完成。此外，MEMO可以在內(nèi)存區(qū)域上執(zhí)行指針跟蹤，并且通過改變工作集大小（WSS），基準可以顯示平均訪問延遲如何隨著WSS跨越緩存層次結(jié)構(gòu)的不同大小而變化。

4.2

延遲分析

在延遲測試中，MEMO從刷新測試地址的緩存線開始，并立即發(fā)出mfence指令。然后，MEMO發(fā)出一組nop指令來刷新CPU管道。當使用加載指令進行測試時，我們記錄訪問清空的緩存行所花費的時間；當使用存儲指令進行測試時，我們記錄執(zhí)行臨時存儲所需的時間，然后記錄緩存線寫回（clwb），或者記錄非臨時存儲的執(zhí)行時間，然后再記錄sfence。此外，我們測試了在禁用所有預取的情況下，在大內(nèi)存空間中通過指針追逐的平均訪問延遲。圖2顯示了四條測試指令的延遲，1GB內(nèi)存空間下的平均指針追逐延遲，以及不同工作集大小下的指針追逐延遲。

圖2：訪問延遲。1GB空間中單AVX512加載（ld）、存儲和回寫（st+wb）、非臨時存儲（nt-st）和順序指針追逐（ptr-chase）的平均延遲；連續(xù)指針追蹤延遲與工作集大小（右）。在這兩種情況下，都會禁用所有級別的預取

我們的結(jié)果（圖2）顯示，CXL內(nèi)存訪問延遲比8通道本地DDR5（DDR5-L8）訪問高約2.2倍，而單通道遠程DDR5比DDR5-L8高約1.27倍。根據(jù)先前對持久存儲器的研究，訪問最近刷新的高速緩存線可能會比正常的高速緩存未命中訪問產(chǎn)生更高的延遲，這是由于此類刷新高速緩存線的額外高速緩存一致性握手導致的。指針追逐反映了應用程序所經(jīng)歷的更現(xiàn)實的訪問延遲。在MEMO中，工作集首先在預熱運行中被引入緩存層次結(jié)構(gòu)。圖2中的右圖顯示了不同工作集大小下的平均內(nèi)存訪問時間。指針追逐延遲的每次跳躍對應于跨越L1、L2和LLC大小的邊界。圖2中的結(jié)果顯示，CXL內(nèi)存中的指針追逐延遲比DDR5-L8訪問高4倍。CXL內(nèi)存上的指針追逐延遲比DDR5-R1訪問高2.2。有趣的是，當工作集大小在4MB到32MB之間時，與CXL內(nèi)存相比，DDR5-R1表現(xiàn)出更高的延遲。我們認為這種差異可歸因于LLC大小的差異，Xeon 8460H的LLC大小幾乎是Xeon 6414U的兩倍。

值得注意的是，盡管CXL控制器和DDR4存儲器控制器在FPGA芯片上得到了加固，但CXL存儲器較長的訪問延遲可部分歸因于其FPGA實現(xiàn)。盡管我們預計CXL存儲器設備的ASIC實現(xiàn)將導致延遲的改善，但我們認為它仍將高于常規(guī)的跨NUMA訪問，這主要是由于與CXL協(xié)議相關的開銷。此外，我們在第5節(jié)中的實際應用程序評測顯示，根據(jù)應用程序的特定特性，延遲懲罰有所減少。還應該注意的是，基于FPGA的CXL設備的好處在于它們能夠在CXL存儲器數(shù)據(jù)路徑上添加（內(nèi)聯(lián)）加速邏輯，以及以接近存儲器的方式卸載存儲器密集型任務。

另一方面，CXL內(nèi)存上具有sfence的非臨時存儲指令的延遲明顯低于臨時存儲后的緩存線寫回。這兩種操作都將數(shù)據(jù)從CPU核心傳輸?shù)紺XL內(nèi)存，而延遲差異約為2.6倍。這種延遲差異是由于CXL的MESI緩存一致性協(xié)議中的所有權讀?。?a target="_blank">RFO）行為造成的，在該協(xié)議中，每次存儲未命中都會將緩存線加載到緩存中。這種訪問延遲的差異稍后會轉(zhuǎn)化為帶寬差異，這將在第4.3節(jié)中討論。

4.3

帶寬分析

在我們的帶寬測試中，MEMO在每個測試線程中執(zhí)行順序或隨機訪問塊。主程序通過對訪問的字節(jié)數(shù)求和來計算固定間隔的平均帶寬。為了便于公平比較內(nèi)存通道數(shù)，我們測試了遠程DDR5，在CXL內(nèi)存旁邊只有一個內(nèi)存通道（DDR5-R1）。

4.3.1 順序訪問模式

順序訪問反映了內(nèi)存方案在特定操作下的最大可能吞吐量，結(jié)果如圖3所示。在使用DDR5-L8進行測試期間，我們觀察到負載帶寬線性縮放，直到其峰值達到221 GB/s的最大帶寬，大約有26個線程。相比之下，非臨時存儲指令達到了170GB/s的最大帶寬，這低于加載指令的帶寬，但線程數(shù)較低，約為16。

圖3：順序訪問帶寬。實驗顯示了8通道（a）的本地DDR5、CXL內(nèi)存（b）和1通道（c）的遠程DDR5的最大可能帶寬。（b）中的灰色虛線顯示DDR4-2666MT/s的理論最大速度

相比之下，與DDR5-L8相比，CXL存儲器表現(xiàn)出明顯的帶寬趨勢。具體來說，通過加載指令，CXL內(nèi)存可以在大約8個線程的情況下達到其最大帶寬，但當線程數(shù)增加到12個線程以上時，這個值會降至16.8 GB/s。另一方面，非臨時存儲僅用2個線程就展示了令人印象深刻的22GB/s的最大帶寬，這接近于測試DRAM的最大理論帶寬。然而，當我們增加線程數(shù)時，這個帶寬會立即下降，這表明FPGA內(nèi)存控制器受到了一些干擾。

CXL內(nèi)存的時間存儲帶寬顯著低于非時間存儲，這與圖4.2中報告的時間存儲的高延遲一致。這種差異是由于第4.2節(jié)中描述的時間存儲中的RFO行為造成的，這顯著降低了CXL存儲器的傳輸效率。這種減少是因為與非臨時存儲相比，RFO需要額外的核心資源和額外的微片往返來加載和驅(qū)逐高速緩存行。

圖4：數(shù)據(jù)傳輸帶寬。顯示不同工作負載下數(shù)據(jù)傳輸效率的實驗。D2C是local-DDR5到CXL內(nèi)存的縮寫。（b）中的所有實驗都是用單個線程完成的。

此外，圖3c顯示DDR5-R1的順序訪問性能與CXL內(nèi)存類似。由于DDR5和UPI互連具有更高的傳輸速率和更低的延遲，DDR5-R1在負載和非臨時存儲中顯示出更高的吞吐量，但在臨時存儲中表現(xiàn)出類似的吞吐量。

除了上述指令外，我們還測試了一條新的x86指令movdir64B，它是SPR上新提供的指令。該指令將64B數(shù)據(jù)從源內(nèi)存地址移動到目標內(nèi)存地址，并明確繞過緩存加載源并將其存儲到目標位置。如圖4a所示，我們的結(jié)果表明，D2*操作表現(xiàn)出類似的行為，而C2*操作通常表現(xiàn)出較低的吞吐量。從這些結(jié)果中，我們可以得出結(jié)論，來自CXL內(nèi)存的較慢負載會導致movdir64B的吞吐量較低，在C2C的情況下更是如此。

作為SPR的新產(chǎn)品，Intel Data Streaming Accelerator（Intel DSA）使內(nèi)存移動操作能夠從主機處理器上卸載。Intel DSA由工作隊列（WQ）和處理引擎（PE）組成，前者用于保存已卸載的工作描述符，后者用于從WQ中提取描述符以進行操作。描述符可以通過等待每個已卸載的描述符完成后再卸載另一個描述符來同步發(fā)送，也可以通過連續(xù)發(fā)送描述符來異步發(fā)送，從而使WQ有許多正在運行的描述符。通過設計程序以最佳方式異步使用Intel DSA，可以實現(xiàn)更高的吞吐量。為了進一步提高吞吐量，可以對操作進行批處理以攤銷卸載延遲。圖4b顯示了通過memcpy（）或movdir64B在主機處理器上執(zhí)行內(nèi)存復制操作，并使用不同批處理大小（如1、16和128）的Intel DSA同步/異步執(zhí)行內(nèi)存復制時觀察到的最大吞吐量。雖然到Intel DSA的非批處理同步卸載與非批處理內(nèi)存復制的吞吐量相匹配，但任何級別的異步或批處理都會帶來改進。此外，與僅使用CXL連接的內(nèi)存相比，拆分源數(shù)據(jù)位置和目標數(shù)據(jù)位置可產(chǎn)生更高的吞吐量，C2D案例報告稱，由于DRAM上的寫入延遲較低，因此吞吐量更高。

在我們的帶寬分析過程中，我們觀察到了線程數(shù)量增加導致帶寬減少的情況。雖然數(shù)據(jù)訪問在每個工作線程內(nèi)是順序的，但隨著線程數(shù)的增加，CXL控制器和擴展DRAM之間的內(nèi)存控制器接收到的請求模式更少。因此，CXL內(nèi)存的性能受到了阻礙。

4.3.2 隨機存取模式

為了評估MEMO對隨機塊訪問的性能，我們按順序發(fā)布AVX-512訪問的塊，但每次都有隨機偏移。這種方法使我們能夠在數(shù)據(jù)訪問模式不可預測的現(xiàn)實工作條件下測量系統(tǒng)的性能。隨著我們在測試的線程計數(shù)中增加塊大小，內(nèi)存訪問模式將收斂到順序訪問，其中CPU緩存和內(nèi)存控制器都可以提高整體帶寬。為了確保塊級別的寫入順序，我們在nt存儲的每個塊之后發(fā)布一個sfence。隨機塊訪問的結(jié)果如圖5所示。

圖5：隨機塊訪問帶寬。行順序（從上到下）：本地DDR5、CXL內(nèi)存、遠程DDR5。列順序（從左到右）：加載、存儲、nt存儲。線程數(shù)在頂部圖例中表示

當塊大小較?。?KB）時，我們在隨機塊加載中觀察到類似的模式，所有三種存儲器方案都同樣受到隨機訪問的影響。然而，當我們將塊大小增加到16KB時，DDR5-L8和DDR5-R1/CXL內(nèi)存之間出現(xiàn)了主要差異。DDR5-L8的帶寬隨線程數(shù)呈次線性擴展，而DDR5-R1和CXL內(nèi)存從更高的線程數(shù)（4個線程后）中獲益較少，這在CXL內(nèi)存中更為明顯。內(nèi)存通道數(shù)起著至關重要的作用，DDR5-R1和我們的CXL內(nèi)存設備只有一個內(nèi)存通道，而DDR5-L8總共有八個通道。隨機塊存儲在線程數(shù)方面表現(xiàn)出與負載相似的模式，但增加了帶寬停止隨塊大小縮放的趨勢。

與所有其他測試的工作負載相比，CXL內(nèi)存中隨機塊非臨時存儲的行為顯示出一個有趣的趨勢。單線程nt存儲可以很好地隨塊大小擴展，而線程數(shù)越高，在達到塊大小和線程數(shù)的一些最佳點后，吞吐量就會下降。例如，當塊大小為32KB時，2線程帶寬達到峰值，而4線程帶寬在塊大小為16KB時達到峰值。

我們認為，這個最佳點是由CXL內(nèi)存設備內(nèi)的內(nèi)存緩沖區(qū)決定的。與常規(guī)存儲指令不同，nt存儲不占用CPU核心中的跟蹤資源。因此，更容易同時擁有更多的動態(tài)nt存儲指令，這可能會導致CXL內(nèi)存設備中的緩沖區(qū)溢出。

盡管如此，非臨時指令的優(yōu)點是避免了RFO（第4.2節(jié)）和緩存污染，使它們在CXL內(nèi)存設置中更具吸引力。希望使用nt存儲的程序員應該記住這種行為，以充分利用CXL內(nèi)存中的nt存儲。

4.4

與使用NUMA系統(tǒng)的仿真的比較

最近關于CXL內(nèi)存的研究通常是通過跨NUMA內(nèi)存訪問來模擬CXL內(nèi)存訪問延遲來進行的，即通過對主內(nèi)存訪問施加額外的延遲來進行。然而，根據(jù)我們的觀察，跨NUMA仿真模型無法精確模擬CXL內(nèi)存的以下特征：（1）當前CXL設備中有限帶寬的影響（除非遠程DIMM填充的通道數(shù)與CXL內(nèi)存相同），（2）與跨NUMA訪問相比，延遲更高的各種CXL內(nèi)存實現(xiàn)（在延遲受限的應用程序中，延遲更大的影響變得更嚴重），以及（3）不同工作負載下的數(shù)據(jù)傳輸效率（即負載和非臨時存儲帶寬）。

5.實際應用

為了研究CXL內(nèi)存對性能的影響，我們通過將應用程序的內(nèi)存全部或部分綁定到CXL內(nèi)存來探索。Linux提供了numactl程序，它允許用戶（1）將程序綁定到特定的內(nèi)存節(jié)點（membind模式），或（2）優(yōu)先分配給內(nèi)存節(jié)點，并僅在指定節(jié)點內(nèi)存耗盡時將內(nèi)存分配給其他節(jié)點（首選模式），或者將分配均勻地分布在一組節(jié)點上（交錯模式）。

Linux內(nèi)核中最近的一個補丁現(xiàn)在允許對內(nèi)存節(jié)點之間的頁面交錯率進行細粒度控制。這意味著，例如，如果我們將DRAM:CXL比率設置為4:1，我們可以將20%的內(nèi)存分配給CXL內(nèi)存。為了研究CXL內(nèi)存對應用程序性能的影響，我們針對一些應用程序調(diào)整了這個交織比率。此外，我們禁用了NUMA平衡，以防止頁面遷移到DRAM。

使用這種異構(gòu)內(nèi)存方案的這些應用程序的性能應該作為大多數(shù)內(nèi)存分層策略的準則。這是因為與加權循環(huán)分配策略相比，所提出的優(yōu)化至少應該表現(xiàn)得同樣好。

5.1

Redis-YCSB

Redis是一種在業(yè)界流行并廣泛使用的高性能內(nèi)存鍵值存儲。我們使用YCSB來測試Redis在不同內(nèi)存分配方案下的性能，方法是將其內(nèi)存固定到CXL內(nèi)存、DRAM或分布在兩者之間。為了評估系統(tǒng)性能，我們在YCSB客戶端中執(zhí)行了多個工作負載，同時限制每秒查詢（QPS）。具體來說，我們測量了兩個指標：（1）查詢中第99個百分點的尾部延遲，以及（2）最大可持續(xù)QPS。除了工作負載D之外，所有工作負載都對請求使用統(tǒng)一的分布，從而確保最大限度地增加內(nèi)存壓力。我們還微調(diào)了交織比（DRAM:CXL），以將一定量的內(nèi)存卸載到CXL，在不同的實驗中使用了30:1（3.23%）和9:1（10%）等比例。

我們在圖6中的結(jié)果表明，當Redis純粹在CXL內(nèi)存上運行時，在低QPS（20k）下，p99尾部延遲存在顯著差距。這一差距在55k QPS之前保持相對恒定，此時YCSB客戶端無法到達目標QPS，導致尾部延遲突然增加。當Redis 50%的內(nèi)存分配給CXL內(nèi)存時，p99尾部延遲介于純DRAM和純CXL內(nèi)存之間。盡管50%CXL內(nèi)存Redis直到65k才使其QPS飽和，但尾部延遲在55k左右激增。最后，DRAMMRedis表現(xiàn)出穩(wěn)定的尾部延遲，其QPS在80k左右飽和。

圖6:Redis p99延遲。使用YCSB工作負載A進行測試（50%讀取，50%更新）。50/100%-圖例中的R/U表示50/100%Redis內(nèi)存在CXL內(nèi)存上運行時的讀取/更新延遲

我們認為，尾部延遲差距歸因于Redis查詢的超低響應延遲，使這些μs級響應的延遲對內(nèi)存訪問延遲高度敏感。這與我們在第4.2節(jié)中給出的延遲測量結(jié)果非常相關，其中CXL內(nèi)存訪問延遲范圍從數(shù)百到1000納秒，比DRAM高2-4倍。然而，中間計算和緩存命中將延遲差異（就應用程序尾部延遲而言）降低到QPS飽和點之前的約2倍。

另一方面，CXL內(nèi)存Redis可以提供的最大可持續(xù)QPS（圖7）與第4.3.2節(jié)中觀察到的隨機塊訪問帶寬相關，其中與本地-DDR5或遠程-DDR5相比，CXL存儲器的單線程加載/存儲帶寬要低得多。

圖7:Redis最大QPS。測試具有各種CXL內(nèi)存配置的最大可持續(xù)Redis QPS。圖例表示Redis內(nèi)存分配給CXL內(nèi)存的百分比。YCSB工作負載D默認讀取最近插入的元素（lat），但我們也用Zipfian（zipf）或uniform（uni）分布中的讀取請求測試了該工作負載，以查看對訪問位置的影響。這里省略了工作負載E，因為它是范圍查詢。

單線程隨機訪問帶寬受內(nèi)存訪問延遲的限制，其中單線程內(nèi)的數(shù)據(jù)依賴性使CPU中的負載存儲隊列難以飽和。此外，圖7顯示了一種趨勢，即分配給CXL的內(nèi)存更少（CXL內(nèi)存百分比降低），在測試的所有工作負載中都能提供更高的最大QPS，但這些都無法超過純粹在DRAM上運行Redis的性能。在這種情況下，內(nèi)存交錯無法提高單個應用程序的性能，因為與CXL內(nèi)存的交錯總是會引入更高的訪問延遲。請注意，當前的CXL內(nèi)存設置是基于FPGA的，其真正優(yōu)點在于其靈活性。我們預計基于ASIC的CXL存儲器將提供相對較低的訪問延遲，從而提高延遲受限應用程序的性能。

圖8:DLRM嵌入減少吞吐量。使用8通道DRAM和CXL內(nèi)存進行測試；吞吐量與線程數(shù)（左）；32個線程時標準化為DRAM的不同內(nèi)存方案的吞吐量（右）

5.2

DLRM中的嵌入縮減

深度學習推薦模型（DLRM）已在行業(yè)中得到廣泛部署。嵌入縮減是DLRM推理中的一個步驟，已知其內(nèi)存占用率很高，占用推理延遲的50%-70%。我們在DRAM、CXL內(nèi)存和交錯內(nèi)存上測試了嵌入縮減，設置與MERCI相同。

圖8中的結(jié)果顯示，隨著線程數(shù)的增加，在每個方案上運行DLRM推理都是線性的，并且斜率不同。DDR5-R1和CXL存儲器的總體趨勢相似，這與第4.3.2節(jié)中的觀察結(jié)果一致，其中DDR-R1和CXL內(nèi)存在訪問粒度較小時具有相似的隨機加載/存儲帶寬。內(nèi)存交錯的兩個點（CXL內(nèi)存上的3.23%和50%）如圖8所示。隨著我們將交錯到CXL的內(nèi)存量減少，推理吞吐量也會增加。然而，我們再次觀察到，即使將3.23%的內(nèi)存分配給CXL，推理吞吐量也無法與純粹在DRAM上運行的吞吐量相匹配。還要注意，純DRAM推理吞吐量呈線性擴展，其線性趨勢似乎擴展到32個線程之外。結(jié)合這兩個觀察結(jié)果，我們可以得出結(jié)論，8通道DDR5內(nèi)存可以在32個線程之外維持DLRM推斷。

圖8:DLRM嵌入減少吞吐量。使用8通道DRAM和CXL內(nèi)存進行測試；吞吐量與線程數(shù)（左）；32個線程時標準化為DRAM的不同內(nèi)存方案的吞吐量（右）

為了演示應用程序受內(nèi)存帶寬限制的場景，我們測試了SNC模式下的推理吞吐量?；叵胍幌?，英特爾在SPR中引入了子NUMA集群功能，其中小芯片被拆分為四個單獨的NUMA節(jié)點，每個NUMA節(jié)點上的內(nèi)存控制器獨立于其他節(jié)點工作。通過在一個SNC節(jié)點上運行推理，我們有效地將推理限制在兩個DDR5通道上運行，使其具有內(nèi)存限制。

圖9展示了在SNC模式下運行推理的結(jié)果，CXL內(nèi)存以與之前所有實驗相同的方式交錯。圖中的綠色條顯示了SNC上的推理吞吐量，它在24個線程后停止線性縮放。在28個線程中，推理受到兩個內(nèi)存通道的限制，并且將內(nèi)存交織到CXL會產(chǎn)生略高的推理吞吐量。這種趨勢持續(xù)存在，在32個線程中，將20%的內(nèi)存放在CXL上，與SNC情況相比，推理吞吐量增加了11%。未來，我們預計CXL設備的帶寬將與本機RAM相當，這將進一步提高內(nèi)存帶寬綁定應用程序的吞吐量。

圖9:DLRM嵌入縮減吞吐量

5.3

DeathStarBench

DeathStarBench（DSB）是一個開源基準套件，旨在評估系統(tǒng)上微服務的性能。它使用Docker來啟動微服務的組件，包括機器學習推理邏輯、web后端、負載均衡器、緩存和存儲。DSB為社交網(wǎng)絡框架提供了三個單獨的工作負載和一個混合的工作負載。圖10顯示了撰寫帖子、讀取用戶時間線和混合工作負載的第99個百分點的尾部延遲。我們省略了讀取home timeline的結(jié)果，因為它不在數(shù)據(jù)庫上操作，因此與用于數(shù)據(jù)庫的內(nèi)存類型無關。在我們的實驗中，我們將具有高工作集大小的組件（即存儲和緩存應用程序）固定到DDR5-L8或CXL內(nèi)存中。我們將計算密集型部分留在DDR5-L8。這些組件的內(nèi)存細分如圖10所示。

圖10:DeathStarBench p99延遲和內(nèi)存細分。工作負載：撰寫帖子（左）、讀取用戶時間線（左中）、混合工作負載（右中）、按功能劃分的內(nèi)存細分（右）?；旌瞎ぷ髫撦d有60%讀取主頁時間線，30%讀取用戶時間線，10%撰寫帖子。

圖10中的結(jié)果顯示，在撰寫帖子的情況下存在尾部延遲差異，而在讀取用戶時間線和混合工作負載的情況下幾乎沒有差異。請注意，DSB中的尾部延遲為毫秒級，遠高于YCSB Redis。

當我們分析撰寫帖子和讀取用戶時間線的軌跡時，我們發(fā)現(xiàn)撰寫帖子涉及更多的數(shù)據(jù)庫操作，這給CXL內(nèi)存帶來了更大的負載。同時，讀取用戶時間線的大部分響應時間都花在了nginx前端。這使得較長的CXL內(nèi)存訪問延遲可以在計算密集型組件中分攤，從而使尾部延遲對數(shù)據(jù)庫訪問延遲的依賴性大大降低。

最后，混合工作負載顯示了真實社交網(wǎng)絡的模擬用例，總體而言，大多數(shù)用戶閱讀了一些用戶撰寫的帖子。盡管在混合工作負載中，隨著QPS的增加，將數(shù)據(jù)庫固定到CXL內(nèi)存會顯示出略高的延遲，但總體飽和點類似于在DDR5-L8上運行數(shù)據(jù)庫。

DSB的結(jié)果提供了CXL內(nèi)存的一個有趣的用例，即只要計算密集型組件保留在DRAM中，以低需求率運行的緩存和存儲組件就可以分配給較慢的CXL內(nèi)存，并且應用程序的性能基本保持不變。

6.CXL內(nèi)存的最佳實踐

鑒于CXL內(nèi)存的獨特硬件特性，我們在充分利用CXL內(nèi)存方面提供了以下見解。

將數(shù)據(jù)從CXL內(nèi)存移出或移動到CXL內(nèi)存時，請使用非臨時存儲或movdir64B。如第4節(jié)所示，不同的x86指令在訪問CXL內(nèi)存時表現(xiàn)出顯著不同的性能，這是由于CPU核心的微體系結(jié)構(gòu)設計和CXL內(nèi)存的固有行為造成的。考慮到CXL內(nèi)存的使用情況（例如，內(nèi)存分層），短期數(shù)據(jù)重用的可能性不大，為了實現(xiàn)更高的數(shù)據(jù)移動吞吐量并避免污染寶貴的緩存資源，我們建議在相應的軟件堆棧中優(yōu)先考慮nt store或movdir64B指令。請注意，由于nt store和movdir64B都是弱排序的，因此需要使用內(nèi)存圍欄來確保數(shù)據(jù)已被寫入。

限制并發(fā)寫入CXL內(nèi)存的線程數(shù)。如前所述，CXL內(nèi)存的性能取決于CPU和設備控制器。對于并發(fā)CXL內(nèi)存訪問尤其如此，因為爭用可能發(fā)生在多個位置。盡管CXL存儲器控制器的當前基于FPGA的實現(xiàn)可能會限制內(nèi)部緩沖區(qū)大小，從而限制動態(tài)存儲指令的數(shù)量，但我們預計，在純基于ASIC的CXL存儲器設備上仍然存在該問題。最好在CPU軟件端有一個集中的通信存根來進行數(shù)據(jù)移動。我們建議CXL內(nèi)存應由操作系統(tǒng)或?qū)Ｓ密浖刈o程序管理，而不是由所有應用程序管理。

使用Intel DSA進行從CXL內(nèi)存到CXL內(nèi)存的大容量內(nèi)存移動。當在常規(guī)DRAM和CXL存儲器上傳輸大量數(shù)據(jù)時，前兩個見解可能仍然不足，因為它們消耗了大量的CPU周期，并且仍然具有有限的指令/存儲器級并行性。我們發(fā)現(xiàn)，與前代產(chǎn)品相比，Intel DSA具有高吞吐量、靈活性和更少的限制，可以很好地進一步提高此類數(shù)據(jù)移動的性能和效率。這在分層內(nèi)存系統(tǒng)中尤其有用，因為分層內(nèi)存系統(tǒng)的數(shù)據(jù)移動通常以頁面粒度（即4KB或2MB）進行。

使用NUMApolices和其他分層內(nèi)存方法交錯內(nèi)存，以便在所有DRAM和CXL通道上均勻分配內(nèi)存負載。除了將CXL存儲器用作較慢的DRAM或較快的SSD（例如，存儲器分層）之外，CXL存儲器還可以與常規(guī)存儲器通道交織，以增加總存儲器帶寬，尤其是當CXL存儲器設備作為更多的存儲器通道（從而更具可比性的存儲器帶寬）時。仔細選擇交錯百分比/策略可以在很大程度上緩解預期的性能下降。

避免在CXL內(nèi)存上運行具有μs級延遲的應用程序。CXL內(nèi)存相對較長的訪問延遲可能會成為需要以精細時間粒度（μs級）進行即時數(shù)據(jù)訪問的應用程序的主要瓶頸。Redis就是這樣一個例子——由于CXL內(nèi)存導致的延遲數(shù)據(jù)訪問將積累到端到端查詢處理的重要價值。這種類型的應用程序仍然應該考慮將數(shù)據(jù)固定在更快的介質(zhì)上。

微服務可能是CXL內(nèi)存卸載的一個很好的候選者。微服務架構(gòu)由于其靈活、便于開發(fā)、可擴展和敏捷，已成為當今數(shù)據(jù)中心互聯(lián)網(wǎng)和云服務的主流開發(fā)方法。然而，與傳統(tǒng)的單片應用程序相比，它的分層和模塊化設計確實帶來了更高的運行時開銷。這樣的表征使其對底層高速緩存/存儲器配置和參數(shù)不那么敏感。我們對DSB的研究（見第5.3節(jié)）也證明了這一點。我們設想，很大一部分微服務數(shù)據(jù)可以卸載到CXL內(nèi)存，而不會影響其延遲或吞吐量性能。

利用可編程CXL內(nèi)存設備探索在線加速的潛力。鑒于上述見解，那些適合CXL內(nèi)存卸載的應用程序可能對數(shù)據(jù)訪問延遲不太敏感。這為CXL內(nèi)存設備內(nèi)的內(nèi)聯(lián)加速邏輯提供了更多的設計空間——盡管這種加速可能會給數(shù)據(jù)訪問增加額外的延遲，但從目標應用程序的端到端角度來看，這種開銷是不可見的。因此，我們?nèi)匀惶岢贔PGA的CXL存儲設備，因為它們具有靈活性和可編程性。

6.1

?應用分類

從分析的應用程序中，我們根據(jù)在CXL內(nèi)存上運行時的性能確定了兩種類型的應用程序：帶寬受限和延遲受限。

內(nèi)存帶寬受限的應用程序通常會經(jīng)歷吞吐量的次線性增長，超過一定的線程數(shù)。盡管在CXL內(nèi)存上運行Redis和DLRM推理都會產(chǎn)生較低的飽和點，但應該明確區(qū)分兩者，只有DLRM推理是帶寬受限的應用程序。單線程Redis受到CXL內(nèi)存更高延遲的限制，這降低了Redis的處理速度。

內(nèi)存延遲受限的應用程序即使將少量工作集分配給延遲較高的內(nèi)存，也會感知到吞吐量下降。在數(shù)據(jù)庫的情況下，當在CXL內(nèi)存上運行時，即使QPS離飽和點很遠，它們也可能顯示出尾部延遲間隙。Redis和memcached等在μs級延遲下運行的數(shù)據(jù)庫在純CXL內(nèi)存上運行時受到的懲罰最大。相比之下，具有計算層的毫秒級微服務顯示出將內(nèi)存卸載到CXL內(nèi)存的良好用例。

然而，在這兩種情況下，在傳統(tǒng)的CPU連接的DRAM和CXL內(nèi)存之間使用交錯內(nèi)存可以減少較慢的CXL內(nèi)存在吞吐量（第5.2節(jié)）和尾部延遲（第5.1節(jié)）方面的損失。這種循環(huán)策略應該作為分層內(nèi)存策略的基線。

7.相關研究

隨著存儲器技術的快速發(fā)展，除了基于常規(guī)DDR的DRAM之外，數(shù)據(jù)中心還出現(xiàn)了許多新型存儲器，每種存儲器都有不同的特點和權衡。這些包括但不限于持久存儲器，如Intel Optane DIMM，基于RDMA的遠程/分解存儲器，甚至字節(jié)可尋址SSD。盡管CXL內(nèi)存已經(jīng)被廣泛研究和分析，但作為內(nèi)存層中的一個新成員，其性能特征和指標仍不明確。

自2019年概念提出以來，CXL已經(jīng)被許多研究人員討論過。例如，Meta設想使用CXL內(nèi)存進行內(nèi)存分層和交換；微軟構(gòu)建了一個用于內(nèi)存分解探索的CXL內(nèi)存原型系統(tǒng)。他們中的大多數(shù)人使用NUMA機器來模擬CXL內(nèi)存的行為。Gouk等人在基于FPGA的RISC-V CPU上構(gòu)建了CXL存儲器原型。與之前的研究不同，我們是第一個在商品CPU和CXL設備上進行CXL內(nèi)存研究的，既有微基準測試，也有實際應用。這使我們的研究更加現(xiàn)實和全面。

8.結(jié)論

CXL已經(jīng)成為未來的設備互連標準，具有豐富的有用功能，而CXL內(nèi)存就是其中的一個重要功能。在這項工作中，基于最先進的實際硬件，我們使用微基準和實際應用程序?qū)XL內(nèi)存進行了詳細的表征分析。通過對CXL存儲器行為的獨特觀察，我們還為程序員提供了一些使用指南，以更好地利用CXL內(nèi)存。我們希望這項工作能夠促進CXL內(nèi)存生態(tài)系統(tǒng)的開發(fā)和采用。

編輯：黃飛

?