系統(tǒng)設(shè)計(jì)人員正在尋找所有他們能找到的增加內(nèi)存帶寬和容量的想法，專注于從內(nèi)存改進(jìn)到新型內(nèi)存的所有內(nèi)容。更高級(jí)別的體系結(jié)構(gòu)更改可以幫助滿足這兩種需求，即使內(nèi)存類型是從 CPU 中抽象出來(lái)的。

兩種新的協(xié)議正在幫助實(shí)現(xiàn)這一目標(biāo)，即CXL和OMI。但有一個(gè)迫在眉睫的問(wèn)題是，它們是否會(huì)共存，或者一個(gè)是否會(huì)戰(zhàn)勝另一個(gè)。

“隨著處理器中CPU內(nèi)核數(shù)量的增長(zhǎng)，人們普遍認(rèn)為希望為CPU內(nèi)核獲得更多的內(nèi)存帶寬和內(nèi)存容量，”Rambus數(shù)據(jù)中心產(chǎn)品營(yíng)銷副總裁Mark Orthodoxou說(shuō)?！叭藗円呀?jīng)沒(méi)有能力添加DRAM頻道了。

雖然這兩個(gè)新協(xié)議在概念上有一些高級(jí)的相似之處，但它們并不相同。但是，對(duì)于它們是否真的相互競(jìng)爭(zhēng)，似乎存在很多困惑。甚至還存在廣泛的誤解，特別是關(guān)于OMI的誤解。

如今，每個(gè)人都專注于數(shù)據(jù)，無(wú)論是不斷增長(zhǎng)的數(shù)據(jù)量還是如何最好地管理數(shù)據(jù)。

”金融服務(wù)希望為欺詐檢測(cè)添加更多數(shù)據(jù)源，以提供即時(shí)結(jié)果，“MemVerge的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Charles Fan說(shuō)?！鄙缃幻襟w需要更多的數(shù)據(jù)源來(lái)分析用戶，但提供即時(shí)結(jié)果。電子商務(wù)零售商想要更多的數(shù)據(jù)源，但需要即時(shí)建議。芯片正在設(shè)計(jì)1萬(wàn)億個(gè)晶體管，但它們需要與前幾代產(chǎn)品在同一時(shí)間周期內(nèi)進(jìn)入市場(chǎng)?；蚪M研究人員想要更多的細(xì)胞數(shù)據(jù)，但他們希望縮短疫苗發(fā)現(xiàn)的時(shí)間。

所有這些都需要更多的內(nèi)存來(lái)為更多的計(jì)算提供服務(wù)?！霸谖磥?lái)兩年內(nèi)，需要增加一千倍的計(jì)算量和一百倍的內(nèi)存，”范說(shuō)。

內(nèi)存和存儲(chǔ)

現(xiàn)代計(jì)算系統(tǒng)具有兩層內(nèi)存結(jié)構(gòu)。有工作內(nèi)存，它是處理器的本地內(nèi)存，用于快速訪問(wèn)，它通常是某種形式的DRAM。然后是存儲(chǔ)，一種內(nèi)存形式，它在邏輯上并且通常在物理上遠(yuǎn)離處理器。這通常是非易失性存儲(chǔ)器，如閃存甚至硬盤驅(qū)動(dòng)器。

這種安排反映了功能、成本和訪問(wèn)的混合?！皟?nèi)存”往往是更快的技術(shù)，盡管成本高于存儲(chǔ)技術(shù)。即使考慮到速度，它也不夠快，無(wú)法跟上現(xiàn)代處理器的步伐，這就是為什么處理器上的SRAM緩存對(duì)性能如此重要的原因。

“存儲(chǔ)”往往由非常高容量的存儲(chǔ)器組成，這些存儲(chǔ)器在每位基礎(chǔ)上非常便宜。但是它們的訪問(wèn)時(shí)間可能比DRAM可以提供的時(shí)間慢幾個(gè)數(shù)量級(jí)。

在過(guò)去十年中，存儲(chǔ)類內(nèi)存的討論很多，它具有存儲(chǔ)的一些特征，但具有內(nèi)存的性能。MRAM，RMRAM和PCRAM是這種交叉類別的典型代表 - 在研究周期的早期還有其他想法。

將單一技術(shù)同時(shí)用于存儲(chǔ)器和存儲(chǔ)的承諾是誘人的，但它將為芯片設(shè)計(jì)人員創(chuàng)建需要與存儲(chǔ)器接口的IC帶來(lái)一些挑戰(zhàn)。大多數(shù)芯片都有用于DRAM的特定接口。如果您可以使用MRAM或RRAM，那么您將CPU連接到哪個(gè)接口？這些存儲(chǔ)器可能都具有不同的訪問(wèn)協(xié)議。

存儲(chǔ)有不同的挑戰(zhàn)，但內(nèi)存類型的激增造成了類似的困境。此外，存儲(chǔ)中的數(shù)據(jù)通常必須批量檢索才能實(shí)際使用。該復(fù)制操作需要時(shí)間并消耗能量。

這兩種情況都將受益于一種抽象出所使用的特定存儲(chǔ)器的細(xì)節(jié)的方法，這樣芯片設(shè)計(jì)人員以及在某種程度上的軟件開發(fā)人員都不必那么關(guān)心特定系統(tǒng)的存儲(chǔ)器細(xì)節(jié)。它還可能使軟件在不同系統(tǒng)之間更具可移植性，這在數(shù)據(jù)中心特別有價(jià)值。

如今，它需要更高級(jí)別的程序或系統(tǒng)來(lái)管理和構(gòu)建不同內(nèi)存和存儲(chǔ)資源的池。這種“大內(nèi)存”程序提供了一種增加內(nèi)存帶寬和容量的方法。

“圍繞大內(nèi)存計(jì)算的論點(diǎn)是，與其不斷努力使存儲(chǔ)越來(lái)越快，不如利用其他新硬件，并輔以正確的軟件集，”范說(shuō)?！拔覀兛梢詷?gòu)建一個(gè)軟件定義的內(nèi)存池，該內(nèi)存池可以成為應(yīng)用程序需要處理的所有活動(dòng)數(shù)據(jù)的平臺(tái)，從而減少或消除活動(dòng)應(yīng)用程序數(shù)據(jù)的內(nèi)存和存儲(chǔ)之間的數(shù)據(jù)傳輸。

CXL 和 OMI 協(xié)議都提供抽象，盡管級(jí)別較低。但作為新興的解決方案，很容易將兩者混淆。OMI在網(wǎng)上幾乎沒(méi)有大張旗鼓的方式，對(duì)它的認(rèn)識(shí)似乎低于對(duì)CXL的認(rèn)識(shí)。根據(jù)你和誰(shuí)交談，他們做或不做同樣的事情，因此做或不互相競(jìng)爭(zhēng)。

CXL和/或OMI的出現(xiàn)并不一定影響大內(nèi)存管理系統(tǒng)的使用。相反，它使物理內(nèi)存連接更容易處理?！蔽覀円揽緾PU使用其接口/內(nèi)存管理器訪問(wèn)內(nèi)存，因此我們的軟件與內(nèi)存互連無(wú)關(guān)，包括CXL，OMI和DDR4 / 5，“Fan說(shuō)。

CPU使用的近內(nèi)存和OMI

工作內(nèi)存需要快速。多年來(lái)，DRAM一直提供最佳的速度/成本組合，并且隨著技術(shù)的發(fā)展，DRAM似乎可能會(huì)繼續(xù)這樣做。即便如此，還是有辦法提高這種性能，但要付出代價(jià)。

DRAM的致命弱點(diǎn)是一組驅(qū)使記憶的長(zhǎng)線。它們的高電容使得很難繼續(xù)推動(dòng)更高的內(nèi)存速度并添加更多內(nèi)存。

兩種變體有所幫助。一個(gè)是RDIMM，其中地址和控制信號(hào)在芯片上緩沖。這加快了這些信號(hào)的速度，同時(shí)保留了數(shù)據(jù)信號(hào)。LRDIMM還通過(guò)緩沖數(shù)據(jù)更進(jìn)一步。這增加了延遲的時(shí)鐘周期，但加快了線路速度并允許更多內(nèi)存。

圖1：RDIMM緩沖地址和控制信號(hào);LRDIMM 還緩沖數(shù)據(jù)信號(hào)。其目的是擁有更短，更少的電容線路和更快的訪問(wèn)，但代價(jià)是額外的時(shí)鐘周期延遲。

但是用于訪問(wèn)的端口需要許多引腳 - LRDIMM的每個(gè)通道152個(gè)，Objective Analysis的Jim Handy在去年的Hot Interconnects會(huì)議上的一次演講中說(shuō)。八個(gè)通道將花費(fèi)1，216個(gè)引腳。

”由于引腳數(shù)量非常大，因此驅(qū)動(dòng)這些引腳所需的面積很大，因?yàn)樗遣⑿薪涌冢癘rthodoxou說(shuō)。

HBM 是另一種提供更高訪問(wèn)速度的替代方案。雖然價(jià)格昂貴，但它提供了最高的帶寬。但它的總線是1000位寬。還有其他挑戰(zhàn)，在關(guān)于OMI的白皮書中有所描述。

”雖然HBM是一個(gè)幫助，但它比標(biāo)準(zhǔn)DRAM貴得多，并且僅限于不超過(guò)12個(gè)芯片的堆棧，將其使用限制在低容量?jī)?nèi)存陣列上，“該論文說(shuō)?！盚BM 也很復(fù)雜和不靈活。在現(xiàn)場(chǎng)無(wú)法升級(jí)基于 HBM 的內(nèi)存。因此，HBM 內(nèi)存只在沒(méi)有其他解決方案可用的情況下才被采用。

OMI從OpenCAPI世界中出現(xiàn)，為了延遲，OMI規(guī)范被分離出來(lái)。它旨在通過(guò)兩種方式解決這些近內(nèi)存挑戰(zhàn) - 遷移到SerDes，以及使用DIMM控制器。用于 OMI 通道的 DIMM 被稱為差分 DIMM 或 DDIMM。

SerDes連接將取代當(dāng)前的DDR式接口，以更少的信號(hào)提供更高的速度?？刂破鞑糠痔峁┡cLRDIMM上的寄存器相同的功能，在此過(guò)程中將總內(nèi)存延遲增加約4ns。

“OMI延遲包括通過(guò)內(nèi)存本身的延遲，這是從內(nèi)部連接到主機(jī)中的傳輸端口回到主機(jī)中接收的內(nèi)部連接的往返讀取延遲，”O(jiān)penCAPI聯(lián)盟的技術(shù)總監(jiān)兼董事會(huì)顧問(wèn)Allan Cantle說(shuō)。

圖 2：LRDIMM 與 DDIMM 的比較。DDIMM左側(cè)的藍(lán)色框是控制器。延遲增加幾納秒。

此外，控制器還可以連接到許多不同類型的內(nèi)存。它充當(dāng)該內(nèi)存和處理器之間的橋梁。就處理器而言，所有內(nèi)存看起來(lái)都像 OMI，除此之外的細(xì)節(jié)都在 DDIMM 上處理。

這允許系統(tǒng)構(gòu)建商混合和匹配正在使用的內(nèi)存類型。每個(gè)通道都可以是其自己的內(nèi)存類型。事實(shí)上，只要控制器支持，單個(gè) DDIMM 就可以混合使用內(nèi)存。

圖 3：混合內(nèi)存系統(tǒng)的概念示例，其中每個(gè)通道使用不同的內(nèi)存技術(shù)。

然而，目前還不清楚系統(tǒng)是否真的會(huì)以這種方式組成。有些人認(rèn)為，抽象的價(jià)值不在于創(chuàng)建異構(gòu)內(nèi)存池，而在于使具有一組接口的單個(gè) CPU 可以訪問(wèn)由任何這些類型的內(nèi)存構(gòu)建的同構(gòu)池。

“近內(nèi)存將始終是同構(gòu)存儲(chǔ)器的更多選擇，而不需要抽象異構(gòu)存儲(chǔ)器類型，”西門子EDA驗(yàn)證IP產(chǎn)品經(jīng)理Gordon Allan說(shuō)。

帶寬將高于標(biāo)準(zhǔn)DRAM接口，盡管HBM仍然會(huì)更快。也就是說(shuō)，擁有更少的引腳意味著SoC上用于存儲(chǔ)器通道所需的硅將小得多，這使得OMI在帶寬/面積上與HBM更具競(jìng)爭(zhēng)力。由于接口占用空間較小，如果 OMI 可以使用的通道多于其他接口，則聚合帶寬可能會(huì)更高。

為了完全出現(xiàn)這種新范式，首先需要控制器芯片，然后需要DDIMM可用。這一進(jìn)程已經(jīng)開始，但還有很長(zhǎng)的路要走。即便如此，到目前為止，OMI的吸收速度一直很慢。

圖 4：顯示控制器和多個(gè) DRAM 芯片的 DDIMM。還提供2U版本。資料來(lái)源：OpenCAPI Consortium

“我們沒(méi)有與客戶要求我們提供這項(xiàng)技術(shù)，但對(duì)于OMI來(lái)說(shuō)，現(xiàn)在還為時(shí)尚早，”艾倫說(shuō)?！斑@是IBM和其他一些公司推廣的相對(duì)較新的進(jìn)入者。它仍然沒(méi)有在業(yè)界被廣泛采用，但肯定有很多人對(duì)它感興趣，因?yàn)樗暦Q要擴(kuò)展DDR的容量?jī)?yōu)勢(shì)和HBM的性能帶寬優(yōu)勢(shì)。但在這一點(diǎn)上，這仍然是一個(gè)大膽的，未經(jīng)證實(shí)的說(shuō)法。

遠(yuǎn)內(nèi)存和CXL

遠(yuǎn)內(nèi)存的情況更為復(fù)雜。除了與特定類型的內(nèi)存相關(guān)的問(wèn)題之外，頻繁需要復(fù)制大塊內(nèi)存也是一個(gè)重大問(wèn)題，特別是對(duì)于機(jī)器學(xué)習(xí)等內(nèi)存或存儲(chǔ)密集型應(yīng)用程序，尤其是在數(shù)據(jù)中心。

這些是CXL解決的問(wèn)題。”CXL 優(yōu)化和虛擬化數(shù)據(jù)傳輸、存儲(chǔ)和計(jì)算，“Synopsys 系統(tǒng)設(shè)計(jì)組工程總監(jiān) Levent Caglar 說(shuō)。

這在數(shù)據(jù)中心應(yīng)用程序中很有用。”HPC領(lǐng)域由大量的計(jì)算結(jié)構(gòu)組成，“Cadence知識(shí)產(chǎn)權(quán)集團(tuán)產(chǎn)品營(yíng)銷集團(tuán)總監(jiān)Arif Khan說(shuō)?！盋PU、GPU、加速器、FPGA 等都連接到不斷增長(zhǎng)的內(nèi)存池。CXL 滿足了異構(gòu)計(jì)算的需求，同時(shí)保持了緩存的一致性，并允許內(nèi)存的可擴(kuò)展性。

但它也很復(fù)雜?！拔覀冃枰紤]存儲(chǔ)的三個(gè)不同方面，”西門子EDA的Allan說(shuō)?！笆紫仁枪仓锰幚砥骱蛢?nèi)存。在處理管道的另一端，我們有相干的內(nèi)存和存儲(chǔ)鏈接，其中數(shù)據(jù)必須與其他處理和通信元素共享。此外，我們還對(duì)數(shù)據(jù)中心的存儲(chǔ)進(jìn)行了更大規(guī)模的搜索和檢索。CXL位于這些領(lǐng)域的第二和第三位。

圖 5：CXL 控制器的框圖。CXL 功能依賴于 PCIe 進(jìn)行物理互連。

CXL在概念上類似于OMI，充當(dāng)允許處理器與內(nèi)存類型無(wú)關(guān)的橋梁?！睆南到y(tǒng)其余部分的角度來(lái)看，該內(nèi)存在邏輯上盡可能接近CPU，“Caglar說(shuō)。

但CXL的職權(quán)范圍比OMI要廣泛得多，需要涵蓋的用例要多得多?！監(jiān)MI和CXL在它們?cè)噲D解決的近內(nèi)存問(wèn)題方面非常相似，“Orthodoxou說(shuō)。”他們的不同之處在于CXL試圖解決遠(yuǎn)內(nèi)存問(wèn)題。

審核編輯 ：李倩