作者：黃晶晶

LPDDR5X具有高帶寬、低功耗、高容量密度等特性，可用于AI推理等對(duì)能效和成本有嚴(yán)苛要求的場(chǎng)景?？萍即髲S例如英偉達(dá)、高通、微軟等都將LPDDR5X應(yīng)用于AI數(shù)據(jù)中心領(lǐng)域。而存儲(chǔ)廠商們包括三星、美光、SK海力士以及長(zhǎng)鑫存儲(chǔ)等也不斷拉高LPDDR5X的規(guī)格，有望拓展繼智能終端之后AI數(shù)據(jù)中心這類新應(yīng)用。

三星電子

三星發(fā)布的比前代快1.25倍、功耗效率提升25%的高端低功耗DRAM LPDDR5X，不僅應(yīng)用于移動(dòng)設(shè)備，還廣泛用于PC、服務(wù)器、汽車以及新興的端側(cè)AI應(yīng)用，未來(lái)將引領(lǐng)低功耗DRAM市場(chǎng)的擴(kuò)展。

設(shè)備自身運(yùn)行AI的端側(cè)AI時(shí)代。LPDDR5X支持高達(dá)10.7Gbps的驚人超高速數(shù)據(jù)處理速度。對(duì)于需要高性能計(jì)算的5G、AI、AR、VR、自動(dòng)駕駛和元宇宙等未來(lái)IT技術(shù)和端側(cè)AI生態(tài)系統(tǒng)，LPDDR5X是優(yōu)化的內(nèi)存解決方案。



LPDDR5X采用了最先進(jìn)的12nm工藝和創(chuàng)新的電路設(shè)計(jì)。通過(guò)應(yīng)用更高級(jí)的電壓可變優(yōu)化技術(shù)(FDVFS)和低功耗運(yùn)行區(qū)間擴(kuò)展技術(shù)，相較于上一代產(chǎn)品，性能提升且功耗減少近25%。在智能手機(jī)和筆記本電腦等移動(dòng)設(shè)備中，LPDDR5X提供了更長(zhǎng)的電池續(xù)航時(shí)間；在用于數(shù)據(jù)中心的服務(wù)器中，它有助于降低運(yùn)營(yíng)成本（CTO），從而減少碳排放。

移動(dòng) DRAM LPDDR5X 在單個(gè)封裝中支持高達(dá)32 GB 的容量，將應(yīng)用范圍從智能手機(jī)和筆記本電腦擴(kuò)展到高性能 PC、服務(wù)器和設(shè)備上的人工智能應(yīng)用。三星的LPDDR5X還通過(guò)了 AEC-Q100 認(rèn)證，可在極高和極低溫度下提供可靠的性能。

SK海力士

SK 海力士基于第5代10 納米級(jí)（1b nm）工藝的 16Gb LPDDR5X 內(nèi)存運(yùn)行速率為 10.7Gbps，相較上代 9.6Gbps LPDDR5T 速度高出約 10%，能效方面提升達(dá)到 15%。SK 海力士計(jì)劃以 SOCAMM 和 LPCAMM 的模組形態(tài)向服務(wù)器和 PC 市場(chǎng)推出 LPDDR5X 產(chǎn)品，以響應(yīng) AI 計(jì)算對(duì)高性能 DRAM 的需求。



美光科技

美光科技全球首款基于 1γ（1-gamma）工藝節(jié)點(diǎn)的LPDDR5X內(nèi)存支持業(yè)界最快的10.7 Gbps 速率，同時(shí)功耗最高可降低 20%，封裝厚度壓縮至 0.61 毫米 ，相比競(jìng)品薄 6%，較上一代產(chǎn)品厚度降低14%。



NVIDIA Grace Hopper GH200是首款采用 LPDDR5X 技術(shù)的商用產(chǎn)品。該創(chuàng)新系統(tǒng)將 ARM CPU 與H100 GPU相結(jié)合，代表高性能計(jì)算基礎(chǔ)設(shè)施的前沿方案。

根據(jù)美光的對(duì)比分析，基于LPDDR5X的Grace Hopper與同期的DDR5 服務(wù)器配置來(lái)看，二者的核心架構(gòu)差異體現(xiàn)在內(nèi)存封裝方式，LPDDR5X 內(nèi)存直接焊接在 Grace Hopper 板卡上，而 DDR5 則是通過(guò) 64 位帶寬的模塊連接到 CPU。Grace Hopper 的架構(gòu)采用32個(gè)內(nèi)存控制器，每個(gè)控制器管理來(lái)自單個(gè) LPDDR5X 封裝的16位通道。這種配置在數(shù)據(jù)處理中提供了更高的并行性與效率，因?yàn)槊總€(gè)通道可獨(dú)立運(yùn)行。
相比之下，DDR5 系統(tǒng)采用了更傳統(tǒng)的設(shè)計(jì)，4 個(gè)內(nèi)存控制器，每個(gè)控制器包含 4 條 32 位通道（使用 2 條 32 位子通道），總計(jì) 16 條 32 位通道。LPDDR5X 配置支持 4 個(gè) rank，而 DDR5 僅支持2個(gè)rank，進(jìn)一步提升訪問(wèn)并行性（因?yàn)槊總€(gè) rank 可獨(dú)立運(yùn)行）。性能數(shù)據(jù)凸顯了 LPDDR5X 的優(yōu)勢(shì)，其峰值理論帶寬達(dá) 384GB/s，略高于DDR5 的358GB/s。這種更高的數(shù)據(jù)速率、更強(qiáng)的并行性與更大的帶寬相結(jié)合，使 LPDDR5X 成為高性能計(jì)算應(yīng)用與混合內(nèi)存訪問(wèn)模式的優(yōu)選技術(shù)。

在 CPU/GPU系統(tǒng)中使用 LPDDR5X 進(jìn)行大語(yǔ)言模型推理的效果如何呢。美光科技評(píng)估了 LPDDR5X 在兩種場(chǎng)景下的大語(yǔ)言模型推理性能：僅使用 CPU 的配置和 CPU+GPU 的配置。

在僅使用 CPU | Llama 3 8B的評(píng)估下，在 LPDDR5X 和 DDR5 系統(tǒng)上都運(yùn)行Llama 3 8B 模型。參數(shù)規(guī)模在 80 到 200 億之間的模型通常被認(rèn)為適合僅在 CPU 上運(yùn)行。DDR5 系統(tǒng)配備了高性能的 x86 CPU，時(shí)鐘頻率為 3.9 GHz，且具有大容量的末級(jí)緩存（L3），其原始性能更優(yōu)：生成tokens的速度快1.7 倍，首token延遲也低約 1.1 倍。

然而，在評(píng)估每瓦性能（衡量能效的關(guān)鍵指標(biāo)）時(shí)，LPDDR5X 系統(tǒng)表現(xiàn)更出色。它借助 LPDDR5X 內(nèi)存和低功耗的基于ARM架構(gòu)的 Grace CPU，實(shí)現(xiàn)了1.1 倍的能效提升，這有望顯著降低推理部署成本。

在CPU 和 GPU | Llama 3 70B的評(píng)估下，為了更好地理解在 CPU+GPU 場(chǎng)景下的推理運(yùn)行中 LPDDR5X 所起的作用，美光科技研究了一個(gè)擁有 700 億參數(shù)的 Llama 3 模型。這種規(guī)模的模型由于對(duì)帶寬和計(jì)算有更高的要求，需要GPU 和HBM 資源。

并采用了兩種配置的 H100/HBM3 GPU：?集成了 H100/HBM3 GPU 的LPDDR5X 系統(tǒng)（NVIDIA Grace Hopper 超級(jí)芯片）?標(biāo)準(zhǔn) DDR5 系統(tǒng)，為了使對(duì)比保持一致，在該系統(tǒng)中安裝了相同的 H100/HBM3。

關(guān)鍵的差異在于互連性能。Grace Hopper 超級(jí)芯片配備了集成的 NVIDIA NVLink，具有 900 GB/s 的雙向帶寬，而標(biāo)準(zhǔn) DDR5 系統(tǒng)的 PCIe Gen5 鏈路僅提供 128 GB/s 的雙向帶寬。

LPDDR5X 系統(tǒng)的性能大幅優(yōu)于 DDR5 系統(tǒng)，主要體現(xiàn)在
?互連速度（CPU - GPU）快 7 倍
?設(shè)備到主機(jī)的傳輸速度為346 GB/s，主機(jī)到設(shè)備的傳輸速度為 334 GB/s，而 DDR5 的單向傳輸速度為 55 GB/s
?推理吞吐量高 5 倍
?推理延遲低 80%



長(zhǎng)鑫存儲(chǔ)

LPDDR5/5X 是第五代超低功耗雙倍速率動(dòng)態(tài)隨機(jī)存儲(chǔ)器。通過(guò)創(chuàng)新的封裝技術(shù)和優(yōu)化的內(nèi)存設(shè)計(jì)，長(zhǎng)鑫存儲(chǔ) LPDDR5X在容量、速率、功耗上都有顯著提升，目前提供12Gb和16Gb兩種單顆粒容量，最高速率達(dá)到10667Mbps ，達(dá)到國(guó)際主流水平，較上一代LPDDR5提升了66%，同時(shí)可以兼容LPDDR5，功耗則比LPDDR5降低30%。



英偉達(dá)、微軟、高通將LPDDR應(yīng)用于AI數(shù)據(jù)中心

近日，Cadence宣布與微軟合作開發(fā)出一款面向數(shù)據(jù)中心的LPDDR5X9600Mbps內(nèi)存系統(tǒng)解決方案。

該方案將Cadence的 LPDDR5X IP 與微軟專有的糾錯(cuò)算法RAIDDR（冗余獨(dú)立雙倍數(shù)據(jù)速率陣列）ECC（糾錯(cuò)碼）相結(jié)合。該方案可同時(shí)實(shí)現(xiàn)高性能、低功耗和高可靠性。微軟計(jì)劃在其數(shù)據(jù)中心部署此方案。雙方強(qiáng)調(diào)，通過(guò)應(yīng)用RAIDDR ECC技術(shù)，實(shí)現(xiàn)了與現(xiàn)有服務(wù)器DDR5 內(nèi)存相當(dāng)?shù)臄?shù)據(jù)保護(hù)能力。

此前，美光與英偉達(dá)合作開發(fā)了SOCAMM，專為支援英偉達(dá) GB300 Grace Blackwell Ultra 超級(jí)芯片而設(shè)計(jì)，能為英偉達(dá)的相關(guān)AI平臺(tái)提供低功耗、高容量的內(nèi)存支持。

去年，高通推出面向數(shù)據(jù)中心的下一代AI推理優(yōu)化解決方案，基于Qualcomm AI200與AI250芯片的加速卡及機(jī)架系統(tǒng)。Qualcomm AI200帶來(lái)專為機(jī)架級(jí)AI推理打造的解決方案，每張加速卡支持768GB LPDDR內(nèi)存，實(shí)現(xiàn)更高內(nèi)存容量與更低成本，為AI推理提供卓越的擴(kuò)展性與靈活性。

Qualcomm AI250解決方案將首發(fā)基于近存計(jì)算（Near-Memory Computing）的創(chuàng)新內(nèi)存架構(gòu)，實(shí)現(xiàn)超過(guò)10倍的有效內(nèi)存帶寬提升并顯著降低功耗，為AI推理工作負(fù)載帶來(lái)能效與性能的跨越性提升。

兩款機(jī)架解決方案均支持直接液冷散熱，以提升散熱效率，支持PCIe縱向擴(kuò)展與以太網(wǎng)橫向擴(kuò)展，并具備機(jī)密計(jì)算，保障AI工作負(fù)載的安全性，整機(jī)架功耗為160千瓦。據(jù)悉，Qualcomm AI200與AI250預(yù)計(jì)將分別于2026年和2027年實(shí)現(xiàn)商用。