電子發(fā)燒友網(wǎng)綜合報(bào)道，據(jù)韓媒報(bào)道，下一代低功耗內(nèi)存模塊 “SOCAMM” 市場(chǎng)已全面拉開帷幕。英偉達(dá)作為 AI 領(lǐng)域的領(lǐng)軍企業(yè)，計(jì)劃在今年為其 AI產(chǎn)品部署60至80萬個(gè) SOCAMM 內(nèi)存模塊，不僅將用于數(shù)據(jù)中心AI服務(wù)器，也將有望應(yīng)用于PC。這一舉措將對(duì)內(nèi)存市場(chǎng)以及相關(guān)產(chǎn)業(yè)鏈產(chǎn)生深遠(yuǎn)影響。

SOCAMM

SOCAMM 全稱為 Small Outline Compression Attached Memory Module，即小型化壓縮附加內(nèi)存模組，是英偉達(dá)主導(dǎo)開發(fā)的一種新型內(nèi)存模塊，是適用于數(shù)據(jù)中心 AI 服務(wù)器的新型高性能、低功耗內(nèi)存。

它將低功耗 DRAM 與壓縮連接內(nèi)存模塊（CAMM）搭配使用，以全新的外形尺寸提供卓越的性能和能效。基于 LPDDR5X 芯片，采用694個(gè)I/O端口，帶寬可達(dá)傳統(tǒng) DDR5 的2.5倍。

在物理形態(tài)上，SOCAMM 尺寸僅為 14×90 毫米，外形類似U盤，相比傳統(tǒng) RDIMM 體積減少66%，為實(shí)現(xiàn)更緊湊、高效的服務(wù)器設(shè)計(jì)提供了可能。SOCAMM 采用了可拆卸的模塊化插拔結(jié)構(gòu)，改變了以往 LPDDR 內(nèi)存必須焊接在主板上的限制，用戶可以像更換硬盤或 SSD那樣便捷地進(jìn)行內(nèi)存升級(jí)或替換，大大提高了系統(tǒng)的靈活性和可維護(hù)性。

SOCAMM 采用引線鍵合和銅互連技術(shù)，每個(gè)模塊連接 16 個(gè) DRAM 芯片，這種銅基結(jié)構(gòu)增強(qiáng)了散熱性能，對(duì)于 AI 系統(tǒng)的性能和可靠性至關(guān)重要。同時(shí)，SOCAMM 基于成熟的封裝工藝，顯著降低了部署門檻和制造難度，具備更強(qiáng)的成本控制能力和更廣泛的適用范圍。

于AI服務(wù)器和PC中采用

得益于 LPDDR5X 自身的低電壓設(shè)計(jì)和優(yōu)化后的封裝工藝，SOCAMM 使服務(wù)器整體運(yùn)行能耗減少約 45%，這種高效能與低功耗的平衡特性，使得 SOCAMM 不僅適用于集中式的數(shù)據(jù)中心，也能很好地服務(wù)于邊緣計(jì)算場(chǎng)景中對(duì)空間和能耗敏感的應(yīng)用需求。NVIDIA 計(jì)劃將 SOCAM 率先應(yīng)用于其 AI 服務(wù)器產(chǎn)品和 AI PC（工作站）產(chǎn)品。

在英偉達(dá)的規(guī)劃中，將率先采用SOCAMM的產(chǎn)品將是GB300 Blackwell 平臺(tái)。Blackwell 架構(gòu) GPU 具有 2080 億個(gè)晶體管，采用專門定制的臺(tái)積電 4NP 工藝制造。所有 Blackwell 產(chǎn)品均采用雙倍光刻極限尺寸的裸片，通過 10 TB/s 的片間互聯(lián)技術(shù)連接成一塊統(tǒng)一的GPU。其在性能、效率和規(guī)模方面取得了突破性進(jìn)步。而 SOCAMM 內(nèi)存模塊的加入，將進(jìn)一步提升其在 AI 運(yùn)算方面的表現(xiàn)。

此外，英偉達(dá)在今年5月GTC 2025上發(fā)布的個(gè)人 AI 超級(jí)計(jì)算機(jī) “DGX Spark” 也采用了 SOCAMM 模塊。DGX Spark 采用 NVIDIA GB10 Grace Blackwell 超級(jí)芯片，能夠提供高性能 AI 功能，并支持多達(dá) 2000 億個(gè)參數(shù)的模型。隨著DGX Spark的推出，預(yù)計(jì)將推動(dòng)SOCAMM向PC市場(chǎng)滲透，使更多消費(fèi)者受益于這一先進(jìn)的內(nèi)存技術(shù)。

SOCAMM 與現(xiàn)有的筆記本電腦 DRAM 模塊（LPCAMM）相比，其 I/O 速度提升，數(shù)據(jù)傳輸速度加快，且結(jié)構(gòu)緊湊，更易于更換和擴(kuò)展。

隨著 SOCAMM 在 AI 服務(wù)器和 PC 中的應(yīng)用不斷增長(zhǎng)，其大規(guī)模出貨預(yù)計(jì)將對(duì)內(nèi)存和 PCB 電路板市場(chǎng)產(chǎn)生積極影響。知情人士透露，“英偉達(dá)正在與內(nèi)存和電路板行業(yè)分享 SOCAMM 的部署量（60 至 80 萬片），該模塊將應(yīng)用于其 AI 產(chǎn)品”，目前內(nèi)存和 PCB 電路板行業(yè)都在為訂單和供貨積極做準(zhǔn)備。

從內(nèi)存市場(chǎng)來看，SOCAMM 的應(yīng)用將刺激對(duì)低功耗 DRAM 的需求，推動(dòng)內(nèi)存廠商加大在相關(guān)技術(shù)研發(fā)和產(chǎn)能擴(kuò)充方面的投入。由于 SOCAMM 需要適配電路板設(shè)計(jì)，這將促使 PCB 廠商開發(fā)新的產(chǎn)品方案，帶動(dòng)行業(yè)技術(shù)升級(jí)。

美光率先供應(yīng)SOCAMM

目前在內(nèi)存廠商中，美光的 SOCAMM已率先獲得英偉達(dá)量產(chǎn)批準(zhǔn)。美光在內(nèi)存解決方案領(lǐng)域一直積極探索創(chuàng)新，成為英偉達(dá)下一代內(nèi)存供應(yīng)商。而三星和 SK 海力士的 SOCAMM 目前尚未獲得英偉達(dá)認(rèn)證，不過這兩家內(nèi)存大廠也在積極與英偉達(dá)接洽，希望能夠供應(yīng)SOCAMM。

美光 SOCAMM 是業(yè)界首款專為 AI 資料中心設(shè)計(jì)的資料中心級(jí)模塊化低功耗存儲(chǔ)器模塊。透過將美光業(yè)界領(lǐng)先的 LPDDR5X 與 CAMM 存儲(chǔ)器模塊結(jié)合在一起，這款次世代存儲(chǔ)器為更有效率的 AI 資料中心奠定了基礎(chǔ)。

來源：美光官網(wǎng)

美光宣稱其最新LPDDR5X芯片能效比競(jìng)爭(zhēng)對(duì)手高出20%，這是其贏得英偉達(dá)訂單的關(guān)鍵因素?？紤]到每臺(tái)AI服務(wù)器將搭載四個(gè)SOCAMM模塊（總計(jì)256個(gè)DRAM芯片），散熱效率的重要性尤為突出。

與美光此前生產(chǎn)的服務(wù)器 DDR 模塊RDIMM相比，SOCAMM的尺寸和功耗減少了三分之一，帶寬增加了 2.5 倍。

通過采用美光LPDDR5X 等創(chuàng)新型低功耗（LP）存儲(chǔ)器架構(gòu)，資料中心可以大幅提高效能，并能夠避免傳統(tǒng) DDR5 存儲(chǔ)器的能源損耗。與 DDR5 等傳統(tǒng)存儲(chǔ)器技術(shù)不同，LP 存儲(chǔ)器運(yùn)行于較低的電壓，并通過減少功耗、降低發(fā)熱量、最佳化以節(jié)能為重點(diǎn)的電路設(shè)計(jì)等方式提高功耗和能源效率。

在大規(guī)模客戶支持環(huán)境中執(zhí)行推理 Llama 3 70B，單個(gè) GPU 管理復(fù)雜的AI互動(dòng)，同時(shí)實(shí)時(shí)處理數(shù)千個(gè)錯(cuò)綜復(fù)雜的客戶查詢。LP 存儲(chǔ)器的使用將這一密集型運(yùn)算工作量轉(zhuǎn)化為能源效率更高的過程。

當(dāng)我們測(cè)試 LPDDR5X 存儲(chǔ)器（在搭載 NVLink 的 NVIDIA GH200 Grace Hopper 超級(jí)芯片上）與傳統(tǒng) DDR5 存儲(chǔ)器（在搭載 PCIe 連線 Hopper GPU 的 x86 系統(tǒng)上）時(shí)，結(jié)果表明 LP 存儲(chǔ)器實(shí)現(xiàn)了關(guān)鍵的效能提升。使用 Meta Llama 3 70B 測(cè)試推理效能時(shí)，LP 存儲(chǔ)器系統(tǒng)推理吞吐量提高了 5 倍、延遲減少了近 80%、能源消耗降低了 73%。

LLM 推理的能源效率 來源：美光官網(wǎng)

小結(jié)：

隨著英偉達(dá)對(duì) SOCAMM 內(nèi)存模塊的大規(guī)模部署，以及其在 AI 服務(wù)器和 PC 市場(chǎng)的逐步滲透，將推動(dòng)整個(gè) AI 產(chǎn)業(yè)鏈圍繞這一新型內(nèi)存技術(shù)進(jìn)行升級(jí)和發(fā)展。無論是內(nèi)存廠商、PCB電路板廠商，還是服務(wù)器制造商和終端用戶，都將受益于SOCAMM帶來的影響。