電子發(fā)燒友網綜合報道，據韓媒報道，英偉達已取消其第一代 SOCAMM內存模塊的推廣，并將開發(fā)重點轉向名為SOCAMM2的新版本。
?
不久前，英偉達曾表示計劃今年為其AI產品部署60-80萬個SOCAMM 內存模塊，但據稱隨后發(fā)現了技術問題，項目兩次擱置，并未能下達任何實際的大規(guī)模訂單。目前開發(fā)重點已經轉移到SOCAMM 2，英偉達已開始與三星電子、SK 海力士和美光合作對 SOCAMM 2進行樣品測試。
?
SOCAMM技術定位為面向AI服務器的新型高帶寬、低功耗內存解決方案，其設計目標是在提供與HBM（高帶寬內存）相近性能的同時，有效降低成本。通過將LPDRAM與壓縮連接內存模塊 (CAMM) 搭配使用，以革命性的全新外形尺寸提供卓越的性能和能效，相比傳統(tǒng)的DDR5 RDIMM 配置更節(jié)省空間，且功耗低三分之一。
?
此前，英偉達在產品文檔中已明確列入SOCAMM相關信息，其中GB300 NVL72規(guī)格表顯示，該產品可支持最高18TB基于LPDDR5X的SOCAMM，帶寬可達14.3 TB/s。但由于英偉達 GB300 "Blackwell Ultra" 的主板設計變動，SOCAMM 模組不會立即進入商業(yè)化，但該技術仍有望成為 Vera Rubin 平臺的一部分，為 Vera CPU 提供更靈活、更易維護的非板載內存選擇。
?
低功耗內存模組在數據中心的重要性
?
到2028 年預計美國數據中心和 AI 的用電量將增加兩倍，從而推動美國能源需求極速增長。2023 年，美國數據中心所消耗的電力估計為 176 太瓦時 (TWh)。根據相關預測，到 2028 年這一數字可能會升至 580 TWh，占全美總用電量的 12%1。短短五年內，能源消耗將增加 2.3 倍。隨著 AI 技術迅速興起，數據中心面臨著持續(xù)挑戰(zhàn)在于如何在提供海量算力的同時降低能耗。
?
這一預期增長主要受到 AI 和其他數據密集型應用大量涌現的推動，為應對美國和全球數據中心基礎設施日益增長的能源需求，先進的節(jié)能型硬件技術至關重要。通過開發(fā)和采用創(chuàng)新型低功耗內存架構，數據中心可以獲得顯著的性能提升，同時比傳統(tǒng) DDR5 內存消耗更少的能源。
?
以美光 LPDDR5X 為例，其采用創(chuàng)新設計，旨在提供更高的速度和性能，同時降低能源消耗。與 DDR5 等傳統(tǒng)內存技術相比，低功耗內存的工作電壓更低，通過降低功耗、減少產生的熱量、優(yōu)化的節(jié)能型電路設計實現能源效率的提高。
?
對 AI 數據中心而言，節(jié)能和能效提升是一項持續(xù)挑戰(zhàn)。以 Llama3 70B 在大型客戶支持環(huán)境中運行推理任務為例。系統(tǒng)需要使用單個GPU 來管理復雜的 AI 交互，同時實時處理數以千計的各種客戶查詢。采用低功耗內存后，這種計算密集型工作負載的能耗呈現出顯著降低的情況。
?
美光對 LPDDR5X 內存（通過 NVLink 與 NVIDIA GH200 Grace Hopper Superchip 連接）和傳統(tǒng) DDR5 內存（在 x86 系統(tǒng)上通過 PCIe 與 Hopper GPU 連接）進行了對比測試，結果表明，LPDDR5X 內存可實現至關重要的性能提升。在使用 Meta Llama3 70B 測試推理性能時，低功耗內存系統(tǒng)相比傳統(tǒng)內存的表現，推理吞吐量提高 4 倍，延遲降低近 80%，能耗降低 73%。
?
?
圖源：美光科技
?
?
隨著 AI 的發(fā)展，對數據中心內部計算和內存的需求越來越高，類似 LPDDR5X 之類的先進內存技術正在助力數據中心實現可持續(xù)計算，使數據中心的運營更有效率。低功耗內存可加速推理等 AI 任務的性能，同時減少用電量，使數據中心能以更低成本完成更多工作。低功耗內存的使用實踐表明，未來的 AI 應用可以是節(jié)能型應用。
?
SOCAMM 2或將支持LPDDR6內存規(guī)格
?
從技術上講，SOCAMM 2擁有與SOCAMM 1相同的694個輸入/輸出（I/O）端口，其數據傳輸速度高達9,600 MT/s，高于SOCAMM 1的8,533 MT/s。該版本還有望支持LPDDR6內存規(guī)格，不過這一功能尚未得到相關供應商的正式確認，技術細節(jié)仍待后續(xù)披露。
?
目前，英偉達已啟動SOCAMM2的樣品測試工作，全球三大主要內存供應商均參與其中，為技術落地與后續(xù)量產奠定基礎?？紤]到質量評估周期，SOCAMM 2預計將于明年初開始量產。
?
今年6月，SK海力士展示了一系列可提升AI服務器性能并降低能耗的服務器DRAM模塊和企業(yè)級固態(tài)硬盤（eSSD）產品。其中服務器DRAM模塊包括：搭載8Gb/s（每秒8千兆位）速率DRAM的64GB-256GB容量RDIMM產品；搭載12.8Gb/s速率DRAM的96GB-256GB容量MRDIMM產品；以及搭載7.5Gb/s速率LPDDR5X的128GB容量SOCAMM等。
?
?
圖源：SK海力士
?
三星電子公布了基于 LPDDR DRAM 的服務器內存模塊 SOCAMM2。該設計采用單面四顆粒焊盤、三固定螺絲孔結構，位寬達128bit，外形更為緊湊規(guī)整，利于服務器批量安裝與散熱，有望用于Vera Rubin平臺。
另消息稱，美光正在考慮采用下一代低功耗內存LPDDR6設計SOCAMM 2。
?
美光SOCAMM是首款采用 LPDDR5X 數據中心級模塊化外形規(guī)格的產品，旨在成為 AI 數據中心的旗艦級內存解決方案。低功耗 DRAM 與壓縮附加內存模塊 (CAMM2) 相結合，以革命性的外形規(guī)格提供優(yōu)異性能和功耗，比傳統(tǒng) SODIMM 配置節(jié)省更多空間。
?
?
圖源：美光科技
?
而近日，江波龍也正式發(fā)布了基于 LPDDR5 (x) DRAM Die 的創(chuàng)新型企業(yè)級內存模組產品 SOCAMM2，提供 64~256GB 的單條容量和 8533MT/s 的傳輸速率。
?
江波龍表示 SOCAMM2 基于LPDDR5/5x 顆粒和 CAMM 模塊化設計，采用 4-N-4 HDI 超高密度互連疊層結構；其相較 LPCAMM2 去除了頂部凸出的梯形結構，進一步降低了整體高度，更適合服務器的安裝環(huán)境和液體冷卻系統(tǒng)。
?
SOCAMM2 相較 DDR5 RDIMM速率提升約33%、面積占用減少約 70%、功耗降低約 67.5%，同容量帶寬達標準 RDIMM 的 2.5 倍，主要面向 HPC 高性能計算、通用服務器、AI 集群服務器、AI 訓練 / 推理、智能輔助駕駛和工業(yè)邊緣網關等應用場景。