我們正在進(jìn)入新的計(jì)算時(shí)代。AI 工作負(fù)載的占比越來(lái)越高，已成為影響企業(yè)基礎(chǔ)設(shè)施戰(zhàn)略、硅芯片路線圖和業(yè)務(wù)指令的決定性力量。如今的 AI，規(guī)模大到令人咋舌：超大規(guī)模企業(yè)正在部署單個(gè)集群中包含數(shù)萬(wàn)塊 AI 加速器的系統(tǒng)，正在訓(xùn)練擁有萬(wàn)億級(jí)參數(shù)的模型，每個(gè)部署區(qū)消耗的電力高達(dá)數(shù)兆瓦。

業(yè)界一直在宣揚(yáng) AI 的力量——AI 能夠改變各行各業(yè)，加速各種新發(fā)現(xiàn)，并能夠增強(qiáng)人類的能力。這些論斷并非夸大之詞。但是，我們現(xiàn)在必須稍微冷靜一下，面對(duì)另一個(gè)現(xiàn)實(shí)：AI 運(yùn)行所需的動(dòng)力（也即，運(yùn)行這些工作負(fù)載所需的能量）正在成為 AI 創(chuàng)新面臨的重大障礙。

通常能想到的解決方案包括：優(yōu)化計(jì)算；優(yōu)化機(jī)架散熱；采購(gòu)更多綠色電力。這些都是必要的措施，但這些措施現(xiàn)在已經(jīng)不足以解決問(wèn)題。長(zhǎng)期以來(lái)，人們認(rèn)為計(jì)算是影響能效的主要因素，這種假設(shè)現(xiàn)在已越來(lái)越不符合現(xiàn)實(shí)。事實(shí)上，這種觀念可能掩蓋了另一個(gè)真正影響能效的因素，也是目前我們尚未充分利用的領(lǐng)域。

那就是內(nèi)存。

隱藏的能量池

在 AI 基礎(chǔ)設(shè)施中，內(nèi)存和存儲(chǔ)通常被視為輔助設(shè)備——它們必不可少，但并非戰(zhàn)略要素。然而，在現(xiàn)代 AI 集群中，內(nèi)存子系統(tǒng)（包括DRAM、SSD 以及相關(guān)的互連設(shè)備）的功耗在系統(tǒng)總功耗中的占比可能高達(dá) 50%，具體取決于特定的配置和工作負(fù)載。隨著模型大小持續(xù)增長(zhǎng)，數(shù)據(jù)移動(dòng)操作日益頻繁，內(nèi)存和存儲(chǔ)的功耗占比只會(huì)越來(lái)越高，節(jié)能型內(nèi)存和存儲(chǔ)的重要性也將愈發(fā)突出。

為了通過(guò)優(yōu)化計(jì)算來(lái)降低 AI 的能耗，出現(xiàn)了新的計(jì)算范式，例如端側(cè)和分布式架構(gòu)。有數(shù)據(jù)就需要處理，數(shù)據(jù)處理必然消耗能量，而人類每天生成的數(shù)據(jù)量已經(jīng)到了驚人的程度。據(jù)估計(jì)，到 2025 年，全球每天將產(chǎn)生超過(guò) 402 艾字節(jié)的數(shù)據(jù)。這種情況下，作為一種自然的選擇，AI 正在向著數(shù)據(jù)生成和存儲(chǔ)的位置靠近，而數(shù)據(jù)駐留在內(nèi)存和存儲(chǔ)設(shè)備中。這些新的計(jì)算范式使得內(nèi)存使用量增加，也為整個(gè)系統(tǒng)帶來(lái)了額外的功耗優(yōu)化機(jī)會(huì)。

如今，系統(tǒng)總功耗的主要組成部分是數(shù)據(jù)傳輸功耗，包括：從內(nèi)存?zhèn)鬏數(shù)郊铀倨?，?SSD 轉(zhuǎn)移到 DRAM，以及跨機(jī)架和存儲(chǔ)網(wǎng)絡(luò)傳輸。根據(jù) Semianalysis 的一項(xiàng)獨(dú)立研究，檢查點(diǎn)和集合通信等內(nèi)存密集型操作現(xiàn)在是超大規(guī)模 AI 集群達(dá)到峰值功率的主要原因。這些操作可能導(dǎo)致系統(tǒng)功率出現(xiàn)幾十兆瓦的瞬時(shí)波動(dòng)，顯示出內(nèi)存在降低系統(tǒng)能耗、維持電網(wǎng)穩(wěn)定等方面越來(lái)越重要的作用。隨著技術(shù)節(jié)點(diǎn)快速擴(kuò)展和架構(gòu)創(chuàng)新，計(jì)算系統(tǒng)已經(jīng)得到顯著優(yōu)化，而內(nèi)存系統(tǒng)的優(yōu)化卻一直比較緩慢。

內(nèi)存系統(tǒng)是功耗優(yōu)化的“盲點(diǎn)”。因此，為解決能效問(wèn)題，我們必須開(kāi)始著眼于內(nèi)存。

新的優(yōu)化規(guī)則：內(nèi)存決定效率

在美光，我們認(rèn)為未來(lái)的可持續(xù) AI 基礎(chǔ)設(shè)施將由內(nèi)存主導(dǎo)。這種方法意味著我們需要從內(nèi)存出發(fā)，重新思考整個(gè)架構(gòu)——內(nèi)存不應(yīng)作為出現(xiàn)問(wèn)題后的補(bǔ)救措施，而應(yīng)從一開(kāi)始便作為戰(zhàn)略性基礎(chǔ)設(shè)施，用于優(yōu)化性能和效率。

我們看到，這種思維轉(zhuǎn)換正在發(fā)生：

LPDDR：美光的新一代內(nèi)存技術(shù)可提供行業(yè)前沿的每瓦特性能，有助于減少能耗，同時(shí)不影響帶寬。這一成就不僅來(lái)自于美光通過(guò)采用先進(jìn)工藝節(jié)點(diǎn)所獲得的效率提升，還源自于美光致力于優(yōu)化每種設(shè)計(jì)中的架構(gòu)，以實(shí)現(xiàn)更高能效的不懈努力。

基于 SSD 的內(nèi)存分層：利用高性能 SSD 來(lái)擴(kuò)展內(nèi)存的層次結(jié)構(gòu)，可減少 DRAM 設(shè)備的數(shù)量，有助于降低閑置功耗。美光利用其行業(yè)前沿的第 9 代 NAND 來(lái)優(yōu)化旗下的 SSD 產(chǎn)品組合，以滿足每個(gè)內(nèi)存和存儲(chǔ)層的特定需求。每次必須存儲(chǔ)和移動(dòng)數(shù)據(jù)時(shí)，都能看到功效顯著提升。

盡可能減少數(shù)據(jù)傳輸：通過(guò)系統(tǒng)架構(gòu)創(chuàng)新，讓數(shù)據(jù)更接近計(jì)算，減少不必要的傳輸操作，可節(jié)約大量能源。

遙測(cè)和動(dòng)態(tài)調(diào)整：通過(guò)對(duì)內(nèi)存子系統(tǒng)的實(shí)時(shí)功耗分析，可實(shí)現(xiàn)智能功耗限制和工作負(fù)載感知優(yōu)化。

這些想法并非理論上的分析。如今它們已部署在世界上一些非常先進(jìn)的 AI 集群中，運(yùn)行結(jié)果令人欣喜。

戰(zhàn)略要?jiǎng)?wù)

對(duì)于負(fù)責(zé)基礎(chǔ)設(shè)施的企業(yè)領(lǐng)導(dǎo)者而言，這種轉(zhuǎn)變不僅是一種對(duì)新技術(shù)的嘗試，更是一種戰(zhàn)略要求。功耗現(xiàn)已成為決定規(guī)模大小的關(guān)鍵因素?？倱碛谐杀?(TCO) 正在快速攀升?？沙掷m(xù)發(fā)展則是董事會(huì)關(guān)注的重點(diǎn)。而傳統(tǒng)基礎(chǔ)設(shè)施的發(fā)展速度難以跟上 AI 需求的步伐。超大規(guī)模 AI 數(shù)據(jù)中心的工作負(fù)載輸出不再受到數(shù)據(jù)中心內(nèi)部計(jì)算硬件的限制。唯一的限制因素是：它們可以從電網(wǎng)中獲取多少能量。

以內(nèi)存為主導(dǎo)的效率優(yōu)化模式提供了一種全新的工具——現(xiàn)在即可使用，未來(lái)可通過(guò)擴(kuò)展來(lái)解決新的問(wèn)題。它使超大規(guī)模用戶能在相同的供電包絡(luò)內(nèi)部署更多容量。它能夠降低散熱成本和配置成本。它使基礎(chǔ)設(shè)施團(tuán)隊(duì)能在不影響可持續(xù)性或成本的前提下，滿足下一代 AI 工作負(fù)載的需求。

未來(lái)展望

當(dāng)我們展望未來(lái)時(shí)，“AI 是否會(huì)改變世界？”已不再是一個(gè)問(wèn)題——答案是肯定的。我們面臨的問(wèn)題是：如何推動(dòng)這種轉(zhuǎn)變？ 答案不僅在于更快的芯片，或者散熱能力更強(qiáng)的數(shù)據(jù)中心，它還在于更智能的架構(gòu)，這些架構(gòu)強(qiáng)調(diào)性能和效率更高的內(nèi)存和存儲(chǔ)，并將內(nèi)存和存儲(chǔ)作為提升系統(tǒng)能效的核心。

美光很自豪能投資于相關(guān)創(chuàng)新技術(shù)、合作伙伴關(guān)系和系統(tǒng)，讓內(nèi)存成為大規(guī)?？沙掷m(xù) AI 的驅(qū)動(dòng)力，從而引領(lǐng)這一轉(zhuǎn)變。AI 擁有強(qiáng)大的力量，這是毋庸置疑的。但是，以高效、可持續(xù)方式運(yùn)行的超大規(guī)模 AI 背后的驅(qū)動(dòng)力量，才是決定下一個(gè)創(chuàng)新時(shí)代的關(guān)鍵。

讓我們一起創(chuàng)造推動(dòng) AI 未來(lái)的動(dòng)力！