在2023年的Hot Chips大會上，三星介紹了內(nèi)存處理技術(shù)（PIM），并介紹了新的研究和發(fā)展成果，三星將這項技術(shù)放在了人工智能的背景下進行了展示。

●? CPU計算-提高速度

在Hot Chips 2023上，三星展示了內(nèi)存技術(shù)，內(nèi)存的主要成本是將數(shù)據(jù)從各種存儲和內(nèi)存位置傳輸?shù)綄嶋H的計算引擎。

三星正在嘗試為不同類型的內(nèi)存添加更多通道或通路，但這種方法存在一定的局限性。

正在研究CXL技術(shù)非常有幫助，允許重新配置PCIe線路的用途，提供更大的內(nèi)存帶寬。

GPT的瓶頸問題，主要圍繞計算溢出和內(nèi)存限制工作負載進行了分析。

主要目標(biāo)：ChatGPT中使用的Transformer模型，GPT-3中的線性層，以及多頭注意力（MHA）和前饋網(wǎng)絡(luò)（FFN）中的線性層。

關(guān)注生成階段中的內(nèi)存瓶頸 - 由于其內(nèi)存限制和順序特性，生成階段在GPU上表現(xiàn)出較差的性能。

GPT的工作負載包括摘要生成（計算密集型）和文本生成（內(nèi)存密集型）部分。GEMV（Generalized Matrix-Vector Multiplication）部分可能占據(jù)總生成延遲的60-80%，這正是PIM/PNM的優(yōu)化目標(biāo)。

接下來的分析側(cè)重于利用率和執(zhí)行時間等方面的工作，大部分執(zhí)行時間都用于從主機CPU內(nèi)存到GPU內(nèi)存的內(nèi)存復(fù)制操作。與GEMV（Generation階段的Generalized Matrix-Vector Multiplication）相比，執(zhí)行GEMV操作的利用率非常低。隨著輸出標(biāo)記數(shù)的增加，GEMV操作在推理時間中占據(jù)主導(dǎo)地位。

三星展示了如何將部分計算管道卸載到內(nèi)存處理（PIM）模塊上。這種處理方式可以節(jié)省數(shù)據(jù)傳輸?shù)紺PU或xPU的成本，降低功耗。GPT的生成階段需要高容量和高帶寬的內(nèi)存。多頭自注意力（MHA）和前饋網(wǎng)絡(luò)（FFN）可以完全卸載到PIM/PNM上，充分利用PIM/PNM提供的全部帶寬。PIM/PNM可以顯著減少推理過程中花費的時間和能源。

在提到內(nèi)存方面，三星展示了他們的高帶寬內(nèi)存HBM-PIM，與之不同的是，AMD的MI100使用的是標(biāo)準(zhǔn)的PIM。三星和AMD的MI100都采用了HBM-PIM，而不僅僅是標(biāo)準(zhǔn)PIM，這樣就可以構(gòu)建一個集群，聽起來就像是由12個節(jié)點和8個加速器組成的集群，用于嘗試新的內(nèi)存技術(shù)。

T5-MoE模型在集群中如何使用HBM-PIM，以及性能和能源效率的提升。

讓PIM模塊發(fā)揮實際作用還需要軟件進行編程和利用。三星希望能夠?qū)⑦@一功能內(nèi)置到標(biāo)準(zhǔn)編程模塊中。

LPDDR-PIM這種新技術(shù)內(nèi)部帶寬僅為102.4GB/s，設(shè)計理念是將計算保持在內(nèi)存模塊上，從而避免將數(shù)據(jù)傳輸回CPU或xPU，從而降低功耗。LP5-PIM模塊的性能和功耗分析。

如果HBM-PIM和LPDDR-PIM還不夠，三星正在考慮將計算放到CXL模塊中的PNM-CXL。這并不僅僅是將內(nèi)存放在CXL Type-3模塊上，而是將計算放在CXL模塊上。

這可以通過向CXL模塊添加計算元件，并使用標(biāo)準(zhǔn)內(nèi)存或在模塊上使用PIM和更標(biāo)準(zhǔn)的CXL控制器來實現(xiàn)。最新推出的是一款概念型的512GB CXL-PNM卡，帶寬高達1.1TB/s。

這是三星提出的CXL-PNM軟件堆棧。

該技術(shù)對于大規(guī)模的LLM工作負載能夠帶來預(yù)期中的節(jié)能和吞吐量提升。CXL通常使用用于PCIe的電線進行傳輸數(shù)據(jù)，因此傳輸數(shù)據(jù)的能源成本非常高。因此，避免數(shù)據(jù)傳輸將會帶來巨大的好處。

由于這個原因，三星非常重視減少碳排放。

三星多年來一直在推動PIM技術(shù)，現(xiàn)在已經(jīng)不僅僅是在研究階段，而是希望將其商業(yè)化。希望未來我們能看到更多類似的進展。CXL-PNM最終可能成為這類計算技術(shù)的一個成熟領(lǐng)域。

編輯：黃飛

?