半導(dǎo)體的先進(jìn)封裝為克服阻礙高性能計(jì)算應(yīng)用程序的內(nèi)存訪問(wèn)障礙提供了機(jī)會(huì)。在數(shù)據(jù)中心和邊緣運(yùn)行的技術(shù)，如 AI 和視覺(jué)，具有與之相關(guān)的巨大內(nèi)存和計(jì)算要求，內(nèi)存的延遲和密度都是可以在封裝級(jí)別解決的挑戰(zhàn)。

為了克服這些挑戰(zhàn)，半導(dǎo)體封裝設(shè)計(jì)人員采用了異構(gòu)集成路線，以在更靠近處理器的位置包含更多內(nèi)存。而高帶寬內(nèi)存就為現(xiàn)代處理器和嵌入式系統(tǒng)當(dāng)前面臨的內(nèi)存障礙問(wèn)題提供了解決方案。這些存儲(chǔ)器為系統(tǒng)設(shè)計(jì)人員提供了兩個(gè)優(yōu)勢(shì)：一是減少組件占用空間和外部存儲(chǔ)器要求；二是更快的內(nèi)存訪問(wèn)時(shí)間和速率。

由于這些優(yōu)勢(shì)，預(yù)計(jì)會(huì)看到更多更先進(jìn)的處理器在封裝和模塊中包含更多的高帶寬內(nèi)存。

查看標(biāo)準(zhǔn)組件數(shù)據(jù)表（例如，微控制器和 MPU）和計(jì)算機(jī)/服務(wù)器 CPU，您會(huì)發(fā)現(xiàn)大量具有片上/封裝內(nèi)存的組件。組件封裝中使用了許多不同的存儲(chǔ)器，其中閃存最為常見(jiàn)。經(jīng)?？吹街械却笮〉钠匣蚍庋b內(nèi)閃存塊用于存儲(chǔ)小型二進(jìn)制文件或嵌入式應(yīng)用程序的配置設(shè)置。較舊的封裝中可能還包含少量同步隨機(jī)存取存儲(chǔ)器 (SRAM) 或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器 (DRAM)；許多流行的微控制器都將片上 SRAM 作為標(biāo)準(zhǔn)功能。

因此，為了增加高性能計(jì)算系統(tǒng)的內(nèi)存容量，半導(dǎo)體制造商在其 CPU 封裝中包括 3D 堆疊 DRAM 小芯片以及處理器核心硅片。就在去年（2022 年），AMD在面向數(shù)據(jù)中心基礎(chǔ)設(shè)施的產(chǎn)品中推出了第一批帶有堆疊DRAM 和 SRAM芯片的服務(wù)器 CPU。隨著越來(lái)越多的公司完善該技術(shù)，預(yù)計(jì)會(huì)有更多產(chǎn)品包含這些 DRAM 堆棧，它們通過(guò)高帶寬內(nèi)存 (HBM) 接口與內(nèi)核通信。

下圖顯示了典型的異構(gòu)集成封裝中的典型堆疊 DRAM 結(jié)構(gòu)。堆棧 DRAM 位于基板/中介層堆棧上，線路通過(guò)這些線路連接到 CPU，以提供所需的內(nèi)存接口。這些 DRAM 芯片與垂直硅通孔 (TSV) 連接，以提供返回到中介層并最終返回到內(nèi)核所需的連接。

目前，由 JEDEC 發(fā)布的 HBM3 標(biāo)準(zhǔn)是 HBM 結(jié)構(gòu)特性和性能的管理標(biāo)準(zhǔn)。HBM3 標(biāo)準(zhǔn)中的一些規(guī)定總結(jié)如下。

用于構(gòu)建 DRAM 堆棧的技術(shù)最初是為圖形處理器開(kāi)發(fā)的，但它已經(jīng)擴(kuò)展到內(nèi)存以實(shí)現(xiàn)上表所示的超高帶寬。

與其他 JEDEC RAM 類型的比較，總的來(lái)說(shuō)，JEDEC 定義了三種其他類型的 RAM，它們不同于 HBM 并且出現(xiàn)在處理器封裝之外：

雙倍數(shù)據(jù)速率 (DDR) — 用于計(jì)算機(jī)、筆記本電腦的標(biāo)準(zhǔn) RAM

圖形 DDR (GDDR) — 用于 GPU 中的板載內(nèi)存

低功耗 DDR (LPDDR) — 主要用于移動(dòng)設(shè)備（手機(jī)、平板電腦）

最近的趨勢(shì)繼續(xù)將這些新一代 RAM 推向更快的時(shí)鐘速度，以便可以不斷提高數(shù)據(jù)傳輸速率。這些存儲(chǔ)器的前幾代面臨的挑戰(zhàn)是，這是獲得高數(shù)據(jù)傳輸速率的唯一途徑，因?yàn)榭偩€寬度非常窄。HBM 不是這種情況；HBM 中的總線寬度非常寬，因此內(nèi)存接口可以以較低的速率運(yùn)行，但仍能在寬總線上提供極快的數(shù)據(jù)傳輸。這是將 HBM與其他 DDR 區(qū)分開(kāi)來(lái)的主要操作因素之一。

對(duì)于嵌入式系統(tǒng)設(shè)計(jì)師、嵌入式計(jì)算模塊設(shè)計(jì)師、封裝設(shè)計(jì)師和相關(guān)領(lǐng)域的許多其他芯片設(shè)計(jì)師來(lái)說(shuō)，則可以從采用 HBM 的處理器中獲益匪淺。最大的好處是通過(guò)消除主板上的外部存儲(chǔ)芯片來(lái)減小系統(tǒng)尺寸。目前 3D 堆疊 DRAM 的成本相當(dāng)高，但隨著這些組件市場(chǎng)的發(fā)展和工藝的進(jìn)步，預(yù)計(jì)價(jià)格將比標(biāo)準(zhǔn) RAM 選項(xiàng)更具競(jìng)爭(zhēng)力。

將內(nèi)存模塊放置在封裝中的另一個(gè)好處是減少了高計(jì)算處理操作所需的時(shí)間。這是抑制視覺(jué)等領(lǐng)域大型數(shù)據(jù)集實(shí)時(shí)處理的主要因素。每次必須從外部存儲(chǔ)器獲取數(shù)據(jù)時(shí)，處理時(shí)間都會(huì)增加。將處理和內(nèi)存放在同一個(gè)包中消除了這個(gè)障礙并實(shí)現(xiàn)了更快的計(jì)算。

在數(shù)據(jù)中心之外需要這些類型的組件的一些現(xiàn)代系統(tǒng)包括機(jī)器人技術(shù)、高級(jí)駕駛輔助系統(tǒng)、成像雷達(dá)、傳感器與視覺(jué)融合、高性能計(jì)算。

在這五個(gè)應(yīng)用領(lǐng)域列表中，針對(duì)前四個(gè)領(lǐng)域的系統(tǒng)正在為實(shí)時(shí)系統(tǒng)構(gòu)建，這需要 HBM 可以提供的極低處理延遲。


審核編輯：湯梓紅