2022 年 1 月，JEDEC 發(fā)布了新標(biāo)準(zhǔn) JESD238“高帶寬內(nèi)存 (HBM3) DRAM”。與現(xiàn)有的 HBM2E 標(biāo)準(zhǔn) (JESD235D) 相比，HBM3 標(biāo)準(zhǔn)提出了多項增強功能，包括支持更大的密度、更高速運算、更高的 Bank 數(shù)、更高的可靠性、可用性、可維護性 (RAS) 功能、低功耗接口和新的時鐘架構(gòu)。HBM3 存儲器很快就會被用于 HPC 應(yīng)用，例如 AI、圖形、網(wǎng)絡(luò)，甚至可能用于汽車。本文重點介紹了 HBM3 標(biāo)準(zhǔn)的一些關(guān)鍵功能，例如高容量、低功耗、改進(jìn)的信道和時鐘架構(gòu)以及更先進(jìn)的 RAS 選項。圖 1 中突出顯示了一些關(guān)鍵功能。

圖 1：HBM3 與 HBM2E 相比具有多項改進(jìn)，包括更高的容量、更先進(jìn)的 RAS 功能和更低的功耗

更大、更快、更低功耗

HBM2E標(biāo)準(zhǔn)的每個裸片的最大容量為2GB，每個堆?？梢苑胖?2層裸片，從而可實現(xiàn)24GB的最大容量。雖然標(biāo)準(zhǔn)是允許的，但我們尚未看到市場上出現(xiàn)任何 12 層的 HBM2E 堆棧。HBM3 標(biāo)準(zhǔn)支持裸片的最大容量是4GB，以及高達(dá) 16 層的堆棧，總存儲空間可以做到 64 GB，相比HBM2E有近 3 倍的增長。Synopsys 預(yù)計 8 層和 12 層堆棧選項中的 16 GB 和 24 GB HBM3 器件很快就會上市。 為了支持更高密度的器件，HBM3 增加了從 12 層堆棧到 16 層堆棧的可用 Bank 數(shù)，最多提供 64 個 Bank，增加了 16 個 Bank。 HBM3 標(biāo)準(zhǔn)的最高速度為 6.4 Gbps，幾乎是 HBM2E 的最高速度 3.6 Gbps 的兩倍。 在不久的將來，我們有理由期待第二代 HBM3 設(shè)備的出現(xiàn)。只需看看 HBM2/2E、DDR5（6400 Mbps 升級到 8400 Mbps）和 LPDDR5（最大速度為 6400 Mbps，并快速讓位于以 8533 Mbps 運行的 LPDDR5X）的速度歷史記錄，就可見一斑。HBM3 速度高于 6.4 Gbps？這只是時間問題。 除了提高容量和速度外，HBM3 還一直在專注于提高能效。HBM2E 已經(jīng)提供了最低的傳輸每比特能耗，這主要是由于它是無端接接口，但 HBM3 在 HBM2E 上還有顯著改善。與 HBM2E 的 1.2V 核心電壓相比，HBM3 將核心電壓降低至 1.1V。除了 100mV 內(nèi)核電源壓降外，HBM3 還可將 IO 信號從 HBM2E 的 1.2V 降低至 400mV。

通道架構(gòu)

HBM2E 將通道定義為 128 位接口，由兩個 64 位偽通道組成。在從系統(tǒng)訪問內(nèi)存方面，引腳接口基于每個通道進(jìn)行定義，而設(shè)計人員則認(rèn)為偽通道是一項關(guān)鍵功能。HBM2E 對偽通道的突發(fā)長度為 4 拍，允許以 32 字節(jié)數(shù)據(jù)包（8 字節(jié)寬，每次訪問 4 拍）訪問內(nèi)存，該數(shù)據(jù)包的大小與大多數(shù) GPU 緩存行相當(dāng)。 HBM3 保持 HBM DRAM 的整體接口大小不變，即 1024 位數(shù)據(jù)。然而，該 1024 位接口現(xiàn)在被劃分為 16 個 64 位通道，更重要的是，被劃分為 32 個 32 位偽通道。由于偽通道的寬度已減小到 4 字節(jié)，因此對存儲器的訪問的突發(fā)長度增加到 8 拍，從而維持用于存儲器訪問的 32 字節(jié)數(shù)據(jù)包大小。 偽通道的數(shù)量翻倍，加上數(shù)據(jù)速率的翻倍提升，HBM3可提供比HBM2E更卓越的性能。

可靠性、可用性、可維護性 (RAS)

HBM3 沿襲了 HBM2E 的一些特征，例如數(shù)據(jù)總線上的 DBI(ac) 和奇偶校驗。命令和地址 (CA) 奇偶校驗等其他特征已發(fā)生改變，從命令中的編碼變?yōu)?CA 總線上的單獨信號。 HBM3 中 RAS 的最大變化之一是如何處理糾錯碼 (ECC)。我們首先來了解一下 ECC 的主機側(cè)。 HBM2E 為主機提供了一個選項，允許 DM 信號重新用作 ECC 存儲位置，從而啟用邊帶 ECC 實現(xiàn)。參考 HBM2E 的偽通道大小，這為用戶提供了非常熟悉的 ECC 選項，與 DDR4 ECC DIMM 非常相似 — 支持 64 位數(shù)據(jù)和 8 位 ECC。 HBM3 已通過多種方式改變了這種 ECC 方法。首先是完全移除 DM 信號。如果系統(tǒng)的目標(biāo)是將少于 32 字節(jié)的數(shù)據(jù)傳輸?shù)酱鎯ζ?，則需要執(zhí)行讀改寫操作，這可能會對性能造成不利影響。 從 HBM3 標(biāo)準(zhǔn)中刪除 DM 信號后，每個偽通道增加了兩個 ECC 信號。這并不能為用戶提供與 SECDED ECC 相同的功能，因為用戶必須真正考慮 32 字節(jié)數(shù)據(jù)（8 拍期間 4 字節(jié)數(shù)據(jù)）和 2 字節(jié)校驗位（8 拍期間 2 位數(shù)據(jù)）的整個數(shù)據(jù)包訪問，以匯編 34 字節(jié)/272 位代碼。 HBM3 標(biāo)準(zhǔn)還考慮了器件側(cè)，要求 HBM3 DRAM 具有片上 ECC。片上 ECC 使用 272 位數(shù)據(jù)字和 32 位校驗位構(gòu)建，形成 304 位代碼字。HBM3 DRAM 的數(shù)據(jù)字大小是主機使用的代碼字大小。現(xiàn)在 HBM3 DRAM 不僅保護數(shù)據(jù)，還保護主機生成的校驗位。 HBM3 標(biāo)準(zhǔn)實時地提供 ECC 運算的結(jié)果。每個偽通道包括兩個嚴(yán)重性信號，當(dāng)從 HBM3 DRAM 讀取時，這兩個嚴(yán)重性信號提供有關(guān)突發(fā)訪問的信息。所提供的信息是四個回答之一 — 所提供的數(shù)據(jù)沒有錯誤，所提供的數(shù)據(jù)更正了單個錯誤，所提供的數(shù)據(jù)更正了多個錯誤，或者所提供的數(shù)據(jù)有未更正的錯誤。 當(dāng)器件處于“自刷新”狀態(tài)或主機發(fā)出“刷新所有 Bank”命令時，HBM3 DRAM 器件還支持錯誤檢查和ECS。ECS 操作的結(jié)果可通過 IEEE 標(biāo)準(zhǔn) 1500 測試訪問端口 (TAP) 訪問 ECC 透明度寄存器獲得。 HBM3 標(biāo)準(zhǔn)的新 RAS 功能支持刷新管理 (RFM) 或自適應(yīng)刷新管理 (ARFM)。通常，RFM/ARFM 被用作一種有意或無意反擊 Row Hammer 的技術(shù)。當(dāng)重復(fù)訪問 DRAM 行或行區(qū)域會影響未訪問的附近行時，會發(fā)生 Row Hammer，從而影響這些附近行中的數(shù)據(jù)。使用 HBM3 DRAM 中的信息，HBM3 控制器能夠確定何時需要額外的刷新管理來緩解 Row Hammer。

新的時鐘架構(gòu)

HBM3 的主要功能之一是新的時鐘方案。在所有前幾代 HBM 中，從主機到器件的單個時鐘基本上同步了主機和器件之間的接口。該時鐘信號 (CK) 用于設(shè)置從主機傳遞到器件的 CA 信號的傳輸速率。此外，它還固定了數(shù)據(jù) (DQ) 和數(shù)據(jù)選通 (WDQS/RDQS) 在主機和器件（寫入）或器件和主機（讀?。┲g傳輸?shù)乃俾省? 在考慮 HBM2E 時，時鐘信號和數(shù)據(jù)選通均以 1.8 GHz 的最大速率運行，因此 CA 接口上信息傳輸?shù)淖畲笥行俾逝c數(shù)據(jù)一樣，都為 3.6 Gbps。 HBM3 通過將傳統(tǒng)時鐘信號從主機去耦到器件和數(shù)據(jù)選通信號來更改時鐘架構(gòu)。事實上，雖然 HBM3 中 WDQS 和 RDQS 的全新最大速率為 3.2 GHz，可實現(xiàn)高達(dá) 6.4 Gbps 的數(shù)據(jù)傳輸速率，但 CK 從主機到器件的最快速率僅為 1.6 GHz（即使數(shù)據(jù)通道以 6.4 Gbps 運行）。 將時鐘信號與選通分離，能使時鐘信號的運行速度大幅度慢于數(shù)據(jù)選通。CA 總線上的最大信息傳輸速率現(xiàn)在為 3.2 Gbps，因為 CA 時鐘的最大傳輸速率已限制為 1.6 GHz。雖然 HBM2E 需要 3.6 Gbps 的 CA 傳輸速率，但 HBM3 只需要 3.2 Gbps 的 CA 傳輸速率。

高速內(nèi)部時鐘

分離 CA 時鐘和數(shù)據(jù)選通的決定不僅會影響主機和器件之間的接口，還會影響主機內(nèi)部 HBM3 控制器和 HBM3 PHY 的接口。 在典型主機內(nèi)，控制器和 PHY 與外部存儲器通信?？刂破骱?PHY 之間的接口通常使用稱為 DDR PHY 接口 (DFI) 的規(guī)范來實現(xiàn)。DFI 規(guī)范允許 SoC 設(shè)計師把通常將系統(tǒng)命令轉(zhuǎn)換為 HBM 命令的 HBM3 控制器和通常將 SoC 上的數(shù)字域轉(zhuǎn)換為主機到器件接口的模擬域的 HBM3 PHY 的設(shè)計分開。在 HBM3 控制器和 HBM3 PHY 之間具有已定義的接口，為設(shè)計師和集成商提供了在數(shù)字（控制器）和模擬 (PHY) 之間拆分設(shè)計團隊的清晰描述。 在高性能 HBM2E 解決方案中，除了帶寬外，延遲也是控制器和 PHY 的重點。在 HBM2E 系統(tǒng)中，時鐘和選通以相同頻率運行，最高可達(dá) 1.8 GHz。HBM2E 系統(tǒng)的最低延遲解決方案是使用 DFI 1:1 頻率比 – 使控制器、DFI、PHY 和存儲器都在同一 1.8 GHz 時鐘上運行。 新的 HBM3 時鐘架構(gòu)使用戶能夠在從 HBM2E 遷移到 HBM3 時專注于低延遲、高性能的解決方案。如上所述，帶 HBM3 的 CA 總線的最高定義頻率為 1.6 GHz，而數(shù)據(jù)選通以 3.2 GHz 運行。這使用戶能夠為 HBM3 控制器和 PHY 實現(xiàn) DFI 12 頻率比。在這種情況下，控制器、DFI、PHY 和存儲器時鐘均以 1.6 GHz 運行，而選通頻率為 3.2 GHz。這為設(shè)計師提供了命令和地址接口的 DFI 1:1 頻率比以及數(shù)據(jù)的 DFI 1:2 頻率比，所有這些都最大限度地減少了延遲。

總結(jié)

HBM3 標(biāo)準(zhǔn)提供了優(yōu)于 HBM2E 標(biāo)準(zhǔn)的多項改進(jìn)。有些是預(yù)期的改進(jìn) - 更大、更快和功耗更低的器件，有些是意想不到的 – 信道架構(gòu)變更、RAS 改進(jìn)和更新的時鐘方法。新標(biāo)準(zhǔn)累計為用戶提供顯著改善的 HBM 存儲器，用于下一代 SoC。 新思科技提供完善的 HBM3 IP 解決方案，包括控制器、領(lǐng)先工藝節(jié)點中可用的 PHY 以及已驗證IP。新思科技是 JEDEC 的活躍成員，幫助推動了最新存儲器標(biāo)準(zhǔn)的制定和采用。新思科技的可配置存儲器接口 IP 解決方案可以進(jìn)行定制以滿足 SoC 的確切要求，用于圖形、云計算、網(wǎng)絡(luò)、AI 等應(yīng)用，甚至是汽車。

審核編輯 ：李倩