點擊藍字關注我們

從高性能計算到人工智能訓練、游戲和汽車應用，對帶寬的需求正在推動下一代高帶寬內存的發(fā)展。

HBM3將帶來2X的帶寬和容量，除此之外還有其他一些好處。雖然它曾經被認為是一種“慢而寬”的內存技術，用于減少芯片外內存中的信號傳輸延遲，但現(xiàn)在HBM3正變得越來越快，越來越寬。在某些情況下，甚至被用于L4緩存。

Arm首席研究工程師Alejandro Rico表示：“這些新功能將使每傳輸位的焦耳效率達到更高水平，而且更多設計可以使用HBM3-only內存解決方案，不需要額外的片外存儲。AI/ML、HPC和數(shù)據分析等應用可以利用大帶寬來保持可擴展性。合理利用HBM3帶寬需要一個具有高帶寬片上網絡和處理元素的處理器設計，通過提高內存級并行性來使數(shù)據速率最大化?！?/p>

人工智能訓練芯片通常需要處理萬億字節(jié)的原始數(shù)據，而HBM3可以達到這個水平。Rambus的產品營銷高級總監(jiān)Frank Ferro指出：“用戶在開發(fā)ASIC電路來更好地解決人工智能問題的同時，需要更多的帶寬。

每個用戶都試圖想用一個更高效的處理器來實現(xiàn)他們特定的神經網絡，并在實現(xiàn)時達到更好的內存利用率和CPU利用率。對于人工智能訓練來說，HBM一直是最佳選擇，因為它提供了更多帶寬和更低功耗。雖然價格上有點貴，但對于這些應用程序來說（尤其是進入云計算的應用程序）還是負擔得起的。HBM3實際上只是一種自然遷移?！?/p>

雖然JEDEC尚未公布未獲批準的HBM3規(guī)范細節(jié)，但Rambus報告稱其HBM3子系統(tǒng)帶寬將增加到8.4 Gbps（HBM2e為3.6Gbps）。采用HBM3的產品預計將在2023年初發(fā)貨。

“當芯片的關鍵性能指標是每瓦特內存帶寬，或者HBM3是實現(xiàn)所需帶寬的唯一途徑時，采用HBM3是有益的，”Cadence的IP組總監(jiān)Marc Greenberg表示：“與基于PCB的方法（如DDR5、LPDDR5/5X或GDDR6）相比，這種帶寬和效率的代價是在系統(tǒng)中增加額外的硅，并可能增加制造/組裝/庫存成本。額外的硅通常是一個插入器，以及每個HBM3 DRAM堆棧下面的一個基模?！?/p>

為什么HBM很重要

自HBM首次宣布以來的十年里，已有2.5代標準進入市場。在此期間，創(chuàng)建、捕獲、復制和消耗的數(shù)據量從2010年的2 ZB增加到2020年的64.2 ZB，據Statista預測，這一數(shù)字將在2025年增長近三倍，達到181 ZB。

Synopsys的高級產品營銷經理Anika Malhotra表示：“2016年，HBM2將信令速率提高了一倍，達到2 Gbps，帶寬達到256 GB/s。兩年后，HBM2E出現(xiàn)了，實現(xiàn)了3.6 Gbps和460 GB/s的數(shù)據速率。性能需求在增加，高級工作負載對帶寬的需求也在增加，因為更高的內存帶寬是實現(xiàn)計算性能的關鍵因素?！?/p>

“除此之外，為了更快地處理所有這些數(shù)據，芯片設計也變得越來越復雜，通常需要專門的加速器、片內或封裝內存儲器及接口。HBM被視為將異構分布式處理推到一個完全不同水平的一種方式?！?/p>

“最初，高帶寬內存只是被圖形公司視為進化方向上的一步；但是后來網絡和數(shù)據中心意識到HBM可以為內存結構帶來更多的帶寬。所有推動數(shù)據中心采用HBM的動力在于更低延遲、更快訪問和更低功耗。”Malhotra說?！巴ǔＧ闆r下，CPU為內存容量進行優(yōu)化，而加速器和GPU為內存帶寬進行優(yōu)化。但是隨著模型尺寸的指數(shù)增長，系統(tǒng)對容量和帶寬的需求同時在增長（即不會因為增加容量后，對帶寬需求降低）。我們看到更多的內存分層，包括支持對軟件可見的HBM + DDR，以及使用HBM作為DDR的軟件透明緩存。除了CPU和GPU， HBM也很受數(shù)據中心FPGA的歡迎。”

HBM最初的目的是替代GDDR等其他內存，由一些領先的半導體公司（特別是英偉達和AMD）推動。這些公司仍然在JEDEC工作組中大力推動其發(fā)展，英偉達是該工作組的主席，AMD是主要貢獻者之一。

Synopsys產品營銷經理Brett Murdock表示：“GPU目前有兩種選擇。一種是繼續(xù)使用GDDR，這種在SoC周圍會有大量的外設；另一種是使用HBM，可以讓用戶獲得更多的帶寬和更少的物理接口，但是整體成本相對更高。還有一點需要強調的是物理接口越少，功耗越低。所以使用GDDR非常耗電，而HBM非常節(jié)能。所以說到底，客戶真正想問的是花錢的首要任務是什么？對于HBM3，已經開始讓答案朝‘可能應該把錢花在HBM上’傾斜?！?/p>

盡管在最初推出時，HBM 2/2e僅面向AMD和Nvidia這兩家公司，但現(xiàn)在它已經擁有了龐大的用戶基礎。當HBM3最終被JEDEC批準時，這種增長有望大幅擴大。

關鍵權衡

芯片制造商已經明確表示，當系統(tǒng)中有插入器時HBM3會更有意義，例如基于chiplet的設計已經使用了硅插入器。Greenberg表示：“在許多系統(tǒng)中還沒有插入器的情況下，像GDDR6、LPDDR5/5X或DDR5這樣的PCB內存解決方案可能比添加插入器來實現(xiàn)HBM3更具成本優(yōu)勢?！?/p>

然而，隨著規(guī)模經濟發(fā)揮作用，這些權衡可能不再是一個問題。Synopsys的Murdock表示，對于使用HBM3的用戶來說，最大的考慮是管理PPA，因為與GDDR相比，在相同的帶寬下，HBM設備的硅面積更小、功耗更低，需要處理的物理接口也更少。

“此外，與DDR、GDDR或LPDDR接口相比，IP端的HBM設備在SoC上的物理實現(xiàn)方法相當野蠻粗暴。對于一般物理接口，我們有很多方法去實現(xiàn)它：可以在模具的側面放一個完整的線性PHY，可以繞過拐角，也可以把它折疊起來。但是對于HBM，當要放下一個HBM立體時，JEDEC已經準確地定義了這個立體上的bump map是什么樣子的。用戶將把它放在插入器上，它將緊挨著SoC，所以如何在SoC上構建bump map只有一個可行的選擇?！?/p>

這些決策會影響可靠性。雖然在bump方面減少了靈活性，但增加的可預測性意味著更高的可靠性。

特別是在2.5D和3D帶來的復雜性下，可以消除的變量越多越好。

Malhotra表示，在HBM3被廣泛采用的AI/ML應用中，電源管理是最重要的考慮因素?！皩τ跀?shù)據中心和邊緣設備來說都是如此。權衡圍繞著功耗、性能、面積和帶寬。對于邊緣計算，隨著第四個變量（帶寬）加入到傳統(tǒng)的PPA方程中，復雜性正在不斷增加。在AI/ML的處理器設計或加速器設計中，功耗、性能、面積、帶寬的權衡很大程度上取決于工作負載的性質?！?/p>

如何確保正常工作？

雖然HBM3實現(xiàn)看起來足夠簡單，但由于這些內存通常用于關鍵任務應用程序，必須確保它們能夠按預期工作。Rambus的產品營銷工程師Joe Rodriguez表示，應該使用多個供應商提供的芯片調試和硬件啟動工具，以確保整個內存子系統(tǒng)正常運行。

用戶通常利用供應商提供的測試平臺和模擬環(huán)境，這樣他們就可以使用控制器開始運行模擬，看看系統(tǒng)在HBM 2e/3系統(tǒng)上的表現(xiàn)如何。

Rambus公司的Ferro表示：“在考慮整體系統(tǒng)效率時，HBM實現(xiàn)一直是一個挑戰(zhàn)，因為面積太小。面積小是件好事，但現(xiàn)在系統(tǒng)有了CPU或GPU，可能有4個或更多HBM DRAM。這意味著熱量、功耗、信號完整性、制造可靠性都是物理實現(xiàn)時必須解決的問題。”

為了從插入器和封裝設計中獲得最優(yōu)性能，即使在HBM2e，許多公司都努力通過插入器獲得良好的信號完整性。更復雜的是，每個代工廠對于這些插入器都有不同的設計規(guī)則，有些規(guī)則比其他的更具挑戰(zhàn)性。

結論

在可預見的未來，我們將繼續(xù)實現(xiàn)更高內存帶寬，即將到來的HBM3有望開啟系統(tǒng)設計的一個新階段，將系統(tǒng)性能提升到一個新的水平。

為了實現(xiàn)這一點，行業(yè)參與者必須繼續(xù)解決數(shù)據密集型SoC的設計和驗證需求，以及最先進協(xié)議（如HBM3）的驗證解決方案。作為一個整體，這些解決方案應該結合在一起，以允許對協(xié)議和時序檢查進行規(guī)范性驗證，保證設計可以得到充分驗證。

原文鏈接：

https://semiengineering.com/hbm3s-impact-on-chip-design/

編輯：jq