一位業(yè)內(nèi)人士表示，“‘半導(dǎo)體游戲規(guī)則’可能在10年內(nèi)改變，區(qū)別存儲半導(dǎo)體和邏輯半導(dǎo)體可能變得毫無意義”。

HBM4，魅力為何如此？

?01 技術(shù)的突破

2023年，在AI技術(shù)應(yīng)用的推動下，數(shù)據(jù)呈現(xiàn)出爆炸式的增長，大幅度推升了算力需求。據(jù)悉，在AI大模型領(lǐng)域，未來AI服務(wù)器的主要需求將從訓(xùn)練側(cè)向推理側(cè)傾斜。而根據(jù)IDC的預(yù)測，到2026年，AIGC的算力62.2%將作用于模型推理。同時(shí)，預(yù)計(jì)到2025年，智能算力需求將達(dá)到當(dāng)前的100倍。

據(jù)悉，自2015年以來，從HBM1到HBM3e各種更新和改進(jìn)中，HBM在所有迭代中都保留了相同的1024位(每個(gè)堆棧)接口，即具有以相對適中的時(shí)鐘速度運(yùn)行的超寬接口。然而，隨著內(nèi)存?zhèn)鬏斔俾室蟛粩嗵岣撸绕涫窃?a href="http://www.brongaenegriffin.com/tags/dram/" target="_blank">DRAM單元的基礎(chǔ)物理原理沒有改變的情況下，這一速度將無法滿足未來AI場景下的數(shù)據(jù)傳輸要求。為此，下一代HBM4需要對高帶寬內(nèi)存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變，即從更寬的2048位內(nèi)存接口開始。

接口寬度從每堆棧1024位增加到每堆棧2048位，將使得HBM4具備的變革意義。

當(dāng)前，生成式人工智能已經(jīng)成為推動DRAM市場增長的關(guān)鍵因素，與處理器一起處理數(shù)據(jù)的HBM的需求也必將增長。未來，隨著AI技術(shù)不斷演進(jìn)，HBM將成為數(shù)據(jù)中心的標(biāo)準(zhǔn)配置，而以企業(yè)應(yīng)用為重點(diǎn)場景的存儲卡供應(yīng)商期望提供更快的接口。

根據(jù)DigiTimes援引Seoul Economy的消息：下一代HBM4內(nèi)存堆棧將采用2048位內(nèi)存接口。

將接口寬度從每堆棧1024位增加到每堆棧2048位將是HBM內(nèi)存技術(shù)所見過的最大變化。自2015年以來，從HBM1到HBM3e各種更新和改進(jìn)中，HBM在所有迭代中都保留了相同的1024位(每個(gè)堆棧)接口。

采用2048位內(nèi)存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達(dá)的旗艦Hopper H100 GPU，搭配的六顆HBM3達(dá)到6144-bit位寬。如果內(nèi)存接口翻倍到2048位，英偉達(dá)理論上可以將芯片數(shù)量減半到三個(gè)，并獲得相同的性能。

回顧HBM發(fā)展歷史，由于物理限制，使用HBM1的顯卡的內(nèi)存上限為4GB。然而，隨著時(shí)間的推移，SK海力士和三星等HBM制造商已經(jīng)改進(jìn)了HBM的缺點(diǎn)。

HBM2將潛在速度提高了一倍，達(dá)到每個(gè)堆棧256GB/s，最大容量達(dá)到8GB。2018年，HBM2進(jìn)行了一次名為HBM2E的小更新，進(jìn)一步將容量限制提高到24GB，并帶來了另一次速度提升，最終達(dá)到峰值時(shí)的每芯片460GB/s。

當(dāng)HBM3推出時(shí)，速度又翻了一番，允許每個(gè)堆棧最大819GB/s。更令人印象深刻的是，容量增加了近三倍，從24GB增加到64GB。和HBM2E一樣，HBM3看到了另一個(gè)中期升級，HBM3E，它將理論速度提高到每堆棧1.2 TB/s。

在此過程中，HBM在消費(fèi)級顯卡中逐漸被更便宜的GDDR內(nèi)存所取代。HBM越發(fā)成為成為數(shù)據(jù)中心的標(biāo)準(zhǔn)配置，以企業(yè)應(yīng)用為重點(diǎn)場景的存儲卡供應(yīng)商們期望提供更快的接口。 ?

有機(jī)遇就有挑戰(zhàn)

目前，HBM主要是放置CPU/GPU的中介層上，并使用1024bit接口連接到邏輯芯片。SK海力士目標(biāo)是將HBM4直接堆疊在邏輯芯片上，完全消除中介層。HBM4很可能與現(xiàn)有半導(dǎo)體完全不同，散熱問題也隨之而來。因此，要想為邏輯+存儲這一集成體散熱，可能需要非常復(fù)雜的方法，液冷和浸沒式散熱或是解決方案。 HBM主要是通過硅通孔技術(shù)進(jìn)行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個(gè)DRAM裸片像樓層一樣垂直堆疊。在HBM4技術(shù)實(shí)現(xiàn)上，一個(gè)模塊中堆疊更多的內(nèi)存芯片的技術(shù)復(fù)雜性必然將進(jìn)一步提高，主要難題在于需要增加硅通孔數(shù)量并縮小凸塊間距。

例如為了生產(chǎn) HBM4 內(nèi)存堆棧（包括 16-Hi 堆棧），三星需要完善 SangJoon Hwang 提到的幾項(xiàng)新技術(shù)。其中一項(xiàng)技術(shù)稱為 NCF（非導(dǎo)電薄膜），是一種聚合物層，可保護(hù) TSV 的焊接點(diǎn)免受絕緣和機(jī)械沖擊。另一種是 HCB（混合銅鍵合），這是一種鍵合技術(shù)，使用銅導(dǎo)體和氧化膜絕緣體代替?zhèn)鹘y(tǒng)焊料，以最大限度地減少 DRAM 器件之間的距離，并實(shí)現(xiàn) 2048 位接口所需的更小的凸塊。這不是一項(xiàng)簡單的工作。

?02 入局

三星電子的技術(shù)團(tuán)隊(duì)執(zhí)行副總裁兼 DRAM 產(chǎn)品主管 SangJoon Hwang在公司博客文章中寫道“展望未來，HBM4 預(yù)計(jì)將于 2025 年推出，其技術(shù)針對正在開發(fā)的高熱性能進(jìn)行了優(yōu)化，例如非導(dǎo)電薄膜 (NCF) 組裝和混合銅接合 (HCB)，”。

盡管三星預(yù)計(jì) HBM4 將于 2025 年推出，但其生產(chǎn)可能會在 2025-2026 年開始，因?yàn)闃I(yè)界需要為該技術(shù)做大量準(zhǔn)備。與此同時(shí)，三星將為客戶提供數(shù)據(jù)傳輸速率為 9.8 GT/s 的 HBM3E 內(nèi)存堆棧，每個(gè)堆棧的帶寬為 1.25 TB/s。

在封裝技術(shù)方面，三星采用了無凸點(diǎn)鍵合技術(shù)。無凸點(diǎn)鍵合是一種先進(jìn)的封裝技術(shù)，它將芯片與芯片之間直接進(jìn)行連接，無需使用傳統(tǒng)的微凸點(diǎn)鍵合。這種技術(shù)可以顯著提高內(nèi)存的I/O速度和可靠性，同時(shí)降低了制造成本。

三星在無凸點(diǎn)鍵合技術(shù)上的突破得益于其在封裝領(lǐng)域的深厚積累和技術(shù)積累。通過不斷研發(fā)和創(chuàng)新，三星成功地將無凸點(diǎn)鍵合技術(shù)應(yīng)用到HBM4內(nèi)存的生產(chǎn)中，實(shí)現(xiàn)了銅層與銅層之間的直接互連。這種直接互連的方式可以大幅度提高內(nèi)存的傳輸速度和穩(wěn)定性，同時(shí)降低了功耗。

三星在HBM4內(nèi)存技術(shù)的發(fā)展中展現(xiàn)了強(qiáng)大的研發(fā)實(shí)力和技術(shù)創(chuàng)新能力。通過工藝學(xué)習(xí)和封裝技術(shù)的創(chuàng)新，三星成功地將FinFET立體晶體管和無凸點(diǎn)鍵合技術(shù)應(yīng)用到HBM4內(nèi)存的生產(chǎn)中。這些新技術(shù)的應(yīng)用使得HBM4內(nèi)存具有更高的性能、更低的功耗和更低的制造成本。

今年早些時(shí)候，美光透露“HBMNext”內(nèi)存將于 2026 年左右出現(xiàn)，提供 32GB 至 64GB 之間的每堆棧容量以及每堆棧 2 TB/s 或更高的峰值帶寬，較 HBM3E 的每堆棧 1.2 TB/s 顯著增加。要構(gòu)建 64GB 堆棧，需要具有 32GB 內(nèi)存設(shè)備的 16-Hi 堆棧。盡管 HBM3 規(guī)范也支持 16-Hi 堆棧，但到目前為止還沒有人宣布此類產(chǎn)品，而且看起來如此密集的堆棧只會通過 HBM4 進(jìn)入市場。

11月，據(jù)韓媒中央日報(bào)（Joongang.co.kr）報(bào)道，韓國內(nèi)存芯片大廠SK海力士正計(jì)劃攜手英偉達(dá)（NVIDIA）開發(fā)全新的GPU，擬將其新一代的高帶寬內(nèi)存（HBM4）與邏輯芯片堆疊在一起，這也將是業(yè)界首創(chuàng)。SK海力士已與英偉達(dá)等半導(dǎo)體公司針對該項(xiàng)目進(jìn)行合作，據(jù)報(bào)道當(dāng)中的先進(jìn)封裝技術(shù)有望委托臺積電，作為首選代工廠。

SK海力士目標(biāo)是將未來的HBM4以3D堆疊的形式堆疊在英偉達(dá)、AMD等公司的邏輯芯片上，預(yù)計(jì)該HBM4內(nèi)存堆棧將采用2048位接口。

圖：SK海力士HBM4計(jì)劃連接方式（來源：韓國中央日報(bào)）

外媒Tom’s Hardware指出，這種設(shè)計(jì)與AMD V-Cache類似，后者將一小塊L3緩存（cache）直接放在CPU頂部，新技術(shù)則是則將GPU所有HBM內(nèi)存放在GPU頂部或幾個(gè)芯片的頂部。

這種技術(shù)優(yōu)點(diǎn)是縮小封裝尺寸、提高容量和性能，但散熱將是最大問題。比如采用V-Cache的AMD CPU，必須降低TDP和主頻，以補(bǔ)償3D cache產(chǎn)生的額外熱量，像英偉達(dá)H100這種數(shù)據(jù)中心GPU，需要80-96GB的HBM，在容量和熱量與V-cache完全難比擬?，F(xiàn)在一塊計(jì)算中心計(jì)算卡的功耗可能是幾百瓦，即便只是HBM部分也相當(dāng)耗電，要做好散熱可能需要非常復(fù)雜的方式。

另外，選擇這種集成方法也將改變芯片的設(shè)計(jì)和制造方式，存儲器與邏輯芯片將采用相同的工藝技術(shù)，而且會在同一間晶圓廠生產(chǎn)，確保最終的性能。如果僅考慮DRAM的成本，那么確實(shí)會有較大幅度的增長，所以各方都還沒有真正認(rèn)真考慮這一方案。

據(jù)了解，SK海力士正在與包括英偉達(dá)在內(nèi)的芯片設(shè)計(jì)公司討論HBM4集成設(shè)計(jì)方案。SK海力士和英偉達(dá)可能從一開始就進(jìn)行了合作，而且會選擇在臺積電生產(chǎn)，將使用晶圓鍵合技術(shù)將SK海力士的HBM4堆疊在邏輯芯片上。

此前，SK海力士的一位負(fù)責(zé)人曾強(qiáng)調(diào)，“最關(guān)鍵的作用是制造工廠（FAB）和封裝部門之間的緊密溝通，因?yàn)镠BM需要在后處理方面進(jìn)行先發(fā)制人的投資?！彼a(bǔ)充道：“SK海力士已經(jīng)能夠開發(fā)出與競爭對手不同的封裝技術(shù)，并從合作伙伴那里獲得長期獨(dú)家的關(guān)鍵材料。”

面對三星的競爭，SK海力士并不擔(dān)心?！半m然三星電子可以通過同時(shí)提供存儲器和邏輯芯片工藝來引領(lǐng)HBM領(lǐng)域。”但SK海力士的一位負(fù)責(zé)人表示，“客戶不希望一家公司占據(jù)主導(dǎo)地位，他們目前重視英偉達(dá)、臺積電和SK海力士之間的合作。”

審核編輯：黃飛

?