新應(yīng)用需要深入了解不同類(lèi)型 DRAM 的權(quán)衡。

如何構(gòu)建高性能芯片的選擇越來(lái)越多，但附加內(nèi)存的選擇幾乎沒(méi)有變化。為了在汽車(chē)、消費(fèi)和超大規(guī)模計(jì)算中實(shí)現(xiàn)最大性能，選擇歸結(jié)為一種或多種 DRAM，而最大的權(quán)衡是成本與速度。

DRAM 仍然是任何這些架構(gòu)中的重要組成部分，盡管多年來(lái)一直在努力用更快、更便宜或更通用的內(nèi)存取代它，甚至將其嵌入到 SoC 中。但 DRAM 制造商并沒(méi)有保持不變，而是根據(jù)性能、功耗和成本推出了多種選擇。這些仍然是基本的權(quán)衡，要駕馭這些因素，需要深入了解內(nèi)存的使用方式、所有部件的連接方式，以及芯片或系統(tǒng)的關(guān)鍵屬性是什么。

Rambus產(chǎn)品管理高級(jí)總監(jiān) Frank Ferro 表示：“我們繼續(xù)看到對(duì)更多帶寬內(nèi)存需求的非常激進(jìn)的趨勢(shì)，即使在宏觀經(jīng)濟(jì)形勢(shì)下也是如此。有很多公司都在研究不同類(lèi)型的內(nèi)存架構(gòu)。這包括解決帶寬問(wèn)題的各種方法，無(wú)論是具有大量片上內(nèi)存的處理器還是其他方式。雖然這種方法將是最便宜和最快的，但容量非常低，因此人工智能算法必須針對(duì)這種類(lèi)型的架構(gòu)進(jìn)行定制。”

Chiplets

Chiplets沒(méi)有減少對(duì)附加內(nèi)存的需求?？傮w而言，向異構(gòu)計(jì)算（尤其是小芯片）的發(fā)展只會(huì)加速對(duì)高帶寬內(nèi)存的需求，無(wú)論是 HBM、GDDR6 還是 LPDDR6。

HBM 是三者中最快的。但到目前為止，HBM 一直基于 2.5D 架構(gòu)，這限制了它的吸引力?！爸谱?2.5D 中介層仍然是相對(duì)昂貴的技術(shù)，”Ferro 說(shuō)?！肮?yīng)鏈問(wèn)題并沒(méi)有太大幫助。在過(guò)去的兩年里，這種情況有所緩解，但它確實(shí)凸顯了當(dāng)你在做這些復(fù)雜的 2.5D 系統(tǒng)時(shí)的一些問(wèn)題，因?yàn)槟惚仨毥M合很多組件和基板。如果其中任何一件不可用，就會(huì)擾亂整個(gè)流程或造成很長(zhǎng)的交付周期。”

用于最大數(shù)據(jù)吞吐量的 HBM 堆棧。來(lái)源：Rambus

將 HBM 連接到其他一些封裝方法（例如扇出）或使用不同類(lèi)型的中介層或橋接器堆疊芯片的工作已經(jīng)進(jìn)行了一段時(shí)間。這些將變得必不可少，因?yàn)楦嗟那把卦O(shè)計(jì)包括某種類(lèi)型的高級(jí)封裝，這些封裝具有可能在不同工藝節(jié)點(diǎn)開(kāi)發(fā)的異構(gòu)組件。

“很多 HBM 空間實(shí)際上更多地是關(guān)于制造問(wèn)題而不是 IP 問(wèn)題，” Cadence的 IP 集團(tuán)產(chǎn)品營(yíng)銷(xiāo)集團(tuán)總監(jiān) Marc Greenberg 說(shuō)?！爱?dāng)你有一個(gè)內(nèi)部帶有硅中介層的系統(tǒng)時(shí)，你需要弄清楚如何構(gòu)建一個(gè)帶有硅中介層的系統(tǒng)。首先，如何在那里制造硅中介層？它比普通的硅芯片大得多。它必須變薄。它必須綁定到將要在其上的各種芯片。它需要封裝。HBM 解決方案涉及很多專(zhuān)業(yè)制造。這最終超出了 IP 領(lǐng)域，更多地進(jìn)入了 ASIC 供應(yīng)商和 OSAT 所做的領(lǐng)域。”

汽車(chē)中的高帶寬存儲(chǔ)器

HBM 獲得極大興趣的領(lǐng)域之一是汽車(chē)。但仍有一些障礙需要克服，目前還沒(méi)有解決這些障礙的時(shí)間表。

Synopsys產(chǎn)品營(yíng)銷(xiāo)總監(jiān) Brett Murdock表示：“HBM3 具有高帶寬、低功耗和良好的密度”. “唯一的問(wèn)題是它很貴。那是那個(gè)記憶的一個(gè)失敗。HBM 的另一個(gè)缺點(diǎn)是它還沒(méi)有資格用于汽車(chē)，盡管它非常適合汽車(chē)。在汽車(chē)領(lǐng)域，正在發(fā)生的一件有趣的事情是所有電子設(shè)備都在集中化。隨著集中化的發(fā)生，基本上現(xiàn)在你的主干中有一個(gè)服務(wù)器。發(fā)生的事情太多了，不一定總是發(fā)生在單個(gè) SoC 或單個(gè) ASIC 上。因此，現(xiàn)在汽車(chē)公司開(kāi)始關(guān)注小芯片，以及他們?nèi)绾卧谒麄兊脑O(shè)計(jì)中使用小芯片來(lái)獲得他們?cè)谠摷杏蛑兴璧乃杏?jì)算能力。巧妙的是，小芯片的潛在用途之一是使用中介層。如果他們現(xiàn)在使用內(nèi)插器，他們并沒(méi)有解決 HBM 的內(nèi)插器問(wèn)題。他們正在解決小芯片的插入器問(wèn)題，也許 HBM 會(huì)加入進(jìn)來(lái)。然后，如果他們已經(jīng)在為車(chē)輛進(jìn)行小芯片設(shè)計(jì)，也許就不再那么昂貴了。”

HBM 非常適合這一領(lǐng)域，因?yàn)樾枰谲?chē)輛周?chē)焖僖苿?dòng)大量數(shù)據(jù)?！跋胂肫?chē)中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字。HBM 是所有汽車(chē)行業(yè)人士都想去的地方，”Murdock說(shuō)。“成本對(duì)他們來(lái)說(shuō)可能并沒(méi)有那么高，因?yàn)樗皇钦砑夹g(shù)，整理汽車(chē)中的中介層，以及整理 HBM 設(shè)備的汽車(chē)溫度。

不過(guò)，這可能需要一段時(shí)間。與此同時(shí)，GDDR 似乎是一顆冉冉升起的新星。雖然它的吞吐量比 HBM 更有限，但對(duì)于許多應(yīng)用來(lái)說(shuō)仍然足夠，并且已經(jīng)通過(guò)汽車(chē)認(rèn)證。

Rambus 的 Ferro 說(shuō)：“HBM 絕對(duì)會(huì)進(jìn)入汽車(chē)應(yīng)用領(lǐng)域，在這些應(yīng)用中，汽車(chē)會(huì)與不動(dòng)的東西對(duì)話?！?“但在車(chē)輛方面，GDDR 做得很好。LPDDR 已經(jīng)在汽車(chē)中，您可以用 GDDR 替換多個(gè) LPDDR，獲得更小的占用空間和更高的帶寬。然后，隨著 AI 處理的提升，LPDDR5 和 LPDDR6 開(kāi)始達(dá)到一些相當(dāng)可觀的速度 [現(xiàn)在分別接近 8Gbps 和 10Gbps]，它們也將成為汽車(chē)中非?？尚械慕鉀Q方案。仍然會(huì)有一些 DDR，但 LPDDR 和 GDDR 將成為汽車(chē)最喜歡的技術(shù)?！?/p>

根據(jù) Cadence 的 Greenberg 的說(shuō)法，這種方法可能會(huì)在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)運(yùn)作良好?！皟H使用標(biāo)準(zhǔn) PCB 和標(biāo)準(zhǔn)制造技術(shù)的解決方案似乎比嘗試在方程式中引入硅中介層并使其符合溫度或振動(dòng)或 10 年的要求更明智。一生。與 GDDR-6 相比，在車(chē)輛中驗(yàn)證 HBM 解決方案似乎是一個(gè)更大的挑戰(zhàn)，在 GDDR-6 中，可以將內(nèi)存放在 PCB 上。如果我在一家汽車(chē)公司負(fù)責(zé)一些汽車(chē)項(xiàng)目，我只會(huì)選擇 HBM 作為最后的選擇?！?/p>

邊緣 AI/ML 內(nèi)存

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在一些邊緣加速卡上也開(kāi)始看起來(lái)像是可行的解決方案。

“對(duì)于進(jìn)行邊緣 AI 推理的 PCIe 卡，多年來(lái)我們已經(jīng)在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 說(shuō)?！艾F(xiàn)在我們看到越來(lái)越多的公司愿意考慮替代方案。例如，Achronix 正在其加速卡中使用 GDDR6，并開(kāi)始研究如何使用 LPDDR，盡管其速度仍然只有 GDDR 的一半左右。它在爬升，它提供了更多的密度。這是另一種解決方案。這些給出了一個(gè)很好的權(quán)衡。它們提供了性能和成本優(yōu)勢(shì)，因?yàn)樗鼈內(nèi)匀皇褂脗鹘y(tǒng)的 PCB。如果過(guò)去使用過(guò) DDR，則可以扔掉很多 DDR，并用一個(gè) GDPR 或兩個(gè) LPDDR 替換它們。這就是我們現(xiàn)在看到的很多情況，因?yàn)殚_(kāi)發(fā)人員試圖弄清楚如何在成本、功率和價(jià)格之間取得適當(dāng)?shù)钠胶?。這始終是邊緣的挑戰(zhàn)?！?/p>

與往常一樣，權(quán)衡是許多因素的平衡。

格林伯格指出，在當(dāng)前 AI 革命的早期階段，第一批 HBM 存儲(chǔ)器正在被使用?！叭藗冋诓捎靡环N成本是無(wú)目標(biāo)/帶寬是無(wú)目標(biāo)的方法。HBM 很自然地融入其中，有人希望有一個(gè)典型的例子來(lái)說(shuō)明他們可以從系統(tǒng)中獲得多少帶寬。他們會(huì)基于 HBM 構(gòu)建一個(gè)芯片，根據(jù)他們對(duì)該芯片的性能指標(biāo)獲得風(fēng)險(xiǎn)投資資金，而且沒(méi)有人真的太擔(dān)心這一切的成本?，F(xiàn)在我們看到的是，也許您需要一些好的指標(biāo)，也許是您可以使用 HBM 實(shí)現(xiàn)的 75%，但您希望它的成本降低一半。我們?cè)撛趺醋?？我們所看到?GDDR 的吸引力在于它可以實(shí)現(xiàn)成本更低的解決方案，但帶寬絕對(duì)接近 HBM 空間?！?/p>

默多克也看到了做出正確記憶選擇的困難。“對(duì)于高帶寬要求，通常他們會(huì)做出成本權(quán)衡決定。我是否會(huì)去 HBM，如果不是因?yàn)槌杀疽蛩?，它通常非常適合該應(yīng)用程序？我們有客戶(hù)詢(xún)問(wèn)我們有關(guān) HBM 的信息，試圖在 HBM 和 LPDDR 之間做出選擇。這確實(shí)是他們做出的選擇，因?yàn)樗麄冃枰獛?。他們可以在這兩個(gè)地方的任何一個(gè)地方得到它。我們已經(jīng)看到工程團(tuán)隊(duì)在 SoC 周?chē)胖昧硕噙_(dá) 16 個(gè) LPDDR 接口實(shí)例，以滿足他們的帶寬需求。當(dāng)你開(kāi)始談?wù)撃敲炊鄬?shí)例時(shí)，他們會(huì)說(shuō)，'哦，哇，HBM 真的非常適合這個(gè)要求。但這仍然歸結(jié)為成本，因?yàn)楹芏噙@些公司只是不想支付 HBM3 帶來(lái)的溢價(jià)?！?/p>

HBM 還需要考慮架構(gòu)方面的問(wèn)題。“HBM 一開(kāi)始就是一個(gè)多通道接口，因此使用 HBM，您可以在一個(gè) HBM 堆棧上擁有 32 個(gè)偽通道，”Murdock 說(shuō)?！坝?16 個(gè)頻道，所以實(shí)際上是 32 個(gè)偽頻道。偽通道是您在每個(gè)偽通道的基礎(chǔ)上執(zhí)行實(shí)際工作負(fù)載的地方。因此，如果您在那里有 16 個(gè)偽通道，而不是如果您將大量不同的 LPDDR 實(shí)例放到您的 SoC 上，在這兩種情況下，必須弄清楚您的流量將如何定位整個(gè)通道中的整體地址空間定義?！?/p>

對(duì)于 AI/機(jī)器學(xué)習(xí)開(kāi)發(fā)人員，LPDDR 通常采用 bi-32 封裝，然后具有 2-16 位通道。

“你可以在你的架構(gòu)中做出一個(gè)基本的選擇，”他解釋道?！皬南到y(tǒng)的角度來(lái)看，是否將內(nèi)存上的這兩個(gè) 16 位通道視為真正獨(dú)立的通道？或者是否將它們放在一起并使其看起來(lái)像一個(gè) 32 位通道？他們總是選擇 16 位通道，因?yàn)檫@給了他們更高性能的接口。在內(nèi)存中，我有兩個(gè)通道。我有兩倍的打開(kāi)頁(yè)面，我可能會(huì)從中點(diǎn)擊并通過(guò)頁(yè)面點(diǎn)擊減少我的整體系統(tǒng)延遲。它使性能更好的系統(tǒng)擁有更多更小的通道，這就是我們?cè)?HBM 上看到的情況。從 HBM2e 到 HBM3，我們非常明確地放棄了該通道和偽通道大小以應(yīng)對(duì)此類(lèi)市場(chǎng)。我們甚至在 DDR4 的 DDR5 中看到了這一點(diǎn)。

對(duì)于邊緣 AI 推理，Greenberg 一直在觀察這些應(yīng)用走在前沿，并發(fā)現(xiàn) GDDR-6 是一項(xiàng)很棒的技術(shù)?！坝泻芏嘈酒枷Ｍ哂性摴δ?。這使 AI 推理接近邊緣，因此可能會(huì)接收多個(gè)攝像頭輸入或多個(gè)其他傳感器輸入。然后，在邊緣使用人工智能，你可以深入了解你正在處理的數(shù)據(jù)，而不是將所有數(shù)據(jù)發(fā)送回服務(wù)器來(lái)執(zhí)行該功能?！?/p>

Greenberg 預(yù)計(jì)很快就會(huì)有大量芯片問(wèn)世，這些芯片將具有各種有趣的功能，而無(wú)需將大量數(shù)據(jù)發(fā)送回服務(wù)器。他希望 GDDR6 在那里發(fā)揮重要作用。

“前幾代 GDDR 主要針對(duì)顯卡，”他說(shuō)?！癎DDR6 具有很多特性，使其更適合作為通用內(nèi)存。事實(shí)上，雖然我們確實(shí)有用戶(hù)將其用于顯卡，但大多數(shù)人實(shí)際上將其用于 AI 邊緣應(yīng)用程序，”Greenberg說(shuō)?！叭绻枰M可能多的帶寬，而且不關(guān)心成本多少，那么 HBM 是很好的解決方案。但是，如果不需要那么多的帶寬，或者如果成本是一個(gè)問(wèn)題，那么 GDDR6 在該領(lǐng)域發(fā)揮有利作用。GDDR6的優(yōu)勢(shì)在于可以在標(biāo)準(zhǔn)的FR4 PCB上完成。制造過(guò)程中不需要特殊材料。沒(méi)有特殊工藝，甚至PCB本身也不需要背鉆。它不需要有隱藏的過(guò)孔或類(lèi)似的東西?！?/p>

最后，GDDR 領(lǐng)域的最后一個(gè)趨勢(shì)是努力使 GDDR 對(duì)消費(fèi)者更加友好?！八匀挥幸恍┓浅Ｓ欣趫D形引擎的規(guī)范部分，但作為一項(xiàng)技術(shù)，GDDR 正在朝著消費(fèi)者的方向發(fā)展，”他說(shuō)。“隨著 GDDR 類(lèi)技術(shù)的更廣泛部署，它將繼續(xù)朝著這個(gè)方向發(fā)展?！?/p>

審核編輯：劉清