在高級(jí)節(jié)點(diǎn)使用 SRAM 需要新的方法。

SRAM無(wú)法擴(kuò)展，這給功耗和性能目標(biāo)帶來(lái)了挑戰(zhàn)，迫使設(shè)計(jì)生態(tài)系統(tǒng)提出從硬件創(chuàng)新到重新思考設(shè)計(jì)布局的策略。與此同時(shí)，盡管 SRAM 的初始設(shè)計(jì)已經(jīng)存在很長(zhǎng)的歷史，并且目前還存在擴(kuò)展限制，但它已成為人工智能的主力存儲(chǔ)器。

SRAM 配置有六個(gè)晶體管，這使其訪問(wèn)時(shí)間比 DRAM 更快，但代價(jià)是在讀取和寫(xiě)入時(shí)消耗更多能量。相比之下，DRAM 采用一個(gè)晶體管/一個(gè)電容器的設(shè)計(jì)，這使得它更便宜。但 DRAM 會(huì)影響性能，因?yàn)?a href="http://www.brongaenegriffin.com/tags/電容/" target="_blank">電容器因電荷泄漏而需要刷新。因此，自推出 60 多年以來(lái)，SRAM 一直是優(yōu)先考慮較低延遲和可靠性的應(yīng)用中的首選存儲(chǔ)器。

圖 1：SRAM 單元尺寸縮小得比進(jìn)程更慢。來(lái)源：新興內(nèi)存技術(shù)報(bào)告

事實(shí)上，對(duì)于 AI/ML 應(yīng)用來(lái)說(shuō)，SRAM 不僅僅具有其自身的優(yōu)勢(shì)。“SRAM 對(duì)于 AI 至關(guān)重要，尤其是嵌入式 SRAM。它是性能最高的存儲(chǔ)器，您可以將其直接與高密度邏輯芯片集成。僅出于這些原因，這一點(diǎn)就很重要?！盇lphawave Semi首席技術(shù)官托尼·陳·卡魯松 (Tony Chan Carusone) 說(shuō)道。

功耗和性能挑戰(zhàn)

但是，在跟上 CMOS 縮放的步伐時(shí)，SRAM 卻表現(xiàn)不佳，這對(duì)功耗和性能產(chǎn)生了影響?！霸趥鹘y(tǒng)的平面器件縮放中，柵極長(zhǎng)度和柵極氧化物厚度一起按比例縮小，以提高性能和對(duì)短溝道效應(yīng)的控制。更薄的氧化物可以在更低的 VDD 電平下實(shí)現(xiàn)性能增益，這有利于 SRAM 減少泄漏和動(dòng)態(tài)功耗。”西門(mén)子 EDA的存儲(chǔ)器技術(shù)專家 Jongsin Yun 說(shuō)道。“然而，在最近的技術(shù)節(jié)點(diǎn)遷移中，我們幾乎沒(méi)有看到氧化層或 VDD 電平進(jìn)一步縮小。此外，晶體管的幾何收縮導(dǎo)致金屬互連更薄，從而導(dǎo)致寄生電阻增加，這就導(dǎo)致更多的功率損耗和 RC 延遲。

隨著人工智能設(shè)計(jì)越來(lái)越需要更多的內(nèi)部存儲(chǔ)器訪問(wèn)，SRAM 在技術(shù)節(jié)點(diǎn)遷移中進(jìn)一步擴(kuò)大其功耗和性能優(yōu)勢(shì)已成為一項(xiàng)重大挑戰(zhàn)?！?/p>

這些問(wèn)題加上 SRAM 的高成本，不可避免地會(huì)導(dǎo)致性能下降。Rambus的杰出發(fā)明家 Steve Woo 表示：“如果無(wú)法獲得足夠的 SRAM 來(lái)滿足處理器內(nèi)核的數(shù)據(jù)存儲(chǔ)需求，那么內(nèi)核最終將不得不將數(shù)據(jù)移至更遠(yuǎn)的地方。” “在 SRAM 和 DRAM 之間移動(dòng)數(shù)據(jù)需要額外的電力，因此系統(tǒng)消耗更多的電力，從 DRAM 訪問(wèn)數(shù)據(jù)需要更長(zhǎng)的時(shí)間，因此性能會(huì)下降?！?/p>

imecDTCO 項(xiàng)目總監(jiān) Geert Hellings 表示：“展望納米片，SRAM 的尺寸縮放預(yù)計(jì)會(huì)非常小?！?“可以說(shuō)，如果所有其他工藝/布局裕度保持不變，用納米片（~15nm 寬）替換鰭片（約 15nm 寬）將使 SRAM 位單元高度增加 40nm（每個(gè) 4 個(gè)鰭片）。顯然，這不是一個(gè)很好的價(jià)值主張。因此，工藝/布局余量的改進(jìn)有望抵消這一點(diǎn)。然而，將SRAM從finFET擴(kuò)展到納米片是一場(chǎng)艱苦的戰(zhàn)斗。

Flex Logix曾在幾個(gè)最低節(jié)點(diǎn)工作過(guò)，包括臺(tái)積電的 N7 和 N5，最近還收到了英特爾 1.8A節(jié)點(diǎn)的 PDK。Flex Logix 首席執(zhí)行官 Geoffrey Tate 表示：“我們使用先進(jìn)節(jié)點(diǎn)的客戶都抱怨該邏輯的擴(kuò)展性比 SRAM 更好、更快?！?“這對(duì)于處理器來(lái)說(shuō)是一個(gè)問(wèn)題，因?yàn)閾碛斜日麄€(gè)處理器更大的緩存內(nèi)存是不尋常的。但如果你把它放在芯片外，你的性能就會(huì)急劇下降?！?/p>

臺(tái)積電正在聘請(qǐng)更多內(nèi)存設(shè)計(jì)師來(lái)提高 SRAM 密度，但他們是否能從 SRAM 中獲得更多收益還有待觀察。Tate說(shuō)：“有時(shí)，你可以通過(guò)雇傭更多的人來(lái)讓事情變得更好，但僅限于一定程度。” “隨著時(shí)間的推移，客戶將需要考慮不再像現(xiàn)在那樣頻繁使用 SRAM 的架構(gòu)?！?/p>

事實(shí)上，早在 20 納米時(shí)代，SRAM 就無(wú)法與邏輯相稱地?cái)U(kuò)展，這預(yù)示著當(dāng)片上存儲(chǔ)器變得比芯片本身更大時(shí)，將會(huì)出現(xiàn)功耗和性能挑戰(zhàn)。針對(duì)這些問(wèn)題，系統(tǒng)設(shè)計(jì)人員和硬件開(kāi)發(fā)人員都在應(yīng)用新的解決方案并開(kāi)發(fā)新技術(shù)。

沿著這些思路，AMD采取了不同的方法。Rambus 的 Woo 表示：“他們推出了一種名為 3D V-Cache 的技術(shù)，該技術(shù)允許將單獨(dú)芯片上的附加 SRAM 高速緩存存儲(chǔ)器堆疊在處理器頂部，從而增加處理器內(nèi)核可用的高速緩存量。” “額外的芯片增加了成本，但允許訪問(wèn)額外的 SRAM。另一種策略是擁有多級(jí)緩存。處理器內(nèi)核可以擁有只有它們才能訪問(wèn)的私有（非共享）一級(jí)和二級(jí)緩存，以及在處理器內(nèi)核之間共享的更大的末級(jí)緩存 (LLC)。由于處理器擁有如此多的內(nèi)核，共享 LLC 允許某些內(nèi)核使用更多容量，以便在所有處理器內(nèi)核上更有效地使用總?cè)萘??！?/p>

糾錯(cuò)

縮放也增加了可靠性問(wèn)題。Flex Logix 首席技術(shù)官 Cheng Wang 表示：“SRAM 傳統(tǒng)上使用比邏輯單元更激進(jìn)、更小的尺寸，但它與傳統(tǒng)邏輯門(mén)不同，傳統(tǒng)邏輯門(mén)永遠(yuǎn)不會(huì)發(fā)生爭(zhēng)用，并且您總是在其中寫(xiě)入新值。” 由于 SRAM 只有六個(gè)晶體管，因此您無(wú)法添加大量門(mén)來(lái)使其在寫(xiě)入時(shí)變?nèi)酰诓粚?xiě)入時(shí)放大。你也不能讓 SRAM 太小，因?yàn)檫@可能會(huì)因 α 粒子等問(wèn)題導(dǎo)致單粒子擾動(dòng) (SEU)，其中離子的能量壓倒 SRAM 單元中的能量，隨著 SRAM 縮小，這種情況更容易發(fā)生。

Wang 表示，糾錯(cuò)可能會(huì)成為一項(xiàng)常見(jiàn)要求，特別是對(duì)于汽車(chē)設(shè)備。

權(quán)衡

這導(dǎo)致設(shè)計(jì)方面發(fā)生很多變化。“每個(gè)人都試圖在芯片上使用更少的 SRAM?！盬ang 說(shuō)。設(shè)計(jì)人員采取的另一種方法是盡可能只使用單核存儲(chǔ)器。“在較舊的工藝節(jié)點(diǎn)中，當(dāng)我們編寫(xiě)寄存器文件時(shí)，使用雙核內(nèi)存的可能性要大得多，”他說(shuō)?！暗羞@些都增加了面積。因此，在較低的節(jié)點(diǎn)中，設(shè)計(jì)人員試圖讓所有東西都從內(nèi)存中的單個(gè)端口運(yùn)行，因?yàn)檫@些是可用的最小、最密集的全功率選項(xiàng)。他們不一定會(huì)放棄SRAM，但他們會(huì)盡可能地使用單核存儲(chǔ)器。他們?cè)噲D使用更小的內(nèi)存，并選擇SRAM作為可用帶寬，而不是真正的大存儲(chǔ)。大型存儲(chǔ)要么轉(zhuǎn)移到 DRAM，如果你能承受延遲，要么轉(zhuǎn)移到 HBM，如果你能負(fù)擔(dān)得起成本。

替代方法：新架構(gòu)

為了不斷提高 SRAM 的功耗性能，我們已經(jīng)評(píng)估和應(yīng)用了超出位單元設(shè)計(jì)的許多更新，包括 SRAM 外圍設(shè)計(jì)中的附加支持電路，Yun 表示。

“SRAM 和外圍設(shè)備不再共享電源。取而代之的是，采用雙電源軌來(lái)單獨(dú)利用最有效的電壓水平，”西門(mén)子的 Yun 說(shuō)道?！霸谀承┰O(shè)計(jì)中，SRAM 可以進(jìn)入休眠模式，施加保留數(shù)據(jù)所需的最低電壓，直到 CPU 下次訪問(wèn)數(shù)據(jù)。這帶來(lái)了顯著的功耗優(yōu)勢(shì)，因?yàn)槁╇娏髋c VDD 呈指數(shù)關(guān)系。一些 SRAM 設(shè)計(jì)采用了額外的電路來(lái)解決操作弱點(diǎn)，旨在提高最低工作電壓?！?/p>

例如，高密度 （HD） SRAM 單元可以通過(guò)對(duì) 6 個(gè)晶體管使用單鰭晶體管來(lái)實(shí)現(xiàn)最小的幾何形狀。然而，由于相同尺寸的上拉 （PU） 和通柵極 （PG） 晶體管在寫(xiě)入操作期間存在爭(zhēng)用問(wèn)題，HD 單元在低電壓操作中面臨挑戰(zhàn)。

“在SRAM輔助電路中，如負(fù)位線，瞬態(tài)電壓崩潰技術(shù)被廣泛采用，以緩解這些問(wèn)題并增強(qiáng)低電壓操作，”Yun說(shuō)?！盀榱藴p輕寄生電阻效應(yīng)，最新的位單元設(shè)計(jì)使用雙軌或三軌金屬線作為合并位線（BL）或字線（WL）。BL方法根據(jù)操作選擇性地連接金屬軌道，降低有效電阻并平衡陣列頂部和底部之間的放電率。在持續(xù)的開(kāi)發(fā)中，正在探索埋地電源軌以進(jìn)一步降低布線電阻。這涉及將所有電源軌放置在晶體管下方，從而緩解晶體管上方的信號(hào)路徑擁塞?！?/p>

其他存儲(chǔ)器、其他結(jié)構(gòu)

新的嵌入式存儲(chǔ)器類(lèi)型通常被提出作為 SRAM 的替代品，但每種類(lèi)型都有自己的一系列問(wèn)題?！爸饕母?jìng)爭(zhēng)者M(jìn)RAM和ReRAM僅占用一個(gè)晶體管面積，”Yun 說(shuō)?！半m然它比 SRAM 中的晶體管大，但它們的整體單元尺寸仍約為 SRAM 的三分之一，最終的宏觀尺寸目標(biāo)（包括外圍電路）約為 SRAM 尺寸的一半。有明顯的尺寸優(yōu)勢(shì)，但寫(xiě)入速度的表現(xiàn)仍然遠(yuǎn)慢于SRAM。實(shí)驗(yàn)室在寫(xiě)入速度和耐用性方面取得了一些成果，但在汽車(chē)用閃存替代 MRAM 生產(chǎn)之后，高速 MRAM 的開(kāi)發(fā)計(jì)劃已經(jīng)延長(zhǎng)。L3 緩存替換的尺寸優(yōu)勢(shì)當(dāng)然值得考慮，但 eflash 類(lèi)型 MRAM 的生產(chǎn)必須有一個(gè)提前的提升?！?/p>

如果物理學(xué)不允許使用更小的 SRAM，則替代方案將需要重新考慮架構(gòu)并采用小芯片?！叭绻?SRAM 無(wú)法在 N3 或 N2 中擴(kuò)展，那么可以將更先進(jìn)的邏輯芯片與采用舊技術(shù)制造的 SRAM 芯片結(jié)合起來(lái)，”imec 的 Hellings 說(shuō)?！斑@種方法將受益于邏輯 PPA 的改進(jìn)，同時(shí)為 SRAM 使用經(jīng)濟(jì)高效的（較舊的，可能更高的產(chǎn)量和更便宜的）技術(shù)節(jié)點(diǎn)。原則上，AMD 基于 V 緩存的系統(tǒng)可以進(jìn)行擴(kuò)展，僅將邏輯芯片移動(dòng)到下一個(gè)節(jié)點(diǎn)，然后需要使用 3D 集成或小芯片方法 (2.5D) 組合兩個(gè)芯片?！?/p>

Ambiq 首席技術(shù)官 Scott Hanson 指出，chiplet 解決方案非常適合正在進(jìn)行的集成革命?！?a href="http://www.brongaenegriffin.com/analog/" target="_blank">模擬電路很久以前就停止了縮放，出于功耗、性能和成本方面的原因，從 DRAM 到 SRAM 到 NVM 的所有類(lèi)型的存儲(chǔ)器都更喜歡在不同的節(jié)點(diǎn)上制造。邏輯芯片更喜歡在仍然滿足成本和泄漏要求的最小節(jié)點(diǎn)上制造。通過(guò)多芯片集成，可以將芯片組合到單個(gè)封裝中。許多人在移動(dòng)和數(shù)據(jù)中心領(lǐng)域都聽(tīng)說(shuō)過(guò)這一點(diǎn)，但它也在人工智能和物聯(lián)網(wǎng)領(lǐng)域迅速發(fā)生?！?/p>

在有限的情況下，系統(tǒng)技術(shù)協(xié)同優(yōu)化 (STCO) 也可以提供幫助?！皩?duì)于某些應(yīng)用，原則上不需要片上緩存，”Hellings 說(shuō)。“例如，在人工智能訓(xùn)練中，訓(xùn)練數(shù)據(jù)僅使用一次，而模型參數(shù)應(yīng)該可以在芯片上輕松訪問(wèn)。軟件和芯片架構(gòu)可以繞過(guò)緩存層次結(jié)構(gòu)，促進(jìn)這種一次性數(shù)據(jù)移動(dòng)，具有很大的潛力。”

所有這些都激發(fā)了人們對(duì)新布局和互連協(xié)議（例如 UCIe 和 CXL）的興趣。“當(dāng)你有更大的人工智能工作負(fù)載時(shí)，內(nèi)存會(huì)隨著計(jì)算而擴(kuò)展，但如果其中一個(gè)組件的擴(kuò)展速度比另一個(gè)組件快一點(diǎn)，根據(jù)系統(tǒng)的設(shè)計(jì)方式，你會(huì)遇到不同的瓶頸，”新思科技的戰(zhàn)略營(yíng)銷(xiāo)經(jīng)理 Ron Lowman 說(shuō)?！叭斯ぶ悄芄ぷ髫?fù)載大大增加了所需處理器陣列的數(shù)量。他們甚至突破了芯片掩模版尺寸的限制，因此現(xiàn)在您需要用于芯片到芯片系統(tǒng)的高速互連（例如 UCIe），這意味著多芯片系統(tǒng)不可避免地要處理人工智能工作負(fù)載?！?/p>

解決問(wèn)題的新堆棧

華邦電子通過(guò)其 CUBE 堆棧（定制超帶寬元素）重新思考了內(nèi)存架構(gòu)?！拔覀兪褂?DRAM 作為存儲(chǔ)單元，但也通過(guò)過(guò)孔進(jìn)行 3D 堆疊，”華邦 DRAM 營(yíng)銷(xiāo)經(jīng)理 Omar Ma 解釋道?！澳梢蕴峁牡撞炕逡恢钡?SoC 芯片的連接。它更具成本效益，因?yàn)?DRAM 不使用 SRAM 的六個(gè)晶體管?！?/p>

CUBE 可以提供足夠高的密度來(lái)替代 SRAM 直至 3 級(jí)緩存?！盀榱诉_(dá)到一定的帶寬要求，只有兩個(gè)選擇——提高時(shí)鐘速度或增加 I/O 數(shù)量，”O(jiān)mar Ma 解釋道。“使用 CUBE，您可以根據(jù)需要增加它們，同時(shí)減少時(shí)鐘。這在系統(tǒng)層面帶來(lái)了很多好處，包括減少對(duì)電力的需求?！?CUBE 目前處于原型階段，但預(yù)計(jì)將于 2024 年第四季度或 2025 年初投入生產(chǎn)。

結(jié)論

SRAM 被完全取代，這似乎不太可能，至少在短期內(nèi)是這樣?！皫啄昵?，英特爾演示了使用鐵電存儲(chǔ)器作為緩存，”O(jiān)bjective Analysis 總經(jīng)理吉姆·漢迪 (Jim Handy) 說(shuō)。“他們說(shuō)這是 DRAM，但說(shuō)實(shí)話，這是 FRAM。他們表示，優(yōu)勢(shì)在于他們能夠使用3D NAND技術(shù)使其變得非常緊密。換句話說(shuō)，他們展示了一個(gè)擁有大量?jī)?nèi)存的微小空間。其中一種類(lèi)型的研究工作（無(wú)論是像英特爾所展示的那樣還是 MRAM 等其他方法）很可能最終會(huì)取代 SRAM 的位置，但這可能不會(huì)很快發(fā)生?！?/p>

Handy 預(yù)計(jì)它會(huì)導(dǎo)致架構(gòu)和操作系統(tǒng)軟件發(fā)生變化。“你不太可能看到同一個(gè)處理器同時(shí)具有 SRAM 緩存和鐵電緩存，因?yàn)檐浖仨氝M(jìn)行一些更改才能利用這一點(diǎn)，”他說(shuō)?！按送?，緩存的結(jié)構(gòu)將略有不同。主緩存可能會(huì)稍微縮小，而輔助緩存可能會(huì)變得非常大。在某個(gè)時(shí)候，具有 SRAM 緩存的處理器將會(huì)問(wèn)世。下一代處理器將具有鐵電或 MRAM 緩存或類(lèi)似的東西，并對(duì)軟件進(jìn)行重大更改以使該配置更好地工作?！?/p>

審核編輯：劉清