如今，人工智能 （AI） 無(wú)處不在，從互聯(lián)網(wǎng)核心的數(shù)據(jù)中心到互聯(lián)網(wǎng)邊緣的傳感器和手持設(shè)備（如智能手機(jī)）以及介于兩者之間的每個(gè)點(diǎn)，例如自主機(jī)器人和車輛。?

人工智能有兩個(gè)主要方面：訓(xùn)練，主要在數(shù)據(jù)中心進(jìn)行，以及推理，可以在從云到最不起眼的人工智能傳感器的任何地方進(jìn)行。

人工智能貪婪地消耗了兩樣?xùn)|西：計(jì)算處理能力和數(shù)據(jù)。在處理能力方面，ChatGPT 的創(chuàng)建者 OpenAI 發(fā)布了報(bào)告，顯示自 2012 年以來(lái)，大型 AI 訓(xùn)練運(yùn)行中使用的計(jì)算量每 3.4 個(gè)月翻一番，而且沒(méi)有放緩的跡象。

在內(nèi)存方面，像 ChatGPT-4 這樣的大型生成式 AI （GenAI） 模型可能有超過(guò)一萬(wàn)億個(gè)參數(shù)，所有這些參數(shù)都需要以一種允許同時(shí)處理大量請(qǐng)求的方式訪問(wèn)。此外，還需要考慮需要流式傳輸和處理的大量數(shù)據(jù)。

速度慢的方案

假設(shè)我們正在設(shè)計(jì)一個(gè)包含一個(gè)或多個(gè)處理器內(nèi)核的片上系統(tǒng) （SoC） 設(shè)備。我們將在設(shè)備內(nèi)部包含相對(duì)少量的內(nèi)存，而大部分內(nèi)存將駐留在 SoC 外部的設(shè)備中。

最快的存儲(chǔ)器類型是SRAM，但每個(gè)SRAM單元需要六個(gè)晶體管，因此SRAM在SoC內(nèi)部很少使用，因?yàn)樗鼤?huì)消耗大量的空間和功率。相比之下，DRAM每個(gè)單元只需要一個(gè)晶體管和電容器，這意味著它消耗的空間和功率要少得多。因此，DRAM 用于在 SoC 外部創(chuàng)建大容量存儲(chǔ)設(shè)備。盡管DRAM提供高容量，但它比SRAM慢得多。

隨著用于開(kāi)發(fā)集成電路的工藝技術(shù)不斷發(fā)展，結(jié)構(gòu)越來(lái)越小，大多數(shù)設(shè)備變得越來(lái)越快?？杀氖?，作為DRAM核心的晶體管-電容器位單元并非如此。事實(shí)上，由于其模擬性質(zhì)，比特單元的速度幾十年來(lái)基本保持不變。

話雖如此，從外部接口可以看出，DRAM的速度隨著每一代產(chǎn)品的發(fā)展而翻了一番。由于每次內(nèi)部訪問(wèn)都相對(duì)較慢，因此實(shí)現(xiàn)此目的的方式是在設(shè)備內(nèi)部執(zhí)行一系列burst訪問(wèn)。如果我們假設(shè)我們正在讀取一系列連續(xù)的數(shù)據(jù)單詞，那么接收第一個(gè)單詞將需要相對(duì)較長(zhǎng)的時(shí)間，但我們會(huì)更快地看到任何后續(xù)單詞。

如果我們希望流式傳輸大塊連續(xù)數(shù)據(jù)，這很有效，因?yàn)槲覀冊(cè)趥鬏旈_(kāi)始時(shí)會(huì)受到一次性點(diǎn)擊，之后后續(xù)訪問(wèn)會(huì)高速進(jìn)行。但是，如果我們希望對(duì)較小的數(shù)據(jù)塊執(zhí)行多次訪問(wèn)，則會(huì)出現(xiàn)問(wèn)題。?

速度更快的方案

解決方案是使用高速SRAM在處理設(shè)備內(nèi)部創(chuàng)建本地cache存儲(chǔ)。當(dāng)處理器首次從 DRAM 請(qǐng)求數(shù)據(jù)時(shí)，該數(shù)據(jù)的副本將存儲(chǔ)在處理器的cache中。如果處理器隨后希望重新訪問(wèn)相同的數(shù)據(jù)，它將使用其本地副本，該副本的訪問(wèn)速度要快得多。

在 SoC 內(nèi)部使用多級(jí)cache是很常見(jiàn)的。這些稱為 1 級(jí) （L1）、2 級(jí) （L2） 和 3 級(jí) （L3）。第一個(gè)cache級(jí)別具有最小的容量，但訪問(wèn)速度最高，每個(gè)后續(xù)級(jí)別的容量更高，訪問(wèn)速度更低。如圖 1?所示，假設(shè)系統(tǒng)時(shí)鐘為 1GHz，DDR4 DRAM，處理器訪問(wèn)其 L1 cache僅需 1.8 ns，訪問(wèn) L2 cache只需 6.4 ns，訪問(wèn) L3 cache只需 26 ns。從外部 DRAM 訪問(wèn)一系列數(shù)據(jù)字中的第一個(gè)需要高達(dá) 70 ns。

圖1??cache和 DRAM ?訪問(wèn)?速度??????????

cache在 AI 中的作用

AI 的實(shí)現(xiàn)和部署方案種類繁多。就我們的 SoC 而言，一種可能性是創(chuàng)建一個(gè)或多個(gè) AI 加速器 IP，每個(gè) IP 都包含自己的內(nèi)部cache。假設(shè)我們希望與 SoC 處理器集群保持cache coherence，我們可以將其視為保持?jǐn)?shù)據(jù)的所有副本相同。然后，我們將不得不使用coherent interconnect形式的硬件cache coherence解決方案，例如 AMBA 規(guī)范中定義的 CHI。

圖2 cache示例。

維護(hù)cache一致性會(huì)產(chǎn)生開(kāi)銷。在許多情況下，AI 加速器不需要保持cache一致性，達(dá)到與處理器集群相同的程度。例如，可能只有在加速器處理了大量數(shù)據(jù)后，才需要重新同步，這可以在軟件控制下實(shí)現(xiàn)。AI 加速器可以采用更小、更快的互連解決方案（圖 2b）。

在許多情況下，加速器 IP 的開(kāi)發(fā)人員在其實(shí)現(xiàn)中不包括cache。有時(shí)，在性能評(píng)估開(kāi)始之前，沒(méi)有認(rèn)識(shí)到對(duì)cache的需求。一種解決方案是在 AI 加速器和互連之間加入一個(gè)特殊的cache IP，以提供 IP 級(jí)性能提升（圖 2c）。另一種可能性是將cache IP 用作最后一級(jí)cache，以提供 SoC 級(jí)性能提升（圖 2d）。

cache設(shè)計(jì)并不容易，但設(shè)計(jì)人員可以使用可配置的現(xiàn)成解決方案。

許多 SoC 設(shè)計(jì)人員傾向于只在處理器和處理器集群的上下文中考慮cache。但是，cache的優(yōu)勢(shì)同樣適用于許多其他復(fù)雜 IP，包括 AI 加速器。因此，以 AI 為中心的 SoC 的開(kāi)發(fā)人員越來(lái)越多地評(píng)估和部署各種支持cache的 AI 場(chǎng)景。

?審核編輯：黃飛

?