電子發(fā)燒友網(wǎng)報道（文/黃晶晶）近幾年，生成式AI引領行業(yè)變革，AI訓練率先崛起，帶動高帶寬內(nèi)存HBM一飛沖天。但我們知道AI推理的廣泛應用才能推動AI普惠大眾。在AI推理方面，業(yè)內(nèi)巨頭、初創(chuàng)公司等都看到了其前景并提前布局。AI推理也使得存儲HBM不再是唯一熱門，更多存儲芯片與AI推理芯片結合，擁有了市場機會。

已經(jīng)有不少AI推理芯片、存算一體芯片將SRAM替代DRAM，從而獲得更快的訪問速度、更低的刷新延遲等。

靜態(tài)隨機存取存儲器（Static Random-Access Memory，SRAM）是隨機存取存儲器的一種。這種存儲器只要保持通電，里面儲存的數(shù)據(jù)就可以恒常保持。相對之下，動態(tài)隨機存取存儲器（DRAM）里面所儲存的數(shù)據(jù)就需要周期性地更新。但當電力供應停止時，SRAM儲存的數(shù)據(jù)還是會消失，這與在斷電后還能儲存資料的ROM或閃存不同。

SRAM具有較高的性能，但SRAM的集成度較低，功耗較DRAM大，SRAM需要很大的面積。同樣面積的硅片可以做出更大容量的DRAM，因此SRAM顯得更貴。SRAM可作為置于CPU與主存間的高速緩存，不需要定期刷新，響應速度非常快，可用于CPU的一級緩沖、二級緩沖。

GroqLPU近存計算

在AI推理大潮下，Groq公司開發(fā)的語言處理單元（Language Processing Unit，即LPU），以其獨特的架構，帶來了極高的推理性能的表現(xiàn)。

Groq的芯片采用14nm制程，搭載了230MB SRAM以保證內(nèi)存帶寬，片上內(nèi)存帶寬達80TB/s。
SRAM 的訪問速度比 DRAM 快得多，這使得它在某些計算密集型應用中表現(xiàn)得非常出色。Groq LPU 芯片采用大容量 SRAM內(nèi)存有助于提高機器學習和人工智能等計算密集型工作負載的效率。

Groq成立于 2016 年，總部位于美國加利福尼亞州山景城，是一家 AI 推理芯片廠商。該公司核心團隊來源于谷歌最初的張量處理單元（TPU）工程團隊。Groq 創(chuàng)始人兼CEO Jonathan Ross是谷歌TPU項目的核心研發(fā)人員。

2024年8月，Groq 在最新一輪融資中籌集了 6.4 億美元，由 BlackRock Inc. 基金領投，并得到了思科和三星投資部門的支持。

2024 年 12 月Groq在沙特阿拉伯達曼構建了中東地區(qū)最大的推理集群，該集群包括了 19000 個Groq LPU，并在 8 天內(nèi)上線。

今年2月，Groq成功從沙特阿拉伯籌集 15 億美元融資，用于擴展其位于沙特阿拉伯的 AI 基礎設施。

AxeleraAIPU芯片：內(nèi)存計算+RISC-V架構

Axelera公司介紹，內(nèi)存計算是一種完全不同的數(shù)據(jù)處理方法，在這種方法中，存儲器設備的橫桿陣列可以用來存儲矩陣，并在沒有中間數(shù)據(jù)移動的情況下“就地”執(zhí)行矩陣向量乘法。專有的數(shù)字內(nèi)存計算(D-IMC)技術是實現(xiàn)高能效和卓越性能的關鍵。基于SRAM(靜態(tài)隨機訪問存儲器)和數(shù)字計算相結合，每個存儲單元有效地成為一個計算單元。這從根本上增加了每個計算機周期的操作數(shù)(每個存儲單元每個周期一次乘法和一次累加)，而不受噪音或較低精度等問題的影響。

Axelera的AIPU芯片采用了創(chuàng)新的內(nèi)存計算技術。與傳統(tǒng)的磁盤存儲相比，內(nèi)存計算將數(shù)據(jù)存儲在主內(nèi)存（RAM）中，從而加快了數(shù)據(jù)處理速度。這一技術使得Axelera的芯片在提供高計算性能的同時，能以更低的成本和能耗來進行邊緣AI計算。該芯片還采用了開源的RISC-V指令集架構（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應用需求進行定制。它為Axelera提供了極大的設計自由度和創(chuàng)新空間。

去年，Axelera獲得了來自三星電子風險投資部門三星Catalyst的大力支持，成功籌集了6800萬美元，至此Axelera的總?cè)谫Y額已達到1.2億美元。新投資者包括三星基金、歐洲創(chuàng)新委員會基金、創(chuàng)新產(chǎn)業(yè)戰(zhàn)略伙伴關系基金和Invest-NL。

EnCharge AI：模擬存內(nèi)計算

AI 芯片初創(chuàng)公司 EnCharge AI表示，已開發(fā)出一種用于 AI 推理的新型內(nèi)存計算架構，EnCharge AI的核心技術是基于模擬存內(nèi)計算的AI芯片。這種創(chuàng)新的芯片設計采用"基于電荷的存儲器"，通過讀取存儲平面上的電流而非單個比特單元來處理數(shù)據(jù)，使用更精確的電容器替代了傳統(tǒng)的半導體。

與GPU等數(shù)字加速器相比，每瓦性能提高了 20 倍。EnCharge AI的推理芯片僅需一瓦的功率就能以8位元精度提供150 TOPS的AI運算。

EnCharge AI源自普林斯頓大學，該公司創(chuàng)始人兼CEO Naveen Verma的相關研究項目涉及到內(nèi)存計算。用于機器學習計算的內(nèi)存計算采用在RAM中運行計算的方式，以減少存儲設備帶來的延遲。

今年初，EnCharge AI完成超額認購的1億美元b輪融資。此輪超額認購融資使EnCharge AI的總?cè)谫Y額超過1.44億美元，將推動其首款以客戶端運算為主的AI加速器產(chǎn)品，并在2025年實現(xiàn)商業(yè)化。

d-Matrix：數(shù)字內(nèi)存計算DIMC架構

d-Matrix采用數(shù)字內(nèi)存計算（DIMC）的引擎架構將計算移動到RAM（內(nèi)存）附近，該數(shù)字存算一體技術將存儲器與計算單元中的乘法累加器（MAC）進行了合并，獲得了更大的計算帶寬和效率，降低延遲，減少能耗。首批采用d-Matrix的DIMC架構的產(chǎn)品Jayhawk II處理器，包含約165億晶體管的Chiplet。每個Jayhawk II Chiplet都包含一個RISC-V核心對Chiplet進行管理，每個核心有八個并行操作的DIMC單元。

去年底d-Matrix首款人工智能芯片Corsair開始出貨。每張Corsair卡由多個DIMC計算核心驅(qū)動，具有2400 TFLOP的8位峰值計算能力、2GBSRAM和高達256GB的LPDDR6。

d-Matrix公司是一家位于加利福尼亞州圣克拉拉市的初創(chuàng)公司，專注于人工智能芯片的研發(fā)。該公司的主要產(chǎn)品是針對數(shù)據(jù)中心和云計算中的AI服務器設計的芯片，旨在優(yōu)化人工智能推理工作負載。d-Matrix公司已經(jīng)獲得了多家知名投資機構的支持，包括微軟風險投資部門、新加坡投資公司淡馬錫、Palo Alto Networks等，D-Matrix曾在2022年4月獲得了4400萬美元融資，由 M12 和韓國半導體制造商 SK 海力士公司領投。累計融資超過1.6億美元。

雖然說SRAM的擁有成本比較高，但其在AI推理運算中能夠減少數(shù)據(jù)來回傳輸?shù)难舆t，避免拖慢整個AI處理的速度。在AI推理的浪潮下，SRAM將發(fā)揮更大的作用。還有哪些存儲芯片因AI推理而贏得機會，我們將持續(xù)關注報道。