數(shù)據(jù)中心生成式 AI 推理計(jì)算的先驅(qū) d-Matrix，以及高效率、低功耗 RISC-V 處理器核心的領(lǐng)先供應(yīng)商、RISC-V 國(guó)際協(xié)會(huì)的創(chuàng)始首席會(huì)員 Andes 晶心科技 (Andes Technology，TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)，今日共同宣布 d-Matrix 已選擇 AndesCore AX46MPV 作為其下一代 Raptor 推理架構(gòu)的處理器。本次合作代表著針對(duì)數(shù)據(jù)中心規(guī)模的 AI計(jì)算工作，以存儲(chǔ)為中心的計(jì)算 (memory-centric computing) 與開(kāi)放標(biāo)準(zhǔn)處理器創(chuàng)新技術(shù)的融合。

正在開(kāi)發(fā)中的 Raptor 加速器，將是首款采用 d-Matrix 革命性 3D 存內(nèi)計(jì)算 (3DIMC) 技術(shù)的芯片。3DIMC 是一種高效的小芯片 (chiplet-based) 方案，也是全球首個(gè)用于規(guī)?；?AI 推理的 3D DRAM 解決方案。它將計(jì)算單元和存儲(chǔ)單元堆疊在一起，能將數(shù)據(jù)移動(dòng)的能耗和延遲降低到1/10，從而解決了限制傳統(tǒng) AI 推理系統(tǒng)的存儲(chǔ)器瓶頸問(wèn)題。

Andes 晶心科技的 AX46MPV 既是調(diào)度引擎，也是向量計(jì)算引擎，負(fù)責(zé)管理 Raptor 高帶寬計(jì)算架構(gòu)中的工作負(fù)載分配、存儲(chǔ)器協(xié)調(diào)和運(yùn)行控制，同時(shí)還分擔(dān)了諸如激活函數(shù)等計(jì)算任務(wù)。

d-Matrix 創(chuàng)始人兼首席執(zhí)行官 Sid Sheth 表示：「Raptor 的創(chuàng)新設(shè)計(jì)，正在將推理效率和可擴(kuò)展性推向遠(yuǎn)超傳統(tǒng)架構(gòu)所能達(dá)到的水平。AX46MPV 的 RISC-V 架構(gòu)為我們的 3DIMC 方法提供了理想的 CPU，使我們能夠以前所未有的每瓦性能交付數(shù)據(jù)中心規(guī)模的推理?！?/p>

Andes 晶心科技董事長(zhǎng)兼首席執(zhí)行官 林志明 表示：「我們與 d-Matrix 的合作，展示了 RISC-V 如何賦能真正的數(shù)據(jù)中心級(jí)推理系統(tǒng)。通過(guò)將 d-Matrix 開(kāi)創(chuàng)性的 3D 存內(nèi)計(jì)算與Andes 晶心科技先進(jìn)的 RISC-V 向量 CPU 相結(jié)合，我們正在將下一代生成式 AI 推理變?yōu)楝F(xiàn)實(shí)?！?/p>

本次合作標(biāo)志著 RISC-V 進(jìn)軍大規(guī)模 AI 推理領(lǐng)域的又一個(gè)里程碑。它將Andes 晶心科技成熟的 CPU IP 和軟件生態(tài)系統(tǒng)，與 d-Matrix 創(chuàng)新的小芯片式 3DIMC 架構(gòu)完美結(jié)合。兩家公司正共同重新定義規(guī)模化生成式 AI 部署的每瓦性能和總擁有成本 (TCO)。

技術(shù)亮點(diǎn)

AX46MPV 是一款基于開(kāi)放標(biāo)準(zhǔn) RISC-V 指令集架構(gòu)的 64 位、支持 Linux 的多核 CPU IP。其亮點(diǎn)包括：

配備高達(dá) 2048 比特 (bit) 的向量處理單元 (RVV 1.0)，在歸約求和 (reduction sum) 方面具有顯著性能提升。

雙加載/存儲(chǔ)單元，可用于標(biāo)量/向量加載和存儲(chǔ)的任意組合。

高帶寬向量存儲(chǔ)器 (HVM)，能夠處理亂序 (out-of-order) 的數(shù)據(jù)返回。

支持多個(gè)未完成總線請(qǐng)求。

這些特性共同提供了數(shù)據(jù)中心級(jí)推理系統(tǒng)所需的性能余裕和軟件靈活性。針對(duì) Transformer 和大型語(yǔ)言模型工作負(fù)載的核心參考內(nèi)核(Reference kernels)顯示，相較于前代處理器 AX45MPV，性能提升高達(dá) 2.3 倍。

關(guān)于 d-Matrix

d-Matrix 正在開(kāi)創(chuàng) AI 推理的加速計(jì)算，突破延遲、成本和能耗的限制。其 Corsair 加速器、JetStream 網(wǎng)絡(luò)和 Aviator 軟件，為數(shù)據(jù)中心規(guī)模帶來(lái)了快速、可持續(xù)的 AI 推理。

關(guān)于Andes 晶心科技

Andes晶心科技股份有限公司于2005年成立于新竹科學(xué)園區(qū)，2017年于臺(tái)灣證交所上市 (TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)。Andes晶心是RISC-V國(guó)際協(xié)會(huì)的創(chuàng)始首席會(huì)員，也是第一家推出商用RISC-V向量處理器的主流CPU供貨商。為滿足當(dāng)今電子設(shè)備的嚴(yán)格要求， Andes晶心提供可配置性高的32/64位高效能CPU核，包含DSP、FPU、Vector、超純量(Superscalar)、亂序執(zhí)行(Out-of-Order)、多核及車(chē)用系列，可應(yīng)用于各式SoC與應(yīng)用場(chǎng)景。Andes晶心提供功能齊全的整合開(kāi)發(fā)環(huán)境和全面的軟/硬件解決方案，可幫助客戶在短時(shí)間內(nèi)創(chuàng)新其SoC設(shè)計(jì)。截至2024年底，Andes-Embedded SoC累計(jì)出貨量已超過(guò)170億顆。