從按下快門(mén)前就對(duì)照片進(jìn)行即時(shí)銳化，到通話過(guò)程中實(shí)時(shí)消除背景噪音，再到離線狀態(tài)下與人工智能 (AI) 助手互動(dòng)，端側(cè) AI 正在重塑移動(dòng)體驗(yàn)。而 Arm 計(jì)算平臺(tái)正是實(shí)現(xiàn)這些無(wú)縫交互體驗(yàn)的強(qiáng)勁驅(qū)動(dòng)力。

隨著 AI 工作負(fù)載變得日益復(fù)雜且廣泛滲透至各個(gè)領(lǐng)域，移動(dòng)開(kāi)發(fā)者面臨的需求也與日俱增：他們需要在內(nèi)存、電力和熱預(yù)算等嚴(yán)格且多樣化的限制下，實(shí)現(xiàn)實(shí)時(shí)且高效的性能表現(xiàn)，同時(shí)確保不會(huì)給應(yīng)用及其工作負(fù)載增加額外的復(fù)雜性。

為了應(yīng)對(duì)這些挑戰(zhàn)，Arm 推出了可伸縮矩陣擴(kuò)展 2 (SME2) 技術(shù)，以直接在移動(dòng) CPU 上加速高強(qiáng)度的矩陣計(jì)算工作負(fù)載——這些工作負(fù)載對(duì)計(jì)算機(jī)視覺(jué)和生成式 AI 應(yīng)用至關(guān)重要。SME2 是 Armv9 架構(gòu)中的一組高級(jí) CPU 指令，它基于 SME 升級(jí)、能夠在 AI 異構(gòu)計(jì)算框架下，高效支持圖像處理、自然語(yǔ)言處理、語(yǔ)音生成等實(shí)時(shí)移動(dòng)端推理任務(wù)。

開(kāi)發(fā)者如何獲取 SME2 的優(yōu)勢(shì)

移動(dòng)開(kāi)發(fā)者無(wú)需改動(dòng)現(xiàn)有代碼、模型或應(yīng)用程序，即可直接獲取 SME2 帶來(lái)的性能提升。這得益于 Arm 的軟件加速層——Arm KleidiAI，它能夠無(wú)縫集成到主流運(yùn)行時(shí)庫(kù)和 AI 框架中，為開(kāi)發(fā)者提供開(kāi)箱即用的性能體驗(yàn)。

得益于 KleidiAI 深入且廣泛的集成，SME2 已在 Google 專(zhuān)為安卓系統(tǒng)優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理庫(kù) XNNPACK 中實(shí)現(xiàn)支持。此外，SME2 也被集成至多個(gè)框架中，包括阿里巴巴 MNN、Google LiteRT 和MediaPipe、微軟 ONNX Runtime，以及 llama.cpp。這些集成意味著 SME2 已深度嵌入到軟件棧中。當(dāng)設(shè)備支持并啟用 SME2 時(shí)，XNNPACK 會(huì)自動(dòng)通過(guò) KleidiAI 將矩陣計(jì)算密集型任務(wù)路由至 SME2，從而讓開(kāi)發(fā)者在無(wú)需改動(dòng)任何應(yīng)用邏輯或基礎(chǔ)架構(gòu)的情況下，直接實(shí)現(xiàn)性能提升。

與此同時(shí)，KleidiAI 不僅著眼于當(dāng)下的性能加速，更是為滿(mǎn)足未來(lái)需求而設(shè)計(jì)。隨著 Arm 不斷推出新特性與架構(gòu)升級(jí)，KleidiAI 將持續(xù)為所支持的 AI 框架和運(yùn)行時(shí)庫(kù)帶來(lái)自動(dòng)的性能提升，而無(wú)需開(kāi)發(fā)者投入額外精力。

大規(guī)模 AI 性能與能效優(yōu)化

搭載 SME2 增強(qiáng)硬件的安卓新機(jī)即將上市，開(kāi)發(fā)者可率先通過(guò)硬件加速解鎖 AI 性能躍升。與此同時(shí)，SME2 已支持最新的 iOS 設(shè)備[1]，只要應(yīng)用中使用了集成 SME2 的 AI 框架，便可自動(dòng)享受這些性能提升。

在搭載 SME2 增強(qiáng)硬件的設(shè)備上運(yùn)行 Google Gemma 3 模型時(shí)，其聊天交互中的 AI 響應(yīng)速度比未啟用 SME2 的同款設(shè)備快六倍。此外，僅用單個(gè) CPU 核心，Gemma 3 便可在不到一秒的時(shí)間內(nèi)啟動(dòng)多達(dá) 800 字的文本摘要任務(wù)。目前，一家領(lǐng)先的獨(dú)立軟件供應(yīng)商 (ISV) 已承諾將其應(yīng)用中的大部分詞元 (token) 生成工作負(fù)載從云端遷移到移動(dòng)端，這在一定程度上得益于端側(cè) AI 能力的持續(xù)突破。

“

Google 安卓杰出軟件工程師 Iliyan Malchev 表示：借助 SME2 增強(qiáng)的硬件，更先進(jìn)的 AI 模型（如 Gemma 3）能夠直接在各類(lèi)設(shè)備上運(yùn)行。隨著 SME2 的持續(xù)擴(kuò)展，移動(dòng)開(kāi)發(fā)者能夠在不同生態(tài)系統(tǒng)中無(wú)縫部署下一代 AI 功能，從而為終端用戶(hù)帶來(lái)低延遲、廣泛可用的智能手機(jī)體驗(yàn)。

”

除了性能的提升，SME2 還為 Arm 生態(tài)系統(tǒng)（如 iOS 與安卓）提供了可移植的解決方案。目前，已有 900 萬(wàn)款應(yīng)用在 Arm 計(jì)算平臺(tái)上運(yùn)行，超過(guò) 2,200 萬(wàn)名軟件開(kāi)發(fā)者基于 Arm 平臺(tái)構(gòu)建他們的應(yīng)用和工作負(fù)載。

助力開(kāi)發(fā)者構(gòu)建 AI 的未來(lái)

對(duì)安卓開(kāi)發(fā)者而言，他們只要將應(yīng)用構(gòu)建在集成了 KleidiAI 的 AI 框架和運(yùn)行時(shí)庫(kù)之上，就能自動(dòng)獲得 SME2 帶來(lái)的性能提升，并可在各類(lèi)設(shè)備上無(wú)縫部署下一代 AI 功能。

開(kāi)發(fā)者若提前布局，即可確保其應(yīng)用在 SME2 增強(qiáng)硬件推向市場(chǎng)時(shí)實(shí)現(xiàn)優(yōu)化，無(wú)需改動(dòng)任何一行代碼，便可為用戶(hù)帶來(lái)更快的性能、更低的延遲以及更高的能效。

此外，Arm 還發(fā)布了開(kāi)發(fā)者啟動(dòng)平臺(tái)，幫助移動(dòng)開(kāi)發(fā)者充分利用 SME2 的技術(shù)優(yōu)勢(shì)，通過(guò)豐富案例展示如何針對(duì) KleidiAI 增強(qiáng)框架進(jìn)行開(kāi)發(fā)，從而默認(rèn)激活硬件層面的最新加速能力。

作者：Arm 人工智能平臺(tái)和開(kāi)發(fā)者平臺(tái)與服務(wù)高級(jí)副總裁 Alex Spinelli