試想這樣的場景：當(dāng)你正在發(fā)消息時，手機能在你輸入過程中實時翻譯文字，還能即時總結(jié)整段對話內(nèi)容；或是在拍照時，手機能在你按下快門之前，迅速解析復(fù)雜場景畫面，并自動對關(guān)鍵主體進(jìn)行聚焦。換言之，以往需要停頓處理的手機應(yīng)用，如今已能實時預(yù)判并滿足你的需求。

這種轉(zhuǎn)變正是對當(dāng)前世界的直接回應(yīng)：每一次點擊、每一次滑動、每一秒的關(guān)注都至關(guān)重要。現(xiàn)在的用戶希望應(yīng)用能夠快速思考、即時響應(yīng)，并妥善保護(hù)用戶的隱私信息。這些需求最終落到了開發(fā)者肩上，開發(fā)者因而承受著越來越大的壓力：不僅要讓應(yīng)用運行起來，更需要在設(shè)備端完整實現(xiàn)先進(jìn)的實時體驗，而無需依賴云端，同時還不能犧牲電池續(xù)航或減緩響應(yīng)。

令人欣慰的是，第二代 Arm 可伸縮矩陣擴展 (SME2)為全球數(shù)百萬移動端開發(fā)者帶來了端側(cè)人工智能 (AI) 加速的功能，有助于實現(xiàn)更迅捷、更智能的端側(cè)體驗。

隨時隨地高效加速

得益于 Arm KleidiAI 與主流框架（包括 Google LiteRT、PyTorchExecuTorch、ONNX Runtime和阿里巴巴 MNN）的深度集成，SME2 可實現(xiàn)自動啟用，將 AI 計算遷移至 Arm CPU 上 。當(dāng)今約 99% 的智能手機均運行于 Arm CPU 計算平臺之上。此舉不僅為開發(fā)者在處理其工作負(fù)載時提供了更大的靈活性，還能釋放 GPU 的帶寬資源。

由于 Arm CPU 能在安全且一致的架構(gòu)上處理混合計算管線，開發(fā)者無需為不同設(shè)備層級重新構(gòu)建方案。只需優(yōu)化一次，即可在整個生態(tài)系統(tǒng)中復(fù)用。SME2 通過為 Armv9 架構(gòu)添加專用矩陣處理指令，使 CPU 能夠處理支撐著當(dāng)今大語言模型和視覺模型的密集數(shù)學(xué)運算，同時顯著降低功耗與延遲。

由此打造出可在數(shù)十億臺移動設(shè)備上運行的更具吸引力、更智能、更直觀的應(yīng)用，并帶來切實可量化的提升表現(xiàn)，其中包括：

AI 響應(yīng)速度提升高達(dá) 5 倍；

語音工作負(fù)載延遲降低 4.7 倍；

音頻生成速度提升 2.8 倍；

在常見的移動端 AI 應(yīng)用場景中顯著節(jié)省電量。

得益于此，支付寶可支持在設(shè)備上即時生成旅行視頻，谷歌也能在其各類應(yīng)用中提供實時摘要與翻譯服務(wù)。

對用戶而言，應(yīng)用體驗變得更加迅捷、本地化且安全可信。對開發(fā)者而言，鑒于實時推理不再導(dǎo)致電量快速耗盡或手機過熱，他們能夠在相同的散熱與功耗限制下挖掘更多可能性。開發(fā)者還可無拘束地進(jìn)行創(chuàng)新實驗，靈活適配多代硬件，并在 CPU 上實現(xiàn)以前只有服務(wù)器端才能實現(xiàn)的 AI 性能。

一次構(gòu)建，隨處運行

每個開發(fā)者都深知碎片化帶來的挑戰(zhàn)，包括各異的芯片組、不同的性能特性，以及無休止的調(diào)優(yōu)工作。SME2 通過 CPU 實現(xiàn) AI 加速的標(biāo)準(zhǔn)化，為開發(fā)者提供了統(tǒng)一、可移植的移動端 AI 基礎(chǔ)。

基于 SME2 構(gòu)建的應(yīng)用在 iOS 和安卓系統(tǒng)上都能實現(xiàn)一致的性能表現(xiàn)，從 vivo X300 系列和 OPPO Find X9 系列等旗艦手機，到搭載 Arm CPU 的中端和入門款智能手機，都能流暢運行。無論是要為創(chuàng)意類應(yīng)用優(yōu)化視覺模型，還是面向全球市場部署語音助手，代碼的運行效果都可精準(zhǔn)預(yù)判。這不僅簡化了測試流程，減少了性能倒退問題，還能加快產(chǎn)品上市進(jìn)程。

隨著 Arm 架構(gòu)的持續(xù)演進(jìn)，KleidiAI 會自動實現(xiàn)性能提升，無需開發(fā)者重構(gòu)代碼 —— 這正是打造一個能與開發(fā)者共同成長的平臺的價值所在。開發(fā)者只需更新其框架、啟用 SME2，就能直觀感受到應(yīng)用運行速度的大幅提升。

端側(cè)智能的下一個前沿領(lǐng)域

歸根結(jié)底，端側(cè) AI 的核心并非為設(shè)備堆砌更多智能功能，而是讓智能更貼近用戶的日常應(yīng)用場景。與此同時，用戶不愿等待技術(shù)追趕需求，開發(fā)者也無需等待。借助 SME2 和 KleidiAI，開發(fā)者將能夠彌合這一差距，將 CPU 變成現(xiàn)成可用的 AI 引擎，實時響應(yīng)用戶的每一次點擊與交互。

因此，作為開發(fā)者的你，如果要打造新一代卓越的移動端體驗，不妨聚焦于最重要的層面，從核心入手。更新你的框架，啟用 SME2，然后見證當(dāng)智能響應(yīng)跟上用戶操作速度時，你的應(yīng)用力所能及的表現(xiàn)也將達(dá)到新高度。

* 本文為 Arm 原創(chuàng)文章，轉(zhuǎn)載請留言聯(lián)系獲得授權(quán)并注明出處。