作者：Arm 人工智能平臺(tái)和開發(fā)者平臺(tái)副總裁 Sharbani Roy

試想這樣的場(chǎng)景：專用的端側(cè)人工智能 (AI) 助手與語(yǔ)音交互無需連接云端即可運(yùn)行，且響應(yīng)延遲極低；聊天機(jī)器人能在用戶輸入時(shí)實(shí)時(shí)推薦回復(fù)內(nèi)容；游戲體驗(yàn)可根據(jù)玩家操作實(shí)時(shí)調(diào)整；可穿戴設(shè)備與物聯(lián)網(wǎng)設(shè)備中，更智能的常開式高能效傳感器能以低功耗實(shí)現(xiàn)強(qiáng)大的智能功能。

這類 AI 體驗(yàn)均可通過 ExecuTorch（Meta 針對(duì) PyTorch 打造的端側(cè)運(yùn)行時(shí)）與 Arm 共同助力開發(fā)者實(shí)現(xiàn)。二者結(jié)合能通過統(tǒng)一的 PyTorch 工作流帶來優(yōu)化的性能與更高效的開發(fā)流程，數(shù)十億基于 Arm 架構(gòu)的邊緣側(cè)設(shè)備上在該工作流上無縫運(yùn)行。近期，ExecuTorch 迎來重要里程碑 —— 發(fā)布正式版，該版本將“AI 無處不在”的愿景，轉(zhuǎn)化為可供數(shù)百萬開發(fā)者落地的規(guī)?；桨?。

ExecuTorch 1.0 正式版

賦能一套工作流，覆蓋數(shù)十億邊緣側(cè)設(shè)備

ExecuTorch 1.0 正式版徹底改變了開發(fā)者規(guī)?；涞?PyTorch 模型的方式。以往，開發(fā)者需要針對(duì)不同設(shè)備類型，單獨(dú)調(diào)整模型版本、管線或框架；如今，只需一套 PyTorch 工作流，開發(fā)者即可完成從模型創(chuàng)建、導(dǎo)出、優(yōu)化、量化到部署的端到端操作，且覆蓋移動(dòng)端、嵌入式與邊緣側(cè)設(shè)備，不僅大幅減少了開發(fā)碎片化問題，同時(shí)縮短了產(chǎn)品上市時(shí)間。

借助這套工具集，開發(fā)者可無縫部署應(yīng)用與工作負(fù)載，在從超高能效微控制器到旗艦智能手機(jī)等各類搭載 Arm CPU、GPU 和 Arm Ethos-U NPU 的邊緣側(cè)設(shè)備上，充分釋放更先進(jìn)、更快速的 AI 體驗(yàn)與特性。

助力 ExecuTorch 的 Arm 技術(shù)

Arm KleidiAI、CMSIS-NN 與張量算子集架構(gòu) (TOSA)通過在 ExecuTorch 中集成后端，共同構(gòu)建了統(tǒng)一的優(yōu)化框架。這意味著，當(dāng)應(yīng)用與工作負(fù)載面向基于 Arm 架構(gòu)的邊緣側(cè)設(shè)備時(shí)，開發(fā)者無需修改代碼或模型，即可自動(dòng)獲得性能與效率提升。

KleidiAI 可提供 Arm 內(nèi)核集成，為當(dāng)前及未來的 Arm CPU 平臺(tái)加速 AI 工作負(fù)載。目前，該技術(shù)已集成到多個(gè)框架和運(yùn)行時(shí)中，包括 ExecuTorch 使用的 XNNPACK 運(yùn)行時(shí)。同時(shí)，CMSIS-NN ExecuTorch 后端集成相當(dāng)于 Arm Cortex-M 系列微控制器的性能加速器，能為資源受限的邊緣側(cè)設(shè)備提供高效、直接集成的推理支持。

ExecuTorch 中的 TOSA 集成為在 Arm GPU 和 Ethos-U NPU 上運(yùn)行的邊緣 AI 與機(jī)器學(xué)習(xí) (ML) 工作負(fù)載，提供了統(tǒng)一的執(zhí)行接口。TOSA 可將模型轉(zhuǎn)換為獨(dú)立于硬件的標(biāo)準(zhǔn)化表示，既能確保在這些技術(shù)平臺(tái)上實(shí)現(xiàn)一致的部署、移植和驗(yàn)證，又能減少工程開發(fā)工作量。

ExecuTorch 1.0 正式版

為移動(dòng)端和邊緣 AI 市場(chǎng)帶來價(jià)值

移動(dòng)端領(lǐng)域

在移動(dòng)端領(lǐng)域，ExecuTorch 1.0 正式版可幫助開發(fā)者，在當(dāng)前數(shù)十億基于 Arm 架構(gòu)的智能手機(jī)及新一代移動(dòng)設(shè)備上，更快、更高效地部署更智能的端側(cè) AI 體驗(yàn)。

主要優(yōu)勢(shì)包括：

與安卓應(yīng)用工作流無縫集成，且從模型開發(fā)到端側(cè)部署均全面支持 PyTorch，大幅縮短產(chǎn)品上市時(shí)間。

借助 KleidiAI 優(yōu)化實(shí)現(xiàn)內(nèi)置性能提升，為文本生成、音頻生成、實(shí)時(shí)語(yǔ)音交互和虛擬助手等各類先進(jìn)端側(cè) AI 功能和體驗(yàn)，帶來更快的啟動(dòng)速度、更低的延遲以及更少的內(nèi)存占用。例如，Stable Audio Small 文本轉(zhuǎn)音頻模型在基于 Arm CPU 的端側(cè)運(yùn)行時(shí)，生成 11 秒音頻僅需 7 到 8 秒，而在啟用 SME2 的消費(fèi)電子設(shè)備上，生成時(shí)間可縮短至 4 秒以內(nèi)。

廣泛的 Arm 技術(shù)支持，確保 AI 模型可在當(dāng)前及未來的各類 Arm CPU 和 GPU 上運(yùn)行，具體包括：

Arm Cortex-A CPU 及新一代 Arm CPU（包括啟用 SME2 的 Arm C1 CPU），可通過 XNNPACK 中的 KleidiAI 集成實(shí)現(xiàn)支持。

當(dāng)前的 Arm Mali 和 Arm Immortalis GPU 可通過 Vulkan 路徑實(shí)現(xiàn)支持。

2026 年推出的搭載Arm 神經(jīng)技術(shù)的 Arm Mali GPU，可通過 Vulkan 和 VGF 后端實(shí)現(xiàn)支持，助力開發(fā)者在移動(dòng)設(shè)備上提升實(shí)時(shí) 4K 游戲的 AI 性能。

邊緣 AI 與高性能物聯(lián)網(wǎng)

Arm Ethos-U 處理器系列為物聯(lián)網(wǎng)市場(chǎng)的各類邊緣 AI 應(yīng)用提供出色的加速能力，是 ExecuTorch 1.0 正式版廣泛支持的關(guān)鍵生產(chǎn)后端。

這將帶來以下價(jià)值：

借助提前 (AoT) 編譯、運(yùn)行時(shí)支持，以及虛擬平臺(tái)的可用性，開發(fā)者可在基于 Ethos-U 的硬件上市前，提前開始構(gòu)建應(yīng)用與工作負(fù)載，從而縮短產(chǎn)品上市時(shí)間。例如，通過 Arm Corstone 子系統(tǒng)，開發(fā)者可先在固定虛擬平臺(tái) (FVP) 上模擬 Ethos-U 目標(biāo)設(shè)備，再遷移至 FPGA 原型，最終落地到基于 Corstone 構(gòu)建的芯片實(shí)現(xiàn)方案。

為開發(fā)者提供豐富的產(chǎn)品組合，包含 100 多個(gè)預(yù)先驗(yàn)證的 AI 模型[1]，涵蓋圖像分類、關(guān)鍵詞識(shí)別等場(chǎng)景。開發(fā)者可直接通過 ExecuTorch 在 Ethos-U NPU 上完成端到端部署。

通過 TOSA 標(biāo)準(zhǔn)提升可移植性，這意味著為一個(gè) Arm 平臺(tái)構(gòu)建的模型，可部署到多個(gè)平臺(tái)上。

集成 Arm Vela 編譯器簡(jiǎn)化模型編譯流程。該編譯器可為 Ethos-U NPU 優(yōu)化并分配 AI 工作負(fù)載，無需額外人工操作，即可自動(dòng)提升效率、降低延遲。

即便在功耗預(yù)算極其受限的場(chǎng)景下，也能實(shí)現(xiàn)高效的 AI 推理。這得益于強(qiáng)大的算子支持、量化工具，以及回退路徑（比如針對(duì)基于 Cortex-M 的微控制器的 CMSIS-NN 支持）。

[1] 多款模型可在https://docs.pytorch.org/vision/main/models.html 和https://docs.pytorch.org/audio/main/models.html 查看

此外，在高性能物聯(lián)網(wǎng)領(lǐng)域，KleidiAI 與主流 AI 框架的集成，還可提升 Arm CPU 上關(guān)鍵模型（包括 Meta Llama 3 和 Phi-3）的性能與效率。

開發(fā)者現(xiàn)可獲取

ExecuTorch 1.0 正式版的各項(xiàng)優(yōu)勢(shì)

開發(fā)者即日起就可體驗(yàn) ExecuTorch 1.0 正式版的各項(xiàng)優(yōu)勢(shì)。訪問 developer.arm.com，探索 ExecuTorch 的所有 Learning Path、查看相關(guān)文檔和教程，并將工作流集成到模型導(dǎo)出、編譯和部署管線中。此外，開發(fā)者還可在 PyTorch 頁(yè)面[2]查看 ExecuTorch 的更多詳細(xì)信息，以及獲取 XNNPACK、Ethos-U、VGF 和 Vulkan 設(shè)備的開發(fā)者文檔[3]。無論是面向移動(dòng)設(shè)備、PC、可穿戴設(shè)備還是邊緣傳感器開發(fā)，開發(fā)流程均統(tǒng)一且無縫。

[2] PyTorch 頁(yè)面：https://pytorch.org/projects/executorch/

[3] 開發(fā)者文檔：https://docs.pytorch.org/executorch/main/backends-arm-vgf.html

讓邊緣 AI 無處不在

惠及每一個(gè)人

ExecuTorch 1.0 正式版再次印證了 Arm 的愿景——讓 AI 在硬件生態(tài)系統(tǒng)的每一個(gè)層面，都能一致且無縫地運(yùn)行。依托 Arm 計(jì)算平臺(tái)的強(qiáng)大性能與廣泛的生態(tài)系統(tǒng)，ExecuTorch 1.0 不僅解鎖了規(guī)?；渴稹⒏咝阅鼙憩F(xiàn)與創(chuàng)新能力，將助力新一代邊緣 AI 體驗(yàn)無處不在，惠及每一個(gè)人。