作者：Arm 戰(zhàn)略與生態(tài)部人工智能和開發(fā)者平臺(tái)與服務(wù)高級(jí)副總裁 Alex Spinelli

通過 Arm 計(jì)算平臺(tái)與 ExecuTorch 框架的結(jié)合，使得更小、更優(yōu)化的模型能夠在邊緣側(cè)運(yùn)行，加速邊緣側(cè)生成式 AI 的實(shí)現(xiàn)。

新的 Llama 量化模型適用于基于 Arm 平臺(tái)的端側(cè)和邊緣側(cè) AI 應(yīng)用，可減少內(nèi)存占用，提高精度、性能和可移植性。

全球 2,000 萬名 Arm 開發(fā)者能夠更迅速地在數(shù)十億臺(tái)邊緣側(cè)設(shè)備上大規(guī)模開發(fā)和部署更多的智能 AI 應(yīng)用。

Arm 正在與 Meta 公司的 PyTorch 團(tuán)隊(duì)攜手合作，共同推進(jìn)新的 ExecuTorch 測試版 (Beta) 上線，旨在為全球數(shù)十億邊緣側(cè)設(shè)備和數(shù)百萬開發(fā)者提供人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 功能，進(jìn)而確保 AI 真正的潛力能被最廣泛的設(shè)備和開發(fā)者所使用。

借助 ExecuTorch 和新的 Llama 量化模型，Arm 計(jì)算平臺(tái)優(yōu)化生成式 AI 性能

Arm 計(jì)算平臺(tái)無處不在，為全球眾多邊緣側(cè)設(shè)備提供支持，而 ExecuTorch 則是專為移動(dòng)和邊緣側(cè)設(shè)備部署 AI 模型而設(shè)計(jì)的 PyTorch 原生部署框架。兩者的緊密合作，使開發(fā)者能夠賦能更小、更優(yōu)化的模型，包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少內(nèi)存占用、提高準(zhǔn)確性、增強(qiáng)性能和提供可移植性，成為小型設(shè)備上的生成式 AI 應(yīng)用的理想選擇，如虛擬聊天機(jī)器人、文本摘要和 AI 助手。

開發(fā)者無需額外的修改或優(yōu)化，便可將新的量化模型無縫集成到應(yīng)用中，從而節(jié)省時(shí)間和資源。如此一來，他們能夠迅速在廣泛的 Arm 設(shè)備上大規(guī)模開發(fā)和部署更多的智能 AI 應(yīng)用。

隨著 Llama 3.2 大語言模型 (LLM) 新版本的發(fā)布，Arm 正在通過 ExecuTorch 框架優(yōu)化 AI 性能，使得在 Arm 計(jì)算平臺(tái)邊緣設(shè)備運(yùn)行的真實(shí)生成式 AI 工作負(fù)載能更為快速。在 ExecuTorch 測試版發(fā)布的首日起，開發(fā)者便能享有這些性能的提升。

集成 KleidiAI，加速端側(cè)生成式 AI 的實(shí)現(xiàn)

在移動(dòng)領(lǐng)域，Arm 與 ExecuTorch 的合作意味著眾多生成式 AI 應(yīng)用，如虛擬聊天機(jī)器人、文本生成和摘要、實(shí)時(shí)語音和虛擬助手等，完全能夠在搭載 Arm CPU 的設(shè)備上以更高的性能運(yùn)行。這一成果得益于 KleidiAI，它引入了針對 4 位量化優(yōu)化的微內(nèi)核，并通過 XNNPACK 集成到了 ExecuTorch 中，因此，在 Arm 計(jì)算平臺(tái)上運(yùn)行 4 位量化的 LLM 時(shí)，無縫加速 AI 工作負(fù)載的執(zhí)行。例如，通過 KleidiAI 的集成，Llama 3.2 1B 量化模型預(yù)填充階段的執(zhí)行速度可以提高 20%，使得一些基于 Arm 架構(gòu)的移動(dòng)設(shè)備上的文本生成速度超過了每秒 400 個(gè)詞元 (token)。這意味著，終端用戶將從他們移動(dòng)設(shè)備上獲得更快速、響應(yīng)更靈敏的 AI 體驗(yàn)。

為物聯(lián)網(wǎng)的邊緣側(cè) AI 應(yīng)用加速實(shí)時(shí)處理能力

在物聯(lián)網(wǎng)領(lǐng)域，ExecuTorch 將提高邊緣側(cè) AI 應(yīng)用的實(shí)時(shí)處理能力，包括智能家電、可穿戴設(shè)備以及自動(dòng)零售系統(tǒng)等。這意味著物聯(lián)網(wǎng)設(shè)備和應(yīng)用能夠以毫秒級(jí)的速度響應(yīng)環(huán)境變化，這對保障安全性和功能可用性至關(guān)重要。

ExecuTorch 可在 Arm Cortex-A CPU 和 Ethos-U NPU 上運(yùn)行，以加速邊緣側(cè) AI 應(yīng)用的開發(fā)和部署。事實(shí)上，通過將 ExecuTorch 與 Arm Corstone-320 參考平臺(tái)（也可作為仿真固定虛擬平臺(tái) (FVP) 使用）、Arm Ethos-U85 NPU 驅(qū)動(dòng)程序和編譯器支持集成到一個(gè)軟件包中，開發(fā)者可在平臺(tái)上市前幾個(gè)月就著手開發(fā)邊緣側(cè) AI 應(yīng)用。

更易獲取、更快捷的邊緣側(cè) AI 開發(fā)體驗(yàn)

ExecuTorch 有潛力成為全球最受歡迎的高效 AI 和 ML 開發(fā)框架之一。通過將應(yīng)用最廣泛的 Arm 計(jì)算平臺(tái)與 ExecuTorch 相結(jié)合，Arm 正在通過新的量化模型加速 AI 的普及，讓開發(fā)者能夠更快地在更多設(shè)備上部署應(yīng)用，并將更多生成式 AI 體驗(yàn)引入邊緣側(cè)。