作者：Arm 工程部應(yīng)用機器學(xué)習(xí)總監(jiān) Robert Elliott、Arm 工程部首席工程師 Fredrik Knutsson、Arm 物聯(lián)網(wǎng)事業(yè)部技術(shù)管理總監(jiān) Mark Quartermain

在快速發(fā)展的機器學(xué)習(xí)領(lǐng)域，PyTorch 憑借其靈活性和全面的生態(tài)系統(tǒng)，已成為模型開發(fā)的熱門框架。Arm 與 Meta 合作在 ExecuTorch 中引入了對 Arm 平臺的支持，進一步簡化了模型算法開發(fā)過程，實現(xiàn)無縫在邊緣側(cè)設(shè)備上部署 PyTorch 模型。

ExecuTorch 對 Ethos-U85 的支持

高性能的 Arm Ethos-U85 NPU 可滿足在邊緣側(cè)日益增長的運行先進人工智能 (AI) 推理工作負(fù)載的需求，包括諸如大語言模型等基于 Transformer 的網(wǎng)絡(luò)。Arm 針對 Ethos-U 提供參考設(shè)計，如 Arm Corstone-320 物聯(lián)網(wǎng)參考設(shè)計平臺，以加速和簡化芯片開發(fā)周期。參考設(shè)計平臺中包含固定虛擬平臺 (FVP) 等許多項目，F(xiàn)VP 可仿真整個系統(tǒng)，為 Ethos-U85 平臺上進行前沿的嵌入式軟件開發(fā)和神經(jīng)網(wǎng)絡(luò)部署提供支持。

Arm 通過在 Ethos-U85 上支持 ExecuTorch 測試版，為開發(fā)者構(gòu)建物聯(lián)網(wǎng)邊緣側(cè)應(yīng)用提供了更多支持。開發(fā)者可以借助 ExecuTorch，高效地部署原生開發(fā)的 PyTorch 模型，基于 Arm 平臺構(gòu)建出智能且響應(yīng)迅速的物聯(lián)網(wǎng)解決方案。

隨著該軟件包的推出，想要創(chuàng)建邊緣側(cè) AI 應(yīng)用的開發(fā)者能夠在平臺上市前數(shù)月就開始模型和應(yīng)用的軟件開發(fā)工作。

在 Ethos-U85 上開始使用 ExecuTorch

ExecuTorch GitHub 公共代碼倉庫中提供了完整的開發(fā)環(huán)境。其中包含一個集成且經(jīng)過測試的開發(fā)流程和所有必要組件。

三個簡單的步驟如下所示：

設(shè)置 ExecuTorch

https://pytorch.org/executorch/main/getting-started-setup.html

設(shè)置 Arm Build 環(huán)境

https://pytorch.org/executorch/main/executorch-arm-delegate-tutorial.html

在 arm_executor_runner 上編譯并運行模型

https://pytorch.org/executorch/main/executorch-arm-delegate-tutorial.html#delegated-quantized-workflow

之后就可以在此流程的基礎(chǔ)上編譯和運行模型，從 Ethos-U85 驅(qū)動程序采集周期數(shù)信息等運行時行為。

為了讓最終用戶更輕松地完成此過程，Arm 還向 ExecuTorch 代碼倉庫貢獻了腳本：

設(shè)置 ExecuTorch

setup.sh：下載必要的軟件

https://github.com/pytorch/executorch/blob/main/examples/arm/setup.sh

run.sh：在 Corstone-320 FVP 上編譯并運行模型

https://github.com/pytorch/executorch/blob/main/examples/arm/run.sh

要構(gòu)建其他模型，可使用提前編譯器腳本 aot_arm_compiler.py，它能將 PyTorch 項目代碼 (nn.module) 轉(zhuǎn)換為 ExecuTorch 項目代碼（.pte flatbuffer 文件）。

腳本鏈接：

https://github.com/pytorch/executorch/blob/main/examples/arm/aot_arm_compiler.py

要編寫使用 ExecuTorch 的自定義應(yīng)用，可以按照示例 executor_runner 應(yīng)用中的應(yīng)用流程進行操作。

示例 executor_runner 應(yīng)用鏈接：

https://github.com/pytorch/executorch/tree/main/examples/arm/executor_runner

隨著陸續(xù)支持更多算子，我們將能夠支持更多的 PyTorch 模型。后續(xù)添加的更多功能，將通過 pytorch.org 上的 Ethos-U 教程材料進行演示。

Ethos-U 教程：

https://pytorch.org/executorch/main/index.html

部署流程的詳細(xì)工作原理

利用 ExecuTorch 的可擴展性和 Arm 的張量算子集架構(gòu) (TOSA) 的特性，Arm 在 ExecuTorch 中實現(xiàn)了 Ethos-U 支持。Ethos-U 編譯器 Vela 已通過 TOSA 前端得到增強，可以為 Ethos-U 系列中的所有產(chǎn)品編譯模型。

為了將這些組件整合為一個連貫的工作流程，需要遵循以下步驟：

將 PyTorch 模型轉(zhuǎn)換為可部署的 ExecuTorch 程序（AOT 流程）

將 ExecuTorch 程序編譯為可執(zhí)行文件，以便部署在 Corstone-320 上（運行時流程）

ExecuTorch 的 AOT 流程

此過程首先使用 PyTorch 的dynamo export 功能，將 PyTorch 模型轉(zhuǎn)換為量化的 TOSA 表示。然后，就能利用 Vela 編譯 TOSA 前端生成一組 Ethos-U 機器指令（稱為命令流）。接著，命令流被捆綁到 Executorch 程序中，由 flatbuffer 文件 (.pte) 表示。該文件中包含了 ExecuTorch 運行時使用 Ethos-U 硬件執(zhí)行推理所需的所有內(nèi)容。

ExecuTorch 運行時流程

ExecuTorch 運行時以 C/C++ 編寫，可支持多種后端。Arm 對 ExecuTorch 運行時進行了擴展，以包含對 Ethos-U 設(shè)備驅(qū)動程序的支持。按照此流程操作，將生成一個獨立的經(jīng)過編譯的可執(zhí)行文件。在 Corstone-320 FVP 上部署可執(zhí)行文件非常簡單，只需要在調(diào)用 FVP 時使用適當(dāng)?shù)臉?biāo)志即可。

Ethos-U85 和 Corstone-320

Ethos-U 系列 NPU 為邊緣側(cè) AI 提供高性能、高能效的解決方案。Ethos-U55（同樣受 ExecuTorch 支持）廣泛應(yīng)用于眾多 Arm Cortex-M 異構(gòu)系統(tǒng)，而 Ethos-U65 則將 Ethos-U 系列的適用性擴展到基于 Cortex-A 的系統(tǒng)，并提升了性能。

Ethos-U85 進一步擴展了 Ethos-U 產(chǎn)品線，支持當(dāng)前以及未來更多使用 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)的邊緣側(cè)工作負(fù)載。與前代產(chǎn)品相比，Ethos-U85 的性能提升了四倍，能效提高了 20%，在主流神經(jīng)網(wǎng)絡(luò)上的利用率高達 85%。

Ethos-U85 的顯著特性包括：

配置范圍從 128 到 2048 MAC/周期，在 1GHz 下可提供高達 4 TOP/s 的性能。

兼容基于 Cortex-A 和 Cortex-M 的系統(tǒng)。

通過支持 TOSA，對主要的神經(jīng)網(wǎng)絡(luò)提供原生支持。

可對主要的神經(jīng)網(wǎng)絡(luò)進行全面硬件加速。

完整列表請參閱 Ethos-U85 技術(shù)概述

https://developer.arm.com/documentation/102684/0000

未來規(guī)劃

Arm 會陸續(xù)增加新的算子支持，擴展 ExecuTorch 核心 ATen 算子的覆蓋范圍，并支持更多模型在 Ethos-U 上運行。Arm 將持續(xù)專注于提高性能，以確保模型在 Ethos-U 上高效運行。

ExecuTorch 委托框架支持將 Ethos-U 不支持的算子回調(diào)到 CPU 上運行，使用參考內(nèi)核執(zhí)行。Arm 致力于使用 CMSIS-NN 在 Cortex-M CPU 上實現(xiàn)卓越性能，為回調(diào)算子提供更好的支持，并確保在沒有 Ethos-U 功能的設(shè)備上也能實現(xiàn)良好性能。

上述的軟件包和 Corstone-320 FVP 是 Arm 在簡化應(yīng)用開發(fā)道路上邁出的又一步，歡迎各位開發(fā)者繼續(xù)探索代碼和構(gòu)建過程，并向 Arm 提供反饋意見。同時，Arm 也致力于支持更多特性和模型，并盡可能充分發(fā)揮硬件性能。