Arm Ethos-U55是世界上第一款microNPU。這是一種新型的ML處理器，旨在加速嵌入式和物聯(lián)網(wǎng)設(shè)備上的ML推理。

評估工具包概述

此評估工具包的目的是允許用戶開發(fā)軟件并測試Ethos-U NPU和Cortex-M55 CPU的性能。Ethos-U NPU是一種新型機器學(xué)習(xí)（ML）處理器，專門設(shè)計用于在受限嵌入式和物聯(lián)網(wǎng)設(shè)備中加速ML工作負載的計算。該產(chǎn)品經(jīng)過優(yōu)化，可高效執(zhí)行ML算法中常用的數(shù)學(xué)運算，如卷積或激活函數(shù)。

ML用例

評估工具包通過為嵌入式堆棧提供隨時可用的ML應(yīng)用程序來增加價值。因此，您可以試驗已經(jīng)開發(fā)的軟件用例，并為Cortex-M CPU和Ethos-U NPU創(chuàng)建自己的應(yīng)用程序。下表列出了可供您使用的示例應(yīng)用程序和使用的模型。

上述用例實現(xiàn)了端到端的ML流，包括數(shù)據(jù)預(yù)處理和后處理。它們將允許您調(diào)查嵌入式軟件堆棧，通過顯示不同的性能指標（如推斷周期計數(shù)估計和網(wǎng)絡(luò)執(zhí)行結(jié)果），評估在Cortex-M55 CPU和Ethos-U NPU上運行的網(wǎng)絡(luò)的性能。

軟件和硬件概述

評估工具包基于Arm?Corstone?-300參考包。Arm?Corstone?-300幫助您在Arm?Cortex上快速構(gòu)建SOC?-M55和Arm?精神?-U55設(shè)計。Arm?Corstone?-300設(shè)計實現(xiàn)在Arm MPS3 FPGA板上公開，或作為MPS3開發(fā)板的固定虛擬平臺公開。

這里描述了Ethos-U NPU軟件堆棧。

所有ML用例，盡管說明了不同的應(yīng)用程序，都有共同的代碼，比如初始化硬件抽象層（HAL）。由于HAL，應(yīng)用程序通用代碼可以在x86或Arm Cortex-M體系結(jié)構(gòu)上運行。對于ML應(yīng)用程序特定的部分，Google?TensorFlow? 微控制器推理機用于調(diào)度神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行。微控制器TensorFlow Lite與Ethos-U NPU驅(qū)動程序集成，并將某些操作符的執(zhí)行委托給NPU，如果NPU不支持神經(jīng)網(wǎng)絡(luò)模型操作符，則委托給CPU。CMSIS-NN用于優(yōu)化int8數(shù)據(jù)類型的CPU工作負載執(zhí)行。通用的ML應(yīng)用程序函數(shù)將幫助您專注于實現(xiàn)定制ML用例的邏輯：您只能修改用例代碼，而保持所有其他組件不變。提供的構(gòu)建系統(tǒng)將發(fā)現(xiàn)新的ML應(yīng)用程序代碼，并自動將其包含到編譯流中。

要在Cortex-M和Ethos-U NPU上運行ML應(yīng)用程序，請執(zhí)行以下步驟：

1. 通過安裝所需的先決條件來設(shè)置您的環(huán)境。
2. 按照此處的說明，使用Vela編譯器生成Ethos-U的優(yōu)化神經(jīng)網(wǎng)絡(luò)模型。
3. 配置生成系統(tǒng)。
4. 使用make命令編譯項目。

如果使用FVP，請在FVP上啟動所需的應(yīng)用程序。如果使用FPGA選項，請在FPGA上加載圖像并啟動應(yīng)用程序。

要熟悉這些步驟，您可以按照《快速入門指南》進行操作。

審核編輯：符乾江