前兩期中我們已經(jīng)把所有準(zhǔn)備工作一步步鋪墊到位:

Zephyr迎來AI加速時(shí)代：NPU驅(qū)動(dòng)集成從未如此簡(jiǎn)單

為Zephyr AI加速做好準(zhǔn)備：模型轉(zhuǎn)換

現(xiàn)在，是時(shí)候把準(zhǔn)備工作真正轉(zhuǎn)化為成果了！

今天，我們將正式在Zephyr中加入NPU軟件支持，讓模型不僅能“跑起來”，還能“跑得飛快”。是的，本期開始就是實(shí)戰(zhàn)環(huán)節(jié)！

本次的適配工作將以tflite_micro/hello_world工程為基礎(chǔ)展開。我們首先將其完整復(fù)制一份，并命名為hello_world_neutron。后續(xù)所有與Neutron NPU相關(guān)的移植步驟和配置修改，都將在這個(gè)新工程中進(jìn)行。

Zephyr的移植工作我們基于tfltie_micro/hello_world工程進(jìn)行，將其復(fù)制一份重命名為hello_world_neutron:

一、改造思路

整體改造大致分為三個(gè)主要步驟：

開啟C++/FPU/TFLM支持

添加NPU相關(guān)驅(qū)動(dòng)與接口層代碼

修改CMakeLists.txt讓工程真正“認(rèn)識(shí)” NPU

除此之外，還需要將模型文件替換為NPU可執(zhí)行的版本，并手動(dòng)注冊(cè)Neutron自定義算子，使TFLM能夠調(diào)用NPU。下面我們一步一步來。

二、工程配置

1．修改prj.conf文件，添加FPU與CXX的支持：

CONFIG_CPP=y
CONFIG_STD_CPP17=y
CONFIG_FPU=y
CONFIG_FPU_SHARING=y
CONFIG_TENSORFLOW_LITE_MICRO=y
CONFIG_MAIN_STACK_SIZE=2048
CONFIG_REQUIRES_FLOAT_PRINTF=y

三、加入NPU相關(guān)代碼

NPU 的組件大致可分為兩部分：

1. Neutron 與 TFLM 的接口層 2. Neutron 底層 Driver

3.1將NPU相關(guān)Driver從SDK中拷貝到工程目錄中

主要分為兩部分：NPU底層Driver以及NPU與TFLM的接口層代碼：

a) TFLM接口層代碼：

我們可以在SDK代碼中的eiq ensorflow-lite ensorflowlitemicrokernels eutron路徑下找到這兩個(gè)文件，

一定要注意:SDK版本要和轉(zhuǎn)換工具的版本一致，這里我們選擇的是2.16.0版本的SDK代碼以及針對(duì)于2.16.0 SDK版本的Neutron-converter.exe:

將這兩個(gè)文件拷貝到工程目錄中：

3.2NPU底層驅(qū)動(dòng)：

可以在eiq ensorflow-lite hird_party eutron路徑找到：

將其同樣拷貝到工程目錄下，完整的目錄結(jié)構(gòu)如下：

四、修改CMakeLists,加入NPU依賴

我們需要讓工程能夠正確包含頭文件、鏈接NPU相關(guān)庫(kù)，完整示例如下：

到這里，工程已經(jīng)具備NPU支持能力。

五、替換模型文件

將src/目錄下的model.cpp替換為你通過xxd轉(zhuǎn)換得到的NPU版本模型。

模型來源應(yīng)為Neutron-converter轉(zhuǎn)換后的.bin，格式已經(jīng)適配NPU。

六、注冊(cè)Neutron自定義算子

注冊(cè)Neutron算子：

因?yàn)門FLM本身不支持Neutron算子，這里需要我們手動(dòng)添加，添加方式是修改src/main_functions.cpp:

因Zephyr自帶的模型算子類型是FullyConnected，這里將他替換為NeutronGraph，同時(shí)在文件開頭添加頭文件引用：

至此，所有軟件工作就都完成了，接下來就是使用west工具進(jìn)行編譯：

七、編譯，下載運(yùn)行

使用west編譯工程，下載運(yùn)行：

當(dāng)我們看到正常輸出、并且沒有任何錯(cuò)誤時(shí)，就說明：

模型成功轉(zhuǎn)換

Neutron NPU驅(qū)動(dòng)加載成功

TFLM已正確調(diào)度NPU推理

模型已順利跑在NPU上進(jìn)行加速!

八、完整鏈路走通

至此，小編跨越三期，帶大家完整走了一遍流程：

1. 自主訓(xùn)練模型

2. 使用轉(zhuǎn)換工具生成NPU 可執(zhí)行格式

3. 在ZephyrOS 中添加 Neutron NPU 驅(qū)動(dòng)支持

4. 讓模型真正跑在NPU 上加速推理

這條鏈路雖然步驟較多，但每一步都是構(gòu)建“嵌入式AI”所必需的關(guān)鍵環(huán)節(jié)。

也期待未來ZephyrOS能繼續(xù)完善AI支持，讓NPU適配更加自動(dòng)化，讓開發(fā)者可以更加專注于算法本身。