隨著人工智能、神經(jīng)網(wǎng)絡(luò)以及機(jī)器學(xué)習(xí)應(yīng)用的發(fā)展，邊緣處理的場景越來越多，一些針對IOT設(shè)備和嵌入式設(shè)備的遷移學(xué)習(xí)網(wǎng)絡(luò)應(yīng)運(yùn)而生，TensorflowLite就是在這樣的情境下誕生。

盡管Tensorflow Lite已經(jīng)足夠小，足夠快速，但作為資源非常緊俏的單片機(jī)來說，尤其是圖像處理，仍有點(diǎn)力不從心。好在Vision Board擁有足夠強(qiáng)大的性能，而且外擴(kuò)了較大的SDRAM作為數(shù)據(jù)處理內(nèi)存使用，已基本滿足進(jìn)行一些數(shù)據(jù)量小，圖像素質(zhì)低的識別要求。

本章內(nèi)容將講解如何使用edgeimpulse.com網(wǎng)站來自行訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，進(jìn)而實(shí)現(xiàn)機(jī)器學(xué)習(xí)的功能。

目錄

Vision Board介紹（Cortex M85內(nèi)核）

前期準(zhǔn)備

開發(fā)環(huán)境準(zhǔn)備

上傳Edge Impulse進(jìn)行訓(xùn)練

1

Vision Board介紹（Cortex M85內(nèi)核）

內(nèi)核：480 MHz Arm Cortex-M85，包含Helium和TrustZone技術(shù)

存儲：集成2MB/1MB閃存和1MB SRAM（包括TCM，512KB ECC保護(hù)）

外設(shè)：兼容xSPI的四線OSPI（帶XIP和即時解密/DOTF）、CAN-FD、以太網(wǎng)、USBFS/HS、16位攝像頭接口和I3C等

高階安全性：卓越的加密算法、TrustZone、不可變存儲、帶DPA/SPA攻擊保護(hù)的防篡改功能、安全調(diào)試、安全工廠編程和生命周期管理支持

提供6.39 CoreMark/MHz的性能，可支持要求最高計(jì)算性能和 DSP 或 ML 功能的苛刻物聯(lián)網(wǎng)應(yīng)用

2

前期準(zhǔn)備

下面是本次實(shí)驗(yàn)所需要的軟件及參考資料：

開發(fā)工具：MDK5 V5.3.8，OpenMv IDE V4.0.14

Demo 代碼：https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board

EDGE IMPULSE網(wǎng)站：studio.edgeimpulse.com

圖片素材：https://github.com/JiaBing912/VisionBoard-Picture-training-material

3

開發(fā)環(huán)境準(zhǔn)備

本次實(shí)驗(yàn)將基于vision_board_openmv Demo進(jìn)行開發(fā)，雙擊 mklinks.bat 文件，執(zhí)行腳本后會生成 rt-thread、libraries 兩個文件夾。

運(yùn)行env，輸入menuconfig，在Enable OpenMV for RT-Thread—>目錄下，打開Enable tflite support功能。

保存并退出，輸入scons —target=mdk5，重新生成mdk5工程。

隨后打開mdk5工程，編譯，燒錄即可。

5

上傳Edge Impulse進(jìn)行訓(xùn)練

1 注冊賬號并創(chuàng)建Edge Impulse工程

打開Edge impluse網(wǎng)站，注冊登錄。隨后在項(xiàng)目標(biāo)簽頁創(chuàng)建新項(xiàng)目：

這里以數(shù)字識別為例。

2 上傳訓(xùn)練集

按照以下步驟，依次點(diǎn)擊Dashboard->Add existing data->Upload data。（訓(xùn)練集圖片樣本可從3.前期準(zhǔn)備中圖片素材中獲取，此次實(shí)驗(yàn)使用的是mnist_lite文件夾下的手寫數(shù)字圖片樣本。）

注意：若未在數(shù)據(jù)集中對圖片進(jìn)行l(wèi)abel注釋（可參考官方文章），需要手動進(jìn)行添加標(biāo)簽，或直接選擇Enter label進(jìn)行標(biāo)簽定義；圖片素材中的數(shù)據(jù)集格式為28x28像素bpm文件，EDGE IMPULSE網(wǎng)頁不支持BMP及28x28像素格式，需要通過python腳本對圖片進(jìn)行轉(zhuǎn)換。mnist_lite文件夾中已將圖片轉(zhuǎn)換為256*256png格式。

3 生成特征

點(diǎn)擊左側(cè)Impulse design->Create Impulse，依次點(diǎn)擊Add a processing block、Add a learning block進(jìn)行輸入數(shù)據(jù)對象、訓(xùn)練模型的選擇，并點(diǎn)擊保存。

繼續(xù)點(diǎn)擊左側(cè)Image，Color depth選擇RGB，點(diǎn)擊保存。接下來會自動跳轉(zhuǎn)到生成特征界面，點(diǎn)擊生成特征按鈕，等待特征生成，結(jié)束后會有三維圖像顯示。

4 遷移訓(xùn)練

點(diǎn)擊左側(cè)Transfer learning按鈕，依次設(shè)置訓(xùn)練參數(shù)：訓(xùn)練周期、學(xué)習(xí)率等參數(shù)。隨后選擇自己實(shí)驗(yàn)最符合的訓(xùn)練模型，點(diǎn)擊開始訓(xùn)練。

如果最后的結(jié)果和準(zhǔn)確率不滿足自己的實(shí)驗(yàn)要求，可嘗試重新訓(xùn)練，重新更改參數(shù)及訓(xùn)練模型。

5 在Vision Board上部署

在左側(cè)點(diǎn)擊Deployment，搜素OpenMV library，點(diǎn)擊Build，等待固件生成。

將下載下來的壓縮文件解壓（”trained.tflite”、”labels.txt”、”ei_image_classification.py”），將ei_image_classification.py改名為main.py，隨后將3個文件全部復(fù)制到sd卡中去（確保sd卡無其他文件）。

用type-c線連接Vision Board USB-OTG口，隨后將sd卡中的main.py拖入OpenMV IDE中，打開并運(yùn)行，此時可以在串口終端看見識別的結(jié)果及準(zhǔn)確率。