描述

在 Edge Impulse 等在線(xiàn)平臺(tái)的幫助下，嵌入式機(jī)器學(xué)習(xí)現(xiàn)在變得很容易，并且允許創(chuàng)作者設(shè)計(jì)自己的應(yīng)用程序，而只需要一點(diǎn)機(jī)器學(xué)習(xí)知識(shí)或根本不了解機(jī)器學(xué)習(xí)。

在這個(gè)項(xiàng)目中，我使用 MPU6050 加速計(jì)傳感器和 pi pico 創(chuàng)建了一個(gè)基本的手勢(shì)識(shí)別設(shè)備。該模型經(jīng)過(guò)訓(xùn)練可以識(shí)別左右、上下和空閑運(yùn)動(dòng)，并且可以通過(guò)向其添加更多手勢(shì)來(lái)進(jìn)一步增強(qiáng)。識(shí)別的手勢(shì)顯示在 128*64 SSD1306 OLED 顯示屏上，甚至來(lái)自串行監(jiān)視器（可選）。

整個(gè)應(yīng)用是在VScode上pico的C/C++ sdk和訓(xùn)練模型的edge impulse平臺(tái)上開(kāi)發(fā)的。

我制作這個(gè)項(xiàng)目只是為了學(xué)習(xí)目的，以便在不久的將來(lái)實(shí)施更多與嵌入式 ML 相關(guān)的項(xiàng)目。

單擊此處查看公共邊緣脈沖項(xiàng)目。

Edge Impulse 平臺(tái)

Edge Impulse 是一個(gè)用于訓(xùn)練 ML 模型的 ML 開(kāi)發(fā)平臺(tái)，還允許您將這些模型部署到幾乎所有嵌入式開(kāi)發(fā)板上，例如本項(xiàng)目中使用的 Raspberry pi pico。

憑借對(duì) ML 的最少了解，我能夠按照平臺(tái)中提到的步驟創(chuàng)建一個(gè)基本的手勢(shì)識(shí)別模型。

單擊此處了解有關(guān)邊緣脈沖的更多信息。

訓(xùn)練模型

1：配置Pi-co

使用數(shù)據(jù)轉(zhuǎn)發(fā)器，您只需使用幾個(gè)命令即可從 CMD 連接您的 pico，數(shù)據(jù)轉(zhuǎn)發(fā)器會(huì)自動(dòng)計(jì)算設(shè)備的波特率和傳感器頻率，并將數(shù)據(jù)自動(dòng)發(fā)送到服務(wù)。

按照此處的步驟了解數(shù)據(jù)轉(zhuǎn)發(fā)器。

在將設(shè)備連接到 Edge Impulse 服務(wù)器之前，請(qǐng)確保在 pico 上上傳數(shù)據(jù)轉(zhuǎn)發(fā)器代碼。

使用數(shù)據(jù)轉(zhuǎn)發(fā)器配置

2：數(shù)據(jù)采集

根據(jù)文件類(lèi)型，有多種方法可以將數(shù)據(jù)發(fā)送到 Edge Impulse Service。對(duì)于此應(yīng)用程序，數(shù)據(jù)轉(zhuǎn)發(fā)器還會(huì)在 pico 連接后處理數(shù)據(jù)采集。

這是來(lái)自加速度計(jì)的原始樣本數(shù)據(jù)。

?

12628,-6600,1376
12624,-6584,1268
12684,-6620,1284
12532,-6648,1100
12636,-6752,1296
12644,-6672,1404

?

數(shù)據(jù)x-axis,y-axis,z-axis 以當(dāng)時(shí)捕獲的在線(xiàn)方式發(fā)送。

獲取3個(gè)標(biāo)簽的數(shù)據(jù)，即up-down，left-right和idle。為每個(gè)標(biāo)簽收集 20 個(gè)樣本進(jìn)行訓(xùn)練。

每個(gè)樣本收集 10 秒。例如，加速度計(jì)左右移動(dòng) 10 秒以生成一個(gè)左右樣本。

1 / 2 ?捕捉左右運(yùn)動(dòng)

總共收集了 11 分鐘的數(shù)據(jù)，分為訓(xùn)練集 8 分鐘和測(cè)試集 3 分鐘。

80% 留給訓(xùn)練集，20% 留給測(cè)試集

3：模型訓(xùn)練

我使用了默認(rèn)選項(xiàng)來(lái)訓(xùn)練模型。訓(xùn)練后的模型準(zhǔn)確率為 97.8%。但是，這僅使用驗(yàn)證集進(jìn)行評(píng)估，因此我們不能太依賴(lài)這種準(zhǔn)確性。

培訓(xùn)成果

為了確定準(zhǔn)確性，我使用實(shí)時(shí)推理來(lái)確定模型在那一刻的預(yù)測(cè)，這似乎很有希望。

4.部署

一旦經(jīng)過(guò)訓(xùn)練的模型通過(guò)實(shí)時(shí)推理提供了良好的準(zhǔn)確性，就可以在 pico 上部署它了。我已經(jīng)從部署選項(xiàng)卡下載了 C/C++ 庫(kù)（未優(yōu)化的 float32），并使用 Arduino 腳本作為參考來(lái)開(kāi)發(fā)用于 pico 的 C++ 腳本。當(dāng)我使用量化的 int8 庫(kù)時(shí)，我發(fā)現(xiàn)預(yù)測(cè)很差，這就是我選擇未優(yōu)化的 float32 庫(kù)的原因。

添加 OLED 顯示屏

在 pico 上測(cè)試模型后，我使用了 SSD1306 OLED 顯示器來(lái)顯示識(shí)別手勢(shì)的圖形圖像。感謝Harbys git repo 提供 pico 的 OLED 驅(qū)動(dòng)程序文件。

分別使用位圖圖像來(lái)顯示左右和上下圖像圖標(biāo)。這些圖標(biāo)取自谷歌圖像并使用image2cpp工具轉(zhuǎn)換為位圖數(shù)組。

1 / 4 ?上下圖標(biāo)

注意：當(dāng)圖像是從 Pico 的 USB 側(cè)面面向面包板查看時(shí)，左右圖像顯示為上下，反之亦然。

利用多核

整個(gè)過(guò)程由 Pico 的兩個(gè)內(nèi)核處理，其中 core-1 處理執(zhí)行數(shù)據(jù)采集和推理，core-0 負(fù)責(zé) OLED 功能。我使用了兩個(gè)內(nèi)核，因?yàn)槲蚁肓私獠⑿刑幚恚@種方法將使我能夠進(jìn)一步向它添加更多功能（例如：在一個(gè)內(nèi)核執(zhí)行推理而另一個(gè)內(nèi)核將數(shù)據(jù)發(fā)送到云服務(wù)器的應(yīng)用程序中，或者到任何其他外圍設(shè)備），我稍后可能會(huì)實(shí)施。

利用多核

最終輸出

識(shí)別的手勢(shì)顯示在 OLED 顯示屏上

參考

關(guān)于嵌入式機(jī)器學(xué)習(xí)和項(xiàng)目構(gòu)想-點(diǎn)擊此處查看coursera課程

MPU6050驅(qū)動(dòng)開(kāi)發(fā)-Vidura Embedded

SSD1306 OLED 驅(qū)動(dòng)程序 - Harbys git repo

如何在 pico 上部署 Edge Impulse 模型 - Hardware.ai