描述

概述

邊緣人工智能涉及將機(jī)器學(xué)習(xí)模型加載到微控制器上，使它們能夠?qū)Ω鼜V泛的數(shù)據(jù)做出比傳統(tǒng)編程設(shè)備更“智能”的決策。這個(gè)項(xiàng)目是關(guān)于如何使用 QuickLogic 的 QuickFeather 開(kāi)發(fā)工具包和一套 SensiML 工具開(kāi)始使用這項(xiàng)技術(shù)來(lái)收集數(shù)據(jù)、創(chuàng)建模型和部署它。對(duì)于科學(xué)家、工程師和業(yè)余愛(ài)好者等解決氣候變化等重大問(wèn)題的人來(lái)說(shuō)，這是一個(gè)非常有用的工具。如果您對(duì)此感興趣，請(qǐng)查看當(dāng)前的挑戰(zhàn)氣候變化競(jìng)賽，鼓勵(lì)每個(gè)人使用帶有 SensiML 的 QuickFeather 來(lái)解決諸如減少能源消耗或早期野火警告等問(wèn)題。

快羽

QuickFeather 開(kāi)發(fā)套件是一款令人印象深刻的設(shè)備，它將大量功能集成到一個(gè)小尺寸中。以下是一些規(guī)格：

• QuickLogic EOS S3 處理器（Zephyr OS 全面支持的第一個(gè)支持 FPGA 的 Arm Cortex-M4F MCU）

?

外部連接：

• 16Mb 閃存
• mCube MC3635加速度計(jì)
• 英飛凌DPS310壓力傳感器
• 英飛凌 IM69D130 PDM 數(shù)字麥克風(fēng)

所有這些都具有標(biāo)準(zhǔn) Feather 規(guī)范的占地面積和布局。

設(shè)置硬件

在開(kāi)始任何其他操作之前，您需要讓 QuickFeather 成為最新的二進(jìn)制文件，這只需幾個(gè)步驟即可完成。首先，從這里下載最新的.bin文件，并確保選擇用于簡(jiǎn)單流收集的文件，而不是MQTT-SN 文件。然后使用下載 TinyFPGA 程序員應(yīng)用程序，然后安裝 Python 庫(kù)。它需要 Python 3.6 或更高版本，因此請(qǐng)記住這一點(diǎn)。git clonegit clone --recursive https://github.com/QuickLogic-Corp/TinyFPGA-Programmer-Application.gitpip3 install tinyfpgab

?

將.bin之前的文件放入您剛剛保存克隆的文件夾（它應(yīng)該包含tinyfpga-programmer-gui.py）后，通過(guò) USB 插入設(shè)備并按下 QuickFeather 上的“重置”按鈕，然后在五秒鐘內(nèi)按下“用戶”按鈕。這會(huì)導(dǎo)致 LED 開(kāi)始閃爍綠色，表示開(kāi)發(fā)板處于上傳模式。運(yùn)行命令python tinyfpga-programmer-gui.py --port COMX --m4 quickfeather-simple-stream-data-collection.bin --mode m4通過(guò) USB 閃存二進(jìn)制文件，其中COMXQuickFeather 的 COM 端口。程序上傳完成后，按“重置”按鈕加載新應(yīng)用程序。LED 應(yīng)閃爍藍(lán)色五秒鐘，完成后熄滅。

設(shè)置 SensiML 數(shù)據(jù)捕獲實(shí)驗(yàn)室

SensiML Data Capture Lab (DCL) 可以從設(shè)備中捕獲數(shù)據(jù)并將其傳輸?shù)街鳈C(jī)，然后可以在主機(jī)上進(jìn)一步處理和導(dǎo)出數(shù)據(jù)。首先，創(chuàng)建一個(gè)新帳戶并下載 DCL 軟件，然后登錄。

?

?

?

?

1 / 2

?

Simple Streaming 捕獲模式需要使用 QuickFeather 上的 UART 引腳，因此將 USB 連接到 TTL 串行適配器，如下所示：

?

其中橙色突出顯示的引腳是適配器的 RXD 引腳，紫色的引腳是適配器的 TXD 引腳。它通過(guò) . 的波特率進(jìn)行通信460800。

在 DCL 中，通過(guò)給它命名并將它保存在某處來(lái)創(chuàng)建一個(gè)新項(xiàng)目。

?

然后從“Label Explorer”模式切換到“Capture”模式。DCL 使用 SSF 文件形式的插件，告訴它如何與設(shè)備通信。在此處下載用于 QuickFeather 的文件（確保選擇用于簡(jiǎn)單流式處理的文件）并使用編輯->導(dǎo)入設(shè)備插件并選擇剛剛下載的 SSF 文件來(lái)添加它。在右上角，你會(huì)看到傳感器配置是空的，所以點(diǎn)擊添加新傳感器按鈕，選擇 QuickFeather Simple Stream 插件，使用“Motion”捕獲源，采樣率為每秒 105 個(gè)樣本，然后確保選中“加速度計(jì)”。繼續(xù)并將其保存為“傳感器 1”。

?

?

?

?

1 / 3

?

一些有用的功能

Data Capture Lab 具有一些不錯(cuò)的功能，使其用途極為廣泛。可能最重要的一個(gè)是能夠從幾乎任何連接了任何傳感器的板上捕獲數(shù)據(jù)的能力，而不必等待它獲得官方支持。這可以通過(guò)創(chuàng)建一個(gè)指定該板的功能和配置的自定義 SSF 文件來(lái)實(shí)現(xiàn)。您還可以選擇將元數(shù)據(jù)添加到您的捕獲中，它可以用作標(biāo)簽，例如根據(jù)更具體的參數(shù)拆分訓(xùn)練數(shù)據(jù)或區(qū)分訓(xùn)練和測(cè)試數(shù)據(jù)集。最后，可以通過(guò)多種不同的方式查看收集到的數(shù)據(jù)，例如將軸拆分為單獨(dú)的圖形，或?qū)⒉东@的數(shù)據(jù)拼接在一起。還有更多功能，因此要了解更多信息，請(qǐng)?jiān)L問(wèn)此頁(yè)面。

示例項(xiàng)目

因?yàn)檫@個(gè)項(xiàng)目只是為了入門(mén)，所以我們不會(huì)涉及軟件中的一些更高級(jí)的功能，但我們將介紹最相關(guān)的功能。生成的數(shù)據(jù)集會(huì)很小，這對(duì)這個(gè)項(xiàng)目來(lái)說(shuō)很好，因?yàn)槲覀冎粚?duì)確定是否有運(yùn)動(dòng)或板是否靜止感興趣。

捕獲數(shù)據(jù)

設(shè)置電路板后，繼續(xù)并在找到正確的串行端口（用于 USB 到 TTL 串行轉(zhuǎn)換器的端口?。┖髥螕?DCL 中的“連接”和“掃描設(shè)備”按鈕。如果它最初不起作用，請(qǐng)嘗試拔下轉(zhuǎn)換器并重新插入，或者斷開(kāi)連接并重新連接。

?

在該窗格下方有一個(gè)用于添加標(biāo)簽和元數(shù)據(jù)的部分。我添加了我的兩個(gè)標(biāo)簽：rest和movement。然后對(duì)于元數(shù)據(jù)，我添加了 aClass并選擇了兩個(gè)值：Train和Test，表示每次捕獲是用于訓(xùn)練還是用于測(cè)試。

?

?

?

?

1 / 2

?

轉(zhuǎn)換數(shù)據(jù)集

通過(guò)按下Record底部的按鈕捕獲我的數(shù)據(jù)后，我需要稍微清理一下并確保只有代表我試圖隔離的特征的數(shù)據(jù)才能進(jìn)入，即運(yùn)動(dòng)中沒(méi)有“休息”數(shù)據(jù)。

?

這可以通過(guò)轉(zhuǎn)到左上角的 Project Explorer 選項(xiàng)卡并雙擊要修改的捕獲來(lái)完成。然后，您可以通過(guò)在要保留的區(qū)域上按住右鍵單擊的同時(shí)拖動(dòng)鼠標(biāo)來(lái)添加段。執(zhí)行此操作的次數(shù)越多，添加的段就越多。

?

您可以在右上角區(qū)域看到它們。這還允許您通過(guò)為每個(gè)標(biāo)簽創(chuàng)建段并更改標(biāo)簽來(lái)在同一捕獲中捕獲不同的標(biāo)簽。

?

前往“文件”->“關(guān)閉文件”后，是時(shí)候使用 Analytics Studio 從捕獲的數(shù)據(jù)生成模型了。請(qǐng)記住，保存在 DCL 中的數(shù)據(jù)會(huì)自動(dòng)上傳并存儲(chǔ)在云中，盡管它可能需要一些時(shí)間才能刷新和顯示。

訓(xùn)練模型

我們首先在 Web 瀏覽器中轉(zhuǎn)到Analytics Studio并選擇在 DCL 中創(chuàng)建的項(xiàng)目。

?

要訓(xùn)??練模型，我們必須首先以查詢的形式告訴 Analytics Studio 我們要使用哪些數(shù)據(jù)。這可以通過(guò)單擊Prepare Data選項(xiàng)卡并輸入名稱、會(huì)話、標(biāo)簽、相關(guān)元數(shù)據(jù)、傳感器以及繪制方式來(lái)完成。保存后數(shù)據(jù)集應(yīng)該出現(xiàn)在右側(cè)，我們可以看到每個(gè)標(biāo)簽中有多少段。

?

可以通過(guò)轉(zhuǎn)到Build Model選項(xiàng)卡并輸入名稱、剛剛創(chuàng)建的查詢、窗口大?。ㄊ蛊渑c傳感器的捕獲率大小相同）、優(yōu)化指標(biāo)（f1-score 是最平衡的）來(lái)構(gòu)建管道，和分類器大小，它限制了模型的大小，非常適合加載到 ROM 受限的芯片上。單擊Optimize將完成并構(gòu)建模型，根據(jù)數(shù)據(jù)集的大小，可能需要一段時(shí)間才能完成。

?

?

?

?

1 / 2

?

部署

此過(guò)程的最后一步是部署，它以知識(shí)包的形式出現(xiàn)。將它們視為容納您的模型及其相關(guān)數(shù)據(jù)的容器。它們分為三種類型：二進(jìn)制（預(yù)構(gòu)建，只需閃存到電路板并運(yùn)行）、庫(kù)（輕松將其添加到您的項(xiàng)目并與 API 接口）或源代碼。對(duì)于這個(gè)項(xiàng)目，我們將只構(gòu)建一個(gè)二進(jìn)制文件，因此在Download Model選項(xiàng)卡中選擇您剛剛優(yōu)化的管道，以及以下目標(biāo)設(shè)備設(shè)置：

• 硬件平臺(tái)：QuickFeather 1.5.0
• 目標(biāo)操作系統(tǒng)：FreeRTOS
• 格式：二進(jìn)制
• 數(shù)據(jù)源：傳感器 1（板載加速度計(jì)）
• 輸出：簡(jiǎn)單流式傳輸（通過(guò) UART 引腳）

?

還要注意類圖。在這個(gè)項(xiàng)目中，一個(gè)方法的結(jié)果，一個(gè)1方法movement的結(jié)果。下載 zip 文件并將二進(jìn)制文件解壓縮到包含先前用于刷新 Simple Stream 固件的 Python 文件的同一文件夾。在 QuickFeather 返回上傳模式后，運(yùn)行與之前相同的命令，只是這次替換為知識(shí)包二進(jìn)制文件的名稱。打開(kāi)帶有波特率的串行監(jiān)視器將顯示模型的分類輸出，如下所示，它可以工作！2restquickfeather-simple-stream-data-collection.bin460800

?

?

?

?

1 / 2 ?休息時(shí)

?

下一步

如果您對(duì)在邊緣使用機(jī)器學(xué)習(xí)感興趣，請(qǐng)查看挑戰(zhàn)氣候變化競(jìng)賽并索取免費(fèi)的 QuickFeather 板。然后查看一些文檔，看看您可以添加哪些傳感器和/或組件來(lái)幫助解決我們當(dāng)前面臨的最重要的問(wèn)題之一。

?