描述

當(dāng)我還是個(gè)孩子的時(shí)候，我對(duì)毒藤的反應(yīng)非常糟糕：疼痛、發(fā)癢的皮疹需要去看醫(yī)生以獲得強(qiáng)效藥物。毒藤很難識(shí)別，并且在難以接收手機(jī)信號(hào)的地方（森林、遠(yuǎn)足小徑、偏遠(yuǎn)地區(qū)）被發(fā)現(xiàn)。擁有一個(gè)可以識(shí)別低功耗且不需要互聯(lián)網(wǎng)連接的毒藤（或其他壞東西）的邊緣設(shè)備不是很酷嗎？

在過(guò)去的一年里，我開(kāi)始嘗試使用 TinyML，最近從 Arducam 購(gòu)買(mǎi)了 Pico4ML 。我很感興趣，因?yàn)樗鋫淞?Raspberry Pi RP2040 MCU、單色攝像頭、小型 LCD 顯示器、麥克風(fēng)和 IMU，所有這些都在一個(gè)小尺寸中。我慢慢開(kāi)始玩這些演示以了解它可以做什么。我還開(kāi)始修補(bǔ) Edge Impulse，為各種 MCU 創(chuàng)建圖像、音頻和運(yùn)動(dòng)分類(lèi)模型。

當(dāng)“ Eyes on Edge: tinyML Vision Challenge ”宣布時(shí)，我決定嘗試測(cè)試我的新技能！

我從 Edge Impulse 開(kāi)始并拍攝照片來(lái)填充我的圖像分類(lèi)模型。我開(kāi)發(fā)了 3 個(gè)類(lèi)別：毒藤、非毒藤植物和未知植物（不是植物的隨機(jī)物品的照片）。我遵循了 Edge Impulse關(guān)于如何開(kāi)發(fā)模型的指導(dǎo)。我使用我女兒的小型數(shù)碼相機(jī)拍照并將圖像批量上傳到我的 Edge Impulse 項(xiàng)目。

?

將照片上傳到 Edge Impulse 項(xiàng)目

?

之后我設(shè)計(jì)了沖動(dòng)。為了與 Pico4ML 的約束保持一致，我選擇了 96x96 單色圖像并使用 Edge Impulse 建議的默認(rèn)圖像和遷移學(xué)習(xí)塊。

?

?

我選擇 MobilenetV1 0.2 作為模型，同樣是因?yàn)?Pico4ML 的內(nèi)存限制。雖然不理想，也不是最準(zhǔn)確的，但對(duì)于應(yīng)用程序和硬件來(lái)說(shuō)已經(jīng)足夠了。二十個(gè)神經(jīng)元似乎產(chǎn)生了最好的結(jié)果。我還為更多樣化的數(shù)據(jù)集選擇了數(shù)據(jù)增強(qiáng)。

?

?

?

選擇這些參數(shù)后，我訓(xùn)練了模型。結(jié)果如下：

?

?

對(duì)于幾百?gòu)垐D片來(lái)說(shuō)還不錯(cuò)！這當(dāng)然不是最好的模型，對(duì)于看起來(lái)像毒藤但不是的植物有些混淆。我認(rèn)為通過(guò)毒藤和類(lèi)似植物（即荊棘葉和黑莓葉）的附加質(zhì)量圖像可以進(jìn)一步改進(jìn)模型。

構(gòu)建并測(cè)試模型后，我將其導(dǎo)出到 C++ 庫(kù)以集成到我的項(xiàng)目中。現(xiàn)在，我沒(méi)有在 1 次迭代中完成這項(xiàng)工作。在要使用的照片數(shù)量/質(zhì)量和模型類(lèi)型方面進(jìn)行了大量試驗(yàn)（我使用的第一個(gè)模型對(duì)于 Pico4ML 來(lái)說(shuō)太大了，而且內(nèi)存不足）。我沒(méi)有意識(shí)到我必須經(jīng)歷多少次迭代！

?

?

我在 Raspberry Pi 4B 上進(jìn)行了開(kāi)發(fā)，因?yàn)槟撬坪跏亲詈?jiǎn)單的界面。我處理了 Pico4ML github上的代碼/指令。我使用 person_detection 演示作為起點(diǎn)，這樣我就可以了解圖像是如何被接收的，以及它們是如何傳遞給 ML 算法的。這是我花費(fèi)*大量*時(shí)間的地方，我感謝 Edge Impulse 團(tuán)隊(duì)一直支持我并在他們的論壇上為我回答問(wèn)題。

該演示使用 tensorflow lite 微型模型，因此在設(shè)置和推理方面，界面與 Edge Impulse 模型有很大不同。對(duì)于那些合法的編碼員來(lái)說(shuō)，這可能不是什么大問(wèn)題，但對(duì)于那些十多年沒(méi)有編碼的人來(lái)說(shuō)，讓 Edge Impulse 模型與硬件正常工作是一個(gè)漫長(zhǎng)的過(guò)程（請(qǐng)參閱上面的注釋我的原始模型對(duì)于硬件來(lái)說(shuō)太大并且導(dǎo)致內(nèi)存問(wèn)題）。

一旦我確信我讓它工作了，我的現(xiàn)場(chǎng)結(jié)果并不像我希望的那樣令人印象深刻，所以我繼續(xù)改進(jìn)模型，直到我覺(jué)得它“足夠好”。下圖顯示了從相機(jī)接收到的圖像，以及該圖像是毒藤的概率。如果概率大于 60%，數(shù)字變?yōu)榧t色：小心！

?

成功！（大多數(shù)時(shí)候?。?/font>

?

?

這是一個(gè)有趣的練習(xí)，我真的覺(jué)得它處于 TinyML 的流血“邊緣”。Pico4ML 是低功耗的，所以我可以用一個(gè)簡(jiǎn)單的 5V 手機(jī)電池充電器給它斷電。我的 USB 數(shù)據(jù)線有一個(gè)開(kāi)/關(guān)開(kāi)關(guān)，因此只需點(diǎn)擊一下，對(duì)圖像進(jìn)行分類(lèi)，然后點(diǎn)擊關(guān)閉。對(duì)于電力和互聯(lián)網(wǎng)不可用的偏遠(yuǎn)地區(qū)非常有效。

?

簡(jiǎn)單設(shè)置：電池、USB 數(shù)據(jù)線、Pico4ML

該項(xiàng)目的未來(lái)擴(kuò)展可能是對(duì)您在遠(yuǎn)足露營(yíng)時(shí)想在偏遠(yuǎn)地區(qū)了解的其他“壞”東西進(jìn)行分類(lèi)：“這種漿果有毒嗎？這種蘑菇怎么樣？” 隨著 MCU 變得更強(qiáng)大，可以使用具有更好輸入的更好模型（例如，使用彩色圖像而不是單色圖像）。其他改進(jìn)可能是多個(gè)類(lèi)（而不是我這里的二進(jìn)制分類(lèi)），最終是對(duì)象檢測(cè)！

這是我提交給 hackster.io 的第一個(gè)項(xiàng)目，希望你喜歡它！