描述

靈感

最近，我一直在嘗試使用 Edge Impulse 在圖像數(shù)據(jù)集上訓(xùn)練 TensorFlow 模型。因此，在考慮萬圣節(jié)時，幾乎每個人都會遇到一個常見問題。為什么整理和整理所有糖果需要這么長時間？因為單獨拾起每一塊并將其放入各自的堆中會耗費太多精力，所以我想利用機(jī)器學(xué)習(xí)的力量來自動化這個過程。

工作原理

該理論如下：用戶首先將一塊糖果放在平臺上，然后由相機(jī)對其進(jìn)行掃描。該圖像被一個模型分類，該模型產(chǎn)生一個它認(rèn)為糖果是什么的標(biāo)簽。根據(jù)結(jié)果??，選擇一堆，然后平臺移動到該位置。一旦它到達(dá)，某種推動機(jī)構(gòu)將糖果推入堆中，然后平臺返回并重新設(shè)置循環(huán)。

設(shè)置邊緣脈沖

為了收集訓(xùn)練數(shù)據(jù)并生成 TensorFlow 模型，我選擇了 Edge Impulse。我首先創(chuàng)建了一個名為“candySorter”的新項目，然后前往設(shè)備頁面。Edge Impulse 有一個不錯的功能，您可以導(dǎo)入多種類型的數(shù)據(jù)并僅根據(jù)文件名自動推斷其標(biāo)簽，因此我編寫了一個簡單的 Python 腳本，該腳本使用 Pi 的相機(jī)拍照并在按下按鈕時將其保存為所需的標(biāo)簽被按下。

?

?

?

?

1 / 2

?

訓(xùn)練和部署模型

現(xiàn)在有大量的圖像數(shù)據(jù)，是時候在其上訓(xùn)練一個 TensorFlow 模型了。對于輸入，我使用了一個將原始圖像縮放為 96x96 像素大的圖像塊。處理塊只是將顏色深度設(shè)置為 RGB 而不是單色，訓(xùn)練塊利用 MobileNetV2 模型的遷移學(xué)習(xí)。輸出是以下標(biāo)簽之一：kitkat、sour patch、twizzler或reeses。

?

訓(xùn)練完成后，我將模型部署為獨立的 Web 程序集庫，可以從 Node.js 源文件外部調(diào)用。

?

處理圖像

該系統(tǒng)使用 Raspberry Pi 4 使用 Raspberry Pi 相機(jī)模塊捕獲圖像，但分類器無法理解該格式，它需要一個特定大小的像素值數(shù)組。因此，捕獲被保存到BytesIO流中并調(diào)整為 96x96 像素大。然后將其轉(zhuǎn)換為一串扁平像素值，該字符串接受一個 RGB 值元組并將其轉(zhuǎn)換為單個十六進(jìn)制值并將其附加到列表中。

?

?

?

?

1 / 2

?

分類對象

該subprocess.run()函數(shù)調(diào)用 Node.js 源文件，并將顏色數(shù)據(jù)字符串作為參數(shù)傳遞給程序，然后在程序中對其進(jìn)行解析并提供給模型。在模型提出它認(rèn)為的對象后，會通過標(biāo)準(zhǔn)輸出輸出 JSON 字符串，然后將其通過管道傳輸?shù)?Python 變量并解析為字典對象。最后，找到最大值并提取相關(guān)標(biāo)簽并用于確定應(yīng)將糖果放入哪個箱中。然后通過 USB 將此 bin 編號發(fā)送到等待的 Arduino Mega 2560。

?

硬件

首先是 x 軸滾輪，它由單個 NEMA17 步進(jìn)電機(jī)移動到位，該步進(jìn)電機(jī)由 DRV8825 步進(jìn)電機(jī)驅(qū)動器模塊驅(qū)動。

我的 3D 打印機(jī)壞了，所以我不得不用木頭做這個：/

?

當(dāng) Arduino Mega 2560 啟動時，它會通過緩慢滑動滾輪來使軸歸位，直到它碰到限位開關(guān)，此時它為 0。當(dāng)有新的串行數(shù)據(jù)時，它被讀取并解析為一個整數(shù)，表示 bin糖果應(yīng)放入。箱子間隔 10 厘米，所以這個數(shù)字乘以 100 毫米，步進(jìn)器移動相應(yīng)的步數(shù)。到達(dá)目的地后，頂部的螺線管會啟動并快速推動下方的糖果。

?

?

?

?

1 / 2

?

將糖果分揀成堆

將 ML 模型加載到 Pi 上后，我將所有東西都插入。實際的排序機(jī)制自動運轉(zhuǎn)起來，并且 Pi 開始顯示它所看到的預(yù)覽。從那里，我簡單地把一塊糖果放在平臺上，然后按下按鈕給它拍照。該圖像被調(diào)整大小并發(fā)送到模型，模型決定了它的標(biāo)簽。最后，將箱號發(fā)送過來，并將糖果存放到正確的位置。將來，我想通過添加一個漏斗來進(jìn)一步自動化這一過程，該漏斗可以將糖果倒在頂部，然后隨著時間的推移單獨存放每一塊。

?

?