描述

一家商店可能會(huì)因?yàn)?a target='_blank' class='arckwlink_none'>產(chǎn)品缺貨或在大商店貨架上的擺放位置不正確而導(dǎo)致銷售額下降。工作人員進(jìn)行目視檢查，以發(fā)現(xiàn)貨架上缺貨和錯(cuò)放的產(chǎn)品。

我們正在嘗試使視覺(jué)檢查過(guò)程自動(dòng)化，其中計(jì)算機(jī)視覺(jué)充當(dāng)另一組眼睛，監(jiān)視商店中的每個(gè)貨架。經(jīng)過(guò)訓(xùn)練的 FOMO 模型可以識(shí)別商店庫(kù)存中的產(chǎn)品，并在需要補(bǔ)貨時(shí)提醒員工。FOMO 模型經(jīng)過(guò)訓(xùn)練可以識(shí)別商店中的所有產(chǎn)品。該模型可以識(shí)別和計(jì)算貨架上可用物品的數(shù)量。當(dāng)計(jì)數(shù)低于閾值時(shí)，工作人員會(huì)立即收到警報(bào)，從而確保產(chǎn)品的適當(dāng)供應(yīng)。

人工智能支持的庫(kù)存控制還使管理人員能夠跟蹤產(chǎn)品趨勢(shì)并更輕松地下新產(chǎn)品訂單以滿足未來(lái)需求。

優(yōu)點(diǎn)

• 對(duì)店內(nèi)商品進(jìn)行實(shí)時(shí)檢測(cè)和統(tǒng)計(jì)
• 庫(kù)存不足時(shí)立即發(fā)出警報(bào)
• 可升級(jí)系統(tǒng)監(jiān)控進(jìn)出庫(kù)時(shí)間，幫助管理者追蹤產(chǎn)品動(dòng)向
• 可以分析用戶行為以修改商店中產(chǎn)品的對(duì)齊方式
• 管理商店所需的員工數(shù)量減少。
• 員工無(wú)干擾的環(huán)境為客戶提供了更多的探索空間。

它是如何工作的？

該系統(tǒng)的關(guān)鍵部件是智能相機(jī)。智能相機(jī)由一個(gè) Raspberry Pi 4 和一個(gè)兼容的相機(jī)模塊組成，在其中運(yùn)行一個(gè)物體檢測(cè)模型。對(duì)象檢測(cè)模型計(jì)算貨架上的產(chǎn)品數(shù)量，當(dāng)數(shù)量低于閾值時(shí)，會(huì)在 Web 界面中生成警報(bào)。

?

硬件要求

• 樹(shù)莓派 4B
• 5MP 攝像頭模組
• 兼容電源

軟件要求

• 邊緣脈沖 Python SDK
• Python 3.x
• HTML、CSS、JS

硬件設(shè)置

當(dāng)前的硬件設(shè)置非常少。該設(shè)置包括使用 15 針帶狀電纜連接到 Raspberry Pi 4B 的 5 MP 攝像頭模塊。

?

軟件設(shè)置

如果您是新手，還沒(méi)有為 EdgeImpulse 設(shè)置 Raspberry Pi，請(qǐng)按照此快速教程將設(shè)備連接到 EdgeImpulse 儀表板。

成功連接設(shè)備后，您應(yīng)該會(huì)在“設(shè)備”選項(xiàng)卡中看到類似這樣的內(nèi)容。

?

構(gòu)建 TinyML 模型

1. 數(shù)據(jù)采集與標(biāo)注

在初步的軟件和硬件設(shè)置之后，現(xiàn)在是構(gòu)建對(duì)象檢測(cè)模型的時(shí)候了。讓我們從收集一些數(shù)據(jù)開(kāi)始。我們可以使用兩種方法來(lái)收集數(shù)據(jù)。我們可以使用連接的設(shè)備直接收集數(shù)據(jù)，也可以使用 Uploader 上傳現(xiàn)有數(shù)據(jù)。在這個(gè)項(xiàng)目中，我們使用前一種方法。

?

上傳數(shù)據(jù)后，我們可以從標(biāo)記隊(duì)列中標(biāo)記未標(biāo)記的圖像。這里我們有兩個(gè)類，因此有兩個(gè)標(biāo)簽 - Drink 和 Biscuit 。

2. 沖動(dòng)設(shè)計(jì)

由于我們的案例是實(shí)時(shí)檢測(cè)和計(jì)數(shù)，因此我們需要一個(gè)性能更快且準(zhǔn)確度可靠的模型。所以我們使用 FOMO 來(lái)生成一個(gè)輕量級(jí)、更快的模型。由于 FOMO 在 96x96 圖像上表現(xiàn)更好，我們將圖像尺寸設(shè)置為 96px。保持調(diào)整大小模式以適合最短軸，向脈沖添加圖像處理塊和對(duì)象檢測(cè)（圖像）學(xué)習(xí)塊。

?

轉(zhuǎn)到“圖像”選項(xiàng)卡，選擇顏色深度并保存用于生成特征的參數(shù)。我們選擇RGB作為顏色深度。生成特征后，繼續(xù)訓(xùn)練模型。

?

3.模型訓(xùn)練

現(xiàn)在我們已經(jīng)設(shè)計(jì)了沖動(dòng)，讓我們繼續(xù)訓(xùn)練模型。我們用于模型訓(xùn)練的設(shè)置如圖所示。您可以調(diào)整模型訓(xùn)練設(shè)置，使訓(xùn)練后的模型表現(xiàn)出更高的準(zhǔn)確性，但要注意不要過(guò)度擬合。

?

我們使用FOMO (MobileNet V2 0.35)作為神經(jīng)網(wǎng)絡(luò)。讓我們使用默認(rèn)訓(xùn)練設(shè)置訓(xùn)練模型，看看輸出模型的準(zhǔn)確性。

?

通過(guò)大量的訓(xùn)練數(shù)據(jù)，我們使用默認(rèn)訓(xùn)練設(shè)置本身達(dá)到了 98.9% 的非常好的準(zhǔn)確率。現(xiàn)在讓我們看看模型在測(cè)試數(shù)據(jù)上的表現(xiàn)如何。為此，請(qǐng)繼續(xù)進(jìn)行模型測(cè)試和全部分類。

?

該模型在測(cè)試數(shù)據(jù)上也表現(xiàn)出色。現(xiàn)在是測(cè)試最后階段或更確切地說(shuō)是模擬部署的時(shí)候了。轉(zhuǎn)到“部署”選項(xiàng)卡并直接在您的手機(jī)上運(yùn)行 Impulse 。現(xiàn)在將手機(jī)放在您的產(chǎn)品前面，看看模型在現(xiàn)實(shí)世界中的表現(xiàn)如何。

?

該模型在現(xiàn)實(shí)世界中表現(xiàn)非常好。那么，讓我們繼續(xù)部署。

Firebase 實(shí)時(shí)數(shù)據(jù)庫(kù)

對(duì)于我們的項(xiàng)目，我們使用了 Firebase 實(shí)時(shí)數(shù)據(jù)庫(kù)，它使我們無(wú)需等待即可快速上傳和檢索數(shù)據(jù)。在這種情況下，我們利用了 Pyrebase 包，它是 Firebase 的 Python 包裝器。

要安裝 Pyrebase，

pip install pyrebase

在數(shù)據(jù)庫(kù)中，按照給定的步驟操作。

• 創(chuàng)建一個(gè)項(xiàng)目。
• 然后導(dǎo)航到構(gòu)建部分并創(chuàng)建一個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)。
• 以測(cè)試模式啟動(dòng)，因此我們可以在不進(jìn)行任何身份驗(yàn)證的情況下更新數(shù)據(jù)
• 從項(xiàng)目設(shè)置中，復(fù)制配置。

現(xiàn)在通過(guò)替換配置詳細(xì)信息將這段代碼添加到您的 python 文件中以從 firebase 訪問(wèn)數(shù)據(jù)。

import pyrebase
config = {
"apiKey": "apiKey",
"authDomain": "projectId.firebaseapp.com",
"databaseURL": "https://databaseName.firebaseio.com",
"storageBucket": "projectId.appspot.com"
}
firebase = pyrebase.initialize_app(config)

網(wǎng)絡(luò)界面

我們正在使用使用 HTML、CSS 和 JS 創(chuàng)建的網(wǎng)頁(yè)來(lái)實(shí)時(shí)顯示缺陷。Firebase Realtime Database 中更新的數(shù)據(jù)在網(wǎng)頁(yè)上實(shí)時(shí)更新。該網(wǎng)頁(yè)顯示商店中每種產(chǎn)品的當(dāng)前數(shù)量。如果計(jì)數(shù)小于前綴閾值，它會(huì)在 Web 界面中顯示警報(bào)。

?

?

?

項(xiàng)目演示

?

?