描述

問題

自從我家開始上學(xué)和工作后，我的狗就開始發(fā)瘋了。在隔離期間，她真的很依戀并產(chǎn)生了分離焦慮。為了解決這個(gè)問題，我們必須在我們離開時(shí)檢測(cè)到 Clairette 的吠叫，并使用我們的聲音錄音來(lái)回應(yīng)它們。

如何建造

1. 按照原理圖接線。

2. 將 bark_listener.ino 上傳到 Arduino Nano 33 BLE Sense。

3. 上傳 bark_audio_responder.ino 到 Arduino Nano。

4.上傳音頻文件到SD卡。

5. 將 Music Maker Feather 連接到 AUX 揚(yáng)聲器。

6. 插入 Arduino Nano 33 BLE Sense。

7. 看著樹皮停止！

?

?

?

?

1 / 7 ?整個(gè)設(shè)置

?

訓(xùn)練模型

由于沒有一個(gè)大數(shù)據(jù)集足以檢測(cè)狗叫聲，所以我使用了一對(duì)。按模型中的重要性排名，我使用的數(shù)據(jù)集是：

• 谷歌音頻集：樹皮
• 我自己的數(shù)據(jù)（狗叫聲和房子周圍的背景噪音）
• 谷歌語(yǔ)音命令數(shù)據(jù)集
• 音頻貓狗

然后，我使用 Shawn Hymel 的關(guān)鍵詞發(fā)現(xiàn)數(shù)據(jù)集管理腳本將數(shù)據(jù)預(yù)處理為一秒鐘的剪輯并添加背景噪音。然后每個(gè)音頻片段都被標(biāo)記為“樹皮”或“其他”。我還必須對(duì)樹皮數(shù)據(jù)進(jìn)行大量清理，因?yàn)閬?lái)自 Google Audioset 的許多剪輯中沒有樹皮：我通過聆聽標(biāo)記為其他的音頻樣本并根據(jù)它們是否真的是樹皮或重新分配它們來(lái)做到這一點(diǎn)不是）。

我將所有音頻剪輯上傳到 Edge Impulse 的標(biāo)簽下；然后，我使用 Edge Impulse 的 Eon Tuner 來(lái)尋找和訓(xùn)練最佳模型。

?

?

?

?

1 / 3 ? Eon 調(diào)諧器驗(yàn)證準(zhǔn)確性和性能

?

原始音頻被轉(zhuǎn)換為 Mel-filterbank 能量譜圖，這是模型使用的音頻的圖像表示。下圖顯示了不同類型之間的原始音頻看起來(lái)并沒有什么不同；頻譜圖使樣本之間的相似性最明顯。

頻譜圖

?

部署模型

邊緣脈沖輸出

?

Edge Impulse 導(dǎo)出可與 Arduino Nano 33 BLE Sense 一起使用的 Arduino 庫(kù)。該庫(kù)處理音頻到頻譜圖的轉(zhuǎn)換和模型推理。

回應(yīng)吠叫

音軌文件

?

每當(dāng)檢測(cè)到吠叫時(shí)，都會(huì)播放隨機(jī)曲目以回應(yīng)狗。我的狗最依戀我的媽媽，所以我們記錄了她。曲目范圍從告訴她停止或告訴她沒關(guān)系。

我不得不使用外部 Arduino Nano 來(lái)控制，因?yàn)?Nano 33 運(yùn)行 MBED 操作系統(tǒng)，它沒有足夠快的中斷來(lái)控制音頻（使用 Nano 33 時(shí)，音頻非常不穩(wěn)定）。