描述

背景

全球已發(fā)現(xiàn)大約 18000 種鳥類，僅在印度，就有超過 15000 名已知的鳥類愛好者。這為收集數(shù)據(jù)和提供服務(wù)提供了足夠大的基礎(chǔ)。

該項目試圖通過 Nano 33 BLE Sense 的板載麥克風(fēng)連續(xù)收聽音頻來識別不同的鳥叫。聽到的鳥叫聲將被模型消耗，以將其歸類為受過訓(xùn)練的鳥類之一。

如果沒有聽到鳥叫，那么音頻將被歸類為背景噪聲，因為我們在訓(xùn)練期間也包括了背景噪聲。這個項目可以幫助那些對觀鳥感興趣并想了解鳥叫的棲息地或模式的人。

概述

• 將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接
• 構(gòu)建機(jī)器學(xué)習(xí)模型
• 將模型部署到設(shè)備

將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接

Edge Impulse 完全支持 Arduino Nano 33 BLE Sense，這是一款包含 Cortex-M4 微處理器、運(yùn)動傳感器、麥克風(fēng)和 BLE 的緊湊型開發(fā)板。該工作室支持對原始數(shù)據(jù)進(jìn)行采樣、模型開發(fā)和部署訓(xùn)練有素的機(jī)器學(xué)習(xí)模型。它的價格約為 30 美元，可從 Arduino 和各種分銷商處購買。

這可以通過從Edge Impulse docs安裝系統(tǒng)上的所有依賴項來輕松實(shí)現(xiàn)。

使用 Edge Impulse 框架配置閃存 Nano 33 BLE 感應(yīng)后，我們可以繼續(xù)下一步。

構(gòu)建機(jī)器學(xué)習(xí)模型

我們需要大量鳥類數(shù)據(jù)，要找到數(shù)量和質(zhì)量都高的數(shù)據(jù)是不切實(shí)際的，我們從Xeno-Canto獲取特定鳥類的數(shù)據(jù)，這是一個致力于分享來自世界各地的鳥類聲音的大型數(shù)據(jù)庫.

我們挑選了我們地區(qū)常見的 4 只鳥。

• 亞洲科爾
• 笑翠鳥
• 方尾卷龍
• 玫瑰環(huán)鸚鵡

構(gòu)建數(shù)據(jù)集

我們?yōu)槊恐圾B下載了大約 20-25 個音頻文件，并使用名為 Audacity 的軟件進(jìn)行預(yù)處理。然后繼續(xù)增加數(shù)據(jù)，同時注入噪音。這幫助我們?yōu)樯鲜鏊兴膫€標(biāo)簽以及單獨(dú)的噪聲標(biāo)簽生成了 200 個 10 秒的文件。

我們現(xiàn)在有一個平衡的數(shù)據(jù)集，其中每個標(biāo)簽的訓(xùn)練數(shù)據(jù)為 33 分 20 秒，測試數(shù)據(jù)為 8 分 20 秒。

?

?

設(shè)計沖動

一旦培訓(xùn)到位，您就可以產(chǎn)生沖動。脈沖獲取原始數(shù)據(jù)，將其切割成更小的窗口，使用信號處理塊提取特征，然后使用學(xué)習(xí)塊對新數(shù)據(jù)進(jìn)行分類。信號處理塊用于通過為相同的輸入返回相同的值來使原始數(shù)據(jù)易于處理，而學(xué)習(xí)塊則從以前的經(jīng)驗中學(xué)習(xí)。

經(jīng)過一些實(shí)驗，我們確定了以下參數(shù)：

• 窗口大小 = 2500 毫秒
• 窗口增加 = 1250 毫秒

我們可以通過設(shè)置小于窗口大小的窗口增加來構(gòu)建重疊窗口。每個重疊窗口都是傳達(dá)樣本標(biāo)簽的獨(dú)特音頻示例，盡管它們可能包含可比較的數(shù)據(jù)。我們可以通過使用重疊窗口來充分利用訓(xùn)練數(shù)據(jù)。

現(xiàn)在，選擇塊：

• 處理模塊 - 音頻 (MFE)
• 學(xué)習(xí)塊 - 神經(jīng)網(wǎng)絡(luò) (Keras)

?

?

配置 MFE 塊

在探索了 Mel-filter-bank 能量特征參數(shù)的一些變化之后，我們確定默認(rèn)值是最好的。

?

?

配置神經(jīng)網(wǎng)絡(luò)模型

Edge Impulse 工作室中神經(jīng)網(wǎng)絡(luò)模型的默認(rèn)值給出了最好的結(jié)果。

?

?

分類新數(shù)據(jù)

為了確保模型在新數(shù)據(jù)和以前未見過的數(shù)據(jù)上的工作效果與在訓(xùn)練數(shù)據(jù)上一樣好，我們可以使用工作室提供的“實(shí)時分類”選項。

單擊左側(cè)菜單中的實(shí)時分類。您的設(shè)備應(yīng)顯示在“分類新數(shù)據(jù)”面板中。通過單擊開始采樣捕獲 5 秒的背景噪音。

我們使用我們的智能手機(jī)和 Arduino Nano 33 BLE Sense 對數(shù)據(jù)進(jìn)行了實(shí)時分類。

模型測試

除了訓(xùn)練數(shù)據(jù)外，每個 Edge Impulse 項目都有一個測試數(shù)據(jù)集。測試數(shù)據(jù)集立即與 Live 分類中采集的樣本一起保存，模型測試頁面顯示所有測試數(shù)據(jù)。

要使用為測試而捕獲的樣本，應(yīng)相應(yīng)地編輯預(yù)期結(jié)果。單擊?圖標(biāo)并選擇編輯預(yù)期結(jié)果，然后輸入相關(guān)標(biāo)簽，如下所示。

?

?

現(xiàn)在，使用表格左側(cè)的復(fù)選框選擇樣本，然后單擊 Classify selected。

我們可以觀察到模型的準(zhǔn)確性已經(jīng)根據(jù)測試數(shù)據(jù)進(jìn)行了評級。

模型故障排除

正如預(yù)期的那樣，模型的性能在第一次嘗試時并不總是很好，這可能是由于幾個因素。一些有助于提高模型準(zhǔn)確性的修改是：

• 搜索異常/低質(zhì)量數(shù)據(jù)的數(shù)據(jù)集。
• 改變窗口大小和窗口增加等參數(shù)。
• 學(xué)習(xí)和處理模塊的參數(shù)變化。或者如果有更合適的塊，請更改塊。（例如，在 MFCC 和 MFE 之間切換）。
• 采樣時間的變化。
• epoch數(shù)的調(diào)整。

將模型部署到設(shè)備

• Edge Impulse 項目>部署。
• 創(chuàng)建包含沖動和所有外部所需庫的完整庫。選擇 Arduino library 并單擊 Build 創(chuàng)建庫

?

?

• 下載并解壓 .zip 文件。
• 打開 Arduino IDE > 選擇 Sketch > Include Library > Add.ZIP library。
• 找到文件夾（不要進(jìn)入文件夾），然后選擇選擇。
• 然后，通過轉(zhuǎn)到文件 > 示例 > 項目名稱 - Edge Impulse > static_buffer 來加載示例。

示例應(yīng)用程序現(xiàn)在將加載脈沖。

?

?

。

Edge Impulse 公共項目

Bird 聲音分類器可作為 Edge Impulse 上的公共項目使用，其中包含所有數(shù)據(jù)集和模型。你可以自己測試一下。