描述

動機與背景

傳統(tǒng)的基于視覺的野生動物監(jiān)測方法受到天氣條件、相機的視野、目標生物的大小及其接近程度的限制。可以通過其他渠道更可靠地監(jiān)測野生動物的替代技術(shù)有很大的空間：如聲學監(jiān)測。

聲學監(jiān)測為監(jiān)測野生動物提供了一種可靠、低成本且可擴展的替代方案，并具有檢測有害人類活動的額外好處：雖然偷獵和伐木可能無法看到，但它們更容易聽到。

當然，聲學監(jiān)測并不是一個新概念。但是，大多數(shù)產(chǎn)品只記錄；他們不分析。這會產(chǎn)生大量原始數(shù)據(jù)，超出研究人員單獨分析的人力。目前，保護組織經(jīng)常求助于大型科技公司來處理他們的原始數(shù)據(jù)。這不僅使保護主義者處于被動狀態(tài)，將重點放在歷史數(shù)據(jù)上，而且還為小規(guī)模的地方保護工作構(gòu)成了重大障礙。此外，這也阻礙了聲學監(jiān)測系統(tǒng)充當警報的潛力。

Agouti：我們的產(chǎn)品

鑒于這些考慮，Agouti 是一款智能、防風雨的聲學監(jiān)測設備，可以輕松部署用于音頻數(shù)據(jù)的記錄和分析。

我們使用 edgeML 來自動標記關(guān)鍵事件類的麥克風數(shù)據(jù)，例如昆蟲聲音和鳥鳴、人類活動（例如車輛）和日志記錄（例如電鋸噪音），并將這些標簽與其各自的音頻一起存儲以供人工檢查。我們還記錄溫度、濕度和光傳感器的讀數(shù)，以將音頻與現(xiàn)實世界聯(lián)系起來，準確量化環(huán)境如何影響物種的行為。

Agouti 廣泛涉及“挑戰(zhàn) 2：野生動物/生物多樣性保護”。具體來說，我們同時解決兩個問題：

• 對瀕臨滅絕的野生動物進行非侵入式監(jiān)控：我們的聲學記錄系統(tǒng)會定期對其周圍的音景進行 5 秒的錄音，然后對其進行分析并與音頻一起存儲。
• 人類與野生動物沖突預防/緩解：通過檢查音頻中的可疑活動聲音（如伐木或運輸噪音），我們可以檢測對環(huán)境有害的非法活動。

簡而言之，刺豚鼠

?

因此，如上所示，Agouti 使用 Wio 終端來收集數(shù)據(jù)和顯示預測，而 Raspberry Pi 用于處理和存儲數(shù)據(jù)。我們決定使用 Raspberry Pi 有兩個原因

1. 我們嘗試的一些更簡單的模型根本無法以合理的準確度進行音頻分析。所以我們不得不使用一個太大而無法在 Wio 上運行或運行的 AI 模型，但又足夠小以適應 RPi。

2. RPi 可以寫入容量遠大于 Wio 16GB SD 卡槽的 USB 存儲設備。

現(xiàn)在，讓我們來看看我們是如何創(chuàng)建 Agouti 的。此處引用的所有代碼和其他支持文件都可以在我們的GitHub存儲庫中訪問，其中包含設置我們系統(tǒng)每個部分的詳細說明。

第 1 部分：人工智能訓練

這是最難的一點。我們嘗試了許多各種規(guī)模的模型架構(gòu)，最終我們堅持的方法是遷移學習。與訓練新模型相反，遷移學習顯著減少了所需的訓練時間和資源。通過利用預訓練模型的高級模型架構(gòu)，它還可以提高準確性。

對于我們的訓練，我們使用了谷歌的預訓練模型YAMNet 。YAMNet 分析輸入音頻數(shù)據(jù)的 Mel Spectrogram，這是一個根據(jù)人類聽覺對不同頻率的敏感度有偏差的頻譜圖。它是一個主要由卷積層組成的模型，在 Google 的 AudioSet 數(shù)據(jù)集上進行訓練，并輸出對應于 521 個預定義類中的每一個的分數(shù)數(shù)組。

然后我們選擇了另一個數(shù)據(jù)集ESC-50 ，它主要包含環(huán)境噪聲，因此更適合我們的目的。這里的音頻數(shù)據(jù)為 5s 16khz。YAMNet 從音頻生成嵌入，我們在這些嵌入上訓練最終分類器。因為 YAMNet 將音頻數(shù)據(jù)切成 0.96 秒的幀，所以我們 5 秒的記錄產(chǎn)生了一個嵌入數(shù)組。為了解決這個問題，我們采用了一個 128 單元的 LSTM 模型，該模型對這個數(shù)據(jù)數(shù)組進行循環(huán)操作。

為了進一步提高我們模型的魯棒性，我們添加了音頻增強：時間軸的拉伸/壓縮、頻率調(diào)制、隨機噪聲的混合、諧波失真等。這不可避免地會降低訓練時的準確性，但會在訓練中獲得更好的性能應用。

為了使模型的最終預測更加直觀，我們還創(chuàng)建了模型混合內(nèi)容的混淆矩陣。如下所示：

所以，它做得很好（我們計劃改進大約 60% 的驗證準確度）

?

一旦最終的分類器層被訓練出來，我們就對其進行量化并將其轉(zhuǎn)化為可以在 Pi 上輕松運行的 TFlite 模型。

您可以在此處使用我們在 Google Colab 上的實際實現(xiàn)。

以下是人工智能分析 YouTube 音頻的一些片段：

第 2 部分：Wio + RPi 串行

我們非常感謝 Seeed Studios 為我們提供免費的 SenseCAP K1100 傳感器原型套件。我們使用 Wio 終端從其內(nèi)置的光傳感器和 microhpone 以及附加的 Grove SHT40 溫度和濕度傳感器中獲取讀數(shù)。

您會記得，Wio 終端負責所有傳感器數(shù)據(jù)并通過其麥克風記錄音頻，而 Raspberry Pi 運行大型 AI 聲學模型（太大而無法安裝在 Wio 上）并使數(shù)據(jù)能夠存儲到 USB具有大存儲空間的驅(qū)動器。兩者之間的通信是通過串口實現(xiàn)的：

• Raspberry Pi 在啟動時向 Wio 發(fā)送命令
• Wio 抓取傳感器數(shù)據(jù)并記錄 16k 幀音頻數(shù)據(jù)，然后將其發(fā)送回 Pi。然后 Pi 做了一些事情：
• Pi 測量 Wio 獲取音頻數(shù)據(jù)所需的時間，自動校準每幀之間的延遲，以便 Wio 每秒準確返回 16000 幀。
• Pi 將原始音頻數(shù)據(jù)轉(zhuǎn)換為介于 -1 和 1 之間的 numpy 數(shù)組，然后將其傳遞給 YAMNet 以提取 YAMNet 預測和嵌入
• 然后將 YAMNet 嵌入通過我們的自定義模型傳遞以提取更高級別的音頻信息
• 來自 YAMNet 和我們的自定義模型的預測結(jié)合起來給出最終的音頻標簽
• 如果自上次存儲音頻以來已經(jīng)過去了足夠長的時間，或者如果音頻被標記為危險，則 Pi 將音頻數(shù)據(jù)及其預測標簽（作為 JSON）一起寫入 USB
• Pi 將預測的音頻標簽和校準的延遲時間發(fā)送回 Wio
• Wio 顯示預測的音頻標簽，再次記錄音頻數(shù)據(jù)（這次使用新的延遲值），然后循環(huán)繼續(xù)

同樣，我們的 GitHub 存儲庫中提供了設置RPi和 Wio 的完整說明。

第 3 部分：外殼

為了保護硬件免受外部環(huán)境的破壞，我們在 Onshape 上設計了一個防水外殼，使用 3mm 透明亞克力板，使用激光切割機成型。

我們決定使用亞克力板，因為它們耐用且重量輕，并且具有易于激光切割的額外好處。外殼也是完全透明的，以確保屏幕可見。此外，外殼設計中包含一個小窗口，用于將溫度和濕度傳感器（位于外部）連接到 Wio（位于內(nèi)部）。保護殼的所有底座部分均采用指接設計，具有很強的穩(wěn)定性和強度，并最大限度地提高了用于連接和形成整個盒子的丙烯酸水泥的粘合性。

而且……我們做到了！

?

?

?

?

1 / 3 ? Agouti 包裝在亞克力外殼內(nèi)

?

最終產(chǎn)品

這是一段 Agouti 在行動中的視頻，它用背景中的飛機檢測人類噪音：

下面是鏈接到音頻文件的 JSON 文件的示例：

{
    "category": "chainsaw", # Final audio tag
    "class": "sawing",      # Big class that tag falls into
    "humidity": 51.6,       # Humidity value
    "light": 170,           # Light sensor value
    "original": "chainsaw", # Prediction from our model
    "temperature": 20.09,   # Temperature value
    "yamnet": [             # YAMNet prediction at each frame
        "Engine",
        "Breathing",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Frying (food)",
        "Breathing",
        "Rattle",
        "Engine"
    ]
}

并且...所有音頻文件都已正確存儲到 USB 上：

USB 上有什么

?

未來的改進

未來，我們設想進行以下更改以改進 Agouti：

• 支持通過 LoRaWan 發(fā)送分析的音頻標簽和傳感器數(shù)據(jù)，因此可以立即刷新數(shù)據(jù)和警告（我們確實有準備好通過 Lora 將傳感器數(shù)據(jù)發(fā)送到 Helium 的代碼，但連接存在問題，可能與 Lora 覆蓋有關(guān)）
• 太陽能電池板可實現(xiàn)更長時間的連續(xù)運行
• 使移植的 ML 模型更準確，并且能夠識別更多的音頻類
• 使用更好的麥克風并以更高的速率采樣

學分

感謝我來自 Team Enigma 的其他 3 位隊友，他們參與了這個項目的開發(fā)：

Dylan Kainth主要用于處理硬件的 Wio 方面，建議使用 Pi 以及許多其他事情

Alex Yi主要用于幫助人工智能，研究不同的算法，并提出不同的音頻增強

Mark Zeng設計了機箱并對 Edge Impulse 進行了一些研究