描述

隊員：鄧子輝（zd13）、黃星昊（xh28）、杜樂義（ld31）、蔣天成（tj16）

前言

雖然在這個最終項目中有多種選擇，但我們最終決定進行喚醒詞檢測。由于智能設備現(xiàn)在在我們的生活中非常普遍，因此這種檢測對于在不聯(lián)系后端服務器的情況下檢測喚醒詞非常有用。我們想接觸一些日常生活中實用且常用的東西，所以就來了。

至于應用架構，從TinyML微稿中我們知道，對于每一個機器學習項目，至少要有五個步驟：

1. 獲取輸入

2. 預處理輸入以提取適合輸入模型的特征

3. 對處理后的輸入進行推理

4. 對模型的輸出進行后處理以理解它

5. 使用結果信息使事情發(fā)生

在這個項目中，我們主要遵循上述規(guī)則，但有一些變化。

首先，我們必須先處理原始音頻數(shù)據(jù)，然后再將其作為輸入送入模型。此外，我們必須修改分類模型以滿足輸出字符串（“YES”或“NO”）而不是可能值的要求。

過程

我們使用 Arduino Nano 33 BLE 訓練了一個機器學習模型，它應該對輸入進行分類和識別，并將輸入分為三個不同的輸出：“是”、“否”和“未知”。我們選擇用于訓練的數(shù)據(jù)集是語音命令數(shù)據(jù)集，它由 65,000 個 30 個短詞的一秒長話語組成，在線眾包。

我們在這里要做的是將我們的原始數(shù)據(jù)從單詞預處理為音頻類型。我們可以通過用頻譜圖表示輸入詞來做到這一點。

結果

實際上，我們添加了一些創(chuàng)新的技巧來訓練模型。從下面的demo我們可以看到，當輸入為“YES”時，黃燈會亮3秒，當輸入為“NO”時，黃燈會熄滅3秒，當輸入是未知的東西，光沒有任何反應。

?

?