Arduino物聯(lián)網(wǎng)設(shè)備中開發(fā)喚醒詞檢測(cè)應(yīng)用程序
資料介紹
描述
隊(duì)員:
陳玉婷 (yc119)
王幫舉 (bw27)
喚醒詞檢測(cè)技術(shù)已廣泛應(yīng)用于各種語(yǔ)音助手,如 Apple Siri、Microsoft Cortana、Google Assistant。為了更好地理解這項(xiàng)技術(shù),我們?cè)谖覀兊捻?xiàng)目Arduino中構(gòu)建了這個(gè)項(xiàng)目,以在資源有限的物聯(lián)網(wǎng)設(shè)備中開發(fā)喚醒詞檢測(cè)應(yīng)用程序。
該模型將音頻數(shù)據(jù)作為輸入。正如我們將看到的,這需要大量處理才能將其輸入模型。該模型是一個(gè)分類器,輸出類別概率。我們必須解析并理解這個(gè)輸出。
使用該模型可以識(shí)別包括“是”和“否”在內(nèi)的詞,其他詞可以被檢測(cè)為“未知”。需要說(shuō)明的是,在板檢測(cè)到“是”一詞后,燈將亮起 3 秒。同時(shí),識(shí)別結(jié)果會(huì)顯示在屏幕上。檢測(cè)到“否”后,指示燈不變,識(shí)別結(jié)果顯示在屏幕上。此外,當(dāng)檢測(cè)到其他詞時(shí),燈仍然不會(huì)改變,屏幕上會(huì)顯示“未知”。
我們將使用現(xiàn)有數(shù)據(jù)集,使用 Tensorflow 訓(xùn)練我們的模型,將其轉(zhuǎn)換為 TensorFlow Lite 模型并將模型部署到 Arduino 中。然后我們將觀察 LED 燈并查看 Arduino IDE 消息以獲取 Arduino 的輸出信息。
如圖所示,該程序包含以下組件:
主循環(huán)
與“hello world”示例一樣,我們的應(yīng)用程序在連續(xù)循環(huán)中運(yùn)行。所有后續(xù)進(jìn)程都包含在其中,并且它們會(huì)持續(xù)執(zhí)行,只要微控制器能夠以每秒多次的速度運(yùn)行它們即可。
音頻供應(yīng)商
該組件從麥克風(fēng)捕獲原始音頻數(shù)據(jù)。由于捕獲音頻的方法因設(shè)備而異,因此可以覆蓋和自定義此組件。
特征提供者
功能提供者將原始音頻數(shù)據(jù)轉(zhuǎn)換為我們的模型所需的頻譜圖格式。它作為主循環(huán)的一部分在滾動(dòng)的基礎(chǔ)上這樣做,為解釋器提供一系列重疊的一秒窗口。
TF Lite 解釋器
解釋器運(yùn)行 TensorFlow Lite 模型,將輸入的頻譜圖轉(zhuǎn)換為一組概率。
模型
該模型作為數(shù)據(jù)數(shù)組包含在內(nèi),并由解釋器運(yùn)行。該數(shù)組位于 tiny_conv_micro_features_model_data.cc 中。
識(shí)別命令
由于推理每秒運(yùn)行多次,因此識(shí)別命令類會(huì)聚合結(jié)果并確定平均而言是否聽到了一個(gè)已知單詞。
命令響應(yīng)器
如果聽到命令,命令響應(yīng)器會(huì)使用設(shè)備的輸出功能讓用戶知道。根據(jù)設(shè)備的不同,這可能意味著 LED 閃爍,或在 LCD 顯示屏上顯示數(shù)據(jù)。可以針對(duì)不同的設(shè)備類型覆蓋它。
- Arduino Nano喚醒詞檢測(cè)
- 使用Blynk應(yīng)用程序的物聯(lián)網(wǎng)氣象站
- 基于Arduino板開發(fā)的喚醒詞檢測(cè)實(shí)現(xiàn)
- 喚醒詞檢測(cè)開源設(shè)計(jì)
- 使用Arduino、Sigfox和Ubidot構(gòu)建物聯(lián)網(wǎng)應(yīng)用程序
- Tiny ML喚醒詞檢測(cè)開源分享
- 喚醒詞檢測(cè)開源分享
- COMP 554喚醒詞檢測(cè)
- Arduino喚醒詞檢測(cè)
- 使用Arduino和TensorFlow進(jìn)行喚醒詞檢測(cè)
- 使用Blynk應(yīng)用程序的物聯(lián)網(wǎng)溫度和濕度監(jiān)控器
- 如何使用DTK開發(fā)應(yīng)用程序? 3次下載
- 一種面向物聯(lián)網(wǎng)服務(wù)的Web攻擊向量檢測(cè)方法 7次下載
- Arduino 1.8.5 應(yīng)用程序免費(fèi)下載 222次下載
- Arduino 1.8.3 應(yīng)用程序免費(fèi)下載 26次下載
- AWTK-WEB 快速入門(1) - C 語(yǔ)言應(yīng)用程序 257次閱讀
- PreEmptiveProtection:全面的移動(dòng)應(yīng)用程序保護(hù) 683次閱讀
- 聊聊PHP的web應(yīng)用程序開發(fā)框架存在的漏洞有哪些 1834次閱讀
- 混合IoT平臺(tái)為物聯(lián)網(wǎng)提供簡(jiǎn)單性、靈活性和快速上市時(shí)間 1051次閱讀
- 基于AWTK開發(fā)應(yīng)用程序需要遵循的規(guī)范和方法 1392次閱讀
- 淺談RAM 執(zhí)行應(yīng)用程序 3262次閱讀
- 如何成功實(shí)現(xiàn)物聯(lián)網(wǎng)用戶體驗(yàn)設(shè)計(jì) 1773次閱讀
- 開發(fā)者必備的七大工具,提升應(yīng)用程序開發(fā)工作效率 3173次閱讀
- 什么是物聯(lián)網(wǎng)開發(fā)套件?如何挑選物聯(lián)網(wǎng)開發(fā)套件 5261次閱讀
- LPWAN在物聯(lián)網(wǎng)有什么獨(dú)特的優(yōu)勢(shì) 1034次閱讀
- 微雪電子人工智能物聯(lián)網(wǎng)開發(fā)套件介紹 2740次閱讀
- 物聯(lián)網(wǎng)軟件開發(fā)的主要挑戰(zhàn)是什么 1353次閱讀
- 物聯(lián)網(wǎng)低功耗無(wú)線喚醒性系統(tǒng)探討 2986次閱讀
- 什么是霧計(jì)算?與物聯(lián)網(wǎng)有何關(guān)系? 1521次閱讀
- 兩種開發(fā) RFID 應(yīng)用程序的方法分析 845次閱讀
下載排行
本周
- 1NS1081/NS1081S/NS1081Q USB 3.0閃存數(shù)據(jù)手冊(cè)
- 0.40 MB | 4次下載 | 2 積分
- 2光伏并網(wǎng)逆變器原理
- 7.31 MB | 3次下載 | 2 積分
- 3T20電烙鐵原理圖資料
- 0.27 MB | 2次下載 | 免費(fèi)
- 4PL83081 雙路恒流同步降壓轉(zhuǎn)換器技術(shù)手冊(cè)
- 3.34 MB | 1次下載 | 免費(fèi)
- 5PL88052 4.8V至60V輸入,5A,同步降壓轉(zhuǎn)換器技術(shù)手冊(cè)
- 3.36 MB | 1次下載 | 免費(fèi)
- 6LX8201微孔霧化驅(qū)動(dòng)芯片電路圖資料
- 0.15 MB | 1次下載 | 免費(fèi)
- 7PC6200_7V直流電機(jī)驅(qū)動(dòng)器技術(shù)手冊(cè)
- 0.47 MB | 次下載 | 免費(fèi)
- 8恒溫晶體振蕩器(OCXO)FOC-2D:20.6×20.6mm在通信基站和測(cè)試設(shè)備中的應(yīng)用參數(shù)規(guī)格
- 485.75 KB | 次下載 | 免費(fèi)
本月
- 1如何看懂電子電路圖
- 12.88 MB | 329次下載 | 免費(fèi)
- 2RK3588數(shù)據(jù)手冊(cè)
- 2.24 MB | 14次下載 | 免費(fèi)
- 3PC5502負(fù)載均流控制電路數(shù)據(jù)手冊(cè)
- 1.63 MB | 12次下載 | 免費(fèi)
- 4STM32F10x參考手冊(cè)資料
- 13.64 MB | 12次下載 | 1 積分
- 5OAH0428 V1.0英文規(guī)格書
- 5.86 MB | 8次下載 | 免費(fèi)
- 6NS1081/NS1081S/NS1081Q USB 3.0閃存數(shù)據(jù)手冊(cè)
- 0.40 MB | 4次下載 | 2 積分
- 7PID控制算法學(xué)習(xí)筆記資料
- 3.43 MB | 3次下載 | 2 積分
- 8光伏并網(wǎng)逆變器原理
- 7.31 MB | 3次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935132次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191415次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183349次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81599次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73818次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65990次下載 | 10 積分
評(píng)論