描述

2020 年 6 月更新：DeepSpeech 0.7.* .Screenshots 的更新命令，除了 Raspberry Pi 4 保持不變。直到最近的問題是缺乏用于該任務(wù)的簡單、快速和準(zhǔn)確的引擎。大約一年前，當(dāng)我研究這個主題時，當(dāng)你必須在樹莓派 3 上運行 ASR（不僅僅是熱詞檢測，還有大詞匯量轉(zhuǎn)錄）時，有幾個選擇是：

• CMUS獅身人面像
• 卡爾迪
• 碧玉

鏈接：

Python 3 人工智能：離線 STT 和 TTS

適用于樹莓派的最佳語音識別軟件

還有其他幾個。它們都不容易設(shè)置，也不特別適合在資源受限的環(huán)境中運行。因此，幾周前，我再次開始研究這個領(lǐng)域，并在一些搜索中偶然發(fā)現(xiàn)了 Mozilla 的 DeepSpeech 引擎。它已經(jīng)存在了一段時間，但直到最近（2019 年 12 月）他們才發(fā)布了 0.6.0 版本的 ASR 引擎，其中包含 .tflite 模型以及其他重大改進(jìn)。它已將英文模型的大小從 188 MB 減少到 47 MB??。“帶有 TensorFlow Lite 的 DeepSpeech v0.6 在 Raspberry Pi 4 的單核上運行速度比實時速度更快?！盡ozilla 的 Reuben Morais 在新聞公告中聲稱. 所以我決定親自驗證這一說法，在不同的硬件上運行一些基準(zhǔn)測試，并制作我自己的帶有熱詞檢測的音頻轉(zhuǎn)錄應(yīng)用程序。讓我們看看結(jié)果如何。

提示：我沒有失望。

其實我和這個火狐一樣開心！

?

。

?

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.tflite
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.pbmm
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.scorer

下載示例音頻文件

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/audio-0.7.1.tar.gz
tar xvf audio-0.7.1.tar.gz

樹莓派 4 運行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

如果成功，您應(yīng)該看到以下輸出

?

不錯！1.975 秒的聲音文件為 1.529 秒。它比實時更快。

Nvidia Jetson Nano 運行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

嗯..比樹莓派慢一點。這是意料之中的，因為 Nvidia Jetson CPU 不如 Raspberry Pi 4 強大。到目前為止，還沒有用于 arm64 架構(gòu)的預(yù)構(gòu)建二進(jìn)制文件支持 GPU，因此我們無法利用 Nvidia Jetson Nano 的 GPU 進(jìn)行推理加速。我認(rèn)為這個任務(wù)不在 DeepSpeech 團(tuán)隊的路線圖上，所以在不久的將來我會在這里自己做一些研究，并嘗試編譯該二進(jìn)制文件，看看使用 GPU 可以實現(xiàn)哪些速度提升。但幾秒鐘的速度仍然相當(dāng)不錯，根據(jù)您的項目，您可能希望選擇在 CPU 上運行 DeepSpeech 并讓 GPU 用于其他深度學(xué)習(xí)任務(wù)。

視窗 10/Linux

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

?

或者如果使用啟用 GPU 的版本：

deepspeech --model deepspeech-0.7.*-models.pbmm --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

如您所見，.tflite 模型在現(xiàn)代 CPU 系統(tǒng)上實現(xiàn)了亞實時，這對于創(chuàng)建離線 ASR 應(yīng)用程序的人們來說是個好消息。

以下是對比結(jié)果表：

?

好吧，我們對預(yù)先錄制的聲音樣本進(jìn)行了基準(zhǔn)測試，但我們真的想做一些實時轉(zhuǎn)錄。讓我們這樣做吧！

從https://github.com/mozilla/DeepSpeech-examples下載 DeepSpeech 示例

導(dǎo)航到 mic_vad_streaming 并安裝依賴項

pip3 install -r requirements.txt
sudo apt install portaudio19-dev

將麥克風(fēng)連接到您的系統(tǒng)（我使用的是 Raspberry Pi 4 1 GB）。對于麥克風(fēng)，盡管您可以使用任何麥克風(fēng)，包括筆記本電腦的內(nèi)置麥克風(fēng)，但聲音的質(zhì)量確實對結(jié)果有很大影響。對于這個演示，我使用的是 Seeed Studio 的ReSpeaker USB 麥克風(fēng)陣列。它支持 5m 遠(yuǎn)場拾音和 360° 拾音模式，并實現(xiàn)以下聲學(xué)算法：DOA（到達(dá)方向）、AEC（自動回聲消除）、AGC（自動增益控制）、NS （噪音抑制）。

?

python3 ../DeepSpeech-examples/mic_vad_streaming/mic_vad_streaming.py --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer

從包含模型的文件夾中執(zhí)行此命令。-v 參數(shù)允許您調(diào)整 VAD（語音活動檢測）的閾值。這是演示的結(jié)果。

好，太棒了！我們可以改進(jìn)嗎？是的。我們真的不希望我們的設(shè)備一直在轉(zhuǎn)錄對話。談?wù)撾[私噩夢和浪費電力。

它/他/她？正在聽……或許沒有。如果它不是開源的，你永遠(yuǎn)不會知道。

?

。