語(yǔ)音輔助技術(shù)使用戶能夠使用語(yǔ)音命令與他們的設(shè)備進(jìn)行交互，并且依靠準(zhǔn)確的語(yǔ)音識(shí)別來(lái)確保對(duì)特定用戶的響應(yīng)。但是在許多實(shí)際的使用案例中，這類技術(shù)的輸入一般由重疊的語(yǔ)音組成，這給許多語(yǔ)音識(shí)別算法帶來(lái)了巨大的挑戰(zhàn)。

2018年，我們推出了VoiceFilter系統(tǒng)，該系統(tǒng)利用了谷歌的Voice Match，通過(guò)允許用戶注冊(cè)和登記自己的語(yǔ)音，實(shí)現(xiàn)與輔助技術(shù)的個(gè)性化交互。

雖然VoiceFiltr的方法很成功，并且實(shí)現(xiàn)了比傳統(tǒng)方法更好的信噪比（SDR），但高效的設(shè)備上流媒體語(yǔ)音識(shí)別需要解決模型大小、CPU、內(nèi)存限制和電池使用注意事項(xiàng)和延遲最小化等的限制。

在“Voice Filter-lite方面：針對(duì)面向設(shè)備上語(yǔ)音識(shí)別的流媒體目標(biāo)語(yǔ)音分離”中，我們推出了針對(duì)設(shè)備上使用的Voice Filter的更新，該更新可以通過(guò)利用選定發(fā)言人的注冊(cè)語(yǔ)音來(lái)達(dá)到顯著提高和改善重疊語(yǔ)音的語(yǔ)音識(shí)別。重要的是，該模型可以很容易地與現(xiàn)有的設(shè)備語(yǔ)音識(shí)別應(yīng)用程序集成，允許用戶在極其嘈雜的條件下訪問(wèn)語(yǔ)音輔助功能，即使互聯(lián)網(wǎng)連接不可用。我們的實(shí)驗(yàn)表明，一個(gè)2.2MB的voice filer-lite模型在重疊語(yǔ)音上可以使誤詞率（WER） 改善25.1% 。

改進(jìn)設(shè)備上的語(yǔ)音識(shí)別

雖然最初的VoiceFilter系統(tǒng)非常成功地將目標(biāo)發(fā)言人的語(yǔ)音信號(hào)從其他重疊的信號(hào)源中分離出來(lái)，但它的模型大小、計(jì)算成本和延遲，對(duì)于移動(dòng)設(shè)備上的語(yǔ)音識(shí)別是不可行的。

新的Voice Filter-Lite系統(tǒng)經(jīng)過(guò)精心設(shè)計(jì)，與設(shè)備上的應(yīng)用程序相適應(yīng)。Voice Filter-Lite不需要處理音頻波形，而是采用與語(yǔ)音識(shí)別模型完全相同的輸入特征功能（stacked log Mel-filterbanks堆疊的對(duì)數(shù)Mel濾波器組） ， 并通過(guò)實(shí)時(shí)過(guò)濾掉不屬于目標(biāo)說(shuō)話者的組成部分來(lái)直接增強(qiáng)這些特征。加上對(duì)網(wǎng)絡(luò)拓?fù)涞亩囗?xiàng)優(yōu)化，運(yùn)行時(shí)操作的數(shù)量大大減少。在使用Tensor Flow Lite庫(kù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化后，模型大小只有2.2MB，適合大多數(shù)設(shè)備上的應(yīng)用程序。

為了訓(xùn)練Voice Filter-Lite模型，將帶噪聲語(yǔ)音的濾波器組與代表目標(biāo)發(fā)言人身份的嵌入向量（i.e.ad-vector d矢量）一起被輸進(jìn)網(wǎng)絡(luò)。該網(wǎng)絡(luò)預(yù)測(cè)了一個(gè)掩碼，將其與輸入逐元素相乘，從而產(chǎn)生增強(qiáng)的過(guò)濾庫(kù)。在訓(xùn)練過(guò)程中，我們定義了一個(gè)損失函數(shù)來(lái)最小化增強(qiáng)濾波器組和干凈語(yǔ)音的濾波器組之間的差異。

Voice Fliter-Lite系統(tǒng)的模型架構(gòu)

Voice Filter-Lite是一種即插即用的模型，它允許實(shí)如果說(shuō)話者沒(méi)有登記他們的聲音，那么實(shí)現(xiàn)它的應(yīng)用程序可以輕松地繞過(guò)它。這也意味著語(yǔ)音識(shí)別模型和Voice Filer-Lite模型可以分別進(jìn)行訓(xùn)練和更新，這在很大程度上降低了部署過(guò)程中的工程復(fù)雜性。

作為即插即用模型，如果發(fā)言人沒(méi)有注冊(cè)他們的聲音，Voice Fliter-Lite可以很輕易地被忽略。

應(yīng)對(duì)過(guò)度抑制的挑戰(zhàn)

當(dāng)使用語(yǔ)音分離模型來(lái)改進(jìn)語(yǔ)音識(shí)別時(shí)，可能會(huì)出現(xiàn)兩種類型的錯(cuò)誤：抑制不足，即模型無(wú)法濾除信號(hào)中的噪聲成分；以及過(guò)度抑制，當(dāng)模型不能保留有用的信號(hào)時(shí)，導(dǎo)致一些單詞從識(shí)別的文本中丟失。過(guò)度抑制問(wèn)題尤其嚴(yán)重，因?yàn)楝F(xiàn)代語(yǔ)音識(shí)別模型通常已經(jīng)使用大量的增強(qiáng)數(shù)據(jù)（如房間模擬和SpecAugment） 進(jìn)行訓(xùn)練，因此對(duì)抑制不足更有魯棒性。

Voice Filter-Lite通過(guò)兩種新方法解決了過(guò)度抑制的問(wèn)題。首先，它在訓(xùn)練過(guò)程中使用了非對(duì)稱性損失，使得模型對(duì)過(guò)度抑制的容忍度低于抑制不足的。其次，它對(duì)運(yùn)行時(shí)的噪聲類型進(jìn)行預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果自適應(yīng)地調(diào)整抑制強(qiáng)度。

當(dāng)檢測(cè)重疊語(yǔ)音時(shí)，Voice Filter-Lite自適應(yīng)地應(yīng)用更強(qiáng)的抑制強(qiáng)度。

通過(guò)這兩種解決方案，Voice Filter-Lite模型在其他場(chǎng)景（如安靜或各種噪聲條件下的單揚(yáng)聲器語(yǔ)音）的流媒體語(yǔ)音識(shí)別方面保持了出色的性能，同時(shí)在重疊語(yǔ)音方面仍然提供了顯著的改進(jìn)。從我們的實(shí)驗(yàn)中，我們觀察到將2.2MB Voice Filter-Lite模型應(yīng)用于附加性重疊語(yǔ)音后，單詞錯(cuò)誤率改善了25.1%。對(duì)于混響重疊語(yǔ)音，模擬遠(yuǎn)場(chǎng)設(shè)備（如智能家庭揚(yáng)聲器）是一項(xiàng)更具挑戰(zhàn)性的任務(wù)， 我們還觀察到使用Voice Filter-Lite可以改善14.7%的單詞錯(cuò)誤率。

未來(lái)的工作

雖然Voice-Filter Lite在各種設(shè)備語(yǔ)音應(yīng)用程序中顯示出了巨大的潛力，但我們也在探索其他幾個(gè)方向，以使Voice-Filter Lite更有用。首先，我們目前的模型只用英語(yǔ)語(yǔ)音進(jìn)行訓(xùn)練和評(píng)估。我們很高興能夠采用同樣的技術(shù)來(lái)改進(jìn)更多語(yǔ)言的語(yǔ)音識(shí)別。其次，我們想在訓(xùn)練Voice Filter-Lite的過(guò)程中直接優(yōu)化語(yǔ)音識(shí)別損失，這可能會(huì)進(jìn)一步提高語(yǔ)音識(shí)別，而不僅僅是重疊語(yǔ)音。

感謝

本文所描述的研究代表了谷歌中多個(gè)團(tuán)隊(duì)的共同努力。貢獻(xiàn)者包括Quan Wang， Ignacio Lopez Moreno， Mert Saglam， Kevin Wilson， Alan Chiao， Renjie Liu， Yanzhang He， Wei Li， Jason Pelecanos， Philip Chao， Sinan Akay， John Han， Stephen Wu， Hannah Muckenhirn， Ye Jia， Zelin Wu， Yiteng Huang， Marily Nika， Jaclyn Konzelmann， Nino Tasca， and Alexander Gruenstein.Share on Twitter Share on Facebook在Twitter上的分享，在Facebook上的分享。

責(zé)任編輯：lq