語言障礙癥狀影響著數(shù)百萬人的生活，其產(chǎn)生原因很多，包括神經(jīng)或遺傳疾病、身體缺陷、腦損傷或聽力喪失等，而由此導(dǎo)致的癥狀也各不相同，如口吃、構(gòu)音障礙 （Dysarthria）、失用癥 （Apraxia） 等，這些癥狀對(duì)患者的自我表達(dá)、社會(huì)生活參與，以及使用語音技術(shù)，都會(huì)產(chǎn)生不利影響。

自動(dòng)語音識(shí)別 （ASR， Automatic Speech Recognition） 技術(shù)可以通過提升設(shè)備的聽寫和家居自動(dòng)化能力以及溝通能力，來幫助語言障礙人士克服上述問題。然而，盡管隨著深度學(xué)習(xí)系統(tǒng)計(jì)算能力的提升，以及有大型訓(xùn)練數(shù)據(jù)集可供使用，ASR 系統(tǒng)在準(zhǔn)確率方面有所提升，但是對(duì)于許多具有語言障礙的人而言，系統(tǒng)的性能仍有所欠缺，導(dǎo)致許多本應(yīng)受益良多的患者無法有效利用這項(xiàng)技術(shù)。

2019 年，我們推出了 Euphonia 項(xiàng)目，探討如何通過個(gè)性化的識(shí)別語言障礙 ASR 模型，實(shí)現(xiàn)在典型語音上與通用 ASR 模型相同水平的準(zhǔn)確率。今天我們?yōu)榇蠹曳窒韮身?xiàng)在 Interspeech 2021 上發(fā)布的研究成果，這兩項(xiàng)研究目的在于讓更多用戶群體可以利用個(gè)性化 ASR 模型。在“無序語音數(shù)據(jù)集合：從 Euphonia 項(xiàng)目 100 萬條語音中總結(jié)的經(jīng)驗(yàn) （Disordered Speech Data Collection： Lessons Learned at 1 Million Utterances from Project Euphonia）”中，我們介紹了一個(gè)涵蓋范圍廣泛的無序語音數(shù)據(jù)集合，其中包含的語音數(shù)據(jù)超過 100 萬條。在“自動(dòng)識(shí)別無序語音：在短語方面?zhèn)€性化模型較人類表現(xiàn)更佳 （Automatic Speech Recognition of Disordered Speech： Personalized models outperforming human listeners on short phrases） ”中，我們討論了在基于該語料庫生成個(gè)性化 ASR 模型上所開展的工作。與利用典型語音訓(xùn)練的開箱即用的語音模型相比，這種方法可以產(chǎn)生準(zhǔn)確率更高的模型，在特定的語境中，字錯(cuò)誤率 （WER， Word error rate） 可降低高達(dá) 85% 。

Euphonia

https://blog.google/outreach-initiatives/accessibility/impaired-speech-recognition/

無序語音數(shù)據(jù)集合：從 Euphonia 項(xiàng)目 100 萬條語音中總結(jié)的經(jīng)驗(yàn)

https://www.isca-speech.org/archive/interspeech_2021/macdonald21_interspeech.html

自動(dòng)識(shí)別無序語音：在短語方面?zhèn)€性化模型較人類表現(xiàn)更佳

https://www.isca-speech.org/archive/interspeech_2021/green21_interspeech.html

來自語障人士的語音數(shù)據(jù)集合

自 2019 年起，不少語障人士為支持 Euphonia 項(xiàng)目的研究工作提供了語音樣本。他們的嚴(yán)重程度不同，癥狀也不一樣。這項(xiàng)工作將 Euphonia 項(xiàng)目的語料庫擴(kuò)展至超過 100 萬條語音，包括了來自 1330 名說話者的 1400 多小時(shí)語音記錄（截至 2021 年 8 月）。

基于超過 300 條錄制的語音數(shù)據(jù)，繪制出的所有說話者的語言障礙嚴(yán)重程度和所患病癥分布圖。在病癥方面，僅顯示患病人數(shù)超過 5 人的病癥，否則統(tǒng)一記入“其他”以滿足 k 匿名性 （k-anonymity）

ALS 代表肌萎縮性脊髓側(cè)索硬化癥；DS 代表唐氏綜合癥；PD 代表帕金森病；CP 代表腦癱；HI 代表聽力障礙；MD 代表肌肉萎縮癥；MS 代表多發(fā)性硬化癥

Euphonia 項(xiàng)目的研究工作

https://sites.research.google/euphonia/about/

為簡化數(shù)據(jù)收集流程，參與者在筆記本電腦或者手機(jī)等個(gè)人硬件上（使用或者不使用頭戴式耳機(jī)）通過家用錄音系統(tǒng)收集語音，而不是在類似實(shí)驗(yàn)室這樣的理想環(huán)境中收集錄音棚品質(zhì)的語音。

為降低轉(zhuǎn)錄成本，同時(shí)保持較高的轉(zhuǎn)錄一致性，我們優(yōu)先采取了按照文本朗讀的方式。參與者根據(jù)瀏覽器端錄音工具上顯示的提示語進(jìn)行朗讀。這些提示語涵蓋家居自動(dòng)化（“打開電視。”）、與看護(hù)者對(duì)話（“我餓了?！保┮约胺钦綄?duì)話（“你好嗎？你今天過得愉快嗎？”）等語境。大部分參與者會(huì)朗讀 1500 條提示語，其中包含 1100 個(gè)只出現(xiàn)一次的短語以及 100 個(gè)重復(fù)出現(xiàn) 4 次的短語。

語音專家在傾聽每位說話者部分語音的同時(shí)，進(jìn)行了全面的聽覺感知和語音評(píng)估，以便根據(jù)多種為說話者分級(jí)的元數(shù)據(jù)，來判定語言障礙類型（例如口吃、構(gòu)音障礙、失用癥等），對(duì)如鼻音過重（Hypernasal speech）、發(fā)音失準(zhǔn)和言語聲律障礙（Dysprosody）等 24 種異常語音特征進(jìn)行評(píng)定，同時(shí)對(duì)技術(shù)問題（例如信號(hào)丟失、分割問題）和聲學(xué)問題（例如環(huán)境噪音、次級(jí)揚(yáng)聲器串?dāng)_）進(jìn)行錄音質(zhì)量評(píng)估。

個(gè)性化 ASR 模型

這個(gè)擴(kuò)展的語音障礙數(shù)據(jù)集也是我們生成無序語音個(gè)性化 ASR 模型新方法的基礎(chǔ)。每個(gè)定制模型都使用標(biāo)準(zhǔn)的端對(duì)端 RNN-傳感器 （RNN-T） ASR 模型，該模型僅對(duì)目標(biāo)說話者的數(shù)據(jù)進(jìn)行微調(diào)。

RNN-傳感器架構(gòu)。在示例中，編碼器網(wǎng)絡(luò)由 8 層組成，而預(yù)測(cè)器網(wǎng)絡(luò)由 2 層單向 LSTM （Long short-term memory） 單元組成

為此，我們重點(diǎn)調(diào)整了編碼器網(wǎng)絡(luò)，也就是模型中處理說話者特定聲學(xué)數(shù)據(jù)的部分，因?yàn)檎Z音障礙是我們語料庫中最常見的現(xiàn)象。我們發(fā)現(xiàn)，只更新 8 個(gè)編碼器層中最底層的 5 個(gè)，而凍結(jié)最上面的 3 個(gè)編碼器層（以及連接層和解碼器層），可以得到最好的結(jié)果，并能夠有效避免過度擬合。為了讓這些模型在處理背景噪聲和其他聲學(xué)效應(yīng)方面更具魯棒性，我們采用了專門針對(duì)無序語音為主要特征進(jìn)行調(diào)整的 SpecAugment 配置。

SpecAugment

https://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html

結(jié)果

我們訓(xùn)練了約 430 名說話者的個(gè)性化 ASR 模型，他們每人至少錄制了 300 條語音。我們把其中 10% 的語音作為測(cè)試集（訓(xùn)練和測(cè)試間沒有短語重疊），在此基礎(chǔ)上，計(jì)算了個(gè)性化模型以及未調(diào)適的基礎(chǔ)模型的 WER。

總的來說，無論是何種嚴(yán)重程度還是病癥，我們提供的個(gè)性化方法都取得了顯著效果。即便是存在嚴(yán)重語言障礙的語音，家居自動(dòng)化語境短語的 WER 中位數(shù)從 89% 左右降到了 13%。在如與看護(hù)者對(duì)話等其他語境中，準(zhǔn)確率也有顯著提高。

在未調(diào)適與個(gè)性化 ASR 模型中使用居家自動(dòng)化短語的 WER

為了解個(gè)性化模型何時(shí)不適用，我們對(duì)以下幾個(gè)子組進(jìn)行了分析：

●

HighWER 與 LowWER：將說話者按照具有基于 WER 分布的第 1 和第 5 個(gè)五分位數(shù)的高和低劃分個(gè)性化模型。

●

SurpHighWER：具有超高 WER 的說話者（在 HighWER 組中典型或具有輕度語言障礙的參與者）。

不同的病癥以及語言障礙表現(xiàn)形式對(duì) ASR 產(chǎn)生的影響是不一致的。根據(jù) HighWER 組中語言障礙類型的分布表明，由于腦癱（Cerebral palsy）引起的構(gòu)音障礙特別難以建模。不出意外，該組中語言障礙嚴(yán)重程度的中位數(shù)也更高。

為了識(shí)別影響 ASR 準(zhǔn)確率的特定說話者以及技術(shù)因素，我們檢查了 ASR 表現(xiàn)較差 （HighWER） 和優(yōu)秀 （LowWER） 的參與者之間元數(shù)據(jù)的差異 （Cohen‘s D）。和預(yù)期一樣，LowWER 組中整體語言受損程度顯著低于HighWER組 （p 《 0.01）。HighWER 組中最突出的非典型語音特征是清晰度以及受損程度，同時(shí)包含其他較為突出的語音特征，如異常的韻律（Prosody ）、發(fā)音及發(fā)聲（Phonation）。眾所周知，這些語音特征也會(huì)降低語音的整體清晰度。

與 LowWER 組 （p 《 0.01） 相比，SurpHighWER 組中的訓(xùn)練語音更少，且 SNR 更低，進(jìn)而導(dǎo)致較大（負(fù)）的效應(yīng)量，而其他因素的效應(yīng)量則較小（快速性除外）。相比之下，HighWER 組在所有因素中都表現(xiàn)出了較大差異。

語音障礙和技術(shù)元數(shù)據(jù)效應(yīng)量對(duì)比結(jié)果：HighWER 組與 LowWER 組對(duì)比；SurpHighWER 組和 LowWER 組對(duì)比。正值結(jié)果表明 HighWER 組的組值大于 LowWER 組的組值

之后，我們將個(gè)性化 ASR 模型和人類聽眾進(jìn)行了比較。三位語音專家分別為每位說話者轉(zhuǎn)錄了 30 條語音。我們發(fā)現(xiàn)，與人類聽眾的 WER 相比，個(gè)性化 ASR 模型的 WER 平均而言更低，并且隨語言受損嚴(yán)重程度的增加而表現(xiàn)的更好。

個(gè)性化 ASR 模型 WER 與人類聽眾 WER 之間的增量。負(fù)值表明個(gè)性化 ASR 模型的表現(xiàn)優(yōu)于人類（專家）聽眾

結(jié)論

Euphonia 語料庫擁有超過 100 萬條語音，是最大、最多樣的無序語音語料庫之一（就無序類型與受損程度而言），這一語料庫大大提升了非典型語音類型中的 ASR 準(zhǔn)確率。我們的研究結(jié)果證明，個(gè)性化 ASR 模型在識(shí)別各種語言障礙以及受損程度方面十分有效，而且具備了讓更多用戶使用 ASR 的潛力。

責(zé)任編輯：haq