2022年9月18日-22日，全球語音領(lǐng)域頂級會(huì)議INTERSPEECH 2022在韓國仁川舉辦?！霸浦?上師大自然人機(jī)交互”聯(lián)合實(shí)驗(yàn)室攜提出的關(guān)于聲音事件檢測、單通道語音增強(qiáng)方向的2篇論文參會(huì)。這是繼2022年6月亮相ICASSP2022（技術(shù)論文被收錄）之后，云知聲在2022年再一次獲得國際語音頂會(huì)的認(rèn)可。

INTERSPEECH在國際上享有極高盛譽(yù)并具有廣泛的學(xué)術(shù)影響力，是由國際語音通訊協(xié)會(huì)（ISCA）創(chuàng)辦的旗艦級國際會(huì)議，也是全球最大的綜合性語音領(lǐng)域的科技盛會(huì)，對參會(huì)企業(yè)和單位有著嚴(yán)苛的準(zhǔn)入門檻，歷屆INTERSPEECH會(huì)議都倍受全球各地語音研究領(lǐng)域人士的廣泛關(guān)注。

本屆會(huì)議以“Human and humanizing speech technology”為主題，內(nèi)容涵蓋信號處理、語音識別、自然語言處理、神經(jīng)機(jī)器翻譯等領(lǐng)域，收到近萬篇投稿論文。會(huì)議研究成果代表著語音相關(guān)領(lǐng)域的最新研究水平和未來的技術(shù)發(fā)展趨勢。此次論文入選，代表云知聲在語音交互領(lǐng)域持續(xù)的技術(shù)創(chuàng)新。

聲音事件檢測

在聲音事件檢測方向，研究團(tuán)隊(duì)提出了一個(gè)教師-學(xué)生（Teacher-Student）半監(jiān)督學(xué)習(xí)框架，充分利用強(qiáng)標(biāo)簽數(shù)據(jù)、弱標(biāo)簽數(shù)據(jù)與大量無標(biāo)簽數(shù)據(jù)訓(xùn)練模型，有效解決標(biāo)簽數(shù)據(jù)匱乏的問題。為了提高模型的檢測能力，研究團(tuán)隊(duì)提出通過兩階段的訓(xùn)練策略并聚焦于難以分類的事件，以及利用一種深度特征蒸餾方法，更詳細(xì)地關(guān)注到時(shí)間軸上細(xì)致的聲學(xué)信息。

同時(shí)，研究團(tuán)隊(duì)還提出語音分離技術(shù)輔助聲音事件檢測系統(tǒng)建模的方法，通過使用分離數(shù)據(jù)與混合數(shù)據(jù)聯(lián)合調(diào)整訓(xùn)練模型的方式，有效解決事件重疊與背景噪聲干擾對系統(tǒng)建模帶來的影響。在DCASE2019 Task4 數(shù)據(jù)集上，研究團(tuán)隊(duì)所提出的方案在F1, PSDS1 and PSDS2得分上分別達(dá)到了46.5%, 44.5%以及75.4%，相比baseline提高了2.2%, 7.2%以及20.5%，充分體現(xiàn)了所提出方案的優(yōu)勢。

單通道語音增強(qiáng)

在單通道實(shí)時(shí)語音增強(qiáng)方向，研究團(tuán)隊(duì)提出了一個(gè)基于PercepNet模型并感知語音相位與信噪比的實(shí)時(shí)語音增強(qiáng)方案(PercepNet+: A Phase and SNR Aware PercepNet for Real-Time Speech Enhancement)，該方案提取多種聲學(xué)特征，以獲取語音包括幅度，相位，基音周期在內(nèi)的多種聲學(xué)屬性。這些特征被進(jìn)一步在模型中使用提取時(shí)間相關(guān)性和頻率相關(guān)性的GRU網(wǎng)絡(luò)層進(jìn)行融合，以提升該語音增強(qiáng)系統(tǒng)的性能。

同時(shí)，研究團(tuán)隊(duì)還提出一種基于信噪比的后處理機(jī)制，旨在改善語音增強(qiáng)中的過度抑制問題。該機(jī)制利用網(wǎng)絡(luò)估計(jì)得到的語音信噪比為閾值條件，決定基于MMSE-LSA的后處理方法是否被應(yīng)用于當(dāng)前輸入語音。研究團(tuán)隊(duì)的模型在VCTK測試集上達(dá)到了2.65 (PESQ) 的得分，相比原PercepNet模型的得分相對提升了8%,充分驗(yàn)證了所提出方案的有效性。

人工智能成功的關(guān)鍵在于應(yīng)用。為不斷拓寬自身基礎(chǔ)能力邊界，云知聲深入探究語音領(lǐng)域中的語音識別、語音增強(qiáng)、信號處理、聲紋識別、聲音事件檢測等諸多方向，形成豐富技術(shù)積累，并將相關(guān)技術(shù)在多個(gè)領(lǐng)域以及行業(yè)進(jìn)行應(yīng)用，取得諸多成功案例。比如云知聲的ASR技術(shù)被廣泛應(yīng)用于音視頻翻譯、會(huì)議系統(tǒng)、同聲傳譯、三代共6款專用AI語音交互芯片等相關(guān)產(chǎn)品與場景。

其中，云知聲輸出的軟硬一體的語音交互芯片產(chǎn)品，覆蓋各種形態(tài)的多品類產(chǎn)品，市占率領(lǐng)先，出貨量不斷增長。為國內(nèi)傳統(tǒng)行業(yè)迅速實(shí)現(xiàn)智能化產(chǎn)品升級與改造，提供了技術(shù)保障。

本次在 INTERSPEECH 2022 大會(huì)上提出的原創(chuàng)技術(shù)，也將進(jìn)一步夯實(shí)云知聲全棧+硬核的人工智能技術(shù)“底座”，提高云知聲在語音交互領(lǐng)域的技術(shù)領(lǐng)先性，推動(dòng)人工智能系統(tǒng)以更人性化、高效的方式服務(wù)于千行百業(yè)，為用戶帶來更好的交互體驗(yàn)。