（文章來源：北國網(wǎng)）

搜狗AI正在朝著這一步邁進：由人類說一段話，AI根據(jù)唇形和語音準(zhǔn)確識別內(nèi)容。最近搜狗與清華天工研究院合作，在語音和唇語的多模態(tài)識別方面取得了重大成果。ICASSP是全世界最大的，也是最全面的信號處理及其應(yīng)用方面的頂級會議，是IEEE的一個重要的年度會議，對于信號處理方面的學(xué)術(shù)人士有著重要意義。

隨著語音識別的快速發(fā)展，純粹靠聲音的識別技術(shù)越來越成熟，識別準(zhǔn)確率達到98%以上，很多公司，包括搜狗在內(nèi)都推出了成熟的產(chǎn)品，比如搜狗輸入法語音輸入和搜狗智能錄音筆等。但是純粹依靠語音的識別方式存在一個缺陷，就是無法在嘈雜環(huán)境下仍然保持較高的識別準(zhǔn)確率。

通常當(dāng)語音環(huán)境比較安靜時，語音識別的準(zhǔn)確率會比較高，但當(dāng)語音環(huán)境較為嘈雜時，語音識別的準(zhǔn)確率會明顯下降。而視覺的識別方法不受環(huán)境聲音的影響，人在嘈雜環(huán)境下，聽不清對方講話時，會自然的盯緊講話者的嘴巴，大致明白講話者的意思。實際上聽力障礙人士，正是通過講話者的唇語進行交流的。搜狗研究人員想到，如果讓AI也能把這兩種方法結(jié)合起來，就能提高語音識別的準(zhǔn)確率。

早在2017年年底，搜狗就已經(jīng)發(fā)布了一個唇語識別的初步成果，是業(yè)內(nèi)首家公開展示唇語識別的公司。但當(dāng)時的準(zhǔn)確率僅有50%~60%，限制了它的實際應(yīng)用，而且搜狗語音和唇語的技術(shù)也一直是分開做的。經(jīng)過一年多的發(fā)展，唇語識別技術(shù)已經(jīng)有了很大的提升，搜狗團隊開始考慮將聽覺與視覺兩種識別的模式融合起來，即所謂的“多模態(tài)”識別，這是搜狗唇語識別繼烏鎮(zhèn)互聯(lián)網(wǎng)大會發(fā)布后的新突破。

但多模態(tài)識別不是簡單的把音頻和視頻的識別疊加起來，在這個過程中，研究人員需要克服兩個難題。聲音和視覺特征是兩種本質(zhì)上差異很大的模態(tài)，而且原始幀速率通常不一樣，音頻為每秒100幀，而視頻為每秒24幀。采用直接拼接的方法會造成信息損失，使得聽覺特征在模型訓(xùn)練過程中起到主導(dǎo)作用，造成模型訓(xùn)練難收斂，視覺信息對聽覺信息的提升有限。

在安靜的情況下應(yīng)該是語音占主導(dǎo)，在嘈雜環(huán)境下一定是視頻占主導(dǎo)。如何根據(jù)不同的環(huán)境選擇二者的比例。

搜狗的做法是 “基于注意力的編碼器解碼器”。在這個框架下，分別使用兩個神經(jīng)網(wǎng)絡(luò)編碼器對輸入的不同模態(tài)的序列進行逐層特征抽取，得到高層特征表達。然后，由解碼器分別對不同模態(tài)的特征表達進行注意力計算，得到聲音和視覺模態(tài)信息中對應(yīng)于當(dāng)前解碼時刻的上下文向量（context vector）。不同模態(tài)的上下文向量經(jīng)由模態(tài)間的注意力自動對不同模態(tài)的信息進行融合，并輸入到輸出層得到解碼輸出。

可見在編解碼框架下，由于融合的是不同模態(tài)的context vector，而不是對原始特征或者編碼器輸出的高層特征進行直接融合，解決了不同模態(tài)的特征長度不同的問題。

同時，這種模態(tài)注意力（Modality Attention）依據(jù)不同模態(tài)各自的重要程度計算出相應(yīng)的融合系數(shù)，反應(yīng)了不同模態(tài)在當(dāng)前解碼時刻的不同貢獻度，可以隨著不同解碼時刻的不同信噪比等得到不同的模態(tài)融合權(quán)重，得到更加魯棒的融合信息。

搜狗從去年6月開始立項，10月就完成并投遞了論文，在這個過程中，融合模型的設(shè)計是其中最困難的一步，研究人員周盼介紹說，他們在這個問題上花費了大約一半的時間。實驗結(jié)果證實了搜狗努力獲得的回報。在信噪比為0dB（信號與噪聲大小相當(dāng)）時，搜狗的多模態(tài)識別將準(zhǔn)確率提高了30%。

而且模型在不同噪聲下，體現(xiàn)出了對語音和視頻兩種不同模態(tài)間的依賴。隨著噪聲的提升，模型在融合音視覺時，對視覺信息的依賴比例在逐漸提升。0dB信噪比時，視頻的注意力權(quán)重接近40%，高于語音清晰環(huán)境中35.9%的比例?，F(xiàn)場，搜狗像我們展示了一段Demo，模擬了各種嘈雜環(huán)境下的多模態(tài)識別。

在模擬乘坐地鐵的環(huán)境中，可以看到無論是單獨的語音識別和唇語識別都無法正確還原原來的語句，但是二者結(jié)合起來，就可以正確識別出“北京今天天氣怎么樣”這句話。語音交互技術(shù)中心首席科學(xué)家陳偉還特別指出，視頻識別還能根據(jù)唇形識別語句在何處結(jié)束，也提高了在嘈雜環(huán)境下識別的準(zhǔn)確率。

這么實用的功能何時才能用上呢？陳偉預(yù)計，多模態(tài)語音識別將在搜狗的手機輸入法中集成，目前搜狗還在和車廠合作通過車內(nèi)的麥克風(fēng)、攝像頭做出更準(zhǔn)確的語音識別。輸入法走向?qū)υ?、搜索走?a target="_blank">問答，是搜狗一項長期戰(zhàn)略。未來視頻識別的場景會越來越多，所以搜狗認(rèn)為多模態(tài)識別是NLP研究發(fā)展的一個必然的趨勢。