谷歌AI推出端到端純語(yǔ)音翻譯技術(shù)，有望成為未來(lái)的“機(jī)器同傳”

我們先來(lái)聽(tīng)一下三段語(yǔ)音：

三段語(yǔ)音說(shuō)的是同一句話：“你好，我是 Guillermo，你怎么樣？（How's it going, hey, this is Guillermo. How are you?）”

只不過(guò)第一段是西班牙語(yǔ)原聲（Qué tal, eh, yo soy Guillermo, ?Cómo estás?），第二段是標(biāo)準(zhǔn)的人類英語(yǔ)翻譯，而第三段則是AI合成的英語(yǔ)翻譯，來(lái)自于谷歌 AI 最新的語(yǔ)音翻譯模型 Translatotron。

該模型是一個(gè)基于注意力機(jī)制（Attention）的端到端語(yǔ)音翻譯神經(jīng)網(wǎng)絡(luò)。它不同于傳統(tǒng)語(yǔ)音翻譯技術(shù)，在翻譯的過(guò)程中省略了中間步驟，完全不需要進(jìn)行語(yǔ)音轉(zhuǎn)文字和完成翻譯的文字轉(zhuǎn)語(yǔ)音，而是根據(jù)翻譯內(nèi)容，嘗試匹配不同語(yǔ)言的語(yǔ)音頻譜圖（speech spectrogram），直接完成語(yǔ)音之間的轉(zhuǎn)換。

換句話說(shuō)，我們剛才聽(tīng)到的第一段西班牙語(yǔ)和第三段英語(yǔ)片段，AI在翻譯的過(guò)程中，沒(méi)有使用到任何語(yǔ)音轉(zhuǎn)文字的技術(shù)，也沒(méi)有使用西班牙語(yǔ)和英語(yǔ)的文字翻譯技術(shù)，只有純粹的語(yǔ)音轉(zhuǎn)換。

雖然從翻譯的準(zhǔn)確率來(lái)看，Translatotron 模型還比不過(guò)傳統(tǒng)翻譯技術(shù)，但這種端到端的聯(lián)合優(yōu)化思路確實(shí)打破了主流語(yǔ)音翻譯技術(shù)的基本原理，具有很強(qiáng)的啟發(fā)性和拓展性。

目前谷歌只使用了西班牙語(yǔ)和英語(yǔ)語(yǔ)音作為概念驗(yàn)證，研究成果以預(yù)印本的形式發(fā)表在 Arxiv 和谷歌 AI 博客上。

打破常規(guī)思路

不同語(yǔ)言之間的語(yǔ)音轉(zhuǎn)文字和翻譯，是近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域的熱門研究方向，尤其是語(yǔ)音到語(yǔ)音的直接翻譯。

通常來(lái)講，語(yǔ)音翻譯過(guò)程可以分解成三個(gè)步驟。

第一步是語(yǔ)音識(shí)別，就是將英文語(yǔ)音內(nèi)容識(shí)別出來(lái)，并且以文字的形式表達(dá)出來(lái)，比如聽(tīng)到“How are you?”這句話，就寫(xiě)出 How，are，you 三個(gè)單詞和問(wèn)號(hào)。

第二步是文字翻譯，就是將上一步拿到的文字翻譯成目標(biāo)語(yǔ)種，比如寫(xiě)出“你好嗎？”這句話。

最后一步是語(yǔ)音合成，也就是將翻譯好的文本組合成一段語(yǔ)音，然后播放出來(lái)。

圖 | 不同模型從西班牙語(yǔ)到英語(yǔ)的語(yǔ)音翻譯對(duì)比

谷歌翻譯等當(dāng)下常見(jiàn)的語(yǔ)音翻譯軟件都遵循了這一思路，并且對(duì)每一步驟進(jìn)行了很多優(yōu)化，比如引入端到端模型（End-to-end model）。這是一種將三個(gè)步驟結(jié)合起來(lái)，比如建立語(yǔ)音信號(hào)到文字映射，進(jìn)而實(shí)現(xiàn)整體優(yōu)化的模式。

在谷歌研究人員看來(lái)，他們提出的 Translatotron，是之前很多端到端研究成果的進(jìn)一步延伸，可以直接拋棄文字翻譯這一中間步驟，成功在神經(jīng)網(wǎng)絡(luò)的幫助下，實(shí)現(xiàn)了不同語(yǔ)言語(yǔ)音片段的直接轉(zhuǎn)換。

他們使用的是一套序列到序列模型（Sequence-to-sequence model），即訓(xùn)練 AI 將有關(guān)聯(lián)的連續(xù)數(shù)據(jù)視為一段整體（英文句子），然后直接轉(zhuǎn)化為另一段不同的整體（中文句子）。

在 Translatotron 中，研究人員選擇了語(yǔ)音片段的頻譜圖作為序列，上面描述了語(yǔ)音頻率隨時(shí)間變化的熱圖。它們會(huì)作為輸入值進(jìn)入到神經(jīng)網(wǎng)絡(luò)中，隨后經(jīng)過(guò)8層堆疊雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BLSTM）編碼器，頻譜與自動(dòng)語(yǔ)音識(shí)別特征結(jié)合，多頭注意力和頻譜解碼器等多個(gè)模塊，完成對(duì)語(yǔ)音頻譜特征的提取，轉(zhuǎn)換和生成等任務(wù)。

經(jīng)過(guò)上述一系列轉(zhuǎn)換后，西班牙語(yǔ)語(yǔ)音頻譜就變成了對(duì)應(yīng)的英語(yǔ)語(yǔ)音頻譜，最后可以通過(guò)聲碼器（vocoder）合成我們聽(tīng)到的語(yǔ)音。如果需要的話，還可以使用額外預(yù)訓(xùn)練好的 Speaker 編碼器捕捉語(yǔ)音源的聲音特點(diǎn)，添加到合成語(yǔ)音當(dāng)中，讓兩者聽(tīng)起來(lái)更加相似。

在訓(xùn)練過(guò)程中，Translatotron還使用了多任務(wù)學(xué)習(xí)技巧（multitask learning），引入了四個(gè)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)解碼器。

上圖的輔助識(shí)別任務(wù)區(qū)域（Auxiliary recognition tasks）就是負(fù)責(zé)在生成目標(biāo)語(yǔ)種頻譜圖的同時(shí)，也順便學(xué)習(xí)一下如何預(yù)測(cè)語(yǔ)音的因素和文字內(nèi)容。只不過(guò)它們沒(méi)有被用來(lái)進(jìn)行推理，否則就不是純語(yǔ)音翻譯了。

為了測(cè)試翻譯質(zhì)量，研究人員使用了機(jī)器翻譯評(píng)估算法 BLEU，最好成績(jī)達(dá)到了基準(zhǔn)表現(xiàn)的76%。

他們認(rèn)為，這一成績(jī)雖然不及主流的傳統(tǒng)語(yǔ)音翻譯技術(shù)，但 Translatotron 作為一個(gè)概念驗(yàn)證，足以證明拋棄機(jī)器翻譯和文字轉(zhuǎn)換的思路行得通，而且可能還在還原音色等方面擁有更大的潛力。

下一步，谷歌團(tuán)隊(duì)將嘗試降低訓(xùn)練過(guò)程中的監(jiān)督水平，擴(kuò)大合成數(shù)據(jù)和多任務(wù)學(xué)習(xí)的規(guī)模，并且探索其他可以轉(zhuǎn)移的聲音元素，改善合成語(yǔ)音的質(zhì)量。

不得不說(shuō)，直接在不同語(yǔ)言之間轉(zhuǎn)換音頻的想法還是很有創(chuàng)意的，而且極富挑戰(zhàn)性，對(duì)特征提取質(zhì)量，語(yǔ)音頻譜繪制和噪聲抵抗能力提出了更高的要求，足以啟發(fā)其他團(tuán)隊(duì)，成為一個(gè)新的研究方向。