科大訊飛日前在全球最具影響力的口語(yǔ)機(jī)器翻譯評(píng)測(cè)比賽IWSLT中，獲得了語(yǔ)音翻譯端到端模型評(píng)測(cè)的冠軍，還成為英德口語(yǔ)翻譯任務(wù)中唯一受邀做Oral report的參賽團(tuán)隊(duì)。端到端技術(shù)是當(dāng)前語(yǔ)音翻譯的研究前沿，科大訊飛聯(lián)合優(yōu)化語(yǔ)音識(shí)別和機(jī)器翻譯的新技術(shù)路線，理論上更具前景，一旦技術(shù)研究成功，將為翻譯機(jī)器性能的提升帶來(lái)極大促進(jìn)。

提問(wèn)：語(yǔ)音翻譯涉及哪些步驟？

你或許會(huì)說(shuō)，語(yǔ)音識(shí)別和機(jī)器翻譯——沒(méi)錯(cuò)，傳統(tǒng)的語(yǔ)音翻譯通常采用語(yǔ)音識(shí)別和機(jī)器翻譯級(jí)聯(lián)的方式實(shí)現(xiàn)，對(duì)輸入語(yǔ)音先進(jìn)行語(yǔ)音識(shí)別得到文本結(jié)果，然后再基于文本進(jìn)行機(jī)器翻譯，這也是當(dāng)前語(yǔ)音翻譯采用的主流方法。

不過(guò)，由于口語(yǔ)句子中含有大量非規(guī)范語(yǔ)言現(xiàn)象，例如重復(fù)、省略、顛倒，以及語(yǔ)義邏輯不清，斷句困難等問(wèn)題，導(dǎo)致后續(xù)機(jī)器翻譯帶來(lái)嚴(yán)重的挑戰(zhàn)。此外，復(fù)雜環(huán)境下語(yǔ)音識(shí)別受發(fā)音人口音、環(huán)境噪聲，以及和語(yǔ)言中存在的同音詞、易混淆詞等復(fù)雜音素的影響也存在著識(shí)別錯(cuò)誤，對(duì)最終機(jī)器翻譯性能也可能帶來(lái)影響。

因此，實(shí)際應(yīng)用系統(tǒng)中，通常會(huì)在語(yǔ)音識(shí)別和機(jī)器翻譯之間增加一個(gè)語(yǔ)音識(shí)別后處理模塊，通過(guò)對(duì)識(shí)別結(jié)果進(jìn)行規(guī)整、斷句、順滑、標(biāo)點(diǎn)預(yù)測(cè)，甚至糾錯(cuò)來(lái)盡可能地減小口語(yǔ)化和識(shí)別錯(cuò)誤的影響。

不過(guò)，受語(yǔ)音和語(yǔ)言復(fù)雜性的影響，截止到目前為止，這些問(wèn)題并沒(méi)有被真正解決。

在剛剛結(jié)束的2018年國(guó)際口語(yǔ)機(jī)器翻譯評(píng)測(cè)比賽（International Workshop on Spoken Language Translation，IWSLT）中，科大訊飛團(tuán)隊(duì)在端到端模型（End-to-End Model）的評(píng)測(cè)比賽中，以顯著優(yōu)勢(shì)奪得第一名。該獎(jiǎng)項(xiàng)也是科大訊飛今年在各項(xiàng)國(guó)際競(jìng)賽中的第9個(gè)“世界冠軍”。

端到端語(yǔ)音翻譯技術(shù)路線，是通過(guò)構(gòu)造一個(gè)完整的神經(jīng)網(wǎng)絡(luò)模型，聯(lián)合優(yōu)化語(yǔ)音識(shí)別、識(shí)別后處理和機(jī)器翻譯，建立源語(yǔ)言語(yǔ)音信號(hào)到目標(biāo)語(yǔ)言文字的映射關(guān)系，進(jìn)而實(shí)現(xiàn)從原始語(yǔ)音到目標(biāo)譯文的翻譯。

這提供了一種解決語(yǔ)音翻譯的新思路，而且從目前看是初步可行的。一旦技術(shù)研究成功，理論上可以讓語(yǔ)音翻譯更準(zhǔn)更快，未來(lái)也將為翻譯機(jī)器性能的提升帶來(lái)極大促進(jìn)。

國(guó)際頂級(jí)口語(yǔ)機(jī)器翻譯評(píng)測(cè)比賽 IWSLT，推動(dòng)語(yǔ)音翻譯新方向

IWSLT是國(guó)際上最具影響力的口語(yǔ)機(jī)器翻譯評(píng)測(cè)比賽之一，重點(diǎn)關(guān)注口語(yǔ)，實(shí)現(xiàn)語(yǔ)音到文本的翻譯，從而解決人和人交流的問(wèn)題。

到目前為止，IWSLT已經(jīng)舉辦了15屆，吸引了全球70多家科研團(tuán)隊(duì)的參與。IWSLT針對(duì)語(yǔ)音翻譯實(shí)際應(yīng)用面臨的難題，通過(guò)每年設(shè)定一些研究任務(wù)，并向外界提供公開(kāi)的數(shù)據(jù)集合和評(píng)測(cè)交流機(jī)會(huì)，吸引了來(lái)自全球的科研團(tuán)隊(duì)參與，對(duì)于推動(dòng)語(yǔ)音翻譯技術(shù)創(chuàng)新和知識(shí)共享具有重要的意義。

除了科大訊飛，IWSLT 2018吸引了世界各地多所機(jī)器翻譯領(lǐng)域的知名大學(xué)及研究所參加，包括英國(guó)愛(ài)丁堡大學(xué)（University of Edinburgh）、美國(guó)約翰霍普金斯大學(xué)（JHU）、德國(guó)卡爾斯魯厄理工學(xué)院（KIT）、意大利Bruno Kessler 基金會(huì)（FBK）、芬蘭赫爾辛基大學(xué)（Helsinki），以及國(guó)內(nèi)的阿里巴巴、搜狗等。

本次比賽包括兩個(gè)主要任務(wù)，一是英語(yǔ)到德語(yǔ)演講場(chǎng)景下的語(yǔ)音翻譯任務(wù)；二是巴斯克語(yǔ)到英語(yǔ)的低資源文本翻譯任務(wù)。

其中，在英語(yǔ)到德語(yǔ)的語(yǔ)音翻譯任務(wù)上，主辦方在今年提出了兩種評(píng)測(cè)方案：

傳統(tǒng)路線，也即語(yǔ)音識(shí)別、識(shí)別后處理、機(jī)器翻譯分而治之，稱之為基線模型（baseline Model）；

端到端模型（End-to-end Model），將語(yǔ)音識(shí)別、識(shí)別后處理和機(jī)器翻譯統(tǒng)一起來(lái)聯(lián)合優(yōu)化，能夠在一定程度上避免傳統(tǒng)基線模型中存在的識(shí)別錯(cuò)誤擴(kuò)散等問(wèn)題，是一種新的思路，理論上更具前景。

端到端模型是當(dāng)前口語(yǔ)翻譯研究領(lǐng)域的前沿，隨著深度學(xué)習(xí)的進(jìn)步，研究人員開(kāi)始探索通過(guò)構(gòu)造一個(gè)完整的神經(jīng)網(wǎng)絡(luò)模型，建立語(yǔ)音信號(hào)到目標(biāo)文字的映射關(guān)系。

該方法通過(guò)將語(yǔ)音識(shí)別、識(shí)別后處理和機(jī)器翻譯統(tǒng)一起來(lái)聯(lián)合優(yōu)化，為解決傳統(tǒng)級(jí)聯(lián)方案分而治之中存在的難題提供了一種新的思路。例如，2017年Interspeech會(huì)議上，谷歌研究人員就將該方法應(yīng)用到西班牙到英語(yǔ)的語(yǔ)音翻譯任務(wù)上，取得初步成效。

引入這一新的評(píng)測(cè)方案，也體現(xiàn)了IWSLT主辦方引導(dǎo)科研探索，推動(dòng)語(yǔ)音翻譯技術(shù)不斷進(jìn)步的努力。

科大訊飛勇于挑戰(zhàn)新路線，端到端語(yǔ)音翻譯獲得第一

科大訊飛參與了口語(yǔ)翻譯的兩種評(píng)測(cè)，并且是唯一參與端到端模型這種新技術(shù)路線的中國(guó)團(tuán)隊(duì)。不僅如此，科大訊飛還作為唯一受組委會(huì)邀請(qǐng)的語(yǔ)音翻譯任務(wù)參賽團(tuán)隊(duì)、進(jìn)行Oral report，向與會(huì)人員分享兩種技術(shù)路線研究所采用的方法，對(duì)促進(jìn)語(yǔ)音翻譯新技術(shù)的進(jìn)步具有重要作用。

因?yàn)檎Z(yǔ)言和語(yǔ)音本身的復(fù)雜性，新技術(shù)路線對(duì)統(tǒng)一建模需要很強(qiáng)的語(yǔ)音處理能力和調(diào)序能力，加之語(yǔ)言本身受到口語(yǔ)表達(dá)、環(huán)境噪聲的干擾，所以端到端技術(shù)路線要實(shí)現(xiàn)從原始語(yǔ)音到目標(biāo)文本的翻譯，就是難上加難。

值得一提，賽事提供的公開(kāi)數(shù)據(jù)集合中，能夠?yàn)槎说蕉四Ｐ头椒ㄌ峁┲苯拥挠斜O(jiān)督數(shù)據(jù)是小規(guī)模的。要在3個(gè)月的時(shí)間里，在小規(guī)模數(shù)據(jù)上構(gòu)建一套高性能的端到端語(yǔ)音翻譯系統(tǒng)，非常具有挑戰(zhàn)性。

基于語(yǔ)音和機(jī)器翻譯上雄厚的技術(shù)積累，訊飛研究團(tuán)隊(duì)針對(duì)端到端語(yǔ)音翻譯任務(wù)開(kāi)展了探索性研究，最終在英德語(yǔ)音翻譯任務(wù)的端到端模型評(píng)測(cè)方案上獲得了第一名（與第二名BLEU分?jǐn)?shù)拉開(kāi)9個(gè)百分點(diǎn)，一般而言，提升3個(gè)百分點(diǎn)就能明顯體會(huì)到系統(tǒng)的優(yōu)劣差異）。

不僅如此，在基線模型評(píng)測(cè)中，科大訊飛也取得了第二名的好成績(jī)。

“比賽的成績(jī)只是一方面，我們看重的是在源頭技術(shù)、新技術(shù)上進(jìn)行探索，”科大訊飛的研究人員表示。

“我們參加了本次IWSLT評(píng)測(cè)的語(yǔ)音翻譯任務(wù)，在基于傳統(tǒng)的基線模型中，針對(duì)語(yǔ)音識(shí)別文本結(jié)果和機(jī)器翻譯訓(xùn)練數(shù)據(jù)源語(yǔ)言文本風(fēng)格不匹配問(wèn)題，提出了對(duì)源語(yǔ)言文本逆變換以適配識(shí)別風(fēng)格的方法，提高了語(yǔ)音翻譯的魯棒性。在端到端模型中，提出了基于DenseNet和BiLSTM編碼，以及基于自注意力機(jī)制解碼的端到端建模方案。實(shí)驗(yàn)結(jié)果表明，盡管當(dāng)前端到端模型的效果低于傳統(tǒng)方法，但從結(jié)果來(lái)看也證明該方法具有一定的可行性，整體系統(tǒng)框架也更加簡(jiǎn)潔優(yōu)雅，有望為語(yǔ)音翻譯提供一種新的解決思路?！?/p>

客觀評(píng)價(jià)語(yǔ)音翻譯端到端技術(shù)，數(shù)據(jù)將是一大瓶頸和障礙，因?yàn)檎Z(yǔ)音識(shí)別的數(shù)據(jù)已積累了上十萬(wàn)小時(shí)、機(jī)器翻譯的數(shù)據(jù)搜集也達(dá)到千萬(wàn)甚至上億，但端到端的模型，需要專門(mén)的語(yǔ)音到文本的句對(duì)，這方面的數(shù)據(jù)目前積累不夠，若要商業(yè)化，還需要更大的數(shù)據(jù)支撐。

對(duì)此，科大訊飛研究團(tuán)隊(duì)表示，“由于語(yǔ)音翻譯任務(wù)的復(fù)雜性以及訓(xùn)練數(shù)據(jù)搜集的困難，無(wú)論傳統(tǒng)的基線模型方案還是最新提出的端到端語(yǔ)音翻譯方案，在實(shí)際應(yīng)用中都還面臨一系列的難題，需要學(xué)術(shù)界和產(chǎn)業(yè)界共同努力?！?/p>

至于端到端的新技術(shù)，“如果能減少對(duì)有監(jiān)督語(yǔ)音翻譯平行數(shù)據(jù)的依賴那是最好不過(guò)，而且這存在一定的可能性，例如可以嘗試借用現(xiàn)有的語(yǔ)音識(shí)別訓(xùn)練數(shù)據(jù)和機(jī)器翻譯訓(xùn)練數(shù)據(jù)，我們正在努力探索。”