近年來(lái)隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，機(jī)器翻譯也取得了長(zhǎng)足的進(jìn)步。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越復(fù)雜，但我們始終無(wú)法解釋內(nèi)部發(fā)生了什么，“黑箱問(wèn)題”一直困擾著我們。我們不清楚程序在翻譯過(guò)程中如何進(jìn)行決策，所以當(dāng)翻譯出錯(cuò)時(shí)也很難改正。隨著深度學(xué)習(xí)在各行各業(yè)中的廣泛應(yīng)用，深度學(xué)習(xí)的不可解釋性已經(jīng)成為其面臨的嚴(yán)峻挑戰(zhàn)之一。

今年，在德國(guó)柏林舉辦的 IEEE VAST 可視化分析大會(huì)上，來(lái)自 IBM 和哈佛大學(xué)的研究人員展示了為解決翻譯中的 AI 黑盒問(wèn)題所開(kāi)發(fā)的調(diào)試工具。這款名為 Seq2Seq-Vis 的工具能將人工智能的翻譯過(guò)程進(jìn)行可視化，方便開(kāi)發(fā)人員對(duì)模型進(jìn)行調(diào)試。

Seq2Seq-Vis 主要針對(duì)機(jī)器翻譯中最常用的 Seq2Seq模型。這一模型能夠?qū)⑷我忾L(zhǎng)度的序列，也就是原文的句子，映射到目標(biāo)語(yǔ)言。除了機(jī)器翻譯任務(wù)，在自動(dòng)問(wèn)答、文本摘要等任務(wù)中也都主要應(yīng)用 Seq2Seq模型。

簡(jiǎn)單來(lái)說(shuō)，Seq2Seq模型在機(jī)器翻譯中的工作原理就是把源語(yǔ)言映射到目標(biāo)語(yǔ)言，得到了目標(biāo)語(yǔ)言的序列（也就是初步翻譯完的句子）后再進(jìn)行優(yōu)化，保證語(yǔ)法和語(yǔ)義上的正確。雖然使用神經(jīng)網(wǎng)路模型后，機(jī)器翻譯的結(jié)果得到了很大的提升，但同時(shí)也非常復(fù)雜。

可視化機(jī)器翻譯的過(guò)程

研究人員稱研發(fā) Seq2Seq-Vis 的初衷是想有一個(gè)類(lèi)似于基于規(guī)則的傳統(tǒng)翻譯軟件中的規(guī)則表，這樣開(kāi)發(fā)人員可以通過(guò)在規(guī)則表中對(duì)照得到錯(cuò)誤信息就可以很簡(jiǎn)單地修改模型。

Seq2Seq-Vis.io 網(wǎng)站上給出了一個(gè)從德語(yǔ)到英語(yǔ)的演示程序。德語(yǔ)的“die l?ngsten reisen fangen an , wenn es auf den stra?en dunkel wird.”翻譯成英語(yǔ)應(yīng)該是“The longest journeys begin when it gets dark in the streets.”，但被機(jī)器翻譯成了“the longest travel begins when it gets to the streets.”Seq2Seq-Vis 以可視化的方式呈現(xiàn)出了序列到序列模型翻譯的每一步，這樣用戶就能像查找規(guī)則表一樣來(lái)找出機(jī)器翻譯翻譯錯(cuò)誤的原因。

Seq2Seq-Vis 另一個(gè)很有用的功能是它能找出與某個(gè)字詞相關(guān)的訓(xùn)練集，這也是解決 AI 黑盒問(wèn)題的一大難點(diǎn)。其實(shí)一個(gè)機(jī)器學(xué)習(xí)模型除了訓(xùn)練集一無(wú)所知，所以要解決機(jī)器翻譯中的錯(cuò)誤最終都要回到訓(xùn)練集中去。

將機(jī)器翻譯過(guò)程可視化，用戶就能確定翻譯出錯(cuò)到底是編碼器解碼器使用的訓(xùn)練樣本出了錯(cuò)還是注意力模型的設(shè)置或者其他環(huán)節(jié)出錯(cuò)了。

更正序列到序列模型

Seq2Seq-Vis 并不是第一個(gè)試圖解決 AI 黑盒問(wèn)題的工具，之前有很多大公司和研究機(jī)構(gòu)都有進(jìn)行嘗試，甚至 IBM 自己也在這上面下過(guò)功夫。事實(shí)上，很多類(lèi)似的工具需要的信息比 Seq2Seq-Vis 更少，比如有的工具只需要神經(jīng)網(wǎng)絡(luò)的輸出就可以，而 Seq2Seq-Vis 還需要訓(xùn)練集，整個(gè)模型的架構(gòu)和設(shè)置。但 Seq2Seq-Vis 卻是第一個(gè)既能可視化模型的決策過(guò)程也能讓開(kāi)發(fā)人員直接修改模型的工具。開(kāi)發(fā)人員可以通過(guò)可視化的方式對(duì)模型的決策過(guò)程進(jìn)行修改并觀察反饋來(lái)實(shí)現(xiàn)探索式的調(diào)試，比如修改輸出序列的單詞或者對(duì)注意力模型的配置進(jìn)行修改。

聽(tīng)起來(lái)是不是很酷，不過(guò)Seq2Seq-Vis 的目標(biāo)群體是模型架構(gòu)師或工程師而非機(jī)器翻譯的終端用戶。因?yàn)橐屵@一工具真正發(fā)揮作用需要用戶對(duì)“序列到序列”模型有較為深入的了解。雖然目標(biāo)這一工具還只是應(yīng)用在IBM的內(nèi)部項(xiàng)目中，但它是開(kāi)源的，所以大家都可以來(lái)試試。