近期，來自麻省理工學(xué)院計(jì)算機(jī)科學(xué)人工智能實(shí)驗(yàn)室（CSAIL）和卡塔爾計(jì)算研究所的研究人員已經(jīng)通過新的解釋技術(shù)，來分析神經(jīng)網(wǎng)絡(luò)做機(jī)器翻譯和語音識別的訓(xùn)練過程。

神經(jīng)網(wǎng)絡(luò)通過分析大量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)并執(zhí)行任務(wù)，這是近期人工智能領(lǐng)域最令人印象深刻的進(jìn)展，包括語音識別和自動(dòng)翻譯系統(tǒng)。

然而，在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)以甚至其創(chuàng)造者都無法解釋的方式來不斷調(diào)整其內(nèi)部設(shè)置。計(jì)算機(jī)科學(xué)最近的許多工作都聚焦于千方百計(jì)的弄清楚神經(jīng)網(wǎng)絡(luò)的工作原理。

在最近的幾篇論文，來自麻省理工學(xué)院計(jì)算機(jī)科學(xué)人工智能實(shí)驗(yàn)室（CSAIL）和卡塔爾計(jì)算研究所的研究人員已經(jīng)使用了新開發(fā)的解釋技術(shù)，來分析神經(jīng)網(wǎng)絡(luò)做機(jī)器翻譯和語音識別的訓(xùn)練過程，該新技術(shù)已被應(yīng)用于其他領(lǐng)域。

他們對神經(jīng)網(wǎng)絡(luò)的工作原理有了基本認(rèn)知。例如，這些系統(tǒng)似乎專注于較低級別的任務(wù)，如聲音識別或部分語音識別，然后再轉(zhuǎn)到更高級別的任務(wù)，如轉(zhuǎn)錄或語義解釋。

但是研究人員也發(fā)現(xiàn)了翻譯網(wǎng)絡(luò)處理數(shù)據(jù)類型的一個(gè)驚人的遺漏，他們指出糾正這種遺漏會提高網(wǎng)絡(luò)的性能。這種改進(jìn)是適度的，但它指出了對神經(jīng)網(wǎng)絡(luò)的分析可能有助于提高人工智能系統(tǒng)的準(zhǔn)確性。

“從歷史角度看，在機(jī)器翻譯里，有一個(gè)具有不同層次的金字塔，” CSAIL一位高級研究科學(xué)家說。這位科學(xué)家在是麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)的畢業(yè)生，曾參與Yonatan Belinkov項(xiàng)目。”在最低層有文字，表層形式，金字塔的頂層是一種語際表示，在做語法和語義時(shí)會達(dá)到不同的層次。這是一個(gè)非常抽象的概念，意思是你在金字塔中爬得越高，就越容易翻譯成一種新的語言，然后你就再往下走。所以Yonata所做的部分工作是找出在神經(jīng)網(wǎng)絡(luò)中這種概念的會是什么樣的編碼?！?/p>

分層處理

神經(jīng)網(wǎng)絡(luò)之所以得名，是因?yàn)樗鼈兇笾陆咏四X的結(jié)構(gòu)。通常，它們被分層，每個(gè)層由許多簡單的處理單元節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)都連接到上面和下面的層中的幾個(gè)節(jié)點(diǎn)。數(shù)據(jù)被送入最低層，其節(jié)點(diǎn)處理它并將其傳遞給下一層。層之間的連接具有不同的“權(quán)重”，它決定了任何一個(gè)節(jié)點(diǎn)的輸出轉(zhuǎn)化到到下一個(gè)節(jié)點(diǎn)的計(jì)算量是多少。

在訓(xùn)練過程中，節(jié)點(diǎn)之間的權(quán)重不斷調(diào)整。在網(wǎng)絡(luò)被訓(xùn)練后，它的創(chuàng)建者可以確定所有連接的權(quán)重，但有成千上萬個(gè)甚至多個(gè)節(jié)點(diǎn)，甚至它們之間有更多的連接，推斷出這些權(quán)重編碼的算法幾乎是不可能的。

麻省理工和卡塔爾計(jì)算研究所研究人員的技術(shù)包括訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)和使用它的每一層的輸出，通過個(gè)別的培訓(xùn)案例，培養(yǎng)其他的神經(jīng)網(wǎng)絡(luò)來執(zhí)行特定的任務(wù)。這使他們能夠確定每個(gè)層優(yōu)化的任務(wù)是什么。

在語音識別網(wǎng)絡(luò)的案例中，Belinkov和Glass使用的單個(gè)層輸出訓(xùn)練系統(tǒng)識別“語音”，區(qū)別于口語的發(fā)音單元。例如，“T”的發(fā)音在“Tea”“Tree”和“But”，是不同的，但語音識別系統(tǒng)已經(jīng)把他們都用字母“T”轉(zhuǎn)錄。事實(shí)上，Belinkov和Glass發(fā)現(xiàn)，低層次的網(wǎng)絡(luò)比高層次網(wǎng)絡(luò)語言識別能力更強(qiáng)。在那里，可能區(qū)別是不重要的。

同樣的，Glass, Belinkov和他們卡塔爾計(jì)算研究所的同事于去年夏天在語言協(xié)會年度大會上發(fā)布的文章表明，機(jī)器翻譯網(wǎng)絡(luò)的低層善于識別詞類和形態(tài)，比如時(shí)態(tài)、數(shù)字和共軛。

語義理解

但是在新的論文中，他們表明網(wǎng)絡(luò)的更高層次在語義標(biāo)注方面更好。Belinkov解釋說，一部分語音標(biāo)簽，能認(rèn)識到“herself”是一個(gè)代詞，但這個(gè)代詞的語義的意義，在句子“she bought the book herself”和“she herself bought the book”是不同的。語義標(biāo)注會分配不同的標(biāo)簽，給這兩句話中的“herself“，就像一個(gè)機(jī)器翻譯系統(tǒng)可能在一個(gè)給定的目標(biāo)語言為它們找到不同的翻譯。

最好的機(jī)器翻譯系統(tǒng)使用所謂的編碼解碼模式，和麻省理工和卡塔爾計(jì)算研究所研究人員的神經(jīng)網(wǎng)絡(luò)一樣。在這樣的系統(tǒng)中，源語言中的輸入經(jīng)過幾個(gè)被稱為編碼器的網(wǎng)絡(luò)層來產(chǎn)生一個(gè)向量，一組數(shù)字代表某種輸入的語義內(nèi)容。該向量通過多個(gè)網(wǎng)絡(luò)層的解碼器來產(chǎn)生目標(biāo)語言中的譯文。

雖然編碼器和解碼器在一起訓(xùn)練，但它們可以被認(rèn)為是獨(dú)立的網(wǎng)絡(luò)。研究人員發(fā)現(xiàn)，奇怪的是，編碼器的低層善于區(qū)分形態(tài)，但解碼器的更高層不是。所以Belinkov和卡塔爾計(jì)算研究所研究人員在訓(xùn)練網(wǎng)絡(luò)時(shí)，不僅僅根據(jù)翻譯的準(zhǔn)確性，也根據(jù)目標(biāo)語言中的形態(tài)分析來判定性能。從本質(zhì)上講，他們迫使解碼器更好地區(qū)分形態(tài)。

使用這種技術(shù)，他們培訓(xùn)網(wǎng)絡(luò)將英語翻譯成德語，發(fā)現(xiàn)其精度提高3%。這不是一個(gè)革命性的進(jìn)步，但這表明，探尋神經(jīng)網(wǎng)絡(luò)的本質(zhì)可能不僅僅是一項(xiàng)學(xué)術(shù)活動(dòng)。