端對(duì)端模型的承諾

深度學(xué)習(xí)的最終承諾是，開發(fā)和訓(xùn)練自然語言問題的端對(duì)端模型能力，而不是為專門模型開發(fā)流程。

端對(duì)端模型不僅能改進(jìn)模型的性能，也能帶來更好的開發(fā)速度和簡(jiǎn)潔性。

神經(jīng)機(jī)器翻譯（簡(jiǎn)稱NMT）是指，嘗試學(xué)習(xí)將一種語言翻譯成另一種語言的大型神經(jīng)網(wǎng)絡(luò)。 傳統(tǒng)上，這是由一系列手工調(diào)整的模型組成的流程來處理的，而流程中的每個(gè)模型都需要專業(yè)語言知識(shí)。

Chris Manning 在斯坦福大學(xué)NLP深度學(xué)習(xí)課程第十講《神經(jīng)機(jī)器翻譯和注意模型》中描述了這一點(diǎn)。他說：”神經(jīng)機(jī)器翻譯是指，我們想要做的是構(gòu)建一個(gè)大型神經(jīng)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中我們可以對(duì)訓(xùn)練整個(gè)端到端機(jī)器翻譯過程并進(jìn)行優(yōu)化?！@種遠(yuǎn)離人工定制模型、朝向端到端、序列到序列預(yù)測(cè)模型的趨勢(shì)，一直是語音識(shí)別的趨勢(shì)。 這樣做的系統(tǒng)被稱為NMT （神經(jīng)機(jī)器翻譯）系統(tǒng)。

設(shè)計(jì)端到端模型，而非為專門系統(tǒng)設(shè)計(jì)流程，這也是語音識(shí)別的一個(gè)趨勢(shì)。

在斯坦福NLP課程第十二講《語音處理的端到端模型》中，目前就職于Nvidia的 NLP研究員Navdeep Jaitly強(qiáng)調(diào)，語音識(shí)別的每個(gè)組成部分都可以用神經(jīng)網(wǎng)絡(luò)來代替。自動(dòng)語音識(shí)別流程中的幾大組塊是語音處理，聲學(xué)模型，發(fā)音模型和語言模型。問題是，每個(gè)組塊的屬性和錯(cuò)誤類型是不同的。這激發(fā)了開發(fā)一個(gè)神經(jīng)網(wǎng)絡(luò)來端到端地學(xué)習(xí)整個(gè)問題的需要。

他說，“隨著時(shí)間的推移，人們開始注意到，如果我們使用神經(jīng)網(wǎng)絡(luò)，這些組件中的每一個(gè)都可以做得更好。 ……但是，仍然有一個(gè)問題。 每個(gè)組件都有各自的神經(jīng)網(wǎng)絡(luò)，但是每個(gè)組件中的錯(cuò)誤都是不同的，所以它們可能無法很好地協(xié)同工作。 所以這讓我們擁有動(dòng)機(jī)，嘗試去把整個(gè)語音識(shí)別當(dāng)作一個(gè)大模型來訓(xùn)練?！?/p>

自然語言處理深度學(xué)習(xí)網(wǎng)絡(luò)的類型

深度學(xué)習(xí)是一個(gè)很大的學(xué)習(xí)領(lǐng)域，并不是它的所有內(nèi)容都與自然語言處理相關(guān)。

哪些類型的深度學(xué)習(xí)模型能提升性能？學(xué)習(xí)者在具體優(yōu)化方法上很容易陷入泥沼。

從較高層次看，深度學(xué)習(xí)中有5種方法在自然語言處理中應(yīng)用最為廣泛。

他們是：

嵌入圖層

多層感知器（MLP）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）

遞歸神經(jīng)網(wǎng)絡(luò)（ReNNs）

NLP中的問題類型

深度學(xué)習(xí)不會(huì)徹底解決自然語言處理問題或人工智能問題。

迄今為止，在自然語言處理的一系列廣泛?jiǎn)栴}中，已經(jīng)對(duì)深度學(xué)習(xí)方法進(jìn)行了評(píng)估，并在其中一些問題上取得了成功。這些成功表明，使用深度學(xué)習(xí)能獲得高于以往的表現(xiàn)或能力。

重要的是，深度學(xué)習(xí)方法取得最大成功的領(lǐng)域，恰恰是一些更加面對(duì)終端用戶、更具挑戰(zhàn)性也更有趣的問題。

深度學(xué)習(xí)取得成功的5個(gè)例子包括：

詞表示和詞含義

文本分類

語言建模

機(jī)器翻譯

語音識(shí)別