長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），作為一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)，不僅能夠解決 RNN無(wú)法處理長(zhǎng)距離的依賴(lài)的問(wèn)題，還能夠解決神經(jīng)網(wǎng)絡(luò)中常見(jiàn)的梯度爆炸或梯度消失等問(wèn)題，在處理序列數(shù)據(jù)方面非常有效。

有效背后的根本原因有哪些？本文結(jié)合簡(jiǎn)單的案例，帶大家了解關(guān)于 LSTM 的五個(gè)秘密，也解釋了 LSTM如此有效的關(guān)鍵所在。

秘密一：發(fā)明LSTM是因?yàn)镽NN 發(fā)生嚴(yán)重的內(nèi)存泄漏

之前，我們介紹了遞歸神經(jīng)網(wǎng)絡(luò)（RNN），并演示了如何將它們用于情感分析。 RNN 的問(wèn)題是遠(yuǎn)程內(nèi)存。例如，它們能夠預(yù)測(cè)出“the clouds are in the…”這句話(huà)的下一個(gè)單詞“sky”，但卻無(wú)法預(yù)測(cè)出下面這句話(huà)中缺失的單詞：“她在法國(guó)長(zhǎng)大。現(xiàn)在到中國(guó)才幾個(gè)月。她說(shuō)一口流利的 …”（“She grew up in France. Now she has been in China for few months only. She speaks fluent …”） 隨著間隔的拉長(zhǎng)，RNN變得無(wú)法學(xué)會(huì)信息連接。在此示例中，最近的信息表明，下一個(gè)詞可能是一種語(yǔ)言的名稱(chēng)，但是如果我們想縮小哪種語(yǔ)言的范圍，那么就需要到間隔很長(zhǎng)的前文中去找“法國(guó)”。在自然語(yǔ)言文本中，這種問(wèn)題，完全有可能在相關(guān)信息和需要該信息的地方出現(xiàn)很大的差異。這種差異在德語(yǔ)中也很常見(jiàn)。

為什么RNN在長(zhǎng)序列文本方面存在巨大的問(wèn)題？根據(jù)設(shè)計(jì)，RNN 在每個(gè)時(shí)間步長(zhǎng)上都會(huì)接受兩個(gè)輸入：一個(gè)輸入向量（例如，輸入句子中的一個(gè)詞）和一個(gè)隱藏狀態(tài)（例如，以前詞中的記憶表示）。 RNN下一個(gè)時(shí)間步長(zhǎng)采用第二個(gè)輸入向量和第一隱藏狀態(tài)來(lái)創(chuàng)建該時(shí)間步長(zhǎng)的輸出。因此，為了捕獲長(zhǎng)序列中的語(yǔ)義，我們需要在多個(gè)時(shí)間步長(zhǎng)上運(yùn)行RNN，將展開(kāi)的RNN變成一個(gè)非常深的網(wǎng)絡(luò)。

長(zhǎng)序列并不是RNN的唯一麻煩制造者。就像任何非常深的神經(jīng)網(wǎng)絡(luò)一樣，RNN也存在梯度消失和爆炸的問(wèn)題，因此需要花費(fèi)大量時(shí)間進(jìn)行訓(xùn)練。人們已經(jīng)提出了許多技術(shù)來(lái)緩解此問(wèn)題，但還無(wú)法完全消除該問(wèn)題，這些技術(shù)包括：

仔細(xì)地初始化參數(shù)

使用非飽和激活函數(shù)，如ReLU

應(yīng)用批量歸一化、梯度消失、舍棄網(wǎng)絡(luò)細(xì)胞等方法

使用經(jīng)過(guò)時(shí)間截?cái)嗟姆聪騻鞑?/p>

這些方法仍然有其局限性。此外，除了訓(xùn)練時(shí)間長(zhǎng)之外，長(zhǎng)期運(yùn)行的RNN還面臨另一個(gè)問(wèn)題是：對(duì)首個(gè)輸入的記憶會(huì)逐漸消失。 一段時(shí)間后，RNN的狀態(tài)庫(kù)中幾乎沒(méi)有首個(gè)輸入的任何痕跡。例如，如果我們想對(duì)以“我喜歡這款產(chǎn)品”開(kāi)頭的長(zhǎng)評(píng)論進(jìn)行情感分析，但其余評(píng)論列出了許多可能使該產(chǎn)品變得更好的因素，那么 RNN 將逐漸忘記首個(gè)評(píng)論中傳遞的正面情緒，并且會(huì)完全誤認(rèn)為該評(píng)論是負(fù)面的。

為了解決RNN的這些問(wèn)題，研究者已經(jīng)在研究中引入了各類(lèi)具有長(zhǎng)期記憶的細(xì)胞。實(shí)際上，不再使用基本的RNN的大多數(shù)工作是通過(guò)所謂的長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）完成的。LSTM是由S. Hochreiter和J. Schmidhuber發(fā)明的。

秘密2 ：LSTM的一個(gè)關(guān)鍵思想是“門(mén)”

每個(gè)LSTM細(xì)胞都控制著要記住的內(nèi)容、要忘記的內(nèi)容以及如何使用門(mén)來(lái)更新存儲(chǔ)器。這樣，LSTM網(wǎng)絡(luò)解決了梯度爆炸或梯度消失的問(wèn)題，以及前面提到的所有其他問(wèn)題！ LSTM細(xì)胞的架構(gòu)如下圖所示：

來(lái)源：哈佛大學(xué) P. Protopapas教授的課堂講稿（下同，不再一一注釋?zhuān)?h 是隱藏狀態(tài)，表示的是短期記憶；C是細(xì)胞狀態(tài)，表示的是長(zhǎng)期記憶；x表示輸入。 門(mén)只能執(zhí)行很少的矩陣轉(zhuǎn)換，激活 sigmoid函數(shù)和tanh函數(shù)可以神奇地解決所有RNN問(wèn)題。 在下一節(jié)中，我們將通過(guò)觀察這些細(xì)胞如何遺忘、記憶和更新其內(nèi)存來(lái)深入研究這一過(guò)程。 一個(gè)有趣的故事： 讓我們?cè)O(shè)置一個(gè)有趣的情節(jié)來(lái)探索這個(gè)圖表。假設(shè)你是老板，你的員工要求加薪。你會(huì)同意嗎？這取決于多個(gè)因素，比如你當(dāng)時(shí)的心情。 下面我們將你的大腦視為L(zhǎng)STM細(xì)胞，當(dāng)然我們無(wú)意冒犯你聰明的大腦。

你的長(zhǎng)期狀態(tài)C將影響你的決定。平均來(lái)說(shuō)，你有70%的時(shí)間心情很好，而你還剩下30%的預(yù)算。因此你的細(xì)胞狀態(tài)是C=[0.7， 0.3]。 最近，所有的事情對(duì)你來(lái)說(shuō)都很順利，100%地提升了你的好心情，而你有100%的可能性預(yù)留可操作的預(yù)算。這就把你的隱藏狀態(tài)變成了h=[1，1]。 今天，發(fā)生了三件事：你的孩子在學(xué)?？荚囍腥〉昧撕贸煽?jī)，盡管你的老板對(duì)你的評(píng)價(jià)很差，但是你發(fā)現(xiàn)你仍然有足夠的時(shí)間來(lái)完成工作。因此，今天的輸入是x=[1，- 1，1]。

基于這個(gè)評(píng)估，你會(huì)給你的員工加薪嗎?

秘密3：LSTM通過(guò)使用“忘記門(mén)”來(lái)忘記

在上述情況下，你的第一步可能是弄清楚今天發(fā)生的事情（輸入x）和最近發(fā)生的事情（隱藏狀態(tài)h），二者會(huì)影響你對(duì)情況的長(zhǎng)期判斷（細(xì)胞狀態(tài)C）。“忘記門(mén)”（ Forget Gate）控制著過(guò)去存儲(chǔ)的內(nèi)存量。 在收到員工加薪的請(qǐng)求后，你的“忘記門(mén)”會(huì)運(yùn)行以下f_t的計(jì)算，其值最終會(huì)影響你的長(zhǎng)期記憶。 下圖中顯示的權(quán)重是為了便于說(shuō)明目的的隨意選擇。它們的值通常是在網(wǎng)絡(luò)訓(xùn)練期間計(jì)算的。結(jié)果[0，0]表示要抹去（完全忘記）你的長(zhǎng)期記憶，不要讓它影響你今天的決定。

秘密4：LSTM 記得使用“輸入門(mén)”

接下來(lái)，你需要決定：最近發(fā)生的事情（隱藏狀態(tài)h）和今天發(fā)生的事情（輸入x）中的哪些信息需要記錄到你對(duì)所處情況的長(zhǎng)遠(yuǎn)判斷中(狀態(tài)狀態(tài)C)。LSTM通過(guò)使用“輸入門(mén)”（ Input Gate）來(lái)決定要記住什么。 首先，你要計(jì)算輸入門(mén)的值 i_t，由于激活了sigmoid函數(shù)，值落在0和1之間；接下來(lái)，你要tanh激活函數(shù)在-1和1之間縮放輸入；最后，你要通過(guò)添加這兩個(gè)結(jié)果來(lái)估計(jì)新的細(xì)胞狀態(tài)。 結(jié)果[1，1]表明，根據(jù)最近和當(dāng)前的信息，你100%處于良好狀態(tài)，給員工加薪有很高的可能性。這對(duì)你的員工來(lái)說(shuō)很有希望。

秘密5 ：LSTM使用“細(xì)胞狀態(tài)”保持長(zhǎng)期記憶

現(xiàn)在，你知道最近發(fā)生的事情會(huì)如何影響你的狀態(tài)。接下來(lái)，是時(shí)候根據(jù)新的理論來(lái)更新你對(duì)所處情況的長(zhǎng)期判斷了。 當(dāng)出現(xiàn)新值時(shí)，LSTM 再次通過(guò)使用門(mén)來(lái)決定如何更新其內(nèi)存。門(mén)控的新值將添加到當(dāng)前存儲(chǔ)器中。這種加法運(yùn)算解決了簡(jiǎn)單RNN的梯度爆炸或梯度消失問(wèn)題。 LSTM 通過(guò)相加而不是相乘的方式來(lái)計(jì)算新?tīng)顟B(tài)。結(jié)果C_t 被存儲(chǔ)為所處情況的新的長(zhǎng)期判斷（細(xì)胞狀態(tài)）。 值[1，1]表示你整體有100％的時(shí)間保持良好的心情，并且有100％的可能性一直都有錢(qián)！你是位無(wú)可挑剔的老板！

根據(jù)這些信息，你可以更新所處情況的短期判斷：h_t(下一個(gè)隱藏狀態(tài))。值[0.9，0.9]表示你有90%的可能性在下一步增加員工的工資！祝賀他！

1、門(mén)控循環(huán)單元LSTM細(xì)胞的一種變體被稱(chēng)為門(mén)控循環(huán)單元，簡(jiǎn)稱(chēng)GRU。GRU 是Kyunghyun Cho等人在2014年的一篇論文中提出的。 GRU是LSTM細(xì)胞的簡(jiǎn)化版本，速度比LSTM快一點(diǎn)，而且性能似乎也與LSTM相當(dāng)，這就是它為什么越來(lái)越受歡迎的原因。

如上所示，這兩個(gè)狀態(tài)向量合并為一個(gè)向量。單個(gè)門(mén)控制器控制“忘記門(mén)”和“輸入門(mén)”。如果門(mén)控制器輸出 1，則輸入門(mén)打開(kāi)，忘記門(mén)關(guān)閉。如果輸出0，則相反。換句話(huà)說(shuō)，每當(dāng)必須存儲(chǔ)內(nèi)存時(shí)，其存儲(chǔ)位置先被刪除。 上圖中沒(méi)有輸出門(mén)，在每一步都輸出完整的狀態(tài)向量。但是，增加了一個(gè)新的門(mén)控制器，它控制之前狀態(tài)的哪一部分將呈現(xiàn)給主層。2、堆疊LSTM細(xì)胞通過(guò)對(duì)齊多個(gè)LSTM細(xì)胞，我們可以處理序列數(shù)據(jù)的輸入，例如下圖中有4個(gè)單詞的句子。

LSTM單元通常是分層排列的，因此每個(gè)單元的輸出都是其他單元的輸入。在本例中，我們有兩個(gè)層，每個(gè)層有4個(gè)細(xì)胞。通過(guò)這種方式，網(wǎng)絡(luò)變得更加豐富，并捕獲到更多的依賴(lài)項(xiàng)。3、雙向LSTMRNN、LSTM和GRU是用來(lái)分析數(shù)值序列的。有時(shí)候，按相反的順序分析序列也是有意義的。 例如，在“老板對(duì)員工說(shuō)，他需要更努力地工作”這個(gè)句子中，盡管“他”一開(kāi)始就出現(xiàn)了，但這句話(huà)中的他指的是：在句末提到的員工。 因此，分析序列的順序需要顛倒或通過(guò)組合向前和向后的順序。下圖描述了這種雙向架構(gòu)：

下圖進(jìn)一步說(shuō)明了雙向 LSTM。底部的網(wǎng)絡(luò)接收原始順序的序列，而頂部的網(wǎng)絡(luò)按相反順序接收相同的輸入。這兩個(gè)網(wǎng)絡(luò)不一定完全相同。重要的是，它們的輸出被合并為最終的預(yù)測(cè)。

想要知道更多的秘密？ 正如我們剛剛提到的那樣，LSTM細(xì)胞可以學(xué)會(huì)識(shí)別重要的輸入（輸入門(mén)的作用），將該輸入存儲(chǔ)在長(zhǎng)期狀態(tài)下，學(xué)會(huì)在需要時(shí)將其保留（忘記門(mén)的作用），并在需要時(shí)學(xué)會(huì)提取它。 LSTM 已經(jīng)改變了機(jī)器學(xué)習(xí)范式，現(xiàn)在可以通過(guò)世界上最有價(jià)值的上市公司如谷歌、Amazon和Facebook向數(shù)十億用戶(hù)提供服務(wù)。 自2015年中期以來(lái)，LSTM極大地改善了超過(guò)40億部Android手機(jī)的語(yǔ)音識(shí)別。 自2016年11月以來(lái)，LSTM應(yīng)用在了谷歌翻譯中，極大地改善了機(jī)器翻譯。 Facebook每天執(zhí)行超過(guò)40億個(gè)基于LSTM的翻譯。 自2016年以來(lái)，近20億部iPhone手機(jī)上搭載了基于LSTM的Siri。 亞馬遜的Alexa回答問(wèn)題也是基于 LSTM。

原文標(biāo)題：LSTM 為何如此有效？這五個(gè)秘密是你要知道的

文章出處：【微信公眾號(hào)：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq