什么是 RNN？

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是一種用于深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)，它可以對(duì)時(shí)間序列或順序數(shù)據(jù)進(jìn)行預(yù)測(cè)。 RNN 特別適合處理長(zhǎng)度不同的順序數(shù)據(jù)以及解決自然信號(hào)分類、語(yǔ)言處理和視頻分析等問(wèn)題。

RNN 的工作原理 循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是一種深度學(xué)習(xí)結(jié)構(gòu)，它使用過(guò)去的信息來(lái)提高網(wǎng)絡(luò)處理當(dāng)前和將來(lái)輸入的性能。RNN 的獨(dú)特之處在于該網(wǎng)絡(luò)包含隱藏狀態(tài)和循環(huán)。循環(huán)結(jié)構(gòu)支持網(wǎng)絡(luò)以隱藏狀態(tài)存儲(chǔ)過(guò)去的信息，并對(duì)序列進(jìn)行運(yùn)算。 RNN 怎么知道如何將過(guò)去的信息應(yīng)用于當(dāng)前輸入？該網(wǎng)絡(luò)有兩組權(quán)重：一組用于隱藏狀態(tài)向量，另一組用于輸入。在訓(xùn)練期間，網(wǎng)絡(luò)會(huì)學(xué)習(xí)輸入和隱藏狀態(tài)的權(quán)重。在實(shí)現(xiàn)時(shí)，輸出基于當(dāng)前輸入以及隱藏狀態(tài)，而隱藏狀態(tài)基于以前的輸入。 RNN 中單個(gè)單元的展開(kāi)圖，顯示信息如何通過(guò)數(shù)據(jù)序列的網(wǎng)絡(luò)。該單元的隱藏狀態(tài)作用于輸入以產(chǎn)生輸出，并且隱藏狀態(tài)會(huì)傳遞給下一個(gè)時(shí)間步。

展開(kāi)的單個(gè) RNN 單元，顯示信息如何通過(guò)數(shù)據(jù)序列的網(wǎng)絡(luò)。該單元的隱藏狀態(tài)作用于輸入以產(chǎn)生輸出，并且隱藏狀態(tài)會(huì)傳遞給下一個(gè)時(shí)間步。

LSTM 實(shí)際上，簡(jiǎn)單的 RNN 在學(xué)習(xí)長(zhǎng)期依存關(guān)系時(shí)會(huì)遇到問(wèn)題。RNN 通常通過(guò)反向傳播來(lái)訓(xùn)練，在反向傳播中，它們可能遇到梯度的“消失”或“爆炸”問(wèn)題。這些問(wèn)題會(huì)導(dǎo)致網(wǎng)絡(luò)權(quán)重變得非常小或非常大，從而限制學(xué)習(xí)長(zhǎng)期依存關(guān)系的有效性。 一種特殊類型的 RNN——長(zhǎng)短期記憶 (LSTM) 網(wǎng)絡(luò)可克服此類問(wèn)題。LSTM 網(wǎng)絡(luò)使用額外的門來(lái)控制隱藏狀態(tài)中的哪些信息可以輸出，并傳遞到下一個(gè)隱藏狀態(tài)。這就使網(wǎng)絡(luò)能夠更高效地學(xué)習(xí)數(shù)據(jù)中長(zhǎng)期關(guān)系。LSTM 是一種常用的 RNN。

RNN（左）和 LSTM 網(wǎng)絡(luò)（右）的比較。 雙向 LSTM 可學(xué)習(xí)時(shí)間序列數(shù)據(jù)或序列數(shù)據(jù)的時(shí)間步的雙向依存關(guān)系。當(dāng)您希望網(wǎng)絡(luò)在每個(gè)時(shí)間步都從完整時(shí)間序列中學(xué)習(xí)時(shí)，這些依存關(guān)系會(huì)很有用。另一個(gè)學(xué)習(xí)長(zhǎng)期依存關(guān)系的 RNN 變體是門控 RNN。您可以在 MATLAB 中訓(xùn)練和使用雙向 LSTM 和門控 RNN。

RNN 為何重要 RNN 是許多應(yīng)用中的關(guān)鍵技術(shù)，例如： 信號(hào)處理 ? 信號(hào)天然就是順序數(shù)據(jù)，因?yàn)樗鼈兺ǔＪ?a href="http://www.brongaenegriffin.com/v/tag/117/" target="_blank">傳感器隨著時(shí)間的推移采集的。對(duì)大型信號(hào)數(shù)據(jù)集的自動(dòng)分類和回歸使得實(shí)時(shí)預(yù)測(cè)成為可能。原始信號(hào)數(shù)據(jù)可以饋入深度網(wǎng)絡(luò)，或進(jìn)行預(yù)處理以關(guān)注特定特征，如頻率分量。特征提取可以大大提高網(wǎng)絡(luò)性能。

文本分析

語(yǔ)言天然就是順序數(shù)據(jù)，文本片段的長(zhǎng)度也各不相同。RNN 非常適合自然語(yǔ)言處理任務(wù)，如文本分類、文本生成、機(jī)器翻譯和情緒分析（對(duì)單詞和短語(yǔ)的含義進(jìn)行分類），因?yàn)樗鼈兛梢詫W(xué)習(xí)根據(jù)語(yǔ)境處理句子中的字詞。

何時(shí)應(yīng)使用 RNN？

當(dāng)您使用序列和時(shí)間序列數(shù)據(jù)執(zhí)行分類和回歸任務(wù)時(shí)，請(qǐng)考慮使用 RNN。RNN 也非常適合處理視頻，因?yàn)橐曨l本質(zhì)上是一個(gè)圖像序列。與處理信號(hào)類似，在將序列饋送到 RNN 之前進(jìn)行特征提取會(huì)很有幫助。利用 CNN（例如 GoogLeNet）對(duì)每幀進(jìn)行特征提取。

用于分類、回歸和視頻分類任務(wù)的 RNN 網(wǎng)絡(luò)架構(gòu)。

使用 MATLAB 實(shí)現(xiàn) RNN

使用 MATLAB 和 Deep Learning Toolbox，您能夠設(shè)計(jì)、訓(xùn)練和部署 RNN。您可以使用 Text Analytics Toolbox 或 Signal Processing Toolbox 將 RNN 應(yīng)用于文本或信號(hào)分析。 設(shè)計(jì)和訓(xùn)練網(wǎng)絡(luò) 您可以僅用幾行 MATLAB 代碼以編程方式創(chuàng)建和訓(xùn)練 RNN。使用循環(huán)層（LSTM 層、雙向 LSTM 層、門控循環(huán)層和 LSTM 投影層）構(gòu)建 RNN。在 RNN 網(wǎng)絡(luò)中使用單詞嵌入層將單詞映射到數(shù)值序列中。 您還可以使用深度網(wǎng)絡(luò)設(shè)計(jì)器以交互方式創(chuàng)建和訓(xùn)練 RNN。通過(guò)準(zhǔn)確度、損失和驗(yàn)證度量圖監(jiān)控訓(xùn)練。 部署網(wǎng)絡(luò) 您可以在嵌入式系統(tǒng)、企業(yè)系統(tǒng)、FPGA 設(shè)備或云上部署經(jīng)過(guò)訓(xùn)練的 RNN。您還可以使用 Intel、NVIDIA 和 ARM 庫(kù)生成代碼，以創(chuàng)建具有高性能推斷速度的可部署模型。

深度網(wǎng)絡(luò)設(shè)計(jì)器，用于以交互方式構(gòu)建、可視化和編輯 RNN 網(wǎng)絡(luò)。

將經(jīng)過(guò)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)快速部署到生產(chǎn)中。

審核編輯：黃飛

?