在第 9.3 節(jié)中，我們描述了馬爾可夫模型和 n-grams 用于語(yǔ)言建模，其中 token 的條件概率xt在時(shí)間步t只取決于 n?1以前的令牌。如果我們想在時(shí)間步長(zhǎng)之前合并標(biāo)記的可能影響t?(n?1)在xt, 我們需要增加n. 然而，模型參數(shù)的數(shù)量也會(huì)隨之呈指數(shù)增長(zhǎng)，因?yàn)槲覀冃枰鎯?chǔ) |V|n詞匯集的數(shù)字 V. 因此，而不是建模 P(xt∣xt?1,…,xt?n+1)最好使用潛在變量模型：

(9.4.1)P(xt∣xt?1,…,x1)≈P(xt∣ht?1),

在哪里ht?1是一個(gè)隱藏狀態(tài)，存儲(chǔ)序列信息到時(shí)間步長(zhǎng)t?1. 一般來(lái)說(shuō)，任何時(shí)間步的隱藏狀態(tài)t可以根據(jù)當(dāng)前輸入計(jì)算xt和之前的隱藏狀態(tài)ht?1:

(9.4.2)ht=f(xt,ht?1).

為了足夠強(qiáng)大的功能f在(9.4.2)中，潛變量模型不是近似值。畢竟， ht可以簡(jiǎn)單地存儲(chǔ)到目前為止觀察到的所有數(shù)據(jù)。但是，它可能會(huì)使計(jì)算和存儲(chǔ)都變得昂貴。

回想一下，我們?cè)诘?5 節(jié)中討論了帶有隱藏單元的隱藏層 。值得注意的是，隱藏層和隱藏狀態(tài)指的是兩個(gè)截然不同的概念。如前所述，隱藏層是在從輸入到輸出的路徑上從視圖中隱藏的層。從技術(shù)上講，隱藏狀態(tài)是我們?cè)诮o定步驟所做的任何事情的輸入，它們只能通過(guò)查看先前時(shí)間步驟的數(shù)據(jù)來(lái)計(jì)算。

遞歸神經(jīng)網(wǎng)絡(luò)(RNN) 是具有隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)。在介紹 RNN 模型之前，我們首先重溫一下5.1 節(jié)介紹的 MLP 模型。

import torch
from d2l import torch as d2l

from mxnet import np, npx
from d2l import mxnet as d2l

npx.set_np()

import jax
from jax import numpy as jnp
from d2l import jax as d2l

No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

import tensorflow as tf
from d2l import tensorflow as d2l

9.4.1. 沒(méi)有隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)

讓我們看一下具有單個(gè)隱藏層的 MLP。令隱藏層的激活函數(shù)為?. 給定一小批示例X∈Rn×d批量大小 n和d輸入，隱藏層輸出 H∈Rn×h計(jì)算為

(9.4.3)H=?(XWxh+bh).

在(9.4.3)中，我們有權(quán)重參數(shù) Wxh∈Rd×h, 偏置參數(shù) bh∈R1×h, 以及隱藏單元的數(shù)量h, 對(duì)于隱藏層。因此， 在求和期間應(yīng)用廣播（參見(jiàn)第 2.1.4 節(jié)）。接下來(lái)，隱藏層輸出H用作輸出層的輸入。輸出層由下式給出

(9.4.4)O=HWhq+bq,

在哪里O∈Rn×q是輸出變量，Whq∈Rh×q是權(quán)重參數(shù)，并且bq∈R1×q 是輸出層的偏置參數(shù)。如果是分類(lèi)問(wèn)題，我們可以使用softmax(O)計(jì)算輸出類(lèi)別的概率分布。

這完全類(lèi)似于我們之前在第 9.1 節(jié)中解決的回歸問(wèn)題，因此我們省略了細(xì)節(jié)。只要說(shuō)我們可以隨機(jī)選擇特征標(biāo)簽對(duì)并通過(guò)自動(dòng)微分和隨機(jī)梯度下降來(lái)學(xué)習(xí)我們網(wǎng)絡(luò)的參數(shù)就夠了。

9.4.2. 具有隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)

當(dāng)我們有隱藏狀態(tài)時(shí)，事情就完全不同了。讓我們更詳細(xì)地看一下結(jié)構(gòu)。

假設(shè)我們有一小批輸入 Xt∈Rn×d在時(shí)間步t. 換句話說(shuō)，對(duì)于一個(gè)小批量n序列示例，每一行Xt對(duì)應(yīng)于時(shí)間步長(zhǎng)的一個(gè)例子 t從序列。接下來(lái)，表示為 Ht∈Rn×h時(shí)間步的隱藏層輸出t. 與MLP不同，這里我們保存隱藏層輸出Ht?1從上一個(gè)時(shí)間步引入一個(gè)新的權(quán)重參數(shù) Whh∈Rh×h描述如何在當(dāng)前時(shí)間步中使用上一個(gè)時(shí)間步的隱藏層輸出。具體來(lái)說(shuō)，當(dāng)前時(shí)間步的隱層輸出的計(jì)算是由當(dāng)前時(shí)間步的輸入和上一時(shí)間步的隱層輸出共同決定的：

(9.4.5)Ht=?(XtWxh+Ht?1Whh+bh).

與(9.4.3)相比， (9.4.5)多了一項(xiàng) Ht?1Whh從而實(shí)例化 (9.4.2)。從隱藏層輸出之間的關(guān)系 Ht和Ht?1相鄰時(shí)間步長(zhǎng)，我們知道這些變量捕獲并保留了序列的歷史信息直到它們當(dāng)前時(shí)間步長(zhǎng)，就像神經(jīng)網(wǎng)絡(luò)當(dāng)前時(shí)間步長(zhǎng)的狀態(tài)或記憶一樣。因此，這樣的隱藏層輸出稱(chēng)為隱藏狀態(tài)。由于隱藏狀態(tài)在當(dāng)前時(shí)間步中使用前一個(gè)時(shí)間步的相同定義，因此(9.4.5)的計(jì)算是 循環(huán)的。因此，正如我們所說(shuō)，基于循環(huán)計(jì)算的具有隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)被稱(chēng)為循環(huán)神經(jīng)網(wǎng)絡(luò)。在 RNN 中執(zhí)行(9.4.5)計(jì)算的層稱(chēng)為循環(huán)層。

構(gòu)建 RNN 有許多不同的方法。具有由(9.4.5)定義的隱藏狀態(tài)的 RNN非常常見(jiàn)。對(duì)于時(shí)間步t，輸出層的輸出類(lèi)似于MLP中的計(jì)算：

(9.4.6)Ot=HtWhq+bq.

RNN 的參數(shù)包括權(quán)重 Wxh∈Rd×h,Whh∈Rh×h, 和偏差bh∈R1×h隱藏層的，連同權(quán)重 Whq∈Rh×q和偏見(jiàn) bq∈R1×q的輸出層。值得一提的是，即使在不同的時(shí)間步長(zhǎng)，RNN 也始終使用這些模型參數(shù)。因此，RNN 的參數(shù)化成本不會(huì)隨著時(shí)間步數(shù)的增加而增加。

圖 9.4.1說(shuō)明了 RNN 在三個(gè)相鄰時(shí)間步的計(jì)算邏輯。隨時(shí)步t，隱藏狀態(tài)的計(jì)算可以被視為：（i）連接輸入 Xt在當(dāng)前時(shí)間步t和隱藏狀態(tài)Ht?1在之前的時(shí)間步t?1; (ii) 將連接結(jié)果饋送到具有激活函數(shù)的全連接層?. 這樣一個(gè)全連接層的輸出就是隱藏狀態(tài)Ht當(dāng)前時(shí)間步的t. 在這種情況下，模型參數(shù)是Wxh和Whh, 和一個(gè)偏差bh, 全部來(lái)自 (9.4.5)。當(dāng)前時(shí)間步的隱藏狀態(tài) t,Ht, 將參與計(jì)算隱藏狀態(tài)Ht+1下一個(gè)時(shí)間步t+1. 更，Ht也將被送入全連接輸出層計(jì)算輸出Ot當(dāng)前時(shí)間步的t.

圖 9.4.1具有隱藏狀態(tài)的 RNN。

我們剛剛提到計(jì)算 XtWxh+Ht?1Whh 對(duì)于隱藏狀態(tài)相當(dāng)于矩陣乘法的串聯(lián)Xt和Ht?1和串聯(lián)Wxh和Whh. 雖然這可以在數(shù)學(xué)上得到證明，但在下文中我們僅使用一個(gè)簡(jiǎn)單的代碼片段來(lái)說(shuō)明這一點(diǎn)。首先，我們定義矩陣 X、W_xh、H和W_hh，其形狀分別為 (3, 1)、(1, 4)、(3, 4) 和 (4, 4)。分別乘以X和，然后將這兩個(gè)乘法相加，我們得到形狀為 (3, 4) 的W_xh矩陣 H。W_hh

X, W_xh = torch.randn(3, 1), torch.randn(1, 4)
H, W_hh = torch.randn(3, 4), torch.randn(4, 4)
torch.matmul(X, W_xh) + torch.matmul(H, W_hh)

tensor([[-1.6464, -8.4141, 1.5096, 3.9953],
    [-1.2590, -0.2353, 2.5025, 0.2107],
    [-2.5954, 0.8102, -1.3280, -1.1265]])

X, W_xh = np.random.randn(3, 1), np.random.randn(1, 4)
H, W_hh = np.random.randn(3, 4), np.random.randn(4, 4)
np.dot(X, W_xh) + np.dot(H, W_hh)

array([[-0.21952915, 4.256434 , 4.5812645 , -5.344988 ],
    [ 3.447858 , -3.0177274 , -1.6777471 , 7.535347 ],
    [ 2.2390068 , 1.4199957 , 4.744728 , -8.421293 ]])

X, W_xh = jax.random.normal(d2l.get_key(), (3, 1)), jax.random.normal(
                            d2l.get_key(), (1, 4))
H, W_hh = jax.random.normal(d2l.get_key(), (3, 4)), jax.random.normal(
                            d2l.get_key(), (4, 4))
jnp.matmul(X, W_xh) + jnp.matmul(H, W_hh)

Array([[-4.9585376 , -2.7011836 , 2.6214707 , 0.4295503 ],
    [ 0.85284555, 1.0258489 , -0.01304248, -0.08559555],
    [ 4.970079 , 1.1702325 , -3.1437514 , -2.7272367 ]],   dtype=float32)

X, W_xh = tf.random.normal((3, 1)), tf.random.normal((1, 4))
H, W_hh = tf.random.normal((3, 4)), tf.random.normal((4, 4))
tf.matmul(X, W_xh) + tf.matmul(H, W_hh)

現(xiàn)在我們連接矩陣X和H列（軸 1），以及矩陣W_xh和W_hh行（軸 0）。這兩個(gè)串聯(lián)分別產(chǎn)生形狀為 (3, 5) 和形狀 (5, 4) 的矩陣。將這兩個(gè)級(jí)聯(lián)矩陣相乘，我們得到與上面相同的形狀 (3, 4) 的輸出矩陣。

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

tensor([[-1.6464, -8.4141, 1.5096, 3.9953],
    [-1.2590, -0.2353, 2.5025, 0.2107],
    [-2.5954, 0.8102, -1.3280, -1.1265]])

np.dot(np.concatenate((X, H), 1), np.concatenate((W_xh, W_hh), 0))

array([[-0.21952918, 4.256434 , 4.5812645 , -5.344988 ],
    [ 3.4478583 , -3.0177271 , -1.677747 , 7.535347 ],
    [ 2.2390068 , 1.4199957 , 4.744728 , -8.421294 ]])

jnp.matmul(jnp.concatenate((X, H), 1), jnp.concatenate((W_xh, W_hh), 0))

Array([[-4.9585376 , -2.7011836 , 2.6214707 , 0.4295503 ],
    [ 0.85284555, 1.0258489 , -0.01304245, -0.08559557],
    [ 4.9700794 , 1.1702325 , -3.1437514 , -2.7272365 ]],   dtype=float32)

tf.matmul(tf.concat((X, H), 1), tf.concat((W_xh, W_hh), 0))

9.4.3. 基于 RNN 的字符級(jí)語(yǔ)言模型

回想一下9.3 節(jié)中的語(yǔ)言建模，我們的目標(biāo)是根據(jù)當(dāng)前和過(guò)去的標(biāo)記預(yù)測(cè)下一個(gè)標(biāo)記，因此我們將原始序列移動(dòng)一個(gè)標(biāo)記作為目標(biāo)（標(biāo)簽）。 本吉奧等。( 2003 )首次提出使用神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)言建模。在下文中，我們將說(shuō)明如何使用 RNN 來(lái)構(gòu)建語(yǔ)言模型。設(shè)小批量大小為 1，文本序列為“機(jī)器”。為了簡(jiǎn)化后續(xù)部分的訓(xùn)練，我們將文本標(biāo)記為字符而不是單詞，并考慮字符級(jí)語(yǔ)言模型。 圖 9.4.2演示了如何通過(guò)用于字符級(jí)語(yǔ)言建模的 RNN 基于當(dāng)前字符和先前字符預(yù)測(cè)下一個(gè)字符。

圖 9.4.2基于 RNN 的字符級(jí)語(yǔ)言模型。輸入和目標(biāo)序列分別是“機(jī)器”和“機(jī)器”。

在訓(xùn)練過(guò)程中，我們對(duì)每個(gè)時(shí)間步的輸出層的輸出進(jìn)行 softmax 操作，然后使用交叉熵?fù)p失來(lái)計(jì)算模型輸出與目標(biāo)之間的誤差。由于隱藏層中隱藏狀態(tài)的循環(huán)計(jì)算，圖 9.4.2中時(shí)間步長(zhǎng) 3 的輸出， O3, 由文本序列“m”、“a”和“c”確定。由于訓(xùn)練數(shù)據(jù)中序列的下一個(gè)字符是“h”，時(shí)間步長(zhǎng)3的損失將取決于基于特征序列“m”、“a”、“c”和“c”生成的下一個(gè)字符的概率分布這個(gè)時(shí)間步長(zhǎng)的目標(biāo)“h”。

實(shí)際上，每個(gè)標(biāo)記都由一個(gè)d維向量，我們使用批量大小n>1. 因此，輸入 Xt在時(shí)間步t將是一個(gè)n×d 矩陣，這與我們?cè)?第 9.4.2 節(jié)中討論的相同。

在接下來(lái)的部分中，我們將為字符級(jí)語(yǔ)言模型實(shí)現(xiàn) RNN。

9.4.4. 概括

對(duì)隱藏狀態(tài)使用循環(huán)計(jì)算的神經(jīng)網(wǎng)絡(luò)稱(chēng)為循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)。RNN 的隱藏狀態(tài)可以捕獲序列到當(dāng)前時(shí)間步的歷史信息。通過(guò)循環(huán)計(jì)算，RNN 模型參數(shù)的數(shù)量不會(huì)隨著時(shí)間步數(shù)的增加而增加。至于應(yīng)用程序，RNN 可用于創(chuàng)建字符級(jí)語(yǔ)言模型。

9.4.5. 練習(xí)

如果我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)文本序列中的下一個(gè)字符，那么任何輸出所需的維度是多少？

為什么 RNN 可以基于文本序列中所有先前的標(biāo)記來(lái)表達(dá)某個(gè)標(biāo)記在某個(gè)時(shí)間步的條件概率？

如果反向傳播一個(gè)長(zhǎng)序列，梯度會(huì)發(fā)生什么變化？

與本節(jié)中描述的語(yǔ)言模型相關(guān)的一些問(wèn)題是什么？