基于圖展開和參數(shù)共享的思想，我們可以設計各種循環(huán)神經(jīng)網(wǎng)絡。

計算循環(huán)網(wǎng)絡（將 x值的輸入序列映射到輸出值 o 的對應序列） 訓練損失的計算圖。損失L 衡量每個 o與相應的訓練目標 v 的距離。當使用 softmax 輸出時，我們假設 o 是未歸一化的對數(shù)概率。損失 L 內(nèi)部計算，并將其與目標 y 比較。RNN輸入到隱藏的連接由權重矩陣 U參數(shù)化，隱藏到隱藏的循環(huán)連接由權重矩陣 W參數(shù)化以及隱藏到輸出的連接由權矩陣 V 參數(shù)化。（左） 使用循環(huán)連接繪制的RNN和它的損失。（右） 同一網(wǎng)絡被視為展開的計算圖，其中每個節(jié)點現(xiàn)在與一個特定的時間實例相關聯(lián)。

循環(huán)神經(jīng)網(wǎng)絡中一些重要的設計模式包括以下幾種：

1. 每個時間步都有輸出，并且隱藏單元之間有循環(huán)連接的循環(huán)網(wǎng)絡，如上圖所示。

2. 每個時間步都產(chǎn)生一個輸出，只有當前時刻的輸出到下個時刻的隱藏單元之間

有循環(huán)連接的循環(huán)網(wǎng)絡。

3. 隱藏單元之間存在循環(huán)連接，但讀取整個序列后產(chǎn)生單個輸出的循環(huán)網(wǎng)絡。

任何圖靈可計算的函數(shù)都可以通過這樣一個有限維的循環(huán)網(wǎng)絡計算，在這個意義上上圖的循環(huán)神經(jīng)網(wǎng)絡是萬能的。RNN經(jīng)過若干時間步后讀取輸出，這與由圖靈機所用的時間步是漸近線性的，與輸入長度也是漸近線性的 （Siegelmann and Sontag， 1991; Siegelmann， 1995; Siegelmann and Sontag， 1995;Hyotyniemi， 1996）。由圖靈機計算的函數(shù)是離散的，所以這些結果都是函數(shù)的具體實現(xiàn)，而不是近似。RNN作為圖靈機使用時，需要一個二進制序列作為輸入，其輸出必須離散化后提供二進制輸出。利用單個有限大小的特定RNN計算在此設置下的所有函數(shù)是可能的（Siegelmann and Sontag （1995） 用了 886 個單元）。圖靈機的 ‘‘輸入’’ 是要計算函數(shù)的詳細說明 （specification），所以模擬此圖靈機的相同網(wǎng)絡足以應付所有問題。用于證明的理論RNN可以通過激活和權重（由無限精度的有理數(shù)表示）來模擬無限堆棧。

現(xiàn)在我們研究上圖中RNN的前向傳播公式。這個圖沒有指定隱藏單元的激活函數(shù)。我們假設使用雙曲正切激活函數(shù)。此外，圖中沒有明確指定何種形式的輸出和損失函數(shù)。我們假定輸出是離散的，如用于預測詞或字符的RNN。一種代表離散變量的自然方式是把輸出 o作為每個離散變量可能值的非標準化對數(shù)概率。然后，我們可以應用softmax 函數(shù)后續(xù)處理后，獲得標準化后概率的輸出向量 。RNN從特定的初始狀態(tài) h（0） 開始前向傳播。從 t = 1 到 t = τ 的每個時間步，我們應用以下更新方程：

其中的參數(shù)的偏置向量 b和 c 連同權重矩陣 U、V 和 W，分別對應于輸入到隱藏、隱藏到輸出和隱藏到隱藏的連接。這個循環(huán)網(wǎng)絡將一個輸入序列映射到相同長度的輸出序列。與 x序列配對的 y 的總損失就是所有時間步的損失之和。例如，L（t） 為給定的的負對數(shù)似然，則

其中， 需要讀取模型輸出向量的項。

關于各個參數(shù)計算這個損失函數(shù)的梯度是昂貴的操作。梯度計算涉及執(zhí)行一次前向傳播（如在上圖展開圖中從左到右的傳播），接著是由右到左的反向傳播。運行時間是 O（τ ），并且不能通過并行化來降低，因為前向傳播圖是固有循序的; 每個時間步只能一前一后地計算。前向傳播中的各個狀態(tài)必須保存，直到它們反向傳播中被再次使用，因此內(nèi)存代價也是 O（τ ）。應用于展開圖且代價為 O（τ ） 的反向傳播算法稱為通過時間反向傳播 （back-propagation through time， BPTT）。

此類RNN的唯一循環(huán)是從輸出到隱藏層的反饋連接。在每個時間步 t，輸入為，隱藏層激活為。（左） 回路原理圖。（右） 展開的計算圖。這樣的RNN沒有前面介紹的 RNN 那樣強大（只能表示更小的函數(shù)集合）。上圖中的RNN可以選擇將其想要的關于過去的任何信息放入隱藏表示 ？ 中并且將 ？ 傳播到未來。該圖中RNN被訓練為將特定輸出值放入 o中，并且 o是允許傳播到未來的唯一信息。此處沒有從 h 前向傳播的直接連接。之前的 h僅通過產(chǎn)生的預測間接地連接到當前。o通常缺乏過去的重要息，除非它非常高維且內(nèi)容豐富。這使得該圖中的RNN不那么強大，但是它更容易訓練，因為每個時間步可以與其他時間步分離訓練，允許訓練期間更多的并行化。

關于時間展開的循環(huán)神經(jīng)網(wǎng)絡，在序列結束時具有單個輸出。這樣的網(wǎng)絡可以用于概括序列并產(chǎn)生用于進一步處理的固定大小的表示。在結束處可能存在目標（如此處所示），或者通過更下游模塊的反向傳播來獲得輸出上的梯度。