5.3.1. 前向傳播

前向傳播（或forward pass）是指神經(jīng)網(wǎng)絡(luò)從輸入層到輸出層依次計(jì)算和存儲(chǔ)中間變量（包括輸出）。我們現(xiàn)在逐步了解具有一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)的機(jī)制。這可能看起來(lái)很乏味，但用放克演奏家詹姆斯布朗的永恒名言來(lái)說(shuō)，你必須“付出代價(jià)才能成為老板”。

為了簡(jiǎn)單起見(jiàn)，我們假設(shè)輸入示例是 x∈Rd并且我們的隱藏層不包含偏差項(xiàng)。這里的中間變量是：

在哪里W(1)∈Rh×d是隱藏層的權(quán)重參數(shù)。運(yùn)行中間變量后 z∈Rh通過(guò)激活函數(shù) ?我們獲得了長(zhǎng)度的隱藏激活向量h,

隱藏層輸出h也是一個(gè)中間變量。假設(shè)輸出層的參數(shù)只具有權(quán)重W(2)∈Rq×h，我們可以獲得一個(gè)輸出層變量，其向量長(zhǎng)度為q:

假設(shè)損失函數(shù)是l示例標(biāo)簽是 y，然后我們可以計(jì)算單個(gè)數(shù)據(jù)示例的損失項(xiàng)，

根據(jù)定義?2我們稍后將介紹的正則化，給定超參數(shù)λ，正則化項(xiàng)是

其中矩陣的 Frobenius 范數(shù)就是?2將矩陣展平為向量后應(yīng)用范數(shù)。最后，模型在給定數(shù)據(jù)示例上的正則化損失為：

我們指的是J作為下面討論中的目標(biāo)函數(shù)。

5.3.2. 前向傳播的計(jì)算圖

繪制計(jì)算圖有助于我們可視化計(jì)算中運(yùn)算符和變量的依賴關(guān)系。圖 5.3.1 包含與上述簡(jiǎn)單網(wǎng)絡(luò)相關(guān)的圖形，其中方塊表示變量，圓圈表示運(yùn)算符。左下角表示輸入，右上角表示輸出。請(qǐng)注意箭頭的方向（說(shuō)明數(shù)據(jù)流）主要是向右和向上。

圖 5.3.1前向傳播計(jì)算圖。

5.3.3. 反向傳播

反向傳播是指計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù)梯度的方法。簡(jiǎn)而言之，該方法根據(jù)微 積分的鏈?zhǔn)椒▌t以相反的順序遍歷網(wǎng)絡(luò)，從輸出層到輸入層。該算法存儲(chǔ)計(jì)算某些參數(shù)的梯度時(shí)所需的任何中間變量（偏導(dǎo)數(shù)）。假設(shè)我們有函數(shù) Y=f(X)和Z=g(Y), 其中輸入和輸出 X,Y,Z是任意形狀的張量。通過(guò)使用鏈?zhǔn)椒▌t，我們可以計(jì)算導(dǎo)數(shù) Z關(guān)于X通過(guò)