來源：Coggle數(shù)據(jù)科學(xué)

神經(jīng)網(wǎng)絡(luò)模型使用隨機梯度下降進行訓(xùn)練，模型權(quán)重使用反向傳播算法進行更新。通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型解決的優(yōu)化問題非常具有挑戰(zhàn)性，盡管這些算法在實踐中表現(xiàn)出色，但不能保證它們會及時收斂到一個良好的模型。

• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)在訓(xùn)練數(shù)據(jù)集的新示例之間取得平衡。
• 七個具體的技巧，可幫助您更快地訓(xùn)練出更好的神經(jīng)網(wǎng)絡(luò)模型。

學(xué)習(xí)和泛化

使用反向傳播設(shè)計和訓(xùn)練網(wǎng)絡(luò)需要做出許多看似任意的選擇，例如節(jié)點的數(shù)量和類型、層的數(shù)量、學(xué)習(xí)率、訓(xùn)練和測試集等。這些選擇可能至關(guān)重要，但卻沒有百分之百可靠的決策法則，因為它們在很大程度上取決于問題和數(shù)據(jù)。訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的目標最具挑戰(zhàn)性，因為它要解決兩個難題：

• 學(xué)習(xí)訓(xùn)練數(shù)據(jù)集以最小化損失。
• 泛化模型性能以便在未見過的示例上進行預(yù)測。

在這些問題之間存在權(quán)衡，因為學(xué)得太好的模型泛化能力可能較差，而泛化良好的模型可能欠擬合。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標是在這兩方面找到一個良好的平衡。在擬合神經(jīng)網(wǎng)絡(luò)模型時，這些術(shù)語可以定義為：

• 偏差：衡量網(wǎng)絡(luò)輸出在所有數(shù)據(jù)集上的平均差異與期望函數(shù)的差異。

方差：衡量網(wǎng)絡(luò)輸出在數(shù)據(jù)集之間變化的程度。

這種表述將模型的容量定義為偏差的選擇，控制可以學(xué)習(xí)的函數(shù)范圍。它將方差視為訓(xùn)練過程的函數(shù)，并在過擬合訓(xùn)練數(shù)據(jù)集和泛化誤差之間取得平衡。

• 在訓(xùn)練初期，偏差較大，因為網(wǎng)絡(luò)輸出與期望函數(shù)相差很遠。方差非常小，因為數(shù)據(jù)尚未產(chǎn)生太大的影響。在訓(xùn)練后期，偏差較小，因為網(wǎng)絡(luò)已經(jīng)學(xué)到了基本函數(shù)。

然而，如果訓(xùn)練時間太長，網(wǎng)絡(luò)還將學(xué)到特定數(shù)據(jù)集的噪聲，這稱為過度訓(xùn)練。在這種情況下，方差將很大，因為噪聲在數(shù)據(jù)集之間變化。

技巧1：隨機梯度下降與批量學(xué)習(xí)

隨機梯度下降，也稱為在線梯度下降，是指從訓(xùn)練數(shù)據(jù)集中隨機選擇一個示例，估算誤差梯度，然后更新模型參數(shù)（權(quán)重）的算法版本。它的效果是快速訓(xùn)練模型，盡管可能會導(dǎo)致模型權(quán)重的大幅、嘈雜的更新。

通常情況下，基本反向傳播首選隨機學(xué)習(xí)，原因有三：

1. 隨機學(xué)習(xí)通常比批量學(xué)習(xí)快得多。
2. 隨機學(xué)習(xí)通常會導(dǎo)致更好的解決方案。
3. 隨機學(xué)習(xí)可用于跟蹤變化。

批量梯度下降涉及使用訓(xùn)練數(shù)據(jù)集中所有示例的平均值來估算誤差梯度。它執(zhí)行更快，從理論上更容易理解，但導(dǎo)致學(xué)習(xí)速度較慢。

盡管隨機學(xué)習(xí)具有諸多優(yōu)勢，仍有理由考慮使用批量學(xué)習(xí)：

1. 收斂條件是眾所周知的。
2. 許多加速技術(shù)（例如共軛梯度）僅在批量學(xué)習(xí)中操作。

對權(quán)重動態(tài)和收斂速率的理論分析更簡單。

盡管批量更新具有優(yōu)勢，但在處理非常大的數(shù)據(jù)集時，隨機學(xué)習(xí)仍然通常是首選方法，因為它更簡單更快。

技巧2：打亂樣本順序

神經(jīng)網(wǎng)絡(luò)從最意外的樣本中學(xué)得最快。因此，建議在每次迭代中選擇對系統(tǒng)最不熟悉的樣本。實現(xiàn)這個技巧的一個簡單方法是確保用于更新模型參數(shù)的連續(xù)示例來自不同的類別。

這個技巧也可以通過向模型展示并重新展示它在進行預(yù)測時犯的最多錯誤或產(chǎn)生最多錯誤的示例來實現(xiàn)。這種方法可能是有效的，但如果在訓(xùn)練期間過度表示的示例是離群值，它也可能導(dǎo)致災(zāi)難。

選擇信息內(nèi)容最大的示例：

1. 打亂訓(xùn)練集，使連續(xù)的訓(xùn)練示例永遠（很少）不屬于同一類別。

更頻繁地呈現(xiàn)產(chǎn)生大誤差的輸入示例，而不是產(chǎn)生小誤差的示例。

技巧3：標準化輸入

當(dāng)訓(xùn)練數(shù)據(jù)集中的示例總和為零時，神經(jīng)網(wǎng)絡(luò)通常學(xué)得更快。這可以通過從每個輸入變量中減去平均值（稱為居中）來實現(xiàn)。通常，如果訓(xùn)練集上每個輸入變量的平均值接近零，收斂速度會更快。

此外將輸入居中也會提高模型對來自先前層的輸入到隱藏層的收斂性。這是令人著迷的，因為它為后來近15年發(fā)展并廣泛流行的批量歸一化技術(shù)奠定了基礎(chǔ)。

因此，最好將輸入移動，以使訓(xùn)練集的平均值接近零。這個啟發(fā)式方法應(yīng)該應(yīng)用于所有層，這意味著我們希望節(jié)點的輸出的平均值接近零，因為這些輸出是下一層的輸入。

轉(zhuǎn)換輸入

1. 訓(xùn)練集上每個輸入變量的平均值應(yīng)接近零。
2. 縮放輸入變量，使它們的協(xié)方差大致相同。

如果可能的話，輸入變量應(yīng)該無關(guān)聯(lián)。

技巧4：Sigmoid 激活函數(shù)

非線性激活函數(shù)賦予神經(jīng)網(wǎng)絡(luò)非線性能力。其中一種最常見的激活函數(shù)形式是 Sigmoid。

在隱藏層使用 logistic 和 tanh 激活函數(shù)不再是一個合理的默認選擇，因為使用 ReLU 的性能模型收斂速度更快。

技巧5：選擇目標值

在二元分類問題的情況下，目標變量可能是 logistic 激活函數(shù)的漸近值集合 {0, 1}，或者是雙曲正切函數(shù)的漸近值集合 {-1, 1}，分別對應(yīng)使用交叉熵或鉸鏈損失函數(shù)，即使在現(xiàn)代神經(jīng)網(wǎng)絡(luò)中也是如此。在激活函數(shù)的飽和點（邊緣）取得值可能需要更大的權(quán)重，這可能使模型變得不穩(wěn)定。

技巧6：初始化權(quán)重

權(quán)重的初始值對訓(xùn)練過程有很大影響。權(quán)重應(yīng)該隨機選擇，但以 sigmoid 函數(shù)的線性區(qū)域為主要激活區(qū)域。這個建議也適用于 ReLU 的權(quán)重激活，其中函數(shù)的線性部分是正的。

初始權(quán)重對模型學(xué)習(xí)有重要影響，其中大權(quán)重使激活函數(shù)飽和，導(dǎo)致不穩(wěn)定的學(xué)習(xí)，而小權(quán)重導(dǎo)致梯度非常小，進而學(xué)習(xí)緩慢。理想情況下，我們尋求模型權(quán)重位于激活函數(shù)的線性（非曲線）部分之上。

技巧7：選擇學(xué)習(xí)率

學(xué)習(xí)率是模型權(quán)重在算法的每次迭代中更新的量。較小的學(xué)習(xí)率可能導(dǎo)致收斂較慢，但可能得到更好的結(jié)果，而較大的學(xué)習(xí)率可能導(dǎo)致更快的收斂，但可能得到不太理想的結(jié)果。

建議當(dāng)權(quán)重值開始來回變化，例如振蕩時，減小學(xué)習(xí)率。

• 大多數(shù)方案在權(quán)重向量“振蕩”時減小學(xué)習(xí)率，并在權(quán)重向量遵循相對穩(wěn)定方向時增加學(xué)習(xí)率。

顯然，為網(wǎng)絡(luò)中的每個權(quán)重選擇不同的學(xué)習(xí)率（eta）可以提高收斂性。[…] 主要思想是確保網(wǎng)絡(luò)中的所有權(quán)重大致以相同的速度收斂。