1. 神經(jīng)網(wǎng)絡(luò)的超參數(shù)分類

神經(jīng)網(wǎng)路中的超參數(shù)主要包括：

學(xué)習(xí)率 η，

正則化參數(shù) λ，

神經(jīng)網(wǎng)絡(luò)的層數(shù) L，

每一個(gè)隱層中神經(jīng)元的個(gè)數(shù) j ，

學(xué)習(xí)的回合數(shù)Epoch，

小批量數(shù)據(jù) minibatch 的大小，

輸出神經(jīng)元的編碼方式，

代價(jià)函數(shù)的選擇，

權(quán)重初始化的方法，

神經(jīng)元激活函數(shù)的種類，

參加訓(xùn)練模型數(shù)據(jù)的規(guī)模

這些都是可以影響神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度和最后分類結(jié)果，其中神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度主要根據(jù)訓(xùn)練集上代價(jià)函數(shù)下降的快慢有關(guān)，而最后的分類的結(jié)果主要跟在驗(yàn)證集上的分類正確率有關(guān)。因此可以根據(jù)該參數(shù)主要影響代價(jià)函數(shù)還是影響分類正確率進(jìn)行分類。

在上圖中可以看到超參數(shù) 2，3，4，7 主要影響的是神經(jīng)網(wǎng)絡(luò)的分類正確率；9主要影響代價(jià)函數(shù)曲線下降速度，同時(shí)有時(shí)也會(huì)影響正確率；1，8，10 主要影響學(xué)習(xí)速度，這點(diǎn)主要體現(xiàn)在訓(xùn)練數(shù)據(jù)代價(jià)函數(shù)曲線的下降速度上；

5，6，11 主要影響模型分類正確率和訓(xùn)練用總體時(shí)間。這上面所提到的是某個(gè)超參數(shù)對(duì)于神經(jīng)網(wǎng)絡(luò)想到的首要影響，并不代表著該超參數(shù)只影響學(xué)習(xí)速度或者正確率。因?yàn)椴煌某瑓?shù)的類別不同，因此在調(diào)整超參數(shù)的時(shí)候也應(yīng)該根據(jù)對(duì)應(yīng)超參數(shù)的類別進(jìn)行調(diào)整。在調(diào)整超參數(shù)的過程中有根據(jù)機(jī)理選擇超參數(shù)的方法，有根據(jù)訓(xùn)練集上表現(xiàn)情況選擇超參數(shù)的方法，也有根據(jù)驗(yàn)證集上訓(xùn)練數(shù)據(jù)選擇超參數(shù)的方法。他們之間的關(guān)系如圖2所示。

超參數(shù) 7，8，9，10 由神經(jīng)網(wǎng)絡(luò)的機(jī)理進(jìn)行選擇。在這四個(gè)參數(shù)中，應(yīng)該首先對(duì)第10個(gè)參數(shù)神經(jīng)元的種類進(jìn)行選擇，根據(jù)目前的知識(shí)，一種較好的選擇方式是對(duì)于神經(jīng)網(wǎng)絡(luò)的隱層采用sigmoid神經(jīng)元，而對(duì)于輸出層采用softmax的方法；

根據(jù)輸出層采用sotmax的方法，因此第8個(gè)代價(jià)函數(shù)采用 log-likelihood 函數(shù)（或者輸出層還是正常的sigmoid神經(jīng)元而代價(jià)函數(shù)為交叉熵函數(shù)），第9個(gè)初始化權(quán)重采用均值為0方差為的高斯隨機(jī)分布初始化權(quán)重；對(duì)于輸出層的編碼方式常常采用向量式的編碼方式，基本上不會(huì)使用實(shí)際的數(shù)值或者二進(jìn)制的編碼方式。

超參數(shù)1由訓(xùn)練數(shù)據(jù)的代價(jià)函數(shù)選擇，在上述這兩部分都確定好之后在根據(jù)檢驗(yàn)集數(shù)據(jù)確定最后的幾個(gè)超參數(shù)。這只是一個(gè)大體的思路，具體每一個(gè)參數(shù)的確定將在下面具體介紹。

2. 寬泛策略

根據(jù)上面的分析我們已經(jīng)根據(jù)機(jī)理將神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元的種類、輸出層的模式（即是否采用softmax）、代價(jià)函數(shù)及輸出層的編碼方式進(jìn)行了設(shè)定。所以在這四個(gè)超參數(shù)被確定了之后變需要確定其他的超參數(shù)了。

假設(shè)我們是從頭開始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)的，我們對(duì)于其他參數(shù)的取值本身沒有任何經(jīng)驗(yàn)，所以不可能一上來就訓(xùn)練一個(gè)很復(fù)雜的神經(jīng)網(wǎng)絡(luò)，這時(shí)就要采用寬泛策略。寬泛策略的核心在于簡(jiǎn)化和監(jiān)控。簡(jiǎn)化具體體現(xiàn)在，如簡(jiǎn)化我們的問題，如將一個(gè)10分類問題轉(zhuǎn)變?yōu)橐粋€(gè)2分類問題；簡(jiǎn)化網(wǎng)絡(luò)的結(jié)構(gòu)，如從一個(gè)僅包含10個(gè)神經(jīng)元的隱層開始訓(xùn)練，逐漸增加網(wǎng)絡(luò)的層數(shù)和神經(jīng)元的個(gè)數(shù)；

簡(jiǎn)化訓(xùn)練用的數(shù)據(jù)，在簡(jiǎn)化問題中，我們已經(jīng)減少了80%的數(shù)據(jù)量，在這里我們?cè)撘?jiǎn)檢驗(yàn)集中數(shù)據(jù)的數(shù)量，因?yàn)檎嬲?yàn)證的是網(wǎng)絡(luò)的性能，所以僅用少量的驗(yàn)證集數(shù)據(jù)也是可以的，如僅采用100個(gè)驗(yàn)證集數(shù)據(jù)。

監(jiān)控具體指的是提高監(jiān)控的頻率，比如說原來是每5000次訓(xùn)練返回一次代價(jià)函數(shù)或者分類正確率，現(xiàn)在每1000次訓(xùn)練就返回一次。其實(shí)可以將“寬泛策略”當(dāng)作是一種對(duì)于網(wǎng)絡(luò)的簡(jiǎn)單初始化和一種監(jiān)控策略，這樣可以更加快速地實(shí)驗(yàn)其他的超參數(shù)，或者甚至接近同步地進(jìn)行不同參數(shù)的組合的評(píng)比。

直覺上看，這看起來簡(jiǎn)化問題和架構(gòu)僅僅會(huì)降低你的效率。實(shí)際上，這樣能夠?qū)⑦M(jìn)度加快，因?yàn)槟隳軌蚋斓卣业絺鬟_(dá)出有意義的信號(hào)的網(wǎng)絡(luò)。一旦你獲得這些信號(hào)，你可以嘗嘗通過微調(diào)超參數(shù)獲得快速的性能提升。

3. 學(xué)習(xí)率的調(diào)整

假設(shè)我們運(yùn)行了三個(gè)不同學(xué)習(xí)速率（ η=0.025、η=0.25、η=2.5）的 MNIST 網(wǎng) 絡(luò)，其他的超參數(shù)假設(shè)已經(jīng)設(shè)置為進(jìn)行30回合，minibatch 大小為10，然后 λ=5.0，使用50000幅訓(xùn)練圖像，訓(xùn)練代價(jià)的變化情況如圖3

使用 η=0.025 ，代價(jià)函數(shù)平滑下降到最后的回合；使用 η=0.25 ，代價(jià)剛開始下降，在大約 20 回合后接近飽和狀態(tài)，后面就是微小的震蕩和隨機(jī)抖動(dòng)；最終使用 η=2.5 代價(jià)從始至終都震蕩得非常明顯。

因此學(xué)習(xí)率的調(diào)整步驟為：首先，我們選擇在訓(xùn)練數(shù)據(jù)上的代價(jià)立即開始下降而非震蕩或者增加時(shí)的作為 η 閾值的估計(jì)，不需要太過精確，確定量級(jí)即可。如果代價(jià)在訓(xùn)練的前面若干回合開始下降，你就可以逐步增加 η 的量級(jí)，直到你找到一個(gè)的值使得在開始若干回合代價(jià)就開始震蕩或者增加；

相反，如果代價(jià)函數(shù)曲線開始震蕩或者增加，那就嘗試減小量級(jí)直到你找到代價(jià)在開始回合就下降的設(shè)定，取閾值的一半就確定了學(xué)習(xí)速率 。在這里使用訓(xùn)練數(shù)據(jù)的原因是學(xué)習(xí)速率主要的目的是控制梯度下降的步長(zhǎng)，監(jiān)控訓(xùn)練代價(jià)是最好的檢測(cè)步長(zhǎng)過大的方法。

4. 迭代次數(shù)

提前停止表示在每個(gè)回合的最后，我們都要計(jì)算驗(yàn)證集上的分類準(zhǔn)確率，當(dāng)準(zhǔn)確率不再提升，就終止它也就確定了迭代次數(shù)（或者稱回合數(shù)）。另外，提前停止也能夠幫助我們避免過度擬合。

我們需要再明確一下什么叫做分類準(zhǔn)確率不再提升，這樣方可實(shí)現(xiàn)提前停止。正如我們已經(jīng)看到的，分類準(zhǔn)確率在整體趨勢(shì)下降的時(shí)候仍舊會(huì)抖動(dòng)或者震蕩。如果我們?cè)跍?zhǔn)確度剛開始下降的時(shí)候就停止，那么肯定會(huì)錯(cuò)過更好的選擇。

一種不錯(cuò)的解決方案是如果分類準(zhǔn)確率在一段時(shí)間內(nèi)不再提升的時(shí)候終止。建議在更加深入地理解 網(wǎng)絡(luò)訓(xùn)練的方式時(shí)，僅僅在初始階段使用 10 回合不提升規(guī)則，然后逐步地選擇更久的回合，比如 20 回合不提升就終止，30 回合不提升就終止，以此類推。

5. 正則化參數(shù)

我建議，開始時(shí)代價(jià)函數(shù)不包含正則項(xiàng)，只是先確定 η 的值。使用確定出來的 η ，用驗(yàn)證數(shù)據(jù)來選擇好的 λ 。嘗試從 λ=1 開始，然后根據(jù)驗(yàn)證集上的性能按照因子 10 增加或減少其值。一旦我已經(jīng)找到一個(gè)好的量級(jí)，你可以改進(jìn) λ 的值。這里搞定 λ 后，你就可以返回再重新優(yōu)化 η 。

6. 小批量數(shù)據(jù)的大小

選擇最好的小批量數(shù)據(jù)大小也是一種折衷。太小了，你不會(huì)用上很好的矩陣庫的快速計(jì)算；太大，你是不能夠足夠頻繁地更新權(quán)重的。你所需要的是選擇一個(gè)折中的值，可以最大化學(xué)習(xí)的速度。幸運(yùn)的是，小批量數(shù)據(jù)大小的選擇其實(shí)是相對(duì)獨(dú)立的一個(gè)超參數(shù)（網(wǎng)絡(luò)整體架構(gòu)外的參數(shù)），所以你不需要優(yōu)化那些參數(shù)來尋找好的小批量數(shù)據(jù)大小。

因此，可以選擇的方式就是使用某些可以接受的值（不需要是最優(yōu)的）作為其他參數(shù)的選擇，然后進(jìn)行不同小批量數(shù)據(jù)大小的嘗試，像上面那樣調(diào)整 η 。畫出驗(yàn)證準(zhǔn)確率的值隨時(shí)間（非回合）變化的圖，選擇哪個(gè)得到最快性能的提升的小批量數(shù)據(jù)大小。得到了小批量數(shù)據(jù)大小，也就可以對(duì)其他的超參數(shù)進(jìn)行優(yōu)化了。

7. 總體的調(diào)參過程

首先應(yīng)該根據(jù)機(jī)理確定激活函數(shù)的種類，之后確定代價(jià)函數(shù)種類和權(quán)重初始化的方法，以及輸出層的編碼方式；其次根據(jù)“寬泛策略”先大致搭建一個(gè)簡(jiǎn)單的結(jié)構(gòu)，確定神經(jīng)網(wǎng)絡(luò)中隱層的數(shù)目以及每一個(gè)隱層中神經(jīng)元的個(gè)數(shù)；

然后對(duì)于剩下的超參數(shù)先隨機(jī)給一個(gè)可能的值，在代價(jià)函數(shù)中先不考慮正則項(xiàng)的存在，調(diào)整學(xué)習(xí)率得到一個(gè)較為合適的學(xué)習(xí)率的閾值，取閾值的一半作為調(diào)整學(xué)習(xí)率過程中的初始值 ；

之后通過實(shí)驗(yàn)確定minibatch的大小；之后仔細(xì)調(diào)整學(xué)習(xí)率，使用確定出來的 η ，用驗(yàn)證數(shù)據(jù)來選擇好的 λ ，搞定 λ 后，你就可以返回再重新優(yōu)化 η 。而學(xué)習(xí)回合數(shù)可以通過上述這些實(shí)驗(yàn)進(jìn)行一個(gè)整體的觀察再確定。

版權(quán)聲明：本文為CSDN博主「獨(dú)孤呆博」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/dugudaibo/article/details/77366245

編輯：jq