【導讀】大家好，我是泳魚。本文匯總了深度學習煉丹的常見技巧，如超參數(shù)學習率選擇、權(quán)重初始化以及數(shù)據(jù)模型層面的優(yōu)化。

尋找合適的學習率(learning rate)

學習率是一個非常非常重要的超參數(shù)（關(guān)于超參數(shù)的系統(tǒng)性優(yōu)化可見：深度學習調(diào)參(煉丹)的權(quán)威指南?。。。@個參數(shù)呢，面對不同規(guī)模、不同batch-size、不同優(yōu)化方式、不同數(shù)據(jù)集，其最合適的值都是不確定的，我們無法光憑經(jīng)驗來準確地確定lr的值，我們唯一可以做的，就是在訓練中不斷尋找最合適當前狀態(tài)的學習率。

比如下圖利用fastai中的lr_find()函數(shù)尋找合適的學習率，根據(jù)下方的學習率-損失曲線得到此時合適的學習率為1e-2。

推薦一篇fastai首席設(shè)計師「Sylvain Gugger」的一篇博客：How Do You Find A Good Learning Rate[1]

以及相關(guān)的論文Cyclical Learning Rates for Training Neural Networks[2]。

learning-rate與batch-size的關(guān)系

一般來說，越大的batch-size使用越大的學習率。

原理很簡單，越大的batch-size意味著我們學習的時候，收斂方向的confidence越大，我們前進的方向更加堅定，而小的batch-size則顯得比較雜亂，毫無規(guī)律性，因為相比批次大的時候，批次小的情況下無法照顧到更多的情況，所以需要小的學習率來保證不至于出錯。

可以看下圖損失Loss與學習率Lr的關(guān)系：

在顯存足夠的條件下，最好采用較大的batch-size進行訓練，找到合適的學習率后，可以加快收斂速度。

另外，較大的batch-size可以避免batch normalization出現(xiàn)的一些小問題，參考如下Pytorch庫Issue[3]

權(quán)重初始化

權(quán)重初始化相比于其他的trick來說在平常使用并不是很頻繁。

因為大部分人使用的模型都是預訓練模型，使用的權(quán)重都是在大型數(shù)據(jù)集上訓練好的模型，當然不需要自己去初始化權(quán)重了。只有沒有預訓練模型的領(lǐng)域會自己初始化權(quán)重，或者在模型中去初始化神經(jīng)網(wǎng)絡(luò)最后那幾個全連接層的權(quán)重。

常用的權(quán)重初始化算法是「kaiming_normal」或者「xavier_normal」。

相關(guān)論文：

Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification[4]

Understanding the difficulty of training deep feedforward neural networks[5]

Xavier初始化論文[6]

He初始化論文[7]

不初始化可能會減慢收斂速度，影響收斂效果。

以下??為網(wǎng)絡(luò)的輸入大小，?為網(wǎng)絡(luò)的輸出大小，?為??或

uniform均勻分布初始化：

Xavier初始法，適用于普通激活函數(shù)(tanh, sigmoid)：

He初始化，適用于ReLU：

normal高斯分布初始化， 其中stdev為高斯分布的標準差，均值設(shè)為0：

Xavier初始法，適用于普通激活函數(shù) (tanh,sigmoid)：

He初始化，適用于ReLU：

svd初始化：對RNN有比較好的效果。參考論文：https://arxiv.org/abs/1312.6120[8]

dropout

dropout是指在深度學習網(wǎng)絡(luò)的訓練過程中，對于神經(jīng)網(wǎng)絡(luò)單元，按照一定的概率將其暫時從網(wǎng)絡(luò)中丟棄。注意是「暫時」，對于隨機梯度下降來說，由于是隨機丟棄，故而每一個mini-batch都在訓練不同的網(wǎng)絡(luò)。

Dropout類似于bagging ensemble減少variance。也就是投通過投票來減少可變性。通常我們在全連接層部分使用dropout，在卷積層則不使用。但「dropout」并不適合所有的情況，不要無腦上Dropout。

Dropout一般適合于全連接層部分，而卷積層由于其參數(shù)并不是很多，所以不需要dropout，加上的話對模型的泛化能力并沒有太大的影響。

我們一般在網(wǎng)絡(luò)的最開始和結(jié)束的時候使用全連接層，而hidden layers則是網(wǎng)絡(luò)中的卷積層。所以一般情況，在全連接層部分，采用較大概率的dropout而在卷積層采用低概率或者不采用dropout。

數(shù)據(jù)集處理

主要有「數(shù)據(jù)篩選」?以及?「數(shù)據(jù)增強」

fastai中的圖像增強技術(shù)為什么相對比較好[9]

難例挖掘 hard-negative-mining

分析模型難以預測正確的樣本，給出針對性方法。

多模型融合

Ensemble是論文刷結(jié)果的終極核武器,深度學習中一般有以下幾種方式

同樣的參數(shù),不同的初始化方式

不同的參數(shù),通過cross-validation,選取最好的幾組

同樣的參數(shù),模型訓練的不同階段，即不同迭代次數(shù)的模型。

不同的模型,進行線性融合. 例如RNN和傳統(tǒng)模型.

提高模型性能和魯棒性大法：probs融合 和 投票法。

假設(shè)這里有model 1, model 2, model 3，可以這樣融合：

1. model1 probs + model2 probs + model3 probs ==> final label

2. model1 label , model2 label , model3 label ==> voting ==> final label

3. model1_1 probs + ... + model1_n probs ==> mode1 label, model2 label與model3獲取的label方式與1相同? ==> voting ==> final label

第三個方式的啟發(fā)來源于，如果一個model的隨機種子沒有固定，多次預測得到的結(jié)果可能不同。

以上方式的效果要根據(jù)label個數(shù)，數(shù)據(jù)集規(guī)模等特征具體問題具體分析，表現(xiàn)可能不同，方式無非是probs融合和投票法的單獨使用or結(jié)合。

差分學習率與遷移學習

首先說下遷移學習，遷移學習是一種很常見的深度學習技巧，我們利用很多預訓練的經(jīng)典模型直接去訓練我們自己的任務(wù)。雖然說領(lǐng)域不同，但是在學習權(quán)重的廣度方面，兩個任務(wù)之間還是有聯(lián)系的。

由上圖，我們拿來「model A」訓練好的模型權(quán)重去訓練我們自己的模型權(quán)重(「Model B」)，其中，modelA可能是ImageNet的預訓練權(quán)重，而ModelB則是我們自己想要用來識別貓和狗的預訓練權(quán)重。

那么差分學習率和遷移學習有什么關(guān)系呢？我們直接拿來其他任務(wù)的訓練權(quán)重，在進行optimize的時候，如何選擇適當?shù)膶W習率是一個很重要的問題。

一般地，我們設(shè)計的神經(jīng)網(wǎng)絡(luò)(如下圖)一般分為三個部分，輸入層，隱含層和輸出層，隨著層數(shù)的增加，神經(jīng)網(wǎng)絡(luò)學習到的特征越抽象。因此，下圖中的卷積層和全連接層的學習率也應(yīng)該設(shè)置的不一樣，一般來說，卷積層設(shè)置的學習率應(yīng)該更低一些，而全連接層的學習率可以適當提高。

這就是差分學習率的意思，在不同的層設(shè)置不同的學習率，可以提高神經(jīng)網(wǎng)絡(luò)的訓練效果，具體的介紹可以查看下方的連接。

上面的示例圖來自：towardsdatascience.com/transfer-le…[10]

余弦退火(cosine annealing)和熱重啟的隨機梯度下降

「余弦」就是類似于余弦函數(shù)的曲線，「退火」就是下降，「余弦退火」就是學習率類似余弦函數(shù)慢慢下降。

「熱重啟」就是在學習的過程中，「學習率」慢慢下降然后突然再「回彈」(重啟)然后繼續(xù)慢慢下降。

兩個結(jié)合起來就是下方的學習率變化圖：

更多詳細的介紹可以查看知乎機器學習算法如何調(diào)參？這里有一份神經(jīng)網(wǎng)絡(luò)學習速率設(shè)置指南[11]
以及相關(guān)論文SGDR: Stochastic Gradient Descent with Warm Restarts[12]

嘗試過擬合一個小數(shù)據(jù)集

這是一個經(jīng)典的小trick了，但是很多人并不這樣做，可以嘗試一下。

關(guān)閉正則化/隨機失活/數(shù)據(jù)擴充，使用訓練集的一小部分，讓神經(jīng)網(wǎng)絡(luò)訓練幾個周期。確保可以實現(xiàn)零損失，如果沒有，那么很可能什么地方出錯了。

多尺度訓練

多尺度訓練是一種「直接有效」的方法，通過輸入不同尺度的圖像數(shù)據(jù)集，因為神經(jīng)網(wǎng)絡(luò)卷積池化的特殊性，這樣可以讓神經(jīng)網(wǎng)絡(luò)充分地學習不同分辨率下圖像的特征，可以提高機器學習的性能。

也可以用來處理過擬合效應(yīng)，在圖像數(shù)據(jù)集不是特別充足的情況下，可以先訓練小尺寸圖像，然后增大尺寸并再次訓練相同模型，這樣的思想在Yolo-v2的論文中也提到過：

需要注意的是：多尺度訓練并不是適合所有的深度學習應(yīng)用，多尺度訓練可以算是特殊的數(shù)據(jù)增強方法，在圖像大小這一塊做了調(diào)整。如果有可能最好利用可視化代碼將多尺度后的圖像近距離觀察一下，「看看多尺度會對圖像的整體信息有沒有影響」，如果對圖像信息有影響的話，這樣直接訓練的話會誤導算法導致得不到應(yīng)有的結(jié)果。

Cross Validation 交叉驗證

在李航的統(tǒng)計學方法中說到，交叉驗證往往是對實際應(yīng)用中「數(shù)據(jù)不充足」而采用的，基本目的就是重復使用數(shù)據(jù)。在平常中我們將所有的數(shù)據(jù)分為訓練集和驗證集就已經(jīng)是簡單的交叉驗證了，可以稱為1折交叉驗證。「注意，交叉驗證和測試集沒關(guān)系，測試集是用來衡量我們的算法標準的，不參與到交叉驗證中來?！?/strong>

審核編輯：黃飛