深度神經(jīng)需要特殊的訓(xùn)練技巧

隨著層數(shù)變多，網(wǎng)絡(luò)參數(shù)增多，隨之運(yùn)算量增大，通常都是超過(guò)億萬(wàn)級(jí)的計(jì)算。對(duì)于這樣復(fù)雜的結(jié)構(gòu)，我們一定不會(huì)一個(gè)一個(gè)的計(jì)算，對(duì)于億萬(wàn)級(jí)的計(jì)算，使用loop循環(huán)效率很低。

網(wǎng)絡(luò)的運(yùn)算過(guò)程如圖所示：

上圖中，網(wǎng)絡(luò)的運(yùn)算過(guò)程可看作是矩陣的運(yùn)算。

網(wǎng)絡(luò)的計(jì)算方法就像是嵌套，所以整個(gè)神經(jīng)網(wǎng)絡(luò)運(yùn)算就相當(dāng)于一連串的矩陣運(yùn)算。

從結(jié)構(gòu)上看每一層的計(jì)算都是一樣的，也就是用計(jì)算機(jī)進(jìn)行并行矩陣運(yùn)算。這樣寫成矩陣運(yùn)算的好處是，你可以使用GPU加速，GPU核心多，可以并行做大量的矩陣運(yùn)算。

神經(jīng)網(wǎng)絡(luò)的本質(zhì)：通過(guò)隱藏層進(jìn)行特征轉(zhuǎn)換

隱藏層可以看作是對(duì)網(wǎng)絡(luò)輸入層輸入特征進(jìn)行特征處理，在最后一層隱藏層進(jìn)行輸出，這時(shí)的輸出可以看作一組全新的特征，將其輸出給輸出層，輸出層對(duì)這組全新的特征進(jìn)行分類。

舉例：手寫數(shù)字識(shí)別

舉一個(gè)手寫數(shù)字體識(shí)別的例子：

輸入：一個(gè)16*16=256維的向量，每個(gè)pixel對(duì)應(yīng)一個(gè)dimension，有顏色用（ink）用1表示，沒(méi)有顏色（no ink）用0表示，將圖片展平為一個(gè)256維的向量作為網(wǎng)絡(luò)輸入。

輸出：10個(gè)維度，每個(gè)維度代表一個(gè)數(shù)字的置信度（可理解為是該數(shù)字的概率有多大）

從輸出結(jié)果來(lái)看，每一個(gè)維度對(duì)應(yīng)輸出一個(gè)數(shù)字，代表模型輸出為當(dāng)前分類數(shù)字的概率。說(shuō)明這張圖片是2的可能性就是最大的。

在這個(gè)問(wèn)題中，唯一確定的就是，輸入是256維的向量，輸出是10維的向量，我們所需要找的函數(shù)就是輸入和輸出之間的神經(jīng)網(wǎng)絡(luò)這個(gè)函數(shù)。

從上圖看神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定了函數(shù)集（function set），通常來(lái)講函數(shù)集中的函數(shù)越多越復(fù)雜，網(wǎng)絡(luò)的表達(dá)空間就越大，越能handle復(fù)雜的模式，所以說(shuō)網(wǎng)絡(luò)結(jié)構(gòu)（network structured）很關(guān)鍵。

接下來(lái)有幾個(gè)問(wèn)題：

• 多少層？每層有多少神經(jīng)元？這個(gè)問(wèn)我們需要用嘗試加上直覺(jué)的方法來(lái)進(jìn)行調(diào)試。對(duì)于有些機(jī)器學(xué)習(xí)相關(guān)的問(wèn)題，我們一般用特征工程來(lái)提取特征，但是對(duì)于深度學(xué)習(xí)，我們只需要設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型來(lái)進(jìn)行就可以了。對(duì)于語(yǔ)音識(shí)別和影像識(shí)別，深度學(xué)習(xí)是個(gè)好的方法，因?yàn)樘卣鞴こ烫崛√卣鞑⒉蝗菀住?/li>
• 結(jié)構(gòu)可以自動(dòng)確定嗎？有很多設(shè)計(jì)方法可以讓機(jī)器自動(dòng)找到神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)的，比如進(jìn)化人工神經(jīng)網(wǎng)絡(luò)（Evolutionary Artificial Neural Networks）但是這些方法并不是很普及 。
• 我們可以設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)嗎？可以的，比如 CNN卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network ）

Step2：模型評(píng)估

損失示例

對(duì)于模型的評(píng)估，我們一般采用損失函數(shù)來(lái)反應(yīng)模型的優(yōu)劣，所以對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，我們可以采用交叉熵（cross entropy）函數(shù)來(lái)對(duì)