深度神經(jīng)需要特殊的訓(xùn)練技巧

隨著層數(shù)變多，網(wǎng)絡(luò)參數(shù)增多，隨之運算量增大，通常都是超過億萬級的計算。對于這樣復(fù)雜的結(jié)構(gòu)，我們一定不會一個一個的計算，對于億萬級的計算，使用loop循環(huán)效率很低。

網(wǎng)絡(luò)的運算過程如圖所示：

上圖中，網(wǎng)絡(luò)的運算過程可看作是矩陣的運算。

網(wǎng)絡(luò)的計算方法就像是嵌套，所以整個神經(jīng)網(wǎng)絡(luò)運算就相當(dāng)于一連串的矩陣運算。

從結(jié)構(gòu)上看每一層的計算都是一樣的，也就是用計算機進行并行矩陣運算。這樣寫成矩陣運算的好處是，你可以使用GPU加速，GPU核心多，可以并行做大量的矩陣運算。

神經(jīng)網(wǎng)絡(luò)的本質(zhì)：通過隱藏層進行特征轉(zhuǎn)換

隱藏層可以看作是對網(wǎng)絡(luò)輸入層輸入特征進行特征處理，在最后一層隱藏層進行輸出，這時的輸出可以看作一組全新的特征，將其輸出給輸出層，輸出層對這組全新的特征進行分類。

舉例：手寫數(shù)字識別

舉一個手寫數(shù)字體識別的例子：

輸入：一個16*16=256維的向量，每個pixel對應(yīng)一個dimension，有顏色用（ink）用1表示，沒有顏色（no ink）用0表示，將圖片展平為一個256維的向量作為網(wǎng)絡(luò)輸入。

輸出：10個維度，每個維度代表一個數(shù)字的置信度（可理解為是該數(shù)字的概率有多大）

從輸出結(jié)果來看，每一個維度對應(yīng)輸出一個數(shù)字，代表模型輸出為當(dāng)前分類數(shù)字的概率。說明這張圖片是2的可能性就是最大的。

在這個問題中，唯一確定的就是，輸入是256維的向量，輸出是10維的向量，我們所需要找的函數(shù)就是輸入和輸出之間的神經(jīng)網(wǎng)絡(luò)這個函數(shù)。

從上圖看神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定了函數(shù)集（function set），通常來講函數(shù)集中的函數(shù)越多越復(fù)雜，網(wǎng)絡(luò)的表達空間就越大，越能handle復(fù)雜的模式，所以說網(wǎng)絡(luò)結(jié)構(gòu)（network structured）很關(guān)鍵。

接下來有幾個問題：

• 多少層？每層有多少神經(jīng)元？這個問我們需要用嘗試加上直覺的方法來進行調(diào)試。對于有些機器學(xué)習(xí)相關(guān)的問題，我們一般用特征工程來提取特征，但是對于深度學(xué)習(xí)，我們只需要設(shè)計神經(jīng)網(wǎng)絡(luò)模型來進行就可以了。對于語音識別和影像識別，深度學(xué)習(xí)是個好的方法，因為特征工程提取特征并不容易。
• 結(jié)構(gòu)可以自動確定嗎？有很多設(shè)計方法可以讓機器自動找到神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)的，比如進化人工神經(jīng)網(wǎng)絡(luò)（Evolutionary Artificial Neural Networks）但是這些方法并不是很普及 。
• 我們可以設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)嗎？可以的，比如 CNN卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network ）

Step2：模型評估

損失示例

對于模型的評估，我們一般采用損失函數(shù)來反應(yīng)模型的優(yōu)劣，所以對于神經(jīng)網(wǎng)絡(luò)來說，我們可以采用交叉熵（cross entropy）函數(shù)來對