以卷積結(jié)構(gòu)為主，搭建起來(lái)的深度網(wǎng)絡(luò)（一般都指深層結(jié)構(gòu)的）

CNN目前在很多很多研究領(lǐng)域取得了巨大的成功，例如: 語(yǔ)音識(shí)別，圖像識(shí)別，圖像分割，自然語(yǔ)言處理等。對(duì)于大型圖像處理有出色表現(xiàn)。

一般將圖片作為網(wǎng)絡(luò)的輸入，自動(dòng)提取特征，并且對(duì)圖片的變形（平移，比例縮放）等具有高度不變形

上圖是手寫(xiě)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型，我們可以發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分：

卷積層、池化層、激活層、BN層、LOSS層、其它層

卷積的基本定義

卷積就是一種運(yùn)算，是對(duì)圖像和濾波矩陣做內(nèi)積（逐個(gè)元素相乘再求和）的操作。

每一種卷積對(duì)應(yīng)一種特征。

其中濾波矩陣在深度學(xué)習(xí)中，我們稱之為卷積核。換句話說(shuō)，我們一般可以將卷積看成濾波器。比如我們可以通過(guò)濾波器對(duì)圖像進(jìn)行降噪，圖像的噪點(diǎn)就是高頻信號(hào)。在圖像處理中，有很多濾波器可以供我們選擇。每一種濾波器幫助我們提取不同的特征。比如水平/垂直/對(duì)角線邊緣等等。

可以看這篇回答 ^[1]^ ，挺通俗易懂的。

卷積層

卷積的核心是卷積核，核就是一組權(quán)重，它決定了一個(gè)像素點(diǎn)如何通過(guò)周圍的其他像素點(diǎn)計(jì)算獲得新的像素點(diǎn)數(shù)值。核也被稱之為卷積矩陣，它會(huì)對(duì)一塊區(qū)域的像素做調(diào)和運(yùn)算或卷積運(yùn)算。

一般最常用為2D卷積核（k_w * k_h），如 1x1，3x3, 5x5, 7x7

卷積核的數(shù)值都是奇數(shù)，因?yàn)槠鏀?shù)的卷積核有一個(gè)中心點(diǎn)

我們可以利用有中心點(diǎn)的特性來(lái)保護(hù)圖片位置信息，padding時(shí)對(duì)稱。

卷積還具有 權(quán)值共享 與 局部連接（局部感受野/局部感知）的特性。

在卷積層中權(quán)值共享是用來(lái)控制參數(shù)的數(shù)量。假如在一個(gè)卷積核中，每一個(gè)感受野采用的都是不同的權(quán)重值（卷積核的值不同），那么這樣的網(wǎng)絡(luò)中參數(shù)數(shù)量將是十分巨大的。

那么感受野是什么？感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖（Feature Map）上的像素點(diǎn)在原始圖像上映射的區(qū)域大小。（圖片來(lái)源于網(wǎng)絡(luò)，侵刪）

神經(jīng)網(wǎng)絡(luò)中，卷積核越大，雖然感受野越大，但參數(shù)越多，結(jié)構(gòu)就越復(fù)雜，越容易過(guò)擬合。另一方面，需要更多的數(shù)據(jù)來(lái)訓(xùn)練，訓(xùn)練的難度也會(huì)更大。所以一般我們采用小卷積核堆加的方式來(lái)，保證感知野盡量大，同時(shí)結(jié)構(gòu)盡可能簡(jiǎn)單，降低計(jì)算量。

Pad

pad可以讓你的輸入圖像不變小，而可以使用更深層的卷積.確保Feature Map整數(shù)倍變化，對(duì)尺度敏感的任務(wù)非常重要.

池化層

池化層的作用是對(duì)輸入的特征圖錯(cuò)開(kāi)行或列，壓縮特征圖大小，降低參數(shù)量和計(jì)算復(fù)雜度，也對(duì)特征進(jìn)行了壓縮，提取主要特征，將語(yǔ)義相似的特征融合起來(lái)，對(duì)微小的平移和形變不敏感。包括平均池化和最大池化和隨機(jī)池化，平均池化領(lǐng)域內(nèi)方差小，更多的保留圖像的背景信息，最大池化領(lǐng)域內(nèi)均值偏移大，更多的保留圖像的紋理信息，隨機(jī)池化（Stochastic Pooling）則介于兩者之間。

值得注意的是：池化層是無(wú)參的。

池化層相較于卷積層相對(duì)簡(jiǎn)單許多。如果圖像太大的時(shí)候，就需要減少訓(xùn)練參數(shù)的數(shù)量，池化層須在隨后的卷積層之間周期性地被引進(jìn)。池化的直接目的是為了減少圖像的空間大小。池化在每一個(gè)縱深維度上獨(dú)自完成，因此圖像的縱深保持不變。取一小塊區(qū)域，比如一個(gè)55的方塊，如果是最大值池化，那就選這25個(gè)像素點(diǎn)最大的那個(gè)輸出，如果是平均值池化，就把25個(gè)像素點(diǎn)取平均輸出。這樣在原來(lái)55的一個(gè)區(qū)域，現(xiàn)在只要一個(gè)值就能表示出來(lái)了。池化操作可以看做是一種強(qiáng)制性的模糊策略，不斷強(qiáng)制模糊增加特征的旋轉(zhuǎn)不變性。這樣當(dāng)圖片無(wú)論如何旋轉(zhuǎn)時(shí)，經(jīng)過(guò)池化之后結(jié)果特征都是近似的。

激活層

激活函數(shù)（Activation Function）: 如果一旦將線性分量運(yùn)用于輸入，就會(huì)需要運(yùn)用一個(gè)非線性函數(shù)來(lái)組合實(shí)現(xiàn)達(dá)到任意函數(shù)的目的。激活函數(shù)能將輸入信號(hào)轉(zhuǎn)換為輸出信號(hào)。形如f（x * W+ b）就是應(yīng)用激活函數(shù)后的輸出看起來(lái)的樣子，其中f（）就是激活函數(shù)。如圖（添加激活函數(shù)后的神經(jīng)元模型）：

通俗點(diǎn)講：激活函數(shù) 增加網(wǎng)絡(luò)的非線性，進(jìn)而提高網(wǎng)絡(luò)的表達(dá)能力

基本的常見(jiàn)激活函數(shù)有Sigmoid，ReLU和Softmax，下面簡(jiǎn)單介紹一下：

1）Sigmoid:

它會(huì)將輸入的數(shù)值壓縮到0到1范圍內(nèi)，比較適合輸出需求為概率的情況。但它在神經(jīng)元的激活在接近0或1處時(shí)會(huì)飽和，在這些區(qū)域時(shí)的梯度幾乎為0，這就會(huì)導(dǎo)致梯度消失，這就會(huì)導(dǎo)致幾乎沒(méi)有信號(hào)能通過(guò)神經(jīng)傳回上一層神經(jīng)層。Sigmoid函數(shù)的輸出不是以零為中心的。如果是以零為中心的話，假設(shè)輸入神經(jīng)元的數(shù)據(jù)總是為正數(shù)的話，那么關(guān)于w的梯度在反向傳播的過(guò)程中，將會(huì)出現(xiàn)一種情況：要么全是正數(shù)，要么全是負(fù)數(shù)，這就會(huì)導(dǎo)致梯度下降，權(quán)重更新時(shí)，出現(xiàn)形如“Z”字型的下降。

下圖：Sigmoid的函數(shù)圖像

2）ReLU:

與Sigmoid激活函數(shù)相比的它具有的獨(dú)特性是：?jiǎn)蝹?cè)抑制的特性和稀疏激活性。保留了step函數(shù)的生物學(xué)啟發(fā)（只有輸入超出閥值時(shí)神經(jīng)元才會(huì)被激活） 相較于Sigmoid激活函數(shù)，ReLU激活函數(shù)能夠巨大地加速隨機(jī)梯度下降的收斂的速度；但由于ReLU單元比較脆弱，可能導(dǎo)致數(shù)據(jù)多樣性的丟失，且過(guò)程是不可逆的。所以使用時(shí)，需要謹(jǐn)慎。

3）Softmax：

Softmax激活函數(shù)通常用于輸出層，一般用于問(wèn)題的分類。與Sigmoid激活函數(shù)相比，輸出被歸一化的總和為1是唯一的區(qū)別，其他就很類似。Sigmoid激活函數(shù)會(huì)阻止有二進(jìn)制輸出，當(dāng)遇到一個(gè)多類分類問(wèn)題，Softmax激活函數(shù)會(huì)簡(jiǎn)單化為每個(gè)類分配值的過(guò)程。

BatchNorm層

通過(guò)歸一化將數(shù)據(jù)分布拉回標(biāo)準(zhǔn)正態(tài)分布，使得梯度一直處于比較大的狀態(tài)；同時(shí)如果直接歸一化為均值為0方差為1的標(biāo)準(zhǔn)正太分布，就抹掉了前面學(xué)習(xí)的非線性表達(dá)能力，因此在batchnorm的實(shí)現(xiàn)過(guò)程中，增加了平移和縮放參數(shù)。保留了非線性。

BatchNorm層的優(yōu)點(diǎn)：

1. 減少了參數(shù)的人為選擇，使得調(diào)參更容易
2. 初始化要求也沒(méi)那么高，減少了對(duì)學(xué)習(xí)率的要求，可以使用更大的學(xué)習(xí)率；
3. 降低了數(shù)據(jù)之間的絕對(duì)差異，有去相關(guān)的作用，更多考慮相對(duì)差異，有利于分類；
4. BN是一種正則，可以代替dropout，取消L2正則項(xiàng)參數(shù)，或者采取更小的L2正則項(xiàng)約束參數(shù)。
5. BN本身就是歸一化網(wǎng)絡(luò)，一定程度上可以緩解過(guò)擬合，解決梯度消失問(wèn)題。

全連接層

全連接層將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間。它是在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用，將二維空間轉(zhuǎn)化成一維向量，將全連接層的輸出送入分類器或回歸器來(lái)做分類和回歸。

Dropout層

Dropout（隨機(jī)失活正則化），是一種正則化方法，通過(guò)對(duì)網(wǎng)絡(luò)某層的節(jié)點(diǎn)都設(shè)置一個(gè)被消除的概率，之后在訓(xùn)練中按照概率隨機(jī)將某些節(jié)點(diǎn)消除掉，以達(dá)到正則化，降低方差的目的。

Dropout層可以解決過(guò)擬合問(wèn)題，取平均的作用，減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系

常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LeNet、AlexNet、ZFNet、VGGNet、Inception和ResNet和輕量型卷積神經(jīng)網(wǎng)絡(luò)等等（這里就不展開(kāi)講了，太多了，感興趣自行研究）

卷積的概念展開(kāi)來(lái)講還是太多太深?yuàn)W了，數(shù)學(xué)公式一大堆，小牛這段時(shí)間就簡(jiǎn)單學(xué)習(xí)比較常見(jiàn)的部分，有些原理明白但無(wú)法用直白的語(yǔ)言寫(xiě)出來(lái)，這部分寫(xiě)的很吃力也不知道該寫(xiě)些什么，就把筆記和以前寫(xiě)的論文部分貼了貼。后面會(huì)盡快進(jìn)入代碼部分。（這部分寫(xiě)起來(lái)快自閉了- -）

參考：

《深度學(xué)習(xí)模型微服務(wù)化管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》

https://mlnotebook.github.io/post/CNN1/ https://zhuanlan.zhihu.com/p/47184529 https://blog.csdn.net/baidu_27643275/article/details/88711329 https://zhuanlan.zhihu.com/p/106142812