上世紀(jì)科學(xué)家們發(fā)現(xiàn)了幾個視覺神經(jīng)特點，視神經(jīng)具有局部感受野，一整張圖的識別由多個局部識別點構(gòu)成；不同神經(jīng)元對不同形狀有識別能力，且視神經(jīng)具有疊加能力，高層復(fù)雜的圖案可以由低層簡單線條組成。之后人們發(fā)現(xiàn)經(jīng)過conclusional的操作，可以很好反映視神經(jīng)處理計算的過程，典型的是1998年LeCun發(fā)明的LeNet-5，可以極大地提升識別效果。

本文主要就convolutional layer、pooling layer和整體CNN結(jié)構(gòu)展開

Convolutional Layer卷積層

1、原理和參數(shù)

可以模擬局部感受野的性質(zhì)，同上一層不是全連接，而是一小塊區(qū)域連接，這一小塊就是局部感受野（receptive field）。并且通過構(gòu)造特定的卷積神經(jīng)元，可以模擬不同神經(jīng)元對不同形狀刺激不同反應(yīng)的性質(zhì)。如下圖所示，一個神經(jīng)元處理一層會形成一個feature map，多層疊加，層數(shù)逐漸加深。

感受野（kernel或filter）的尺寸可以看做fh*fw，由于感受野本身具有尺寸，feature map會不斷縮小，為了處理方便，使得每層大小不變，于是我們每層加值為0的邊（zero padding），保證經(jīng)過處理以后的feature map同前一層尺寸一樣。多層之間的卷積運算操作，相當(dāng)于和原來像素對應(yīng)位置做乘法。如下左圖所示，加了邊后可以保證上下層大小一致，右圖表示每層之間convolve的操作（如果不加zero padding）。

但上圖所示只是簡單例子，一般掃描的是三維圖像（RGB），就不是一個矩陣，而是一個立方體，我們用一個三維塊去掃描它，原理同上圖相同。

有時掃描時不是順序去掃，而是跳躍著掃描，每次移動2-3個像素值（stride），但并非完全分離不會造成信息丟失，這樣形成的feature map相較于原始圖片縮小，實現(xiàn)信息聚集的效果。

就像如下灰度圖（2d）中所示，左邊只提取豎線（vertical filter），右邊只提取橫線（horizontal filter）可看出橫梁部分變亮，大量不同的這樣的filter（比如可以識別邊角、折線的filter）的疊加，可形成多張feature maps

下圖是一個3d的RGB效果，每個kernel（filter）可以掃描出一張feature map，多個filter可以疊加出很厚的feature maps，前一層filter做卷積可以形成后一層的一個像素點。

如下圖，可以代表i行j列k深度的一個輸出像素值，k’代表第k個filter，w代表filter中的值，x代表輸入，b是偏值。

2、TensorFlow實現(xiàn)

以下是使用TensorFlow實現(xiàn)的代碼，主要使用conv2d這個函數(shù)

importnumpyasnpfromsklearn.datasetsimportload_sample_images# Load sample imagesdataset = np.array(load_sample_images().images, dtype=np.float32)# 一共4維，channel表示通道數(shù)，RGB是3batch_size, height, width, channels = dataset.shape# Create 2 filters# 一般感受野大小7*7,5*5,3*3，設(shè)置2個kernel，輸出2層feature mapfilters_test = np.zeros(shape=(7,7, channels,2), dtype=np.float32)# 第一個（0）filter的設(shè)定，7*7矩陣中，3是中間filters_test[:,3, :,0] =1# vertical line# 第二個（1）filter的設(shè)定filters_test[3, :, :,1] =1# horizontal line# a graph with input X plus a convolutional layer applying the 2 filtersX = tf.placeholder(tf.float32, shape=(None, height, width, channels))# 雖然輸入是一個四維圖像，但是由于batch_size和channel都已經(jīng)固定，所以使用conv2d# strides設(shè)定，第一個和第四個都是1表示不可以跳過batch_size和channel# 那兩個2表示橫縱向都縮減2，相當(dāng)于整張圖片縮減為原來四分之一，做了75%的縮減convolution = tf.nn.conv2d(X, filters, strides=[1,2,2,1], padding="SAME")withtf.Session()assess: output = sess.run(convolution, feed_dict={X: dataset})

下面是padding的值SAME和VALID的區(qū)別（filter的寬度為6，stride為5），SAME確保所有圖像信息都被convolve添加zero padding，而VALID只添加包含在內(nèi)的像素點

3、所耗內(nèi)存計算

相比于傳統(tǒng)的全連接層，卷積層只是部分連接，節(jié)省了很多內(nèi)存。

比如：一個具有5*5大小filter的卷積層，輸出200張150*100大小的feature maps，stride取1（即不跳躍），padding為SAME。輸入是150*100大小的RGB圖像（channel=3），總共的參數(shù)個數(shù)是200*（5*5*3+1）=15200，其中+1是bias；如果輸出采用32-bits float表示（np.float32），那么每張圖片會占據(jù)200*150*100*32=9600000bits（11.4MB），如果一個training batch包含100張圖片（mini-batch=100），那么這一層卷積層就會占據(jù)1GB的RAM。

可以看出，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)是非常消耗內(nèi)存的，但是使用時，只用到最后一層的輸出即可。

Pooling Layer池化層

1、原理和參數(shù)

當(dāng)圖片大小很大時內(nèi)存消耗巨大，而Pooling Layer所起的作用是濃縮效果，緩解內(nèi)存壓力。

即選取一定大小區(qū)域，將該區(qū)域用一個代表元素表示。具體的Pooling有兩種，取平均值（mean）和取最大值（max）。如下圖所示是一個取最大值的pooling layer，kernel大小為2*2，stride大小取決于kernel大小，這里是2，即剛好使得所有kernel都不重疊的值，因而實現(xiàn)高效的信息壓縮，將原始圖像橫縱壓縮一半，如右圖所示，特征基本都完全保留了下來。

pooling這個操作不影響channel數(shù)，在feature map上也一般不做操作（即z軸一般不變），只改變橫縱大小。

2、TensorFlow實現(xiàn)

# Createagraph withinputXplusamaxpooling layerX=tf.placeholder(tf.float32, shape=(None, height, width, channels))# 選用取最大值的max_pool方法# 如果是取平均值，這里是mean_pool# ksize就是kernel大小，featuremap和channel都是1,橫向縱向是2max_pool =tf.nn.max_pool(X, ksize=[1,2,2,1], strides=[1,2,2,1],padding="VALID")withtf.Session()assess: output = sess.run(max_pool, feed_dict={X: dataset})整體CNN框架

典型CNN architecture

有名的CNN架構(gòu)：

LeNet（MISIT上）-1998：輸入32*32（在28*28圖像上加了zero padding）。第一層kernel用了6個神經(jīng)元，kernel大小5*5，stride取1，輸出就是28*28；第二層做了average pooling，2*2的kernel，stride是2，輸出就變?yōu)樵瓉淼囊话?，不改變feature map數(shù)目；第三層放了16個神經(jīng)元，其他同理；第五層用了120個神經(jīng)元，5*5的kernel對5*5的輸入做卷積，沒法再滑動，輸出為1*1；F6用120個1*1的輸出全連接84個神經(jīng)元，Out全連接10個神經(jīng)元，對應(yīng)手寫體識別輸出的10個數(shù)字。

激活函數(shù)前面都用的tanh，是傳統(tǒng)CNN中常用的，輸出層用了RBF比較特殊，是一個計算距離的方式去判斷和目標(biāo)輸出間距離做lost。。

AlexNet-2012：最早應(yīng)用于競賽中，近10%的提高了準(zhǔn)確度

輸入224*224的彩色圖像，C1是個很大的11*11的filter，stride=4。。最后連做3層convolution。。最后輸出1000個類的分類結(jié)果。

激活函數(shù)使用ReLU，這在現(xiàn)今很流行，輸出層用的softmax

AlexNet使用了一個小技巧是Local Response Normalization（LRN局部響應(yīng)歸一化）

這種操作可以在傳統(tǒng)輸出上加一個bias，考慮到近鄰的一些輸出影響。即一個輸出旁邊有很牛掰的輸出的話，它的輸出就會慫了，收到抑制，可以看到，含β的整個項都在分母上。但后來發(fā)現(xiàn)，這個技術(shù)對分類器的提升也不是很明顯，有的就沒有用。

GoogleLeNet-2014：

大量應(yīng)用Inception module，一個輸入進來，直接分四步進行處理，這四步處理完后深度直接進行疊加。在不同的尺度上對圖片進行操作。大量運用1*1的convolution，可以靈活控制輸出維度，可以降低參數(shù)數(shù)量。

如右圖所示，輸入是192，使用了9層inception module，如果直接用3*3,5*5參數(shù)，可以算一下，之后inception參數(shù)數(shù)目是非常大的，深度上可以調(diào)節(jié)，可以指定任意數(shù)目的feature map，通過增加深度把維度減下來。inception模塊6個參數(shù)剛好對應(yīng)這6個convolution，上面4個參數(shù)對應(yīng)上面4個convolution，加入max pool不會改變feature map數(shù)目（如480=128+192+96+64）。

將正確率升高到95-96%，超過人類分辨率，因為image net中但是狗的種類就有很多，人類無法完全一一分辨出。

ReSNet殘差網(wǎng)絡(luò)-2015：

不再直接學(xué)習(xí)一個目標(biāo)函數(shù)，輸入直接跳過中間層直接連到輸出上，要學(xué)習(xí)的是殘差f（x），輸入跳過中間層直接加到輸出上。

好處是：深度模型路徑依賴的限制，即gradient向前傳導(dǎo)時要經(jīng)過所有層，如果中間有層死掉了，前面的層就無法得到訓(xùn)練。殘差網(wǎng)絡(luò)不斷跳躍，即使中間有的層已經(jīng)死掉，信息仍舊能夠有效流動，使得訓(xùn)練信號有效往回傳導(dǎo)。