卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) - 卷積神經(jīng)網(wǎng)絡(luò)（CNN）的運用與測試

現(xiàn)在展示一個傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，還有其他層在這些層之間穿插轉(zhuǎn)換。強烈建議那些有興趣的讀者去了解他們的功能和作用，但一般來說他們提供的非線性和尺寸留存有助于提高網(wǎng)絡(luò)的魯棒性，同時還能控制過度擬合。一個經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)看起來是這樣的：

然而，最后一層是非常重要的內(nèi)容，不過我們將在后面提到。讓我們退后一步，回顧一下我們目前提到的東西。我們談到了第一個卷積層的過濾器被設(shè)計用來探測。他們檢測到低階的特征如邊緣和曲線。正如想象的那樣，為了預(yù)測圖像的類型，我們需要神經(jīng)網(wǎng)絡(luò)能夠識別更高階的特征，如手、爪子、耳朵。讓我們考慮經(jīng)過第一層卷積層后網(wǎng)絡(luò)的輸出是什么，這將是一個28×28×3的體量（假設(shè)我們使用三個5×5×3過濾器）。當穿過另一個卷積層時，卷積層的第一輸出成為第二卷積層的輸入，這有難以視覺化想象。當我們談?wù)摰谝粚訒r，輸入的只是原始圖像。然而，當我們談?wù)摰诙€卷積層時，輸入是第一層的結(jié)果激活圖（S）。因此，每一層的輸入基本上是描述某些低階特征在原始圖像中的位置?，F(xiàn)在當你應(yīng)用一組過濾器（通過第二卷積層），輸出將被激活且代表更高階的特征。這些特征的類型可能是半圓（曲線和直線邊緣的組合）或方形（幾個直邊的組合）。當通過網(wǎng)絡(luò)、更多的卷積層，可以激活地圖，代表更多和更復(fù)雜的特征。在神經(jīng)網(wǎng)絡(luò)的結(jié)束，可能有一些激活的過濾器，表示其在圖像中看到手寫字跡或者粉紅色的物體時等等。另一個有趣的事情是當你在網(wǎng)絡(luò)往更深的地方探索時，過濾器開始有越來越大的接受場，這意味著他們能夠從一個更大的區(qū)域或者更多的原始輸入量接收信息。

全連接層

現(xiàn)在我們可以檢測到這些高階特征，錦上添花的是在神經(jīng)網(wǎng)絡(luò)的末端連接一個全連接層。這層基本上將一個輸入量（無論輸出是卷積或ReLU或池層）和輸出一個N是程序選擇類別的N維向量，具體過程如下圖所示。這個全連接層的工作方式是，它著眼于前一層的輸出（代表高階特征的激活圖），并確定哪些功能是最相關(guān)特定的類。例如如果該程序預(yù)測，一些圖像是一只狗，它在激活圖中會有高的值，代表高階特征如一個爪子或4條腿等。類似地，如果該程序是預(yù)測一些圖像是鳥的功能，它在激活圖中會有高階值，代表高階特征如如翅膀或喙等。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的運用與測試

訓練過程

訓練工程作為神經(jīng)網(wǎng)絡(luò)的一個部分，我之前故意沒有提到，因為它有可能是最重要的一部分。閱讀時你可能會遇到有很多問題，例如第一個卷積層中過濾器如何知道尋找邊緣和曲線？全連接層如何知道激活圖在哪里？每一層的過濾器如何知道有什么樣的值？計算機能夠調(diào)整其過濾值（或權(quán)重）的方式是通過一個稱為反向傳播的訓練過程。

在我們介紹反向傳播之前，我們必須先回顧下談?wù)勆窠?jīng)網(wǎng)絡(luò)運行所需要的是什么。在我們出生的那一刻，我們的思想是全新的，我們不知道什么是貓，什么是鳥。類似地，在卷積神經(jīng)網(wǎng)絡(luò)開始之前，權(quán)重或過濾器的值是隨機的，過濾器并不知道去尋找邊緣和曲線，在更高階的層過濾器不知道去尋找爪子和喙。然而當我們稍微大了一點之后，我們的父母和老師給我們展示了不同的圖片和圖像，并給了我們一個相應(yīng)的標簽。給圖像以標簽這個想法既是卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的訓練過程。在講到它之前，讓我們稍微介紹下我們有一個訓練集，其中有成千上萬的狗，貓和鳥類的圖像，每一個圖像有一個標簽對應(yīng)它是什么動物的圖片。

反向傳播可以分為4個不同的部分：前向傳播、損失計算、反向傳播、權(quán)重更新。在前向傳播的過程中，你需要一個數(shù)字陣列為32×32×3的訓練圖像，并將其傳遞通過整個網(wǎng)絡(luò)。在我們的第一個訓練例子中，所有的權(quán)重或過濾器的值被隨機初始化，輸出可能是類似[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的東西，基本上是一個不能優(yōu)先考慮任何數(shù)字的輸出。目前權(quán)重的網(wǎng)絡(luò)是無法尋找那些低階的功能，因此也無法對分類可能性作出任何合理的結(jié)論。這就到了反向傳播中的損失計算部分。我們現(xiàn)在使用的是訓練數(shù)據(jù)，此數(shù)據(jù)有一個圖像和一個標簽。比方說，第一個輸入的訓練圖像是一個3，則該圖像的標簽將是[ 0 0 1 0 0 0 0 0 ]。損失計算可以按許多不同的方式定義，但常見的是MSE（均方差）—?倍（實際預(yù)測）的平方。

假設(shè)變量L等于這個值，正如你想象的，對于第一組訓練圖像來說損失將是非常高的?，F(xiàn)在，讓我們更直觀地來進行思考。我們想得到一個點的預(yù)測標簽（ConvNet的輸出）作為訓練相同的訓練標簽（這意味著我們的網(wǎng)絡(luò)預(yù)測正確）。為了實現(xiàn)則這個，我們要盡量減少我損失量?？梢暬谖⒎e分上只是一個優(yōu)化問題，我們需要找出哪些輸入是（在我們的例子中的權(quán)重）最直接導(dǎo)致網(wǎng)絡(luò)的損失（或錯誤）所在。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的運用與測試

這是一個dL／DW的數(shù)學等價，其中W是在一個特定層的權(quán)重。現(xiàn)在我們要做的通過網(wǎng)絡(luò)是執(zhí)行一個反向傳播過程，檢測哪個權(quán)重損失最大并且尋找方法來調(diào)整它們使損失降低。一旦我們將這個計算過程進行完，就可以到最后一步—權(quán)重更新。把所有的過濾器的權(quán)重進行更新，使它們在梯度方向上進行改變。

學習速率是由程序員選擇的一個參數(shù)。一個高的學習率意味著更多步驟是在權(quán)重更新部分，因此它可能需要更少的時間為最佳的權(quán)重在模型上進行收斂。然而學習率太高，可能會導(dǎo)致跨越太大而不夠精準達到最佳點。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的運用與測試

前向傳播、損失計算、反向傳播、參數(shù)更新的過程也稱為一個epoch。程序會對于每一個固定數(shù)量的epoch、每個訓練圖像重復(fù)這一過程。在最后一個訓練例子中完成了參數(shù)更新后，網(wǎng)絡(luò)應(yīng)該都訓練的足夠好了，各層的權(quán)重也應(yīng)該調(diào)參正確了。

測試

最后要來測試我們的卷積神經(jīng)網(wǎng)絡(luò)是否工作，將不同的圖片和標簽集通過卷積神經(jīng)網(wǎng)絡(luò)，將輸出結(jié)果與真實值進行對比，即可測試出其是否正常運行。

業(yè)界如何使用卷積神經(jīng)網(wǎng)絡(luò)

數(shù)據(jù)，數(shù)據(jù)，數(shù)據(jù)。給一個卷積神經(jīng)網(wǎng)絡(luò)的更多的訓練數(shù)據(jù)，可以做的更多的訓練迭代，也就能實現(xiàn)更多的權(quán)重更新，對神經(jīng)網(wǎng)絡(luò)進行更好的調(diào)參。Facebook（還有Instagram）可以使用數(shù)以億計的用戶目前的所有照片，Pinterest可以使用在其網(wǎng)站上的500億的信息，谷歌可以使用搜索數(shù)據(jù)，亞馬遜可以使用每天數(shù)以百萬計的產(chǎn)品購買數(shù)據(jù)。

現(xiàn)在你知道他們是如何使用這些的魔法了，有興趣的話可以自己嘗試一下。

閱讀全文

上一頁 1 23全文