卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是自動駕駛汽車、人臉識別系統(tǒng)等計算機視覺應(yīng)用的基礎(chǔ)，其中基本的矩陣乘法運算被卷積運算取代。它們專門處理具有網(wǎng)格狀拓?fù)浣Y(jié)構(gòu)的數(shù)據(jù)。例如，時間序列數(shù)據(jù)和圖像數(shù)據(jù)可以看作是一個二維像素網(wǎng)格。

歷史

卷積神經(jīng)網(wǎng)絡(luò)最初是由福島核電站在1980年引入的，當(dāng)時名為Neocognitron。它的靈感來自于Hubel和Weisel提出的神經(jīng)系統(tǒng)的層次模型。但由于其復(fù)雜的無監(jiān)督學(xué)習(xí)算法，即無監(jiān)督學(xué)習(xí)，該模型并不受歡迎。1989年，Yann LeCun利用反向傳播和Neocognitron的概念提出了一種名為LeNet的架構(gòu)，該架構(gòu)被美國和歐洲用于手寫的郵政編碼識別。郵政服務(wù)。Yann LeCun進一步研究了這個項目，最終在1998年發(fā)布了LeNet-5——第一個引入了我們今天在CNN仍然使用的一些基本概念的現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)。他還發(fā)布了MNIST手寫數(shù)字?jǐn)?shù)據(jù)集，這可能是機器學(xué)習(xí)中最著名的基準(zhǔn)數(shù)據(jù)集。在20世紀(jì)90年代，計算機視覺領(lǐng)域轉(zhuǎn)移了它的焦點，許多研究人員停止了對CNN架構(gòu)的研究。神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了一個寒冷的冬天，直到2012年，多倫多大學(xué)的一組研究人員在著名的ImageNet挑戰(zhàn)賽中進入了一個基于CNN的模型(AlexNet)，最終以16.4%的錯誤率贏得了比賽。此后，卷積神經(jīng)網(wǎng)絡(luò)不斷向前發(fā)展，基于CNN的體系結(jié)構(gòu)不斷贏得ImageNet, 2015年，基于卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)ResNet的誤差率超過人類水平的5.1%，誤差率為3.57%。

卷積的誤稱

在CNN中廣泛使用的卷積運算是用詞不當(dāng)?shù)?。?yán)格地說，所使用的操作是相關(guān)，而不是卷積。這兩個操作符都有一點不同，我們將分別討論它們，以理解它們之間的區(qū)別。

互相關(guān)

相關(guān)是在圖像上移動濾波掩碼(通常稱為核)并計算每個位置的乘積和的過程。相關(guān)是濾波器位移的函數(shù)。換句話說，相關(guān)的第一個值對應(yīng)濾波器的零位移，第二個值對應(yīng)一個位移，以此類推。

數(shù)學(xué)公式:

圖3給出了使用F濾波器與圖像I的一維互相關(guān)運算的數(shù)學(xué)公式。假設(shè)F具有奇數(shù)個元素會很方便，因此我們可以假設(shè)F隨其中心移動。我們說F有2N+1的元素,這些索引從-N到N,F(0)是中心元素。

類似地，我們可以將這個概念擴展到下圖所示的2d情況。基本思想是一樣的，除了圖像和濾波器現(xiàn)在是2D。我們可以假設(shè)我們的濾波器有奇數(shù)個元素，所以它由一個(2N+1)x(2N+1)矩陣表示。

二維的相關(guān)運算非常簡單。我們只是取一個給定大小的濾波器，然后把它放在與濾波器大小相同的圖像的一個局部區(qū)域上。我們繼續(xù)這個操作，在整個圖像中移動相同的濾波器。這也幫助我們實現(xiàn)了兩個非常受歡迎的屬性:

平移不變性:我們的視覺系統(tǒng)應(yīng)該感知、響應(yīng)或檢測相同的物體，而不管它出現(xiàn)在圖像的什么地方。

局部性:我們的視覺系統(tǒng)聚焦于局部區(qū)域，而不考慮圖像的其他部分發(fā)生了什么。

互相關(guān)函數(shù)具有一個特性，當(dāng)它應(yīng)用于離散的單位脈沖(一個二維矩陣，其中只有一個1，其他都是0)時，得到的結(jié)果是濾波器的副本，但旋轉(zhuǎn)了180度。

卷積:

卷積運算與互相關(guān)運算非常相似，但有細(xì)微的區(qū)別。在卷積運算中，首先將核翻轉(zhuǎn)180度，然后應(yīng)用于圖像。卷積的基本性質(zhì)是將一個核與一個離散的單位脈沖進行卷積，在脈沖的位置上得到一個核的拷貝。

我們在互相關(guān)部分看到，一個互相關(guān)操作產(chǎn)生一個脈沖的拷貝，但是旋轉(zhuǎn)了180度。因此，如果我們預(yù)先旋轉(zhuǎn)濾波器并執(zhí)行相同的乘積滑動和運算，我們應(yīng)該能夠得到期望的結(jié)果。

數(shù)學(xué)公式:利用核函數(shù)F對圖像I進行的卷積運算由一維的公式給出。卷積就像相關(guān)一樣，只是我們在互相關(guān)之前先把濾波器翻轉(zhuǎn)一下

在二維卷積的情況下，我們水平和垂直翻轉(zhuǎn)濾波器。這可以寫成:

卷積運算同樣遵循平移不變性和局部性的性質(zhì)。

注意:盡管這兩個操作稍有不同，但是所使用的核是否對稱并不重要。

結(jié)論:

在這篇文章中，我們簡要討論了卷積神經(jīng)網(wǎng)絡(luò)的歷史和一些特性。我們討論了卷積這個錯誤的說法，即在各種文本中經(jīng)常提到的卷積運算其實是互相關(guān)運算。這種差別很細(xì)微，但卻很有用，每個進入、練習(xí)或經(jīng)驗豐富的計算機視覺領(lǐng)域的人都應(yīng)該知道。