7.1.1. 不變性

想象一下，我們想要檢測(cè)圖像中的物體。這似乎是合理的，無(wú)論我們使用什么方法來(lái)識(shí)別物體，都不應(yīng)該過(guò)分關(guān)注物體在圖像中的精確位置。理想情況下，我們的系統(tǒng)應(yīng)該利用這些知識(shí)。豬通常不會(huì)飛，飛機(jī)通常不會(huì)游泳。盡管如此，我們?nèi)匀粦?yīng)該認(rèn)出一只豬出現(xiàn)在圖像的頂部。我們可以從兒童游戲“威利在哪里”中得到一些啟發(fā)（如圖7.1.1所示）。游戲由許多充滿(mǎn)活動(dòng)的混亂場(chǎng)景組成。沃爾多出現(xiàn)在每個(gè)地方的某個(gè)地方，通常潛伏在一些不太可能的位置。讀者的目標(biāo)是找到他。盡管他的著裝很有特色，但由于大量的干擾因素，這可能出奇地困難。然而，Waldo 長(zhǎng)什么樣子并不取決于Waldo 所在的位置。我們可以使用 Waldo 檢測(cè)器掃描圖像，該檢測(cè)器可以為每個(gè)補(bǔ)丁分配一個(gè)分?jǐn)?shù)，指示該補(bǔ)丁包含 Waldo 的可能性。事實(shí)上，許多目標(biāo)檢測(cè)和分割算法都是基于這種方法（Long et al. , 2015）。CNN 將這種空間不變性的思想系統(tǒng)化，利用它以更少的參數(shù)學(xué)習(xí)有用的表示。

現(xiàn)在，我們可以通過(guò)列舉一些必要條件來(lái)指導(dǎo)我們?cè)O(shè)計(jì)適用于計(jì)算機(jī)視覺(jué)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從而使這些直覺(jué)更加具體：

1. 在最早的層中，我們的網(wǎng)絡(luò)應(yīng)該對(duì)相同的補(bǔ)丁做出類(lèi)似的響應(yīng)，無(wú)論它出現(xiàn)在圖像中的什么位置。這個(gè)原理稱(chēng)為平移不變性（或平移等變性）。

2. 網(wǎng)絡(luò)的最早層應(yīng)該關(guān)注局部區(qū)域，而不考慮遠(yuǎn)處區(qū)域的圖像內(nèi)容。這就是局部性原則。最終，可以聚合這些局部表示以在整個(gè)圖像級(jí)別進(jìn)行預(yù)測(cè)。

3. 隨著我們的進(jìn)行，更深的層應(yīng)該能夠捕捉圖像的更遠(yuǎn)距離的特征，類(lèi)似于自然界中更高層次的視覺(jué)。

讓我們看看這如何轉(zhuǎn)化為數(shù)學(xué)。

7.1.2. 約束 MLP

首先，我們可以考慮一個(gè)帶有二維圖像的 MLP X作為輸入及其直接隱藏的表示 H類(lèi)似地表示為矩陣（它們?cè)诖a中是二維張量），其中X和 H具有相同的形狀。讓它沉入其中。我們現(xiàn)在不僅將輸入設(shè)想為具有空間結(jié)構(gòu)，而且將隱藏表示設(shè)想為具有空間結(jié)構(gòu)。

讓[X]i,j和[H]i,j表示位置處的像素(i,j)分別在輸入圖像和隱藏表示中。因此，為了讓每個(gè)隱藏單元接收來(lái)自每個(gè)輸入像素的輸入，我們將從使用權(quán)重矩陣（就像我們之前在 MLP 中所做的那樣）切換到將我們的參數(shù)表示為四階權(quán)重張量W. 假設(shè)U包含偏差，我們可以將全連接層正式表示為

從開(kāi)關(guān)W到V現(xiàn)在完全是裝飾性的，因?yàn)閮蓚€(gè)四階張量中的系數(shù)之間存在一對(duì)一的對(duì)應(yīng)關(guān)系。我們只是重新索引下標(biāo)(k,l)這樣k=i+a和l=j+b. 換句話(huà)說(shuō)，我們?cè)O(shè) [V]i,j,a,b=[W]i,j,i+a,j+b. 指數(shù)a和b遍歷正偏移和負(fù)偏移，覆蓋整個(gè)圖像。對(duì)于任何給定位置（i, j) 在隱藏表示中[H]i,j，我們通過(guò)對(duì)像素求和來(lái)計(jì)算它的值x, 以 (i,j)并加權(quán)