圖像卷積概念

圖像卷積操作（convolution），或稱(chēng)為核操作（kernel），是進(jìn)行圖像處理的一種常用手段，

圖像卷積操作的目的是利用像素點(diǎn)和其鄰域像素之前的空間關(guān)系，通過(guò)加權(quán)求和的操作，實(shí)現(xiàn)模糊（blurring），銳化（sharpening），邊緣檢測(cè)（edge detection）等功能。

圖像卷積的計(jì)算過(guò)程就是卷積核按步長(zhǎng)對(duì)圖像局部像素塊進(jìn)行加權(quán)求和的過(guò)程。

卷積核實(shí)質(zhì)上是一個(gè)固定大小的權(quán)重?cái)?shù)組，該數(shù)組中的錨點(diǎn)通常位于中心。

卷積核大小

通常情況下，選取卷積核大小為1x1，3x3，5x5，7x7等

取奇數(shù)大小的目的是為了設(shè)置卷積核中心為錨點(diǎn)，方便卷積核和圖像的對(duì)齊處理

設(shè)置卷積核大小對(duì)稱(chēng)的目的是為了在空間域中充分利用像素點(diǎn)和其領(lǐng)域像素間的關(guān)系。當(dāng)然這不是必須的，如果需要針對(duì)某一軸進(jìn)行處理，可以設(shè)置1x3或3x1大小。

參考：

Convolution

Kernel （image processing）

圖像卷積數(shù)學(xué)公式

二維離散卷積公式如下：

圖像卷積通常使用這個(gè)公式，其中g(shù)［x，y］g［x，y］g［x，y］為卷積核，符號(hào)?ast?表示卷積操作

圖形化表示

以一維離散卷積公式為例：

其圖形化公式如下：

首先將函數(shù) g（τ） 反射為 g（?τ） ，相當(dāng)于 g（τ） 沿yyy軸翻轉(zhuǎn)

再對(duì)函數(shù) g（?τ） 添加一個(gè)時(shí)間偏移量 t ，它允許函數(shù) g（t?τ） 沿著 τ 軸移動(dòng)

變量 t 每增加 1，表示函數(shù) g（t?τ） 向左移動(dòng)一步

計(jì)算 t 遍歷 ?∞ 到 ∞ 的過(guò)程中，函數(shù) f（τ） 和 g（t?τ） 的重疊面積

舉例

函數(shù) f = ［1，2，3，4］ ，函數(shù) g = ［1，3，2］

將函數(shù) g 逆轉(zhuǎn)：g（τ） ? g（?τ），值變?yōu)椋?，3，1］

計(jì)算過(guò)程如下：

h（0）=［1］?［1］=1?1=1

h（1）=［1，2］?［3，1］=1?3+2?1=3+2=5

h（2）=［1，2，3］?［2，3，1］=1?2+2?3+3?1=2+6+3=11

h（3）=［2，3，4］?［2，3，1］=2?2+3?3+4?1=4+9+4=17

h（4）=［3，4］?［2，3］=3?2+4?3=6+12=18

h（5）=［4］?［2］=4?2=8

h（x）=［1，5，11，17，18，8］

以此類(lèi)推可知二維離散卷積的計(jì)算過(guò)程，先對(duì)角翻轉(zhuǎn)卷積核，在逐步向兩個(gè)正方向移動(dòng)，計(jì)算重疊面積

flip the mask （horizontally and vertically） only once（水平和垂直翻轉(zhuǎn)掩模一次）

slide the mask onto the image（在圖像上滑動(dòng)掩模）

multiply the corresponding elements and then add them（將相應(yīng)的元素相乘，然后求和）

repeat this procedure until all values of the image has been calculated（重復(fù)這一過(guò)程，直到所有圖像值均已被計(jì)算）

多說(shuō)一句，關(guān)于信號(hào)與系統(tǒng)中的LTI（linear time-invariant systems，線性時(shí)不變系統(tǒng)）和LSI（linear shift invariant system，線性位移不變系統(tǒng)）的不變性一直沒(méi)太理解，圖形化理解就是信號(hào)（函數(shù)）可以隨著時(shí)間/空間移動(dòng)而不改變它的原先的形狀，就像卷積核一樣。

圖像卷積注意事項(xiàng)

在進(jìn)行卷積操作時(shí)，需要注意兩點(diǎn)

卷積核歸一化

卷積核的大小和值可以根據(jù)要求定義，但通常會(huì)將整個(gè)卷積核進(jìn)行歸一化操作，其目的是為了保證修改后結(jié)果圖像的平均元素值和原始圖像平均元素值一樣。

因?yàn)榫矸e操作滿足齊次性，所以可以卷積計(jì)算完成后再除以整個(gè)卷積核的值。

數(shù)值精度

圖像數(shù)值類(lèi)型通常為uint8，在進(jìn)行卷積操作時(shí)很容易造成數(shù)值溢出，所以在進(jìn)行操作之前可以先轉(zhuǎn)換成更高精度的數(shù)值類(lèi)型