6.3 用OpenCV實(shí)現(xiàn)數(shù)據(jù)增加小工具

到目前我們已經(jīng)熟悉了numpy中的隨機(jī)模塊，多進(jìn)程調(diào)用和OpenCV的基本操作，基于這些基礎(chǔ)，本節(jié)將從思路到代碼一步步實(shí)現(xiàn)一個(gè)最基本的數(shù)據(jù)增加小工具。

第三章和第四章都提到過數(shù)據(jù)增加（data augmentation），作為一種深度學(xué)習(xí)中的常用手段，數(shù)據(jù)增加對(duì)模型的泛化性和準(zhǔn)確性都有幫助。數(shù)據(jù)增加的具體使用方式一般有兩種，一種是實(shí)時(shí)增加，比如在Caffe中加入數(shù)據(jù)擾動(dòng)層，每次圖像都先經(jīng)過擾動(dòng)操作，再去訓(xùn)練，這樣訓(xùn)練經(jīng)過幾代（epoch）之后，就等效于數(shù)據(jù)增加。還有一種是更加直接簡(jiǎn)單一些的，就是在訓(xùn)練之前就通過圖像處理手段對(duì)數(shù)據(jù)樣本進(jìn)行擾動(dòng)和增加，也就是本節(jié)要實(shí)現(xiàn)的。

這個(gè)例子中將包含三種基本類型的擾動(dòng)：隨機(jī)裁剪，隨機(jī)旋轉(zhuǎn)和隨機(jī)顏色/明暗。

6.3.1 隨機(jī)裁剪

AlexNet中已經(jīng)講過了隨機(jī)裁剪的基本思路，我們的小例子中打算更進(jìn)一步：在裁剪的時(shí)候考慮圖像寬高比的擾動(dòng)。在絕大多數(shù)用于分類的圖片中，樣本進(jìn)入網(wǎng)絡(luò)前都是要變?yōu)榻y(tǒng)一大小，所以寬高比擾動(dòng)相當(dāng)于對(duì)物體的橫向和縱向進(jìn)行了縮放，這樣除了物體的位置擾動(dòng)，又多出了一項(xiàng)擾動(dòng)。只要變化范圍控制合適，目標(biāo)物體始終在畫面內(nèi)，這種擾動(dòng)是有助于提升泛化性能的。實(shí)現(xiàn)這種裁剪的思路如下圖所示：

?

想象一下先把這個(gè)寬為w’，高為h’的區(qū)域置于原畫面的右下角，則這個(gè)區(qū)域的左上角和原畫面的左上角框出的小區(qū)域，如圖中的虛線框所示，就是裁剪后區(qū)域左上角可以取值的范圍。所以在這個(gè)區(qū)域內(nèi)隨機(jī)采一點(diǎn)作為裁剪區(qū)域的左上角，就實(shí)現(xiàn)了如圖中位置隨機(jī)，且寬高比也隨機(jī)的裁剪。

6.3.2 隨機(jī)旋轉(zhuǎn)

前面講到過的旋轉(zhuǎn)比起來，做數(shù)據(jù)增加時(shí)，一般希望旋轉(zhuǎn)是沿著畫面的中心。這樣除了要知道旋轉(zhuǎn)角度，還得計(jì)算平移的量才能讓仿射變換的效果等效于旋轉(zhuǎn)軸在畫面中心，好在OpenCV中有現(xiàn)成的函數(shù)cv2.getRotationMatrix2D()可以使用。這個(gè)函數(shù)的第一個(gè)參數(shù)是旋轉(zhuǎn)中心，第二個(gè)參數(shù)是逆時(shí)針旋轉(zhuǎn)角度，第三個(gè)參數(shù)是縮放倍數(shù)，對(duì)于只是旋轉(zhuǎn)的情況下這個(gè)值是1，返回值就是做仿射變換的矩陣。

直接用這個(gè)函數(shù)并接著使用cv2.warpAffine()會(huì)有一個(gè)潛在的問題，就是旋轉(zhuǎn)之后會(huì)出現(xiàn)黑邊。如果要旋轉(zhuǎn)后的畫面不包含黑邊，就得沿著原來畫面的輪廓做個(gè)內(nèi)接矩形，該矩形的寬高比和原畫面相同，如下圖所示：

在圖中，可以看到，限制內(nèi)接矩形大小的主要是原畫面更靠近中心的那條邊，也就是圖中比較長(zhǎng)的一條邊AB。因此我們只要沿著中心O和內(nèi)接矩形的頂點(diǎn)方向的直線，求出和AB的交點(diǎn)P，就得到了內(nèi)接矩形的大小。先來看長(zhǎng)邊的方程，考慮之前畫面和橫軸相交的點(diǎn)，經(jīng)過角度-θ旋轉(zhuǎn)后，到了圖中的Q點(diǎn)所在：

因?yàn)殚L(zhǎng)邊所在直線過Q點(diǎn)，且斜率為1/tan(θ)，所以有：

這時(shí)候考慮OP這條直線：

把這個(gè)公式帶入再前邊一個(gè)公式，求解可以得到：

注意到在這個(gè)問題中，每個(gè)象限和相鄰象限都是軸對(duì)稱的，而且旋轉(zhuǎn)角度對(duì)剪裁寬度和長(zhǎng)度的影響是周期（T=π）變化，再加上我們關(guān)心的其實(shí)并不是四個(gè)點(diǎn)的位置，而是旋轉(zhuǎn)后要截取的矩形的寬w’和高h(yuǎn)’，所以復(fù)雜的分區(qū)間情況也簡(jiǎn)化了，首先對(duì)于旋轉(zhuǎn)角度，因?yàn)橹芷跒棣校远伎梢曰?到π之間，然后因?yàn)閷?duì)稱性，進(jìn)一步有：

于是對(duì)于0到π/2之間的θ，有：

當(dāng)然需要注意的是，對(duì)于寬高比非常大或者非常小的圖片，旋轉(zhuǎn)后如果裁剪往往得到的畫面是非常小的一部分，甚至不包含目標(biāo)物體。所以是否需要旋轉(zhuǎn)，以及是否需要裁剪，如果裁剪角度多少合適，都要視情況而定。