基于深度學(xué)習(xí)模型融合的工業(yè)產(chǎn)品（零部件）工藝缺陷檢測(cè)算法簡(jiǎn)述

1、序言

隨著信息與智能化社會(huì)的到來，工業(yè)產(chǎn)品生產(chǎn)逐漸走向智能化生產(chǎn)，極大地提高了生產(chǎn)力。但是隨著工人大規(guī)模解放，產(chǎn)品或零部件的缺陷檢測(cè)，一直不能實(shí)現(xiàn)自動(dòng)檢測(cè)。深度學(xué)習(xí)技術(shù)的出現(xiàn)，為這一領(lǐng)域帶來了曙光，其高精度、高效率、升級(jí)維護(hù)簡(jiǎn)單等特點(diǎn)，使之在這一領(lǐng)域應(yīng)用越來越廣。

說明：由于工作原因，不能開放相關(guān)源碼。實(shí)際情況是，大部分源碼都是修改而來，功底好一些的同學(xué)，可以自行實(shí)現(xiàn)。我講的很清楚了，希望自己實(shí)現(xiàn)，拿來主義永遠(yuǎn)學(xué)不會(huì)。最后，文中參考了很多文章和論文，甚至有些大家都知道的話，直接粘貼復(fù)制的，因?yàn)槟切﹥H僅是介紹單個(gè)模型，并不是本文核心內(nèi)容，謝謝理解。加油，大家。

2、數(shù)據(jù)集整理

一般情況下，工業(yè)產(chǎn)品或零部件所獲得的數(shù)據(jù)不是太多，因?yàn)榇蠖鄶?shù)缺陷特征都極其微小，數(shù)據(jù)采集存在極大問題。在高分辨率相機(jī)幫助下盲拍，短時(shí)間可以獲得大量圖片，但是數(shù)據(jù)篩選存在極大問題。人工篩選，浪費(fèi)時(shí)間和效率，但是有不可避免的進(jìn)行清洗。況且，工業(yè)界高清缺陷數(shù)據(jù)集，也極其稀少。

幾百?gòu)埖臄?shù)據(jù)對(duì)深度卷積網(wǎng)絡(luò)來說是遠(yuǎn)遠(yuǎn)不夠的，而且數(shù)據(jù)分布是極不對(duì)稱的。而且對(duì)特征是否明顯來說，缺陷特征是最不明顯的，在訓(xùn)練的時(shí)候更要進(jìn)行格外關(guān)注。

最后，數(shù)據(jù)采集的硬件設(shè)備，對(duì)檢測(cè)結(jié)果也影響巨大。例如，相機(jī)的分辨率、補(bǔ)光設(shè)備等等。這里，不是咱們討論的范圍，假設(shè)已經(jīng)取得了小部分缺陷圖像。

3、圖像增強(qiáng)擴(kuò)充

上述現(xiàn)象不可避免，需要對(duì)每類特征圖像進(jìn)行原始增強(qiáng)，使其最低擴(kuò)充到1000幅左右。比如常用的ImageDataGenerator工具，當(dāng)然也可以自行編寫腳本，請(qǐng)自行百度，資料眾多。主要包括圖像的旋轉(zhuǎn)、平移、錯(cuò)切、旋轉(zhuǎn)、拉伸、明暗度變化等等。

拍攝圖像的過程中，不可避免的出現(xiàn)整個(gè)場(chǎng)景圖像過于巨大，那么就會(huì)導(dǎo)致缺陷特征局部化，也就是所占整幅圖像比例較小，不利于特征提取。這種情況下，對(duì)圖像進(jìn)行卷積操作后，缺陷特征基本上不會(huì)檢測(cè)提取到或者提取到的特征并不明顯。解決辦法之一是將場(chǎng)景圖像進(jìn)行有規(guī)則的切分，比如一個(gè)場(chǎng)景圖像被切分成六份，可以橫向或縱向或者對(duì)角線切分，或者切分成四份均可，依照實(shí)際情況進(jìn)行。然后需要自己去做數(shù)據(jù)，賦以標(biāo)簽，當(dāng)然Labelimg這個(gè)開源工具可以幫助你。

在預(yù)測(cè)的時(shí)候，只要場(chǎng)景圖像的四個(gè)或者六個(gè)子圖像有一個(gè)是缺陷圖像，就認(rèn)為其是缺陷圖像。這樣做的好處是，在一定程度上避免了特征過于局部化。這是我能想到的方法之一，當(dāng)然業(yè)界可能有很多方法，這個(gè)比較簡(jiǎn)單粗暴。但是實(shí)際效果還不錯(cuò)。

4、融合模型架構(gòu)

采用的架構(gòu)如下：

圖1 模型融合架構(gòu)

對(duì)上圖進(jìn)行解釋。數(shù)據(jù)層當(dāng)然就是整理后的數(shù)據(jù)集，數(shù)據(jù)集的質(zhì)量決定了后面的所有事情，所在制作的時(shí)候一定要認(rèn)真，廢話不多說。分發(fā)層，只是原來單個(gè)網(wǎng)絡(luò)的輸入層。這一層的目的，就是為了向各個(gè)單個(gè)網(wǎng)絡(luò)輸入數(shù)據(jù)。因?yàn)槊總€(gè)網(wǎng)絡(luò)對(duì)數(shù)據(jù)輸入要求是不一樣的，這一層就干了這一件事情。接下來就是“隱藏”網(wǎng)絡(luò)層，這一層就是“并行”連接了網(wǎng)絡(luò)，分而治之。尺寸統(tǒng)一層，就是將各個(gè)網(wǎng)絡(luò)輸出的特征圖進(jìn)行修飾，主要是尺寸上進(jìn)行修改。空白層，這一層的目的是進(jìn)一步梳理特征信號(hào)，進(jìn)一步處理，比如添加合適的比例放大特征圖等等，當(dāng)然，這只是初步的想法，還沒有實(shí)際去做。不可否定的是，工業(yè)與學(xué)術(shù)界肯定有更好的方法，這是以后的工作優(yōu)化內(nèi)容。特征相加層，就是將得到的統(tǒng)一的特征“點(diǎn)加”，增強(qiáng)特征的表現(xiàn)形式，處理微小特征的方法。最后是全連接層，用于分類與回歸，最后是輸出結(jié)果。當(dāng)然，中間的損失層之類的沒有說，但是并不代表不存在，鉆牛角尖得人退避。

對(duì)工業(yè)缺陷零件來說，缺陷特征非常細(xì)微或者說不明顯，通常僅僅一小塊區(qū)域存在特征，而且高度相似。對(duì)于“隱藏層”選擇的相關(guān)網(wǎng)絡(luò)，首先，是專注于特征提取，因?yàn)樘卣魈崛∈钦麄€(gè)網(wǎng)絡(luò)的關(guān)鍵所在，其次，要考慮把淺層特征和深度特征進(jìn)行融合，這樣的話結(jié)合圖像切分，就不會(huì)造成主要特征丟失，或者說盡量降低特征的內(nèi)部損耗。常見的特征提取網(wǎng)絡(luò)有VGG16、ResNet、DenseNet、Inception-ResNet-V2等等這些，但是筆者復(fù)現(xiàn)過得網(wǎng)絡(luò)只有VGG與ResNet，經(jīng)過論文以及相關(guān)資料，DenseNet效果可能要更好些，留作近期工作內(nèi)容。

5、融合模型訓(xùn)練

選取不同的缺陷數(shù)據(jù)，數(shù)據(jù)盡量不要完全相同，這樣可以增加模型的豐富度，更有利于提取相關(guān)特征。與“隱藏層”相對(duì)應(yīng)訓(xùn)練幾個(gè)不同的模型，比如訓(xùn)練出四個(gè)模型分別對(duì)應(yīng)于ResNet、DenseNet、Inception-ResNet-V2、VGG四個(gè)網(wǎng)絡(luò)。當(dāng)然，根據(jù)你選擇的模型進(jìn)行對(duì)應(yīng)即可，靈活度極高。

訓(xùn)練完成后，把這四個(gè)模型輸入層與全連接層去除，僅僅使用這四個(gè)模型的相關(guān)卷積層進(jìn)行特征提取，然后利用特征相加層進(jìn)行特征拼接。拼接的時(shí)候注意，在channel方向上保持相同，也就是特征圖的w和h必須相同。這是關(guān)鍵中的關(guān)鍵，也是特征統(tǒng)一層存在的意義，否則，特征非但沒有增強(qiáng)，反而因?yàn)槌叽绲膯栴}導(dǎo)致精度下降，得不償失。

在對(duì)應(yīng)位置上進(jìn)行特征相加（點(diǎn)加），然后把這些特征進(jìn)行匯總，重新建立四個(gè)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)模型分別對(duì)應(yīng)訓(xùn)練好的四個(gè)模型，提取訓(xùn)練好模型的參數(shù)，賦給新的模型，然后建立全連接層，這個(gè)時(shí)候只有一個(gè)全連接層。在訓(xùn)練的時(shí)候，新的網(wǎng)絡(luò)只用來做特征提取，卷積層的參數(shù)不做訓(xùn)練，把這些網(wǎng)絡(luò)參數(shù)凍結(jié)，只更新全連接層。

對(duì)于上述中的特征融合，還有一種方法就是：用三個(gè)訓(xùn)練好的模型進(jìn)行特征提取，然后建立一個(gè)MLP多層感知機(jī)類型的網(wǎng)絡(luò)。訓(xùn)練好的模型去掉全連接層，只保存卷積層，做特征提取，并把產(chǎn)生的特征進(jìn)行拼接，訓(xùn)練時(shí)只對(duì)全連接層進(jìn)行更新。

6、單個(gè)網(wǎng)絡(luò)要點(diǎn)解析

Inception-ResNet-V2的結(jié)構(gòu)如下，細(xì)節(jié)請(qǐng)看參考文獻(xiàn)，這里只是簡(jiǎn)單說一下。Inception-ResNet-v2，更加昂貴的混合Inception版本，同明顯改善了識(shí)別性能。

圖2 InceptionResNetV2整體架構(gòu)（圖片來源于網(wǎng)絡(luò)）

其中的stem部分網(wǎng)絡(luò)結(jié)構(gòu)如下，inception設(shè)計(jì)，并且conv也使用了7*1+1*7這種優(yōu)化形式：

圖3 stem部分網(wǎng)絡(luò)結(jié)構(gòu)（圖片來源于網(wǎng)絡(luò)）

inception-resnet-A部分設(shè)計(jì)，inception結(jié)構(gòu)相當(dāng)于加寬網(wǎng)絡(luò)，也就是并行思想，這是本文靈感來源一。inception+殘差設(shè)計(jì)為：

圖4 inception-resnet-A設(shè)計(jì)（圖片來源于網(wǎng)絡(luò)）

通過將不同尺度的feature map進(jìn)行融合，通過1*n卷積與n*1卷積來替代n*n卷積，從而有效地降低計(jì)算量，通過使用多個(gè)3x3卷積來代替5x5卷積和7x7卷積來降低計(jì)算量。另外在inception resnet v2中將resnet與inception 的網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行融合，從而進(jìn)一步提升在 imagenet上的accuracy。咱們文章的靈感來源二也來源于此，特征融合，只是咱們?nèi)诤狭四Ｐ鸵约疤卣鲌D。說一句沒必要的廢話，slim庫(kù)中已經(jīng)實(shí)現(xiàn)的inception-resnet-v2網(wǎng)絡(luò)，所以以后網(wǎng)絡(luò)應(yīng)用更加簡(jiǎn)單了。

VGG16網(wǎng)絡(luò)，我接觸的比較早了，研究生期間就使用了。讀研的時(shí)候做了基于Faster R-CNN的高鐵定位器識(shí)別，當(dāng)初就是用的VGG網(wǎng)絡(luò)而不是ZF網(wǎng)絡(luò)。VGG16相比前輩AlexNet網(wǎng)絡(luò)做了諸多改進(jìn)，其中比較主要的是采用連續(xù)的幾個(gè)3x3的卷積核代替AlexNet中的較大卷積核（11x11，7x7，5x5），對(duì)于給定的感受野（與輸出有關(guān)的輸入圖片的局部大?。?，采用堆積的小卷積核是優(yōu)于采用大的卷積核，因?yàn)槎鄬臃蔷€性層可以增加網(wǎng)絡(luò)深度來保證學(xué)習(xí)更復(fù)雜的模式，而且代價(jià)還比較小，參數(shù)更少，節(jié)省算力。

簡(jiǎn)單來說，在VGG中，使用了3個(gè)3x3卷積核來代替7x7卷積核，使用了2個(gè)3x3卷積核來代替5*5卷積核，這樣做的主要目的是在保證具有相同感知野的條件下，提升了網(wǎng)絡(luò)的深度，在一定程度上提升了神經(jīng)網(wǎng)絡(luò)的效果。話題拉回來，本文靈感來源三就是VGG訓(xùn)練過程，VGG有六種結(jié)構(gòu)或者說有六個(gè)階段的訓(xùn)練過程。分別是A、A-LRN、B、C、D、E六種，訓(xùn)練時(shí)，逐層遞歸訓(xùn)練，由淺入深，思路清晰。訓(xùn)練的方式也對(duì)本文產(chǎn)生了影響，凍結(jié)卷積層參數(shù)，只更新全連接層參數(shù)。最后，經(jīng)過證明D、E兩個(gè)模型融合，效果最佳。

圖5 VGG16結(jié)構(gòu)圖（圖片來源于網(wǎng)絡(luò)）

ResNet（Residual Neural Network）由微軟研究院的Kaiming He等四名華人提出，通過使用ResNet Unit成功訓(xùn)練出了152層的神經(jīng)網(wǎng)絡(luò)，并在ILSVRC2015比賽中取得冠軍，在top5上的錯(cuò)誤率為3.57%，同時(shí)參數(shù)量比VGGNet低，效果非常突出。ResNet的結(jié)構(gòu)可以極快的加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型的準(zhǔn)確率也有比較大的提升。同時(shí)ResNet的推廣性非常好，甚至可以直接用到InceptionNet網(wǎng)絡(luò)中。

ResNet的主要思想是在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想。此前的網(wǎng)絡(luò)結(jié)構(gòu)是性能輸入做一個(gè)非線性變換，而Highway Network則允許保留之前網(wǎng)絡(luò)層的一定比例的輸出。ResNet的思想和Highway Network的思想也非常類似，允許原始輸入信息直接傳到后面的層中，如下圖7所示。

CNN能夠提取low/mid/high-level的特征，網(wǎng)絡(luò)的層數(shù)越多，意味著能夠提取到不同level的特征越豐富。并且，越深的網(wǎng)絡(luò)提取的特征越抽象，越具有語(yǔ)義信息。既然這樣，為什么不能簡(jiǎn)單地堆疊網(wǎng)絡(luò)層呢？因?yàn)榇嬖谔荻葟浬⒒蛱荻缺āＳ袥]有解決方法呢？有，正則化初始化和中間的正則化層（Batch Normalization），但是，這樣的話也僅僅可以訓(xùn)練幾十層的網(wǎng)絡(luò)。雖然通過上述方法能夠訓(xùn)練了，但是又會(huì)出現(xiàn)另一個(gè)問題，就是退化問題，網(wǎng)絡(luò)層數(shù)增加，但是在訓(xùn)練集上的準(zhǔn)確率卻飽和甚至下降了。這個(gè)不能解釋為overfitting，因?yàn)閛verfit應(yīng)該表現(xiàn)為在訓(xùn)練集上表現(xiàn)更好才對(duì)。退化問題說明了深度網(wǎng)絡(luò)不能很簡(jiǎn)單地被很好地優(yōu)化。

圖6 ResNet結(jié)構(gòu)（圖片來源于網(wǎng)絡(luò)）

圖7 不同的殘差單元（圖片來源于網(wǎng)絡(luò)）

DenseNet結(jié)構(gòu)如下：

圖8 DenseNet結(jié)構(gòu)（圖片來源于網(wǎng)絡(luò)）

DenseNet脫離了加深網(wǎng)絡(luò)層數(shù)(ResNet)和加寬網(wǎng)絡(luò)結(jié)構(gòu)(Inception)來提升網(wǎng)絡(luò)性能的定式思維,從特征的角度考慮,通過特征重用和旁路(Bypass)設(shè)置,既大幅度減少了網(wǎng)絡(luò)的參數(shù)量,又在一定程度上緩解了gradient vanishing問題的產(chǎn)生.結(jié)合信息流和特征復(fù)用的假設(shè),是該網(wǎng)絡(luò)新穎的地方

對(duì)于本文四種網(wǎng)絡(luò)，后續(xù)會(huì)根據(jù)實(shí)際測(cè)試情況，進(jìn)行模型的更換與刪減，具體情況只有實(shí)際測(cè)試才能知曉。

7、融合損失函數(shù)

Focal loss主要是為了解決one-stage目標(biāo)檢測(cè)中正負(fù)樣本比例嚴(yán)重失衡的問題。該損失函數(shù)降低了大量簡(jiǎn)單負(fù)樣本在訓(xùn)練中所占的權(quán)重，也可理解為一種困難樣本挖掘。

首先，二分類交叉上損失公式：

可見普通的交叉熵對(duì)于正樣本而言，輸出概率越大損失越小。對(duì)于負(fù)樣本而言，輸出概率越小則損失越小。此時(shí)的損失函數(shù)在大量簡(jiǎn)單樣本的迭代過程中比較緩慢且可能無法優(yōu)化至最優(yōu)。Focal loss的改進(jìn)高明之處是：

首先在原有的基礎(chǔ)上加了一個(gè)因子，其中g(shù)amma>0使得減少易分類樣本的損失。使得更關(guān)注于困難的、錯(cuò)分的樣本。

此外，平衡因子alpha的加入，用來平衡正負(fù)樣本本身的比例不均：

只添加alpha雖然可以平衡正負(fù)樣本的重要性，但是無法解決簡(jiǎn)單與困難樣本的問題。lambda調(diào)節(jié)簡(jiǎn)單樣本權(quán)重降低的速率，當(dāng)lambda為0時(shí)即為交叉熵?fù)p失函數(shù)，當(dāng)lambda增加時(shí)，調(diào)整因子的影響也在增加。

8、期望與問題

關(guān)于融合模型的一些思考，歡迎大家討論。其中的一些問題已經(jīng)解決，說實(shí)話，每一點(diǎn)都可以形成一篇論文，大家參考。

1）分發(fā)層，內(nèi)部機(jī)制是什么？統(tǒng)一分發(fā)，還是通道形式？是否需要放大？

2）網(wǎng)絡(luò)“隱藏”層，模型間進(jìn)行“某種連接”，是不是會(huì)產(chǎn)生特殊火花？

3）網(wǎng)絡(luò)“隱藏”層，哪幾種模型融合效果最好，增加，刪減效果怎么樣？

4）尺寸統(tǒng)一層，統(tǒng)一的方式，除了簡(jiǎn)單“比例拉扯”，有沒有更好的方式？

5）特征相加層，點(diǎn)加最好？加上比例放大？比例多少？能學(xué)習(xí)嗎？

6）模型融合，目標(biāo)檢測(cè)模型融合會(huì)更好嗎？NLP是否有相關(guān)的研究？

7）YOLOv3號(hào)稱檢測(cè)小目標(biāo)（細(xì)微特征相對(duì)應(yīng)）能力出色，是否相關(guān)思想可以借鑒？

模型的融合并不是簡(jiǎn)單地堆疊，而是根據(jù)特征圖尺寸這一核心思想進(jìn)行重新設(shè)計(jì)計(jì)算。對(duì)單個(gè)模型的參數(shù)進(jìn)行適當(dāng)?shù)男薷?，前提是架?gòu)不改變。充分利用每個(gè)模型的優(yōu)點(diǎn)，摒棄缺點(diǎn)。其中最重要的就是砍掉了每個(gè)模型的全連接層，極大地降低了參數(shù)的數(shù)量。