一、研究的背景與問題

鋼板表面缺陷檢測技術(shù)始于20世紀(jì)50年代，從人工檢測到現(xiàn)在的機(jī)器視覺檢測，共經(jīng)歷60多年的發(fā)展，按時間的先后順序大致可以分為非自動化檢測、自動化檢測和機(jī)器視覺檢測共三個階段。

非自動化檢測階段，主要依靠人工目視法和頻閃檢測法。這兩種方法的檢測率較低、實時性較差，遠(yuǎn)不能滿足生產(chǎn)線高速的生產(chǎn)節(jié)奏，而且缺乏科學(xué)性和規(guī)范性，致使傳統(tǒng)的非自動化檢測方法無法適應(yīng)現(xiàn)代化工業(yè)生產(chǎn)的需要。

自動化檢測階段，主要采用渦流檢測法、紅外檢測法和漏磁檢測法等。這些方法受自身檢測原理的限制，不能檢出所有類型的缺陷，在很多場合不能直接使用。

機(jī)器視覺檢測階段，采用機(jī)器視覺代替人工視覺進(jìn)行檢測。該檢測技術(shù)具有受環(huán)境電磁場影響小、工作距離大、測量精度高和易于實現(xiàn)智能化等優(yōu)點，已經(jīng)成為板帶材表面質(zhì)量監(jiān)控的重要先進(jìn)手段與技術(shù)，更適合于自動化生產(chǎn)線上的在線檢測。

中厚板鋼板是鋼鐵工業(yè)的重要產(chǎn)品之一，主要用于航空航天、橋梁建造、汽車制造以及國防裝備等領(lǐng)域。在軋制過程中，與冷軋薄板相比，中厚板需要采用熱軋工藝，軋制溫度更高、環(huán)境也更加惡劣，國內(nèi)外尚無成功的熱軋鋼板表面在線無損檢測的成功案例，其主要原因是面臨以下難題：

1、熱軋環(huán)境下鋼板表面容易產(chǎn)生霧化效果，并且光線傳播容易變形，利用攝像頭進(jìn)行采集的時候容易發(fā)生光線偏移，造成圖像變形或者影響圖像的整體質(zhì)量，增加圖像中的噪聲。

2、受環(huán)境、光照、生產(chǎn)工藝和噪聲等多重因素影響，檢測系統(tǒng)的信噪比一般較低，微弱信號難以檢出或不能與噪聲有效區(qū)分。如何構(gòu)建穩(wěn)定、可靠、精準(zhǔn)的檢測系統(tǒng)，以適應(yīng)光照變化、噪聲以及其他外界不良環(huán)境的干擾，是要解決的問題之一。

3、由于檢測對象多樣、表面缺陷種類繁多、形態(tài)多樣、背景復(fù)雜，對于眾多缺陷類型產(chǎn)生的機(jī)理以及其外在表現(xiàn)形式之間的關(guān)系尚不明確，致使對缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目標(biāo)分割困難；同時，很難找到“標(biāo)準(zhǔn)”圖像作為參照，這給缺陷的檢測和分類帶來困難，造成識別率尚有待提高。

4、從機(jī)器視覺表面檢測的準(zhǔn)確性方面來看，盡管一系列優(yōu)秀的算法不斷出現(xiàn)，但在實際應(yīng)用中準(zhǔn)確率仍然與滿足實際應(yīng)用的需求尚有一定差距，如何解決準(zhǔn)確識別與模糊特征之間、實時性與準(zhǔn)確性之間的矛盾仍然是目前的難點。

二、解決問題的思路與技術(shù)方案

為了改進(jìn)現(xiàn)場人工檢測方法存在的漏檢率高、鋼板質(zhì)量依賴于質(zhì)檢員經(jīng)驗等問題，在南鋼中厚板廠建立一套基于機(jī)器視覺技術(shù)的鋼板表面缺陷檢測系統(tǒng)，該系統(tǒng)包含三大模塊：（1）用于高速采集上下表面圖片的光學(xué)設(shè)備，同時包含對灰塵鐵屑等的自動清掃裝置；（2）機(jī)器視覺算法后臺：利用深度卷積神經(jīng)網(wǎng)絡(luò)自動提取圖像中各目標(biāo)區(qū)域的特征，然后對各目標(biāo)區(qū)域進(jìn)行分類驗證，以檢測該區(qū)域是否包含某類缺陷的特征；（3）系統(tǒng)管理及展示平臺：鋼板實時檢測情況展示并對記錄的缺陷圖片以及對應(yīng)鋼板位置進(jìn)行管理。

1、上下表檢圖片采集系統(tǒng)

本項目拍攝系統(tǒng)方案為在現(xiàn)有中厚板產(chǎn)線輥道的上下兩端分別布置一套照明和成像系統(tǒng)，以同時檢測輥道上鋼板上下兩個表面的缺陷。同時，要求拍攝成像系統(tǒng)能拍攝完整、清晰的視頻和照片，并保持穩(wěn)定可靠運行，有效應(yīng)對現(xiàn)場不同自然光照條件、四季不同環(huán)境溫度。此外，系統(tǒng)要可自動應(yīng)對氧化鐵皮掉落、玻璃防結(jié)霧、揚塵等所有影響拍攝的環(huán)境因素干擾。

為實現(xiàn)上述目標(biāo)，本項目的拍攝系統(tǒng)設(shè)計如下圖1所示，包括上表檢系統(tǒng)和下表檢系統(tǒng)。

圖1上表檢和下表檢圖像采集方案示意圖

（1）上表檢圖像采集系統(tǒng)。上表檢照明和成像系統(tǒng)如圖3-2所示，放置在上相機(jī)箱體內(nèi)，箱體采用密閉結(jié)構(gòu)，前端面鑲嵌玻璃，方便光源照明和相機(jī)成像，上相機(jī)箱體放置在上表檢室內(nèi)。上表檢室是密閉的，如圖3-3所示，其前端是隔熱玻璃和吹掃結(jié)構(gòu)，保持玻璃面的干凈。上表檢室內(nèi)還放置有空調(diào)系統(tǒng)，用于降低上表檢室內(nèi)的溫度，提高照明和成像系統(tǒng)的穩(wěn)定性。

圖2上表檢成像系統(tǒng)示意圖

圖3上表檢室外觀示意圖

（2）下表檢圖像采集系統(tǒng)。下表檢照明和成像系統(tǒng)如圖3-4所示，放置在下相機(jī)箱體內(nèi)，箱體采用密閉結(jié)構(gòu)，前端面鑲嵌玻璃，玻璃的外表面安裝吹掃結(jié)構(gòu)，可保持玻璃面的干凈，下相機(jī)箱體放置在下表檢室內(nèi)。如圖3-5所示，下表檢室也是密閉的，其前端是隔熱玻璃，隔熱玻璃傾斜一定的角度安裝，玻璃上部布置有吹掃管，下部安裝吸塵裝置和收集裝置，一吹一吸的氣簾可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時收集到布塵袋中，由此保證鋼板下表面表檢系統(tǒng)的有效性。下表檢室內(nèi)還放置有空調(diào)系統(tǒng)，用于降低下表檢室內(nèi)的溫度，提高照明和成像系統(tǒng)的穩(wěn)定性。

圖4下表檢成像系統(tǒng)示意圖（鋼板從左向右運動）

圖5下表檢室外觀示意圖

（3）玻璃防結(jié)霧設(shè)計。由于上、下表檢系統(tǒng)均采用密閉結(jié)構(gòu)，因此，相機(jī)在透過墻面拍攝輥道上的鋼板圖像時，需要開設(shè)透光口，并采用玻璃對透光口進(jìn)行密封，由于上表檢室、下表檢室與外部有溫度差，則造成了密封玻璃容易起霧，影響系統(tǒng)的正常使用。

本項目采用吹風(fēng)的方式除霧，當(dāng)風(fēng)吹到玻璃表面，玻璃表面小水珠流動性加快，不容易液化到玻璃表面，且吹風(fēng)可以加速玻璃表面液體的蒸發(fā)，因此玻璃表面不容易起霧，考慮到熱軋板表檢裝置所處的環(huán)境，本項目將在上、下表檢室觀察玻璃靠近熱軋板的一側(cè)安裝風(fēng)簾裝置，通過不斷的吹風(fēng)來避免結(jié)霧現(xiàn)象的產(chǎn)生。

（4）基于“線陣CCD+自適應(yīng)LED光源”的拍攝系統(tǒng)。鋼板表面的靠近邊緣的部分，由于其漫反射的強(qiáng)度和漫反射角度相關(guān)，因而造成光強(qiáng)損失，導(dǎo)致帶材邊緣圖像的灰度值減弱。本項目首次在熱軋鋼板表面檢測中采用“線陣CCD+自適應(yīng)LED光源”的圖像采集方案，將高亮度的藍(lán)色光照射到熱軋鋼板表面，并通過線陣CCD攝像機(jī)采集熱軋鋼板表面圖像，解決了遠(yuǎn)距離均勻照明的問題，提高了圖像的對比度。同時，通過對CCD進(jìn)行PRNU（圖像不均一響應(yīng)）標(biāo)定和軟件增益補(bǔ)償，實現(xiàn)光強(qiáng)平衡，使得整體成像灰度更加均勻，以便于后續(xù)的圖像處理。

（5）拍攝系統(tǒng)防塵設(shè)計。熱軋鋼板廠區(qū)環(huán)境十分惡劣，既有高溫輻射，又有粉塵彌漫，上表檢室、下表檢室透光口處的密封玻璃極容易被粉塵遮擋，影響圖像的正常拍攝，尤其是位于輥道下方的下表檢系統(tǒng)，落灰現(xiàn)象十分嚴(yán)重。因此，本項目中，考慮上表檢、下表檢受粉塵的不同影響，分別設(shè)計了上表檢和下表檢的防塵系統(tǒng)。

①上表檢防塵方案?？紤]到廠房內(nèi)有灰塵，將上表面的照明和成像系統(tǒng)密封在箱體內(nèi)，如圖3-6～3-8所示，作用面鑲嵌玻璃，不阻礙光源的照明和相機(jī)的成像。同時在玻璃的外側(cè)設(shè)計清灰刷，通過無桿氣缸帶動清灰刷在玻璃上左右運動，刮除玻璃表面上粘附的灰塵。清灰的時間間隔可以根據(jù)產(chǎn)線的具體情況來靈活設(shè)置。若現(xiàn)場灰塵吸附玻璃表面，考慮加清潔劑或高壓氣槍的方式進(jìn)一步清理。

圖6上表面除塵裝置

圖7上表面除塵裝置

圖8無桿氣缸除塵擦

②下表檢防塵方案。對于下表檢系統(tǒng)的防塵，綜合設(shè)計了三個措施來解決該問題：

A、在表檢系統(tǒng)的前一個滾輪間隙處安裝鋼絲滾刷，將即將剝離的環(huán)氧鐵皮刮下，同時考慮加強(qiáng)機(jī)械設(shè)計來保證鋼絲滾刷與鋼板的接觸良好。

B、下表檢室的側(cè)面安裝隔熱玻璃來作為下表檢系統(tǒng)的照明和成像窗口，隔熱玻璃的角度盡量大，以降低鐵皮堆積的可能性，同時在隔熱玻璃的上部布置有一個氣簾裝置，通過不停的吹風(fēng)，可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時吹掉，也可以給隔熱玻璃降溫。

C、在隔熱玻璃的外表面安裝清灰刷裝置，可將氣簾未吹走的鐵皮、灰塵等刮掉。

（6）基于幀同步技術(shù)的拍攝系統(tǒng)自動啟閉設(shè)計。鋼板在輥道上輸送過程中，為實現(xiàn)鋼板來時點亮光源、相機(jī)輸出圖像；鋼板走時關(guān)閉光源、相機(jī)不輸出圖像的智能控制功能，從而降低功耗、節(jié)能環(huán)保，本項目系統(tǒng)采用了鋼板位置自反饋設(shè)計。

熱軋板在運行過程中速度不是一成不變的，會發(fā)生一定的變動，如果從始至終都用一個行頻來采集熱軋板的圖像，將會導(dǎo)致所采集到的熱軋板圖像存在一定程度的失真。為此本項目將采用編碼器來實時獲取熱軋板的運行速度，并反饋控制相機(jī)的掃描行頻，來確保采集到的圖像不失真。

拍攝啟動自反饋：由于熱軋板較大較重，不易滑動，因此可以認(rèn)為圓輥表面的線速度與熱軋板的線速度是一致的，使用時將接觸式碼盤編碼器固定在輥軸上，可以實時監(jiān)測圓輥的角速度，進(jìn)而計算出圓輥表面的線速度，從而得到熱軋板的運行速度。編碼器的信號實時控制圖像采集相機(jī)的掃描行頻，實現(xiàn)采集系統(tǒng)和鋼板運行速度的自適應(yīng)。

拍攝關(guān)閉自反饋：通過架設(shè)在鋼板輥道上的紅外傳感器，進(jìn)行延遲關(guān)閉。

2、機(jī)器視覺算法后臺

應(yīng)用深度學(xué)習(xí)中的深層卷積神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)統(tǒng)計技術(shù)對缺陷進(jìn)行檢測識別。針對熱軋鋼板表面狀況復(fù)雜的特點，采用形態(tài)濾波與神經(jīng)網(wǎng)絡(luò)等方法開發(fā)了熱軋鋼板表面缺陷的檢測與識別算法，解決了水、氧化鐵皮與光照不均現(xiàn)象引起的“誤識”問題，大幅提高鋼板表面缺陷識別檢出率和檢測準(zhǔn)確率，達(dá)到國際先進(jìn)指標(biāo)。

3、系統(tǒng)管理及展示平臺

對接現(xiàn)場MES系統(tǒng)，向用戶展示拼接后的鋼板表面的圖片以及缺陷情況，同時，展示系統(tǒng)與現(xiàn)場板號跟蹤系統(tǒng)對接，根據(jù)每塊鋼板的鋼板號對其缺陷情況進(jìn)行記錄，最終向用戶反饋對應(yīng)板號的鋼板缺陷情況，并進(jìn)行現(xiàn)場缺陷報警警示。缺陷展示頁面如圖3-9所示：

圖9缺陷展示頁面示意圖

三、主要創(chuàng)新性成果

1、可實現(xiàn)熱軋鋼板上下表面在線缺陷檢測的方案設(shè)計

系統(tǒng)安裝在軋鋼輥道上，工位在定尺剪后、標(biāo)印機(jī)前方，實現(xiàn)熱軋鋼板表面缺陷的實時在線檢測。同時，在輥道上下兩端分別布置一套照明和成像系統(tǒng)，可同時檢測鋼板上下兩個表面的缺陷。

2、可實現(xiàn)實時精確反饋的yolov4優(yōu)化算法

對Yolov4神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，替換主干網(wǎng)絡(luò)，降低其參數(shù)量；對Yolov4神經(jīng)網(wǎng)絡(luò)的SPP池化層結(jié)構(gòu)進(jìn)行優(yōu)化，豐富缺陷特征，降低計算量，提高運算速度和準(zhǔn)確率，最終實現(xiàn)檢出率可達(dá)98%及以上，并使人工智能算法的識別速度與現(xiàn)場生產(chǎn)節(jié)奏保持一致。

3、基于“線陣CCD+自適應(yīng)LED光源”的拍攝系統(tǒng)

由于不同鋼板的表面粗糙度、材質(zhì)略有不同，對光線的反射程度會有變化，導(dǎo)致不同鋼板圖片的亮度差異大。項目采用高亮度的藍(lán)色光照射到熱軋鋼板表面，并通過線陣CCD攝像機(jī)采集熱軋鋼板表面圖像，解決了遠(yuǎn)距離均勻照明的問題，提高了圖像的對比度。同時表檢系統(tǒng)會根據(jù)拍攝狀況隨時調(diào)整LED光強(qiáng)，以達(dá)到最佳拍攝效果。

4、拍攝系統(tǒng)防塵設(shè)計

由于生產(chǎn)現(xiàn)場伴有高溫粉塵等惡劣條件，對相機(jī)采集圖像影響嚴(yán)重，因此需要針對上、下表檢的不同情況，分別設(shè)計防塵清灰結(jié)構(gòu)。本項目重點針對位于輥道下方的下表檢設(shè)計了防塵清灰結(jié)構(gòu)，一方面，通過自動運動的吸塵管道，對透光玻璃的表面進(jìn)行自動清掃，另一方面，增加有角度傾斜玻璃罩，灰塵鐵屑滑落后輸送到特定位置清理，并根據(jù)現(xiàn)有溫度狀況進(jìn)行冷卻處理。

5、基于幀同步技術(shù)的拍攝系統(tǒng)自動啟閉設(shè)計

為保障拍攝系統(tǒng)能夠快速響應(yīng)，其信號源使用自觸發(fā)功能實現(xiàn)“受控可變頻率輸出”。使用以太網(wǎng)觸發(fā)相機(jī)拍攝，外部觸發(fā)模式下可以優(yōu)化丟幀、亂拍、圖片大小不同等情況。最終實現(xiàn)鋼板來：點亮光源、相機(jī)輸出圖像；鋼板走：關(guān)閉光源、相機(jī)不輸出圖像的智能控制功能，降低功耗、節(jié)能環(huán)保。

6、防扎板輥道設(shè)計采用八字板+小輥的結(jié)構(gòu)設(shè)計，解決鋼板通過表檢處時，容易產(chǎn)生的扎板問題，適合在南鋼的場景下使用，減小鋼板摩擦，利于鋼板順利通過下表檢觀察口。

四、應(yīng)用情況與效果

本項目已于2020年底，在南鋼中厚板卷廠成功實施，南鋼中厚板卷廠現(xiàn)有條件：鋼板寬度約為3300mm，長度不長于24m；板材厚為4mm-60mm；板材運行速度約為2m/s；鋼板的溫度約為200℃，外觀多為黑褐色。在此條件下，可以實現(xiàn)檢出率可達(dá)98%及以上，準(zhǔn)確率可達(dá)90%及以上，并使人工智能算法的識別速度與現(xiàn)場生產(chǎn)節(jié)奏保持一致，達(dá)到國際先進(jìn)水平。

檢出率和準(zhǔn)確率的計算公式如下：

檢出率=算法模型檢出的真實的缺陷個數(shù)/人工檢出的真實的缺陷個數(shù)；

準(zhǔn)確率=算法模型分類正確的缺陷個數(shù)/算法模型檢出的真實的缺陷個數(shù)。

本項目成功上線后平均每條生產(chǎn)線可節(jié)省人工3名/年，節(jié)約檢測成本數(shù)百萬元，同時可降低產(chǎn)品的質(zhì)量異議。項目已成功申報發(fā)明專利1項，軟著1項。此外，本項目產(chǎn)品也成功榮獲江蘇省優(yōu)秀人工智能產(chǎn)品、江蘇省人工智能學(xué)會技術(shù)創(chuàng)新獎。

審核編輯：郭婷