?

沈航，孫煜，?林詩美，陳超 廣東省工業(yè)邊緣智能創(chuàng)新中心；研祥智能科技股份有限公司

提出基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測(cè)系統(tǒng)，該系統(tǒng)由邊緣側(cè)、設(shè)備側(cè)、平臺(tái)側(cè)和應(yīng)用側(cè)四部分構(gòu)成，支持云邊協(xié)同、視覺檢測(cè)、云應(yīng)用等。根據(jù)制造企業(yè)規(guī)模和對(duì)檢測(cè)線的要求，能夠?qū)⑾到y(tǒng)進(jìn)行靈活部署。實(shí)現(xiàn)制造、管理各系統(tǒng)與工業(yè)設(shè)備互聯(lián)互通，提高工廠智能化管理水平，檢測(cè)效率提高200%，設(shè)備維護(hù)成本降低約50%，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%。

01

引言

作為數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)融合發(fā)展的關(guān)鍵支撐，以工業(yè)互聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)和人工智能等技術(shù)為手段推動(dòng)工業(yè)設(shè)備上云、上平臺(tái)，提升生產(chǎn)數(shù)據(jù)利用效率，提高智能產(chǎn)線、智能工廠的數(shù)字化管理和運(yùn)營能力，成為當(dāng)前產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的核心驅(qū)動(dòng)。在智能制造領(lǐng)域，面對(duì)新型顯示、工業(yè)電子等產(chǎn)品的質(zhì)量檢測(cè)，以往采用的方式包括通過人工進(jìn)行檢測(cè)、通過視覺檢測(cè)系統(tǒng)進(jìn)行檢測(cè)。人工檢測(cè)的方式效率低、品質(zhì)難以保障且人工管理成本高。傳統(tǒng)視覺檢測(cè)系統(tǒng)通過機(jī)器視覺、圖像分析等技術(shù)，在提升缺陷檢測(cè)精度、檢測(cè)效率和產(chǎn)品品質(zhì)方面具有顯著改善，但在數(shù)據(jù)高效利用、設(shè)備智能運(yùn)維和品質(zhì)改進(jìn)管理等方面，還存在進(jìn)步的空間。開發(fā)基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測(cè)系統(tǒng)，以數(shù)字化、智能化手段，能夠提升生產(chǎn)效率，提高產(chǎn)品品質(zhì)，保障生產(chǎn)制造的穩(wěn)定運(yùn)行。

02

視覺檢測(cè)系統(tǒng)

視覺檢測(cè)系統(tǒng)在產(chǎn)品加工、測(cè)試、組裝和包裝等生產(chǎn)環(huán)節(jié)中使用。通過智能工業(yè)相機(jī)完成對(duì)產(chǎn)品信息的采集，并通過智能網(wǎng)關(guān)對(duì)采集的數(shù)據(jù)進(jìn)行傳輸，系統(tǒng)的服務(wù)器支持視覺檢測(cè)微服務(wù)等功能，對(duì)數(shù)據(jù)進(jìn)行計(jì)算分析，最后通過APP 進(jìn)行相關(guān)展示。視覺檢測(cè)系統(tǒng)架構(gòu)如圖1 所示。

03

基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測(cè)系統(tǒng)

3.1　硬件設(shè)施

系統(tǒng)由設(shè)備側(cè)、邊緣側(cè)、平臺(tái)側(cè)和應(yīng)用側(cè)四部分構(gòu)成。設(shè)備側(cè)主要包括智能工業(yè)相機(jī)、信號(hào)發(fā)生器、對(duì)接系統(tǒng)和控制器等現(xiàn)場(chǎng)設(shè)備。邊緣側(cè)通過智能網(wǎng)關(guān)對(duì)現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行采集，再傳輸至邊緣云。邊緣云負(fù)載視覺算法、視覺檢測(cè)軟件和數(shù)據(jù)處理等功能，完成一些實(shí)時(shí)性要求較高的輕量級(jí)數(shù)據(jù)處理任務(wù)。平臺(tái)測(cè)主要提供服務(wù)器、存儲(chǔ)等硬件資源的支持，支持各視覺檢測(cè)的微服務(wù)、視覺算法機(jī)理模型、工業(yè)檢測(cè)軟件組件、數(shù)據(jù)建模和分析、工業(yè)數(shù)據(jù)清洗，以及管理和分析。應(yīng)用側(cè)提供各類缺陷檢測(cè)、模組檢測(cè)、整機(jī)檢測(cè)和功能檢測(cè)等工業(yè)APP，以完成系統(tǒng)應(yīng)用。系統(tǒng)根據(jù)制造企業(yè)規(guī)模和對(duì)檢測(cè)線的要求，能夠進(jìn)行靈活部署。基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測(cè)系統(tǒng)如圖2 所示。

3.2 軟件設(shè)計(jì)

（1）軟件平臺(tái)?

整個(gè)軟件平臺(tái)采用分層架構(gòu)，一共分兩層來實(shí)現(xiàn)，中間件層和交互層。中間件層采用按功能分模塊的扁平化架構(gòu)，一個(gè)功能對(duì)應(yīng)一個(gè)模塊，一個(gè)模塊對(duì)應(yīng)一個(gè)動(dòng)態(tài)庫文件。模塊與模塊之間遵循高內(nèi)聚低耦合的軟件設(shè)計(jì)規(guī)則，各模塊，只獨(dú)立完成某一個(gè)特定的子功能。模塊與模塊之間的接口，遵循少而簡(jiǎn)單的規(guī)則。如果劃分后某兩個(gè)模塊間的關(guān)系仍然比較復(fù)雜，繼續(xù)進(jìn)一步劃分直到模塊間無關(guān)聯(lián)為止。這樣有利于分工合作、模塊集成及后期的維護(hù)升級(jí)。根據(jù)類別劃分為算法庫，相機(jī)庫和通信庫。交互層劃分為界面設(shè)計(jì)器、邏輯設(shè)計(jì)器、相機(jī)管理、用戶管理、數(shù)據(jù)存儲(chǔ)及授權(quán)管理，平臺(tái)主要應(yīng)用在工業(yè)領(lǐng)域，對(duì)性能要求比較高，交互層選擇執(zhí)行高效的開發(fā)平臺(tái)VS2012 MFC 多文檔框架及GDI+ 來實(shí)現(xiàn)，算法庫基于開源OpenCV 來實(shí)現(xiàn)。界面設(shè)計(jì)器：提供所看見的界面配置，為用戶提供個(gè)性化的自定義工具。邏輯設(shè)計(jì)器：為相機(jī)提供實(shí)時(shí)調(diào)試的邏輯組態(tài)編輯和算法工具。相機(jī)管理：提供相機(jī)工程管理、參數(shù)設(shè)置、實(shí)時(shí)圖預(yù)覽等多種管理工具。用戶管理：提供用戶權(quán)限管理方法。數(shù)據(jù)存儲(chǔ)：導(dǎo)入和保存工程，工程數(shù)據(jù)串行化。授權(quán)管理：提供授權(quán)方法；運(yùn)行版，一機(jī)一碼，授權(quán)后在本機(jī)上可以永久使用；試用版，一機(jī)一碼，提供30 天的免費(fèi)試用授權(quán)。

從實(shí)現(xiàn)功能來看，整個(gè)軟件平臺(tái)分5 大功能，分別為采集、處理、評(píng)估、通信和系統(tǒng)。

1）采集功能分為從相機(jī)獲取和從文件獲取兩種模式。從相機(jī)獲取，指連接相機(jī)取圖，支持目前主流相機(jī)的連接，如basler、保盟等。從文件獲取，指本地讀入圖片，支持bmp、jpg、png、dib、pbm、pgm、ppm、sr、ras 和tif 等圖片格式的讀入。

2）處理分為圖像預(yù)處理、目標(biāo)定位、識(shí)別、測(cè)量和檢測(cè)5 個(gè)部分。圖像預(yù)處理是指對(duì)輸入的圖像進(jìn)行二值化、濾波（高斯濾波、中值濾波和均值濾波）、腐蝕和膨脹等操作。目標(biāo)定位是指通過對(duì)圖像設(shè)定模板區(qū)域，然后在其他圖像中尋找與模板區(qū)域相同的圖像特征。通常通過目標(biāo)定位后，再對(duì)物體進(jìn)行下一步的識(shí)別、測(cè)量和外觀檢測(cè)。識(shí)別包括字符識(shí)別、二維碼識(shí)別、條形碼識(shí)別和顏色識(shí)別。測(cè)量指的是對(duì)物體的尺寸測(cè)量，包括點(diǎn)到點(diǎn)、點(diǎn)到線、點(diǎn)到圓、線到線、線到圓、圓到圓、角平分線、夾角測(cè)量和卡尺測(cè)量等功能。檢測(cè)包括瑕疵檢測(cè)、缺陷檢測(cè)、劃痕檢測(cè)和差異檢測(cè)。

3）評(píng)估分為評(píng)估輪廓、評(píng)估區(qū)域、評(píng)估表達(dá)式和條件分支4 類。評(píng)估輪廓指對(duì)輪廓進(jìn)行評(píng)估，是否符合設(shè)定的規(guī)則。評(píng)估區(qū)域指對(duì)區(qū)域的面積、長度和寬度等信息進(jìn)行評(píng)估，是否能夠滿足設(shè)定閾值。評(píng)估表達(dá)式指對(duì)輸入的表達(dá)式進(jìn)行評(píng)估，看能否滿足設(shè)定要求。條件分支指不同的條件執(zhí)行不同的任務(wù)。

4）通信包括數(shù)字I/O 通信、串口通信、文件通信及套接字通信。支持雷賽數(shù)字I/O 通信，如通過數(shù)字I/O 卡輸入端口控制相機(jī)的外部觸發(fā)拍照，軟件檢測(cè)任務(wù)的完成信號(hào)可以通過數(shù)字I/O 的輸出端口發(fā)送到PLC 等設(shè)備。支持通過串口與第三方通信，通過規(guī)定好的協(xié)議，機(jī)械手可通過串口發(fā)送指令讓軟件執(zhí)行某項(xiàng)檢測(cè)任務(wù)，執(zhí)行后軟件通過串口把檢測(cè)結(jié)果發(fā)送給機(jī)械手，機(jī)械手根據(jù)接收的結(jié)果進(jìn)行下一步動(dòng)作。會(huì)事先規(guī)定好數(shù)據(jù)傳輸?shù)膮f(xié)議，包括數(shù)據(jù)頭、數(shù)據(jù)尾的定義及數(shù)據(jù)中間段的各個(gè)參數(shù)的含義，通過人機(jī)交互界面來配置。支持文件通信，可讀寫文件，比如把識(shí)別到的條碼寫入指定文本。

5）系統(tǒng)包含延遲執(zhí)行和停止執(zhí)行兩個(gè)部分。延遲執(zhí)行是指延遲一段時(shí)間后再執(zhí)行下一個(gè)任務(wù)。延遲時(shí)間可通過人機(jī)交互界面進(jìn)行設(shè)置。停止執(zhí)行，顧名思義就是停止執(zhí)行。

（2）軟件算法?

考慮開發(fā)套件主要應(yīng)用在工業(yè)領(lǐng)域，對(duì)性能要求比較高，交互層選擇執(zhí)行高效的開發(fā)平臺(tái)VSMFC 多文檔框架及GDI+ 來實(shí)現(xiàn)，算法庫基于開源OpenCV 來實(shí)現(xiàn)。圖像算法首先對(duì)圖片進(jìn)行預(yù)處理，然后通過Blob 分析從背景中分離出目標(biāo)，提取感興趣區(qū)域，只對(duì)感興趣部分進(jìn)行圖像變換處理，這樣大大提高處理速度。然后根據(jù)檢測(cè)端口類型，確定是用字符識(shí)別還是模板匹配方法對(duì)圖片進(jìn)行下一步處理。進(jìn)行字符識(shí)別方法處理后，需對(duì)識(shí)別出的字符與預(yù)先設(shè)定的字符進(jìn)行字符匹配；進(jìn)行模板匹配方法處理后，得到的模板匹配度需與預(yù)先設(shè)定的匹配度進(jìn)行大小比較。系統(tǒng)核心算法是圖像處理算法，主要功能包括圖像預(yù)處理、目標(biāo)定位、圖像分割、圖像識(shí)別和缺陷檢測(cè)。圖像處理流程如圖3 所示。

針對(duì)小目標(biāo)不易標(biāo)注、可利用特征少、現(xiàn)有數(shù)據(jù)集中小目標(biāo)占比少及樣本不均衡等小目標(biāo)高精度識(shí)別和定位難題，軟件能夠提供相應(yīng)高級(jí)算法解決。其中，基于線掃描的條碼識(shí)別算法，能夠解決工業(yè)現(xiàn)場(chǎng)中多類碼讀取、反光、流動(dòng)高速、缺損遮擋及超小碼識(shí)別等難題，達(dá)到檢測(cè)精度RGB 子像素級(jí)。

04

面向大型企業(yè)的視覺檢測(cè)解決方案

面向大型企業(yè)的視覺檢測(cè)解決方案如圖4 所示。平臺(tái)部署多選擇私有云或混合云的部署方式，在部署上建設(shè)融合中臺(tái)，通過與制造企業(yè)MES、ERP 等實(shí)現(xiàn)數(shù)據(jù)互通，解決訂單計(jì)劃和生產(chǎn)計(jì)劃信息的斷點(diǎn)問題，解決執(zhí)行管控和質(zhì)量監(jiān)控的斷點(diǎn)問題。融合5G 網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)設(shè)備現(xiàn)場(chǎng)數(shù)據(jù)、運(yùn)維檔案等工業(yè)數(shù)據(jù)實(shí)時(shí)傳輸，實(shí)現(xiàn)集中管理、實(shí)時(shí)感知和遠(yuǎn)程監(jiān)控。

基于工業(yè)互聯(lián)網(wǎng)平臺(tái)和微服務(wù)組件庫，進(jìn)行視覺檢測(cè)、設(shè)備監(jiān)控和生產(chǎn)管理等工業(yè)APP 開發(fā)和應(yīng)用，整合企業(yè)生產(chǎn)、辦公系統(tǒng)，集成生產(chǎn)全流程信息，進(jìn)行設(shè)備全生命周期管理，打造可視化智能管理模式。注重產(chǎn)線安全，建設(shè)設(shè)備接入系統(tǒng)，控制設(shè)備接入的安全。同時(shí)通過建設(shè)綜合管控平臺(tái)實(shí)現(xiàn)對(duì)數(shù)字化和智能化制造車間、工廠的協(xié)同管控。

本解決方案在深圳某企業(yè)液晶電視產(chǎn)線落地實(shí)施。部署智能檢測(cè)裝備，將檢測(cè)設(shè)備數(shù)據(jù)接入平臺(tái)，對(duì)接ERP、MES，實(shí)現(xiàn)檢測(cè)環(huán)節(jié)設(shè)備與智能產(chǎn)線的互聯(lián)互通，以及電視多功能、多種信號(hào)的智能檢測(cè)分析，提升液晶電視產(chǎn)線自動(dòng)化和智能化水平，檢測(cè)準(zhǔn)確率提高到99.0%以上，檢測(cè)效率提高200%，設(shè)備維護(hù)成本降低55%。

05

面向中小企業(yè)的輕量型視覺檢測(cè)解決方案

面向中小型企業(yè)的視覺檢測(cè)解決方案如圖5 所示，在建設(shè)和部署上受投入成本、生產(chǎn)規(guī)模等影響，只需要購買或租賃視覺檢測(cè)設(shè)備，同時(shí)在平臺(tái)多選擇公有云。公有云提供視覺檢測(cè)、設(shè)備監(jiān)控和生產(chǎn)管理等工業(yè)APP，企業(yè)不需要自建平臺(tái)，不需要部署服務(wù)器，只需要購買和訂閱相關(guān)的應(yīng)用服務(wù)即可完成應(yīng)用的下載和升級(jí)。

本解決方案在深圳某企業(yè)液晶面板生產(chǎn)線落地實(shí)施。部署模組檢測(cè)等全流程檢測(cè)設(shè)備、智能讀碼器和工業(yè)相機(jī)等邊緣設(shè)施，改造升級(jí)原有人工檢測(cè)環(huán)節(jié)，替換部分人工工位，上線視覺檢測(cè)應(yīng)用軟件，可視化展示檢測(cè)狀態(tài)，產(chǎn)線檢測(cè)情況一目了然，實(shí)現(xiàn)液晶面板快速、準(zhǔn)確、可靠且連續(xù)地全自動(dòng)檢測(cè)，大幅提高檢測(cè)精度和效率，整體誤判率小于1‰，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%，節(jié)省人力約80%。

06

結(jié)束語

系統(tǒng)開發(fā)出具有國際先進(jìn)水平的機(jī)器視覺算法庫，具有圖像預(yù)處理、視覺定位、幾何尺寸測(cè)量、產(chǎn)品缺陷檢測(cè)、OCR 識(shí)別和視覺跟蹤等功能。并在多個(gè)操作系統(tǒng)平臺(tái)之間實(shí)現(xiàn)無縫移植。用戶能夠快速高效地進(jìn)行二次開發(fā)。產(chǎn)線自動(dòng)化、智能化程度快速提升，生產(chǎn)檢測(cè)效率大幅提升。企業(yè)核心競(jìng)爭(zhēng)力提高。部署本解決方案后，能夠提高視覺檢測(cè)線的集中管理能力，實(shí)現(xiàn)制造、管理各系統(tǒng)和工業(yè)設(shè)備互聯(lián)互通，實(shí)現(xiàn)了檢測(cè)智能化、通信實(shí)時(shí)化、協(xié)同多方化和預(yù)案數(shù)字化，提高工廠智能化管理水平。根據(jù)客戶數(shù)據(jù)統(tǒng)計(jì)，檢測(cè)效率提高200%，設(shè)備維護(hù)成本降低約50%，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%。

編輯：黃飛

?