今天講一下機器視覺和深度學習如何改變制造業(yè)中自動檢查的領域。

人工智能最終將改變游戲規(guī)則，幾乎在每個領域中都有無數(shù)的應用程序。現(xiàn)在，它正在進入生產(chǎn)和制造領域，從而可以利用深度學習的力量，并在此過程中提供更快，更便宜，更優(yōu)越的自動化。本文旨在簡要介紹自動視覺評估以及深度學習方法如何節(jié)省大量時間和精力。

什么是外觀檢查？

它涉及對生產(chǎn)線上的產(chǎn)品進行分析以達到質(zhì)量控制的目的。目視檢查還可以用于生產(chǎn)設施中各種設備（例如儲罐，壓力容器，管道和其他設備）的內(nèi)部和外部評估。

這是一個定期進行的過程，例如每天。反復表明，目視檢查會在生產(chǎn)過程中發(fā)現(xiàn)大多數(shù)隱藏的缺陷。

什么時候需要目視檢查？

目視檢查在制造中用于質(zhì)量或缺陷評估時，但在非生產(chǎn)環(huán)境中，可以用來確定是否存在指示“目標”的特征并防止?jié)撛诘呢撁嬗绊憽?/p>

在許多需要目視檢查的行業(yè)中，有一些行業(yè)認為視力檢查具有很高的后果，并且是高度優(yōu)先的活動，因為通過視力檢查可能產(chǎn)生的任何錯誤（例如傷害，死亡，損失）的潛在成本很高昂貴的設備，報廢的物品，返工或客戶流失。優(yōu)先檢查視力的領域包括核武器，核電，機場行李檢查，飛機維修，食品工業(yè)，醫(yī)藥和制藥。

使用外觀檢查的行業(yè)細分

為什么不只堅持手工檢查呢？

盡管舊的可能是黃金，但人們可能會爭辯說，使用舊式的檢查方法有一些限制。

手動檢查需要一個人在場，一名檢查員對所涉實體進行評估并根據(jù)一些培訓或先前的知識對它進行判斷。除了訓練有素的檢查員的肉眼之外，不需要任何設備。

根據(jù)研究，目視檢查錯誤的范圍通常為20％至30％（Drury＆Fox，1975）。一些缺陷可以歸因于人為錯誤，而其他缺陷則歸因于空間的限制。某些錯誤可以通過培訓和實踐來減少，但不能完全消除。

檢驗過程（來源：視覺檢查在21世紀的作用（See＆Drury，2017）

影響檢驗績效的因素

制造中的外觀檢查錯誤采取以下兩種形式之一：遺漏現(xiàn)有缺陷或錯誤地標識不存在的缺陷（誤報）。與誤報相比，未命中的發(fā)生率要高得多（請參閱2012）。遺漏會導致質(zhì)量下降，而誤報會導致不必要的生產(chǎn)成本和整體浪費。

手動檢查的局限性

此外，人工檢查還受到其他限制，例如這些：

仍然存在這樣一個事實，即人眼雖然比任何機械攝像機都具有更高的技術(shù)先進性，但也很容易被愚弄。考慮一下與外觀檢查相關(guān)的一些弱點：

一種視覺錯覺，黑點似乎在白線的交點處出現(xiàn)并消失。

單憑人眼是不可靠的-像左圖這樣的錯覺可以證明人眼的可靠性如何。這并不一定意味著手動檢查是完全沒有用的，但是完全依靠它是不明智的。

平行線似乎在傾斜。

視力不精確-人眼無法進行精確的測量，尤其是在很小的規(guī)模上。即使在比較兩個相似的對象時，眼睛可能也不會注意到一個對象比另一個對象稍小或更大。該概念也適用于特性，例如表面粗糙度，尺寸和任何其他需要測量的因素。

勞動力成本 -由于任命了（多名）訓練有素的人員，人工檢查仍然是一項昂貴的工作。從成本角度來看，人工檢查操作員的年薪可能在50,000至60,000美元之間。

資料來源：Glassdoor

新時代的替代

自動化的外觀檢查可以通過使外觀檢查的整個過程獨立于任何人工干預來克服這些問題。使用自動化系統(tǒng)通常會超過手動檢查的標準。

資料來源：Digital Twins

使用深度學習和機器視覺，不僅可以而且很容易實現(xiàn)構(gòu)建智能系統(tǒng)，該系統(tǒng)執(zhí)行徹底的質(zhì)量檢查，直到最精細的細節(jié)。我們不需要走路說話的android機器人來自動進行檢查等生產(chǎn)。需要最少的物理設備來自動化外觀檢查過程。相反，由于使用了深度學習，該過程變得更加智能。該方法通常涉及諸如圖像采集，預處理，特征提取，分類等步驟。這也被分類為廣義圖像識別。

什么是深度學習？它是什么因素？

深度學習技術(shù)使用包含數(shù)千層的神經(jīng)網(wǎng)絡，這些神經(jīng)網(wǎng)絡擅長模仿人類智能，以區(qū)分異常，零件和特征，同時容忍復雜模式下的自然變化。通過這種方式，深度學習將人類視覺檢查的適應性與計算機系統(tǒng)的速度和魯棒性融合在一起。

深度學習教機器如何做對人類自然的事情：以身作則。新的低成本硬件使部署模擬人腦神經(jīng)元網(wǎng)絡的多層“深度”神經(jīng)網(wǎng)絡變得切實可行。這使制造技術(shù)具有驚人的新功能，可以識別圖像，區(qū)分趨勢以及做出明智的預測和決策。深度神經(jīng)網(wǎng)絡從初始訓練期間開發(fā)的核心邏輯開始，可以隨著新圖像，語音和文本的出現(xiàn)而不斷完善其性能。

深度學習過程的逐層分解（Source）

那么什么是機器視覺？

機器視覺是用于提供基于圖像的自動檢查的技術(shù)和方法。它是一個使用視覺計算技術(shù)的系統(tǒng)，以機械方式“看到”生產(chǎn)線上一個接一個的活動。自動檢查系統(tǒng)的組件通常包括照明，攝像機或其他圖像獲取設備，處理器，軟件和輸出設備。

在結(jié)構(gòu)化場景的定量和定性測量中，機器視覺的速度，準確性和可重復性優(yōu)于人類視覺。機器視覺系統(tǒng)可以輕松評估太小而無法被人眼看到的物體細節(jié)，并以更高的可靠性和更少的誤差對其進行檢查。在生產(chǎn)線上，機器視覺系統(tǒng)可以每分鐘可靠且重復地檢查數(shù)百或數(shù)千個零件，遠遠超出了人類的檢查能力。

光學字符識別（左）和缺陷檢測（右）是AVI中機器視覺的常見方面

傳統(tǒng)的自動化系統(tǒng)在最小化成本和提高效率的同時，還沒有人類所具有的靈活性或容忍度。手工檢查員能夠區(qū)分細微的，外觀上的和功能上的缺陷，并且可以解釋可能影響感知質(zhì)量的零件外觀變化。盡管人們處理信息的速度受到限制，但是人類具有獨特的概念化和概括能力。人類擅長通過示例學習，并且可以區(qū)分各部分之間的輕微異常真正重要的部分。這就引出了一個問題，即在許多情況下，機器視覺如何才能為復雜，無結(jié)構(gòu)的場景（尤其是那些具有細微缺陷和無法預測的缺陷的場景）的定性解釋做出最佳選擇。

為什么機器視覺和深度學習可以在這種情況下攜手并進

盡管機器視覺系統(tǒng)可以承受因縮放，旋轉(zhuǎn)和姿勢變形而導致的零件外觀變化，但復雜的表面紋理和圖像質(zhì)量問題仍然帶來了嚴峻的檢查挑戰(zhàn)。單憑機器視覺系統(tǒng)就無法評估視覺上非常相似的圖像之間存在巨大差異和偏差的可能性。

資料來源：康耐視

基于深度學習的系統(tǒng)非常適合本質(zhì)上更復雜的視覺檢查：以細微但可容忍的方式變化的模式。深度學習擅長解決復雜的表面和外觀缺陷，例如在車削，刷過或發(fā)亮的零件上的劃痕和凹痕。無論是用來定位，閱讀，檢查或分類感興趣的特征，基于深度學習的圖像分析在概念化和泛化零件外觀的能力上都與傳統(tǒng)的機器視覺有所不同。

使用深度學習可以有效應對的挑戰(zhàn)性情況（來源：Cognex）

這還不是全部

以下是在制造時選擇自動外觀檢查的更多原因：

更好的感知

機器視覺具有非常高的光學分辨率，這取決于用于圖像采集的技術(shù)和設備。與人的視覺相比，機器視覺具有“更廣泛”的視覺感知范圍，并且能夠在該范圍的紫外線，X射線和紅外區(qū)域進行觀察。

更快—觀察和結(jié)論都非常快，其速度以FLOPs為單位來衡量計算機的速度，并且還可以進行精確的計算。

該系統(tǒng)具有與更高處理速度相關(guān)聯(lián)的所有功能以及潛在的無限存儲容量。

可靠—按照說明，毫無疑問，系統(tǒng)無偏見且可根據(jù)需要進行編程。

準確—自動化系統(tǒng)能夠以標準化方式測量絕對尺寸。

不依賴于環(huán)境—這樣的系統(tǒng)可以部署在危險和危險的條件下，或者可能被人類冒險的環(huán)境中。

如何開始自動外觀檢查

在需求方面，AVI并不需要太多的物理設備。開始自動化外觀檢查所需的設備可以分為硬件和軟件資源。

硬件

這些資源由主要設備（例如照相機，光度計，色度計）和可選的輔助設備（例如分級或分選所需的輔助設備）組成，這取決于工業(yè)和自動化流程。

我們本質(zhì)上是在拍照并分析圖像，您只需一臺照相機！

根據(jù)使用設備的行業(yè)，實際可以將物理設備分為三個子系統(tǒng)。

進紙系統(tǒng)?—均勻地散布物品并以恒定速度移動它們，以便光學系統(tǒng)可以捕獲單個物品的框架。

光學系統(tǒng)?—由專門調(diào)整的光源和傳感器（通常是數(shù)碼相機）組成。光學系統(tǒng)捕獲被檢物品的圖像，以便軟件可以處理和分析它們。

分離系統(tǒng)—清除有缺陷的項目和/或等級，并根據(jù)產(chǎn)品的質(zhì)量將其分為幾類。

自動外觀檢查的處理流程

軟件

AVI的主要要求是軟件層，其核心是計算機視覺技術(shù)，該技術(shù)可幫助檢查產(chǎn)品或任何感興趣的對象是否存在缺陷以及某些部件是否存在。自動化視覺檢查系統(tǒng)的軟件部分需要高級圖像分析算法和繁重的編程。這些算法處理圖像以調(diào)整其質(zhì)量，找到有趣的點和區(qū)域，最后根據(jù)這些區(qū)域中發(fā)現(xiàn)的特征進行決策。

深度學習技術(shù)使自動視覺檢查系統(tǒng)的性能優(yōu)于人類或傳統(tǒng)機器視覺過程

由于深度學習模型在解決檢查問題方面取得了巨大的成功，因此已被證明是該軟件不可或缺的一部分?？梢栽诼菟ǖ臄?shù)千個圖像上對它們進行訓練，深度學習算法會逐漸學會檢測與螺栓“標準”外觀的任何有意義的偏差。根據(jù)您的用例，可以使用一個或多個不同任務（例如對象檢測，語義分割和圖像分類）來解決您的檢查問題。它還可能涉及OCR模型以讀取序列號或條形碼。

為了維持高圖像處理速度，通常必須在高資源計算機上部署經(jīng)過訓練的深度學習模型。例如，必須有GPU才能實時獲取結(jié)果。

在最終的檢查模型準確性和性能中，有幾個因素起作用—照明條件，要檢查的產(chǎn)品數(shù)量，要查找的缺陷類型，缺陷/物體的大小，圖像的分辨率等。因此，一個自動化的外觀檢查系統(tǒng)需要一支由熟練的研發(fā)工程師組成的團隊，他們能夠構(gòu)建這種復雜的系統(tǒng)。

每個制造單位都有不同且通常唯一的數(shù)據(jù)（圖像），這可能是由于不同的相機類型，室內(nèi)照明或產(chǎn)品本身。因此，AVI的軟件部分始終是為特定檢查需求量身定制的定制解決方案。

責任編輯：lq