自亨利·福特首次引入裝配線系統(tǒng)以來，質(zhì)量控制一直是制造中的一個關(guān)鍵因素。其理念是，質(zhì)量可以通過大規(guī)模生產(chǎn)流水線來實現(xiàn)，只要每個人在生產(chǎn)過程中各盡其責。從那時起，我們顯然已經(jīng)走了很長一段路。傳統(tǒng)的裝配線仍然以許多形式存在，盡管機器已經(jīng)取代了許多手工過程。

然而，質(zhì)量控制仍然是個問題。而且成本高昂：許多公司的質(zhì)量相關(guān)成本高達銷售收入的15%-20%。在某些情況下，這些甚至可以達到總操作數(shù)的40%。歐盟委員會還估計，在某些行業(yè)，50%的生產(chǎn)可以由于缺陷而報廢;在復雜的生產(chǎn)線上，不良率可以達到驚人的90%。

對于制造商來說，最大的問題是，即使是生產(chǎn)過程或材料上的微小差異（肉眼看不見）也會使整個生產(chǎn)過程出現(xiàn)缺陷。當然，這些零件不會到達最終用戶由于廣泛的后期生產(chǎn)質(zhì)量檢查。然而，依賴當前的（大部分是手工的）缺陷檢查實踐意味著，在發(fā)現(xiàn)缺陷之前，可以花費大量的成本來制造數(shù)以千計的產(chǎn)品。

從手動到自動光學檢查

如前所述，手工檢查產(chǎn)品、部件和組件可能是一個繁瑣而昂貴的過程。首先，她需要對品質(zhì)管理檢查人員進行專業(yè)的培訓；其次，這種檢查可能導致生產(chǎn)/上市時間線出現(xiàn)瓶頸；第三，手工檢查不像產(chǎn)品那樣規(guī)模化——需要進一步培訓，以便有足夠的人員及時進行檢查。

由機器視覺驅(qū)動的自動光學檢查（AOI）取代了更麻煩、更容易出錯的手工檢查。新型AOI系統(tǒng)配備多攝像頭，從簡單的XGA（擴展圖形陣列）單元到高分辨率、數(shù)百萬像素的視頻傳感器。根據(jù)相機類型的不同，AOI系統(tǒng)既可以提供被檢物品的單色圖像，也可以提供被檢物品的彩色圖像，所捕獲的圖像可以跨越很廣的范圍，從僅有的數(shù)千個數(shù)據(jù)點到數(shù)百萬個數(shù)據(jù)點。

自動光學檢查的好處是多方面的：

這種系統(tǒng)能夠在制造過程中早期發(fā)現(xiàn)錯誤，并幫助確保產(chǎn)品在進入下一個制造步驟之前的提高質(zhì)量。

AOI幫助收集用于改進生產(chǎn)線的歷史和生產(chǎn)統(tǒng)計數(shù)據(jù)。

它將有助于減少材料浪費，維修和返工成本，以及增加制造勞動力的時間和費用。

AOI系統(tǒng)可編程使用不同的技術(shù)進行質(zhì)量保證和缺陷檢查，例如：

模板匹配：系統(tǒng)通過編程將獲得的項目圖像與完美制作的、無缺陷的項目圖像進行比較。系統(tǒng)首先了解產(chǎn)品某一部分的所有正確屬性，然后根據(jù)估計的標準評估產(chǎn)品的質(zhì)量。

模式匹配：系統(tǒng)存儲好程序集和壞程序集的信息，比較和比較實際產(chǎn)品和可用模式。

統(tǒng)計模式匹配：在這種情況下，系統(tǒng)存儲多個產(chǎn)品和多個類型的缺陷的結(jié)果，這樣它就能夠在不標記錯誤的情況下為可接受的小偏差開綠燈。

自動化光學檢測系統(tǒng)已經(jīng)成為質(zhì)量控制的一個重大突破，在整個生產(chǎn)過程中提供了更準確和快速的檢測。然而，它仍然不是自動化缺陷檢查的頂峰。

通過結(jié)合人工智能和深度學習，不僅可以對已經(jīng)生產(chǎn)的產(chǎn)品進行光學檢測圖像處理，還可以識別缺陷，隨著時間的推移，可以了解更多不同類型的缺陷（無需顯式編程）。最終，它的目標是進行預測分析，從而達到無錯誤的生產(chǎn)。

人工智能和深度學習如何能進一步改善視覺檢測過程

盡管自動化光學系統(tǒng)是一種強大的缺陷檢測方法，但它們?nèi)匀幌鄬^慢、不準確且維護成本昂貴。隨著工業(yè)4.0的快速轉(zhuǎn)型。在美國，大多數(shù)公司都不能再浪費時間和資源在長期設(shè)置上。例如，由于AOI很難隔離（例如，光照、曲率變化、顏色等）的許多變量，最終的裝配驗證程序極其困難。雖然統(tǒng)計模式匹配可以幫助容忍一些變化的項目的外觀，復雜的表面紋理和圖像質(zhì)量問題可以提出一些嚴重的檢查挑戰(zhàn)。

此外，機器視覺系統(tǒng)通常無法處理以下問題：

它們無法正確區(qū)分視覺相似部分之間的變化和偏差。

此外，他們還難以正確區(qū)分“功能”缺陷（幾乎總是導致拒收）和“外觀”缺陷（部件整體外觀的一些輕微問題，制造商認為這些問題并不重要）。

計算機視覺和基于深度學習的系統(tǒng)已經(jīng)成為AOI系統(tǒng)的有力替代品，解決了上述缺點。

什么是計算機視覺？

計算機視覺是人工智能和機器學習的一個子領(lǐng)域，它基于特定的算法和其他方法，使計算機能夠理解數(shù)字圖像的內(nèi)容。簡而言之，計算機視覺軟件試圖再現(xiàn)人類視覺的能力。

大多數(shù)計算機視覺工具的目標是解決兩個特定的任務：

對象分類：模型是在特定對象（例如缺陷圖像）的數(shù)據(jù)集上進行訓練的，然后它將新對象分類為屬于您的一個或多個訓練類別。

對象識別：對模型進行訓練，以識別對象的特定實例。例如，當它確定圖像中的兩個組件時，可以將其中一個標記為電路板，另一個標記為微控制器。

以下是計算機視覺的工作原理：

在本例中，解釋設(shè)備（計算機+軟件）是執(zhí)行大部分工作的元素。模型在機器學習和深度學習技術(shù)的幫助下訓練，將傳入的視覺數(shù)據(jù)分解為像素，然后根據(jù)各種參數(shù)對其進行評估，并與數(shù)據(jù)集中的其他圖像進行比較，找到最佳的“匹配”，并對其進行有效的預測。

在這一點上，回顧一下什么是深度學習是很重要的。

“深度學習是機器學習的一個分支，強調(diào)通過提供一個例子來教計算機像人類一樣學習。”

與機器學習不同的是，深度學習模型不需要不斷地用明確的指令編程來分析數(shù)據(jù)。通常，這些模型只提供了一個包含大量相關(guān)信息的數(shù)據(jù)集和一些初始參數(shù)，以便對數(shù)據(jù)進行操作。他們可以攪亂這些數(shù)據(jù)，并自學預測哪個輸出（例如，分類）準確與否。

神經(jīng)網(wǎng)絡(luò)和深度學習模型可以幫助克服當前AOI系統(tǒng)的局限性。

基于深度學習的缺陷檢查在評估復雜表面和檢測諸如劃痕或凹痕等外觀缺陷時尤其有效。此外，這些系統(tǒng)能夠更精確地檢查或根據(jù)某些項目的定義特征對其進行分類——即使這些特征以微妙但可接受的方式發(fā)生變化。

此外，當分析難以捕獲的視覺元素時，它們更具有適應性。Infopulse團隊最近與一家德國制造商共同開發(fā)的一個項目就是一個很好的例子。他們成功推出了一款物聯(lián)網(wǎng)設(shè)備，能夠捕捉和識別老式儀表上的數(shù)字，盡管7段LCD顯示器存在圖像缺陷，如凝視、白點、物體或人的反射等。為此，我們的團隊不得不構(gòu)建一個卷積神經(jīng)網(wǎng)絡(luò)（CNN），能夠在不到2秒的時間內(nèi)捕獲并處理圖像，為客戶節(jié)省了大量手工數(shù)據(jù)采集的操作費用。類似的計算機視覺解決方案也可以用來分析不同類型的視覺缺陷。

計算機視覺算法和應用可以通過深度學習或機器學習來實現(xiàn)。后者通常更適合于執(zhí)行與測量、測量和執(zhí)行精確對準相關(guān)的評估。然而，深度學習系統(tǒng)可以極大地補充基于ml的系統(tǒng)，因為它允許將以前需要特定人類專業(yè)知識的視覺和聲音檢查計算機化。這項技術(shù)拓寬了計算機和照相機/傳感器能夠精確檢測的范圍。

基于深度學習的智能缺陷檢測應用

考慮涉及高價值制造業(yè)的行業(yè)的重要性——航空航天、汽車、建筑、醫(yī)療器械。零部件上的缺陷可以被證明是致命的。

同時，這些行業(yè)（就像許多其他行業(yè)一樣）面臨著更快“進入市場”的壓力，如果它們要保持競爭力并滿足客戶/客戶的生產(chǎn)期限的話。計算機視覺和深度學習可以證明是應對這些壓力的方法，同時還能確保零部件沒有缺陷。

以下是一些由不同行業(yè)的制造商執(zhí)行的概念部署和技術(shù)證明的例子：

1.航空業(yè)

這不僅是一個滿足對飛機所有零部件生產(chǎn)要求和規(guī)格的問題，而且是一個在事后發(fā)現(xiàn)缺陷時代價高昂的延遲問題。

據(jù)波音公司稱，在2.6萬億美元的航空服務市場中，70%的份額用于質(zhì)量和維護?？紤]到僅2016年美國的機械問題就估計耗資超過5億美元，這應該不足為奇。此外，航班延誤（許多乘客滯留）約有三分之一與維修有關(guān)。

視覺檢測技術(shù)與DL相結(jié)合，可以將組件與規(guī)格進行比較，發(fā)現(xiàn)生產(chǎn)過程中的缺陷。除此之外，制造商還應滿足定期維護要求，以確保乘客安全，并遵循政府的指導方針。這些技術(shù)可以識別以下缺陷和問題：

腐蝕-計算機視覺系統(tǒng)可以在更短的時間內(nèi)對各個部件進行檢查，并返回更徹底的檢查結(jié)果。

發(fā)動機內(nèi)部部件的磨損-對發(fā)動機內(nèi)部部件進行遠程目視檢查，以確保有效和安全的運行。

鋁板厚度（通過三維測量）-厚度計可以提供高精度，無損讀數(shù)對大型和復雜的鋁板;并將收集到的數(shù)據(jù)上傳到您的系統(tǒng)進行進一步的分析。

自動車輪檢查-接收有關(guān)飛機車輪疲勞裂紋的即時數(shù)據(jù)。通過使用由計算機視覺驅(qū)動的系統(tǒng)，操作人員不必浪費時間在冗長的檢查上，可以專注于手頭的其他工作。

葉片在制造或修理后的檢查-計算機射線照相和數(shù)字射線照相可用于檢查葉片的關(guān)鍵缺陷。因此，無需使用數(shù)字格式的化學品，就可以快速獲得圖像。后者可以進一步進行失效分析，并帶來精確的三維測量。

2.汽車行業(yè)

安全問題讓OEM和一級供應商夜不能寐。這是乘客的風險/死亡問題，也是公司聲譽的問題。最近，豐田同意支付13億美元的和解金，原因是一項缺陷導致汽車加速，即使司機試圖減速。美國有6人死于這種缺陷。

利用視覺檢查、人工智能和深度學習的認知能力，原始設(shè)備制造商可以更準確地分析和識別質(zhì)量問題，甚至在問題發(fā)生之前就解決它們。隨著時間的推移，當他們熟悉更多類型的缺陷時，這些可視化的洞察和分析可以確定缺陷的嚴重程度。

一家領(lǐng)先的汽車制造商采用智能光學檢測解決方案來檢測金屬表面的劃痕和凹痕缺陷。對于人類檢查員來說，在光亮的表面上發(fā)現(xiàn)這樣的缺陷是極其困難的。傳統(tǒng)的機器檢查也沒有什么幫助，因為系統(tǒng)不能捕獲不可預測的凹痕或劃痕缺陷。另一個問題是，該系統(tǒng)必須由人類員工進行培訓，提供有缺陷部件的圖像，教會它分辨哪些部件是可以接受的，哪些部件是不可接受的。然而，公司一開始就有一個相當?shù)偷娜毕萋?，它花費了他們大量的時間和精力來收集一個小的可視化數(shù)據(jù)集來表示足夠的缺陷變化。最終，他們選擇了一個更“智能”的系統(tǒng)，并很快意識到采用后的好處如下：

降低66%的檢驗成本

假陽性率降低33%

假陰性率維持在1%以下

3.計算機設(shè)備制造業(yè)

自動光學檢測（AOI）曾經(jīng)是制造業(yè)計算機設(shè)備的自然選擇，特別是由于對小型電路板設(shè)計的需求正在增長，而且在某些情況下，缺陷可能被證明是高度有害的。

除此之外，AOI還可以檢測到：

區(qū)域缺陷

組件偏移

焊料問題

外來材料

高度和體積缺陷

短路

安裝錯誤

當為AOI檢查設(shè)置規(guī)格和方差裕度時，它們要比人工檢查精確得多。然而，AOI系統(tǒng)仍然無法檢測到設(shè)備的“外觀”問題。

這就是為什么富士通實驗室一直在率先為電子行業(yè)開發(fā)支持人工智能的識別系統(tǒng)，并在質(zhì)量、成本和交付方面報告了大量進展。通過遺傳編程，該公司的圖像識別系統(tǒng)實際上生成了檢測代碼，能夠產(chǎn)生幾乎100%的識別率。將該技術(shù)應用于生產(chǎn)現(xiàn)場，開發(fā)時間減少80%左右，識別率達到97%。

然而，不僅僅是高價值的制造可以使用自動化的視覺檢查和人工智能。考慮一下這兩個來自以消費者為基礎(chǔ)的行業(yè)的例子。

4.紡織行業(yè)

在某個時刻，我們所有人都買了衣服，發(fā)現(xiàn)里面貼著“被（某個數(shù)字）檢查過”的小標簽。這意味著人工檢查產(chǎn)品在縫紉、織造等方面的缺陷，并確定其符合公司的質(zhì)量規(guī)格。顯然，這是一個代價高昂且容易出錯的過程。接受有缺陷產(chǎn)品的客戶必須經(jīng)過退貨/換貨程序，這是公司不喜歡的。

自動視覺檢查的實現(xiàn)，以及DL功能，現(xiàn)在可以檢測紋理、編織、縫合，甚至顏色匹配的問題。當發(fā)現(xiàn)缺陷時，不僅可以將紡織品或產(chǎn)品從生產(chǎn)線上移除，而且還可以發(fā)現(xiàn)缺陷的根源，并在未來進行修復和預防。

同時，可以對這些系統(tǒng)進行微調(diào)，以接受更大范圍的容錯能力。例如，Datacolor的人工智能系統(tǒng)可以考慮過去由人工操作人員進行的視覺檢查的歷史數(shù)據(jù)，從而創(chuàng)建與視覺檢查樣本更接近的自定義公差。

紡織業(yè)最新的人工智能用例之一是創(chuàng)建一個檢測和測量織物褶皺的系統(tǒng)。目前織物起皺性能的測量大多是手工進行的，比較繁瑣。計算機視覺驅(qū)動的皺紋測量可以幫助制造商降低成本和時間所需的這一過程。

5.玻璃行業(yè)

這個行業(yè)經(jīng)常面臨的問題之一是玻璃在生產(chǎn)過程中的缺陷——切屑、劃痕等。通常，當前的檢測方法會產(chǎn)生“假陽性”，例如水滴被識別為切屑。

通過自定義計算機視覺和人工智能模型的實現(xiàn)，可以消除這些類型的錯誤。在一個案例中，正確的缺陷識別為一家大型玻璃制造商在每條生產(chǎn)線上平均節(jié)省了3.6萬美元，總計每年節(jié)省近100萬美元。

結(jié)論

質(zhì)量控制仍然是一個公司保持制造標準、客戶滿意度以及最終聲譽和利潤的主要因素。計算機視覺和深度學習在幾乎每個工業(yè)部門都具有巨大的質(zhì)量控制潛力。如此之多，以至于大多數(shù)高管計劃在未來3年內(nèi)將認知計算在運營優(yōu)化方面的應用增加一倍。