導(dǎo)讀

PCB等電子產(chǎn)品的精密生產(chǎn)制造過(guò)程中，往往需要將缺陷問(wèn)題100%高精度暴露。友思特 PCB 多類型缺陷檢測(cè)系統(tǒng)，借由Neuro-T深度學(xué)習(xí)模型自動(dòng)排查全部微小缺陷，為工業(yè) PCB 生產(chǎn)制造提供了先進(jìn)可靠的質(zhì)量保障。

在現(xiàn)代制造業(yè)中，尤其是在高精度要求的電子制造領(lǐng)域，諸如印刷電路板（PCB）生產(chǎn)的過(guò)程中，高效且準(zhǔn)確地識(shí)別和分類多種類型的缺陷至關(guān)重要。

針對(duì)缺陷檢測(cè)需求，常見(jiàn)的解決方案有兩種：（1）基于目標(biāo)正常圖像數(shù)據(jù)的模板匹配；（2）訓(xùn)練深度學(xué)習(xí)模型檢測(cè)目標(biāo)缺陷。

第一種方式雖然在特定場(chǎng)景下有效，但面對(duì)復(fù)雜和多變的實(shí)際生產(chǎn)條件，這些方法往往受限于它們的靈活性和魯棒性。第二種方式不僅能夠處理傳統(tǒng)技術(shù)難以解決的復(fù)雜缺陷類型，還能通過(guò)不斷的學(xué)習(xí)優(yōu)化，提高檢測(cè)的準(zhǔn)確性和效率，具有更強(qiáng)的魯棒性和泛化能力。

友思特技術(shù)團(tuán)隊(duì)通過(guò)Neuro-T 的 Segmentation（實(shí)例分割）模型，搭建了PCB 多類型缺陷檢測(cè)系統(tǒng)，為工業(yè) PCB 的生產(chǎn)制造提供了可靠的質(zhì)量保障。

友思特Neuro-T支持的深度學(xué)習(xí)模型類型

友思特 Neuro-T 支持八種不同的深度學(xué)習(xí)模型，其中六類模型適用于缺陷檢測(cè)領(lǐng)域。具體而言：

有監(jiān)督學(xué)習(xí)模型

分類：簡(jiǎn)單分類目標(biāo)缺陷的有無(wú)，精度高

實(shí)例分割：準(zhǔn)確識(shí)別并分割目標(biāo)的缺陷區(qū)域，精度最高，適合占像素點(diǎn)少（低至10像素點(diǎn)）、形狀較簡(jiǎn)單的缺陷

目標(biāo)檢測(cè)：識(shí)別和定位目標(biāo)的缺陷區(qū)域，精度高，適合占像素點(diǎn)稍多、形狀較復(fù)雜的缺陷

GAN：人工生成目標(biāo)的缺陷圖像，彌補(bǔ)缺陷數(shù)據(jù)量不足的問(wèn)題

無(wú)監(jiān)督學(xué)習(xí)模型

異常分類：分類目標(biāo)缺陷的有無(wú)，精度高于分類模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場(chǎng)景

實(shí)例分割：準(zhǔn)確識(shí)別并分割異常目標(biāo)的缺陷區(qū)域，精度略低于實(shí)例分割模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場(chǎng)景

PCB的六種常見(jiàn)缺陷類型

①missing_hole（焊盤缺失）

②mouse_bite（線路缺口）

③open_circuit（斷路）

④Short（短路）

⑤Spur（毛刺）

⑥Spurious（偽銅）

PCB 多類型缺陷檢測(cè)系統(tǒng)

友思特 PCB 多類型缺陷檢測(cè)系統(tǒng)主要由Neuro-R、IDS相機(jī) 和 VST-2D 軟件組成。PCB缺陷檢測(cè)模型使用 Neuro-T 中的實(shí)例分割模型，通過(guò)對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注、訓(xùn)練、微調(diào)實(shí)現(xiàn)，而后獨(dú)立于 Neuro-T 脫機(jī)運(yùn)行，通過(guò) Neuro-R 實(shí)現(xiàn)在主機(jī)上運(yùn)行推理。VST-2D 軟件是友思特自研視覺(jué)軟件，對(duì)接 IDS 相機(jī)的實(shí)時(shí)圖像流，獲取 PCB 的實(shí)時(shí)圖像數(shù)據(jù)，結(jié)合 Neuro-R 調(diào)用 Neuro-T 訓(xùn)練的模型，實(shí)現(xiàn)缺陷區(qū)域的識(shí)別、缺陷類型確定以及定位分割并將結(jié)果呈現(xiàn)于界面。

系統(tǒng)組成圖

系統(tǒng)檢測(cè)效果圖

友思特 Neuro-T 實(shí)例分割模型訓(xùn)練 PCB 缺陷檢測(cè)模型具體操作步驟

1.1 新建項(xiàng)目

1.2 新建數(shù)據(jù)集

1.3 導(dǎo)入圖像數(shù)據(jù)

2.1 創(chuàng)建標(biāo)簽集

2.2 選擇模型類型(Segmentation)

3.1 創(chuàng)建缺陷類別

3.2 選擇標(biāo)注工具

3.3 開始數(shù)據(jù)標(biāo)注

數(shù)據(jù)量較少的情況下，可以手動(dòng)一一標(biāo)注；數(shù)據(jù)量較多時(shí)，一一標(biāo)注耗時(shí)耗力，可以使用友思特 Neuro-T 自動(dòng)標(biāo)注功能來(lái)完成標(biāo)注工作

項(xiàng)目共693張圖像，標(biāo)注139張，剩余使用自動(dòng)標(biāo)注功能完成

自動(dòng)標(biāo)注功能的具體步驟為：

標(biāo)注部分?jǐn)?shù)據(jù)

劃分訓(xùn)練集和測(cè)試集

訓(xùn)練標(biāo)注模型

加載標(biāo)注模型

選中圖像自動(dòng)標(biāo)注

標(biāo)注完成的結(jié)果圖如下所示：

4.1 劃分訓(xùn)練集和測(cè)試集

4.2訓(xùn)練模型

4.3 查看模型結(jié)果

模型評(píng)估結(jié)果解讀：

IoU (Intersection over Union) 交并比，對(duì)于特定的一個(gè)實(shí)例，指模型預(yù)測(cè)區(qū)域與真實(shí)區(qū)域的交集比上它們的并集：

式中P為模型預(yù)測(cè)區(qū)域，R為真實(shí)區(qū)域，單位為像素點(diǎn)個(gè)數(shù)。

對(duì)于深度學(xué)習(xí)模型，IoU≥50%才算成功被檢測(cè)出來(lái)且效果較好。

準(zhǔn)確率 (Accuracy)，衡量模型在所有類別上整體預(yù)測(cè)的準(zhǔn)確程度：

精確率(Precision)，衡量模型將數(shù)據(jù)預(yù)測(cè)為缺陷的精準(zhǔn)程度：

召回率(Recall)，衡量模型成功找到缺陷的能力：

精確率和召回率的調(diào)和平均值(F1 Score)，綜合考慮精確率和召回率兩個(gè)指標(biāo)：

式中：

TP為正確判斷為A類缺陷（真實(shí)也是A類缺陷）的數(shù)量

TN為錯(cuò)誤判斷為A類缺陷（真實(shí)為非A類缺陷）的數(shù)量

FP為正確判斷為非A類缺陷（真實(shí)為非A類缺陷）的數(shù)量

FN為錯(cuò)誤判斷為非A類缺陷（真實(shí)為A類缺陷）的數(shù)量。

本應(yīng)用案例有六類缺陷，對(duì)每類缺陷的指標(biāo)取均值。

模型檢測(cè)效果圖

黑色字樣+黃色框：原始標(biāo)注結(jié)果

紫色字樣+陰影框：預(yù)測(cè)結(jié)果

友思特缺陷檢測(cè)系統(tǒng)套裝

Neuro-R

Neuro-R 可實(shí)現(xiàn)無(wú)縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語(yǔ)言的運(yùn)行時(shí) API，其獨(dú)特性在于——不僅僅是簡(jiǎn)單地傳遞模型推斷結(jié)果，還可以利用各種 API 以創(chuàng)造性的方式從多個(gè)模型生成結(jié)果，Neuro-R 是友思特缺陷檢測(cè)系統(tǒng)套裝的重要組成部分。

Neuro-T

Neuro-T 使用簡(jiǎn)單的圖形用戶界面，通過(guò)自動(dòng)優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來(lái)創(chuàng)建出性能最佳的模型，無(wú)需任何深度學(xué)習(xí)經(jīng)驗(yàn)，即可運(yùn)行自己的深度學(xué)習(xí)項(xiàng)目。在系統(tǒng)中，Neuro-T 是用于訓(xùn)練模型的核心工具。

2D 工業(yè)相機(jī)

友思特 2D 工業(yè)相機(jī)結(jié)合了支持USB3視覺(jué)標(biāo)準(zhǔn)的高質(zhì)量全局快門傳感器技術(shù)和具有成本效益的uEye XCP相機(jī)平臺(tái)，是流行的USB2接口的uEye LE相機(jī)系列的最佳、高性能和長(zhǎng)期替代品。借助友思特自研視覺(jué)軟件 VST-2D，對(duì)接IDS相機(jī)的實(shí)時(shí)圖像流，即可獲取PCB的實(shí)時(shí)圖像數(shù)據(jù)。

審核編輯 黃宇