導(dǎo)讀

高精度IC制造工藝需要對產(chǎn)品進(jìn)行全方位檢測以保證工藝質(zhì)量過關(guān)。友思特 Neuro-T 通過調(diào)用平臺的流程圖功能，搭建多類深度學(xué)習(xí)模型，形成了一站式的視覺檢測解決方案。本文將為您詳述方案搭建過程與實際應(yīng)用效果。

在當(dāng)今集成電路（IC）制造領(lǐng)域，特別是對于高精度要求的工藝流程，如半導(dǎo)體芯片生產(chǎn)，快速準(zhǔn)確地檢測出缺陷至關(guān)重要，也有通過OCR識別芯片印刷字符從而明確缺陷芯片型號的需求。針對IC多類別視覺檢測的需求，常規(guī)方式需要一一部署視覺檢測模型，并編程實現(xiàn)多個模型的調(diào)度和交互邏輯。

友思特 Neuro-T 機器視覺軟件，通過平臺具備的流程圖（Flowchart）功能，鏈接多個不同的深度學(xué)習(xí)模型，一站式解決同一目標(biāo)多個視覺檢測需求，并可以通過推理中心（Inference Center），模擬單/多模型部署的實際檢測效果。

友思特 Neuro-T 支持的深度學(xué)習(xí)模型類型

監(jiān)督學(xué)習(xí)
分類		將圖像分類成不同類別或OK/NG組別 簡單分類目標(biāo)缺陷的有無，精度高
實例分割		分析圖像中檢測到的物體形狀并圈選 準(zhǔn)確識別并分割目標(biāo)的缺陷區(qū)域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的目標(biāo)
目標(biāo)檢測		檢測圖像中物體的類別、數(shù)量并定位 識別和定位目標(biāo)的缺陷區(qū)域，精度高，適合占像素點稍多、形狀較復(fù)雜的目標(biāo)
OCR字符識別		檢測和識別圖像中的字母、數(shù)字或符號 預(yù)置預(yù)訓(xùn)練模型，批量快速進(jìn)行數(shù)據(jù)標(biāo)注
旋轉(zhuǎn)		旋轉(zhuǎn)圖像至合適的方位 服務(wù)于其他類型的模型，提高其他模型的識別準(zhǔn)確率
GAN 對抗生成網(wǎng)絡(luò)		學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷 人工生成目標(biāo)的缺陷圖像，彌補缺陷數(shù)據(jù)量不足的問題
無監(jiān)督學(xué)習(xí)
異常 分類		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測異常圖像進(jìn)行分類 分類目標(biāo)缺陷的有無，精度高于分類模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景
異常 分割		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測異常圖像并定位缺陷位置 準(zhǔn)確識別并分割異常目標(biāo)的缺陷區(qū)域，精度略低于實例分割模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景

友思特 Neuro-T 流程圖

友思特Neuro-T的流程圖功能，在視覺項目的圖像標(biāo)注和訓(xùn)練的同時，提供直觀有效的UI組件，輔助項目流程的設(shè)計和梳理。通過鏈接多個不同的深度學(xué)習(xí)模型，平臺不僅可以對圖像中需要檢測的目標(biāo)進(jìn)行高效的聚焦和高精度的檢測，還可以同時執(zhí)行不同的視覺任務(wù)，滿足用戶多樣化的視覺檢測需求。

以上圖為例，初始圖像內(nèi)容包括平板以及三塊需要檢測的PCB對象，需要檢測三塊PCB的缺陷類型。該視覺檢測項目通過鏈接三個深度學(xué)習(xí)模型完成：

旋轉(zhuǎn)模型：檢測對象進(jìn)入相機拍攝區(qū)域并不一定是同一姿態(tài)，通過旋轉(zhuǎn)模型自動將圖像旋轉(zhuǎn)至合適的朝向，以利于后面的圖像檢測分割以及分類檢測。

目標(biāo)檢測模型：從圖像中檢測出需要檢測的PCB對象，并按實際檢測到的方框尺寸（也可以統(tǒng)一尺寸裁剪）來分割圖像，得到裁剪出來的三個PCB對象的圖像。

分類模型：對分割后的三個PCB對象的圖像分別通過目標(biāo)分類模型，最終確認(rèn)是屬于哪種缺陷類型（臟污、劃痕、孔洞）的PCB，并輸出和可視化結(jié)果。

友思特 Neuro-T 推理中心

友思特Neuro-T的推理中心，可以幫助用戶快速地驗證單個深度學(xué)習(xí)模型或多個深度學(xué)習(xí)模型鏈接之后的實際部署檢測效果，分別以統(tǒng)計結(jié)果和圖像檢測效果的形式呈現(xiàn)?？梢圆榭锤鱾€環(huán)節(jié)的檢測效果和統(tǒng)計結(jié)果，幫助用戶改進(jìn)視覺檢測項目。最終可以分別導(dǎo)出單一的模型，自行設(shè)計模型推理邏輯，或包含多個深度學(xué)習(xí)模型以及他們之間的鏈接的單一流程圖模型，無需自行設(shè)計多個模型之間的交互邏輯，即可完成復(fù)雜的多需求的視覺檢測項目。

統(tǒng)計結(jié)果

圖像檢測效果

IC 視覺檢測方案

方案一

需求：檢測IC芯片是否有引腳缺失，檢測芯片表面字符印刷是否清晰，如清晰，進(jìn)一步檢測字符。

字符檢測 引腳缺失檢測

檢測流程

（1）導(dǎo)入圖像集，標(biāo)注，訓(xùn)練，得到圖像中IC芯片的目標(biāo)檢測模型。

（2）調(diào)用目標(biāo)檢測模型，對IC芯片目標(biāo)進(jìn)行裁剪，得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集，起動態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測結(jié)果。

（3）對上述得到的新數(shù)據(jù)集標(biāo)注、訓(xùn)練，得到IC芯片的旋轉(zhuǎn)模型，并通過該模型作用于原數(shù)據(jù)集，得到新數(shù)據(jù)集，其目的是將芯片旋轉(zhuǎn)至合適朝向，便于后續(xù)檢測，提高檢測準(zhǔn)確率。

（4）對上述得到的新數(shù)據(jù)集標(biāo)注，訓(xùn)練，得到異常分類模型，將原數(shù)據(jù)集分類成“OK—字符印刷正?！焙汀癗G--字符印刷異?！眱蓚€新數(shù)據(jù)集。

（5）對于“OK”的數(shù)據(jù)集，進(jìn)一步標(biāo)注訓(xùn)練，得到OCR字符識別模型，實現(xiàn)字符檢測的效果。

（6）對于“NG”的數(shù)據(jù)集，進(jìn)一步標(biāo)注訓(xùn)練，得到實例分割模型，檢測并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區(qū)域，實現(xiàn)引腳缺失檢測的效果。

方案二

需求：芯片是否引腳缺失，引腳缺失定位檢測

檢測流程

（1）導(dǎo)入圖像集。

（2）標(biāo)注，訓(xùn)練，得到圖像中IC芯片的目標(biāo)檢測模型。

（3）調(diào)用目標(biāo)檢測模型，對IC芯片目標(biāo)進(jìn)行裁剪，得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集，起動態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測結(jié)果。

（4）對上述得到的新數(shù)據(jù)集只標(biāo)注有引腳缺失的區(qū)域，訓(xùn)練，得到另一個目標(biāo)檢測模型。如果圖像中有檢測到引腳缺失的區(qū)域，則標(biāo)記為NG；若無，則標(biāo)記為OK。

部署推理效果圖（結(jié)合IDS相機）

友思特研發(fā)人員開發(fā)的視覺檢測軟件對接了我們的IDS相機和深度學(xué)習(xí)軟件。右邊功能區(qū)包括分類/分割/目標(biāo)檢測/流程圖等6種深度學(xué)習(xí)模型的功能切換，以及IDS相機曝光和增益參數(shù)的調(diào)整，右上區(qū)域是檢測結(jié)果圖列表，可以右鍵保存到本地或回溯檢測結(jié)果。左邊大圖是檢測結(jié)果可視化，左下角小圖是相機捕捉的原始圖像，表格顯示的是檢測目標(biāo)的相關(guān)信息，這里以置信度為例，也可以放置檢測框的坐標(biāo)/類別等信息，扇形圖顯示的是圖中檢測對象的類型占比，可以根據(jù)具體需求調(diào)整要顯示的內(nèi)容。輸出區(qū)域顯示的是程序運行的console。

友思特IC多類別視覺檢測方案

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來創(chuàng)建出性能最佳的模型，無需任何深度學(xué)習(xí)經(jīng)驗，即可運行自己的深度學(xué)習(xí)項目。在系統(tǒng)中，Neuro-T 是用于訓(xùn)練模型的核心工具。

Neuro-R

Neuro-R 可實現(xiàn)無縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結(jié)果，還可以利用各種 API 以創(chuàng)造性的方式從多個模型生成結(jié)果，Neuro-R 是友思特缺陷檢測系統(tǒng)套裝的重要組成部分。

審核編輯 黃宇