美國(guó)質(zhì)量協(xié)會(huì)（ASQ）的數(shù)據(jù)顯示，制造商因缺陷而遭受的損失可占其銷售總收入的近 20%。用戶日常使用的電話、汽車、電視和電腦等產(chǎn)品都須通過(guò)精密制造產(chǎn)出，方能在各類條件和場(chǎng)景中發(fā)揮作用。

基于 AI 的計(jì)算機(jī)視覺(jué)應(yīng)用正在以更快、更有效的方式幫助制造業(yè)檢測(cè)制造流程中存在的缺陷，以幫助企業(yè)提高產(chǎn)量、保持產(chǎn)品質(zhì)量的穩(wěn)定性并減少誤報(bào)。事實(shí)上，根據(jù)谷歌云制造業(yè)報(bào)告所示，當(dāng)前已有 64% 的制造企業(yè)通過(guò)部署 AI 來(lái)幫助其開展日?；顒?dòng)，其中有 39% 的制造企業(yè)將 AI 用于質(zhì)量檢查。

驅(qū)動(dòng)相關(guān)視覺(jué)應(yīng)用的 AI 模型必須經(jīng)過(guò)訓(xùn)練和調(diào)優(yōu)，以預(yù)測(cè)眾多用例中存在的特定缺陷，例如：

• 汽車制造缺陷：如裂紋、車漆瑕疵或誤裝等

• 半導(dǎo)體和電子產(chǎn)品缺陷：如印刷電路板（PCB）元件錯(cuò)位、斷裂、存在多余的焊點(diǎn)或存在灰塵或頭發(fā)等異物

• 電信設(shè)施缺陷：如蜂窩塔和電線桿上存在裂縫或被腐蝕等

這類感知 AI 模型的訓(xùn)練需要采集存在特定缺陷的圖像來(lái)完成。但這類圖像采集在生產(chǎn)環(huán)境中很難做到且成本高昂。

NVIDIA Omniverse Replicator 可生成用于訓(xùn)練 AI 模型的合成數(shù)據(jù)，來(lái)幫助企業(yè)克服數(shù)據(jù)挑戰(zhàn)。NVIDIA Omniverse 是一個(gè)基于通用場(chǎng)景描述（USD）的計(jì)算平臺(tái)，可賦能個(gè)人和團(tuán)隊(duì)開發(fā) 3D 工作流和應(yīng)用。NVIDIA Omniverse Replicator 是 Omniverse 平臺(tái)中的一項(xiàng)可擴(kuò)展的基礎(chǔ)應(yīng)用。

開發(fā)人員可基于 Omniverse Replicator，通過(guò)改變各項(xiàng)參數(shù)（如缺陷類型、位置、環(huán)境照明等），輕松生成不同的數(shù)據(jù)集來(lái)啟動(dòng)和加快模型訓(xùn)練與迭代。用戶可通過(guò)訪問(wèn) Develop on NVIDIA Omniverse 了解更多有關(guān)信息。

（https://developer.nvidia.cn/omniverse）

本文將介紹如何充分利用合成數(shù)據(jù)來(lái)訓(xùn)練對(duì)象檢測(cè)模型、使用有限的真值數(shù)據(jù)來(lái)進(jìn)一步提高準(zhǔn)確性以及使用模型處理中從未出現(xiàn)過(guò)的圖像來(lái)對(duì)模型進(jìn)行驗(yàn)證。本文將基于該方法來(lái)展示合成數(shù)據(jù)在克服真實(shí)數(shù)據(jù)缺失方面存在的價(jià)值，以及如何通過(guò)模型訓(xùn)練縮小仿真與現(xiàn)實(shí)之間的差距。

開發(fā)缺陷檢測(cè)模型

以下示例是在車身（錐形前臉）上生成劃痕（如圖 1 所示）。需要注意的是，該工作流程需要使用 Adobe Substance 3D Designer 或存在預(yù)先生成的劃痕庫(kù)、NVIDIA Omniverse 以及所下載的 USD 格式的樣本。

此工作流以在 Adobe Substance 3D Designer 中創(chuàng)建一組缺陷開始，也就是本示例中的“劃痕”，然后將缺陷與 CAD 零件導(dǎo)入 NVIDIA Omniverse 中，再將 CAD 零件置于特定場(chǎng)景中（例如生產(chǎn)線或車間）并在相應(yīng)位置放置傳感器或攝像頭。

場(chǎng)景設(shè)置完畢后，基于 NVIDIA Omniverse Replicator，以程序性的方式將缺陷置于 CAD 零件上，來(lái)生成用于模型訓(xùn)練和評(píng)估的注釋數(shù)據(jù)。整體的迭代流程將持續(xù)進(jìn)行，直至模型達(dá)到預(yù)期的關(guān)鍵績(jī)效指標(biāo)（KPI）為止。

圖 2：基礎(chǔ)計(jì)算機(jī)視覺(jué)模型訓(xùn)練流程

創(chuàng)建草圖

磨損和劃痕是制造業(yè)常見(jiàn)的表面缺陷。制造業(yè)中會(huì)使用名為法線貼圖的紋理映射技術(shù)在 3D 環(huán)境中展現(xiàn)這些紋理。法線貼圖利用 RGB 圖像來(lái)表示高度信息，可直接對(duì)應(yīng) 3D 空間中相對(duì)于一個(gè)表面所對(duì)應(yīng)的 X、Y 和 Z 軸。

本例中使用的法線貼圖是在 Adobe Substance 3D Designer 中所創(chuàng)建的。此外，Blender 或 Autodesk Maya 等多數(shù)建模軟件也可用于生成法線貼圖。

圖 3：在 Adobe Substance 3D Designer 中創(chuàng)建的劃痕實(shí)例

雖然開發(fā)人員可先將劃痕導(dǎo)入 Omniverse，而后再隨機(jī)調(diào)整其大小和位置。但最好是建立一個(gè)完整的法線圖庫(kù)并將其以文件形式保存，并用以生成一組具有魯棒性的合成數(shù)據(jù)。開發(fā)人員所生成的法線貼圖應(yīng)該包含各類形狀和大小，以代表不同程度的劃痕。

場(chǎng)景設(shè)置

接下來(lái)該進(jìn)行場(chǎng)景設(shè)置了。首先，借助 Omniverse Code 導(dǎo)入相關(guān)零件的 CAD 模型。該示例中是導(dǎo)入了一個(gè)“SOLIDWORKS.SLDPRT”文件，該文件是 Sierra Cars RX3 賽車的前臉面板模型。

圖 4：Sierra RX3 的完整 CAD 裝配體

在將 CAD 文件導(dǎo)入 Omniverse 后，可對(duì)場(chǎng)景背景進(jìn)行設(shè)置以便能盡可能接近基于真值數(shù)據(jù)構(gòu)建的環(huán)境。本示例是使用了車間的激光雷達(dá)掃描圖。

圖 5：在 Omniverse 中組裝 USD 格式的場(chǎng)景，并將不同材質(zhì)應(yīng)用于面板中并將其置于車間掃描圖中

為方便復(fù)制，此示例中還將背景和 CAD 模型整合成為了可在 Omniverse Exchange 中下載的 USD 場(chǎng)景。

使用擴(kuò)展程序來(lái)構(gòu)建隨機(jī)化劃痕

為了給該模型創(chuàng)建一個(gè)多樣化的訓(xùn)練數(shù)據(jù)集，開發(fā)人員需要生成各種合成劃痕以反映不同劃痕可能留下的不同類型的痕跡。該示例使用了基于 Omniverse Kit 構(gòu)建的參考擴(kuò)展程序以隨機(jī)化劃痕的位置、大小和角度。詳情請(qǐng)?jiān)L問(wèn) GitHub 上的 NVIDIA-Omniverse/kit-extension-sample-defectsgen 了解。

圖 6：Omniverse 中的 Defects Sample Extension

需注意的是，該參考擴(kuò)展程序用于操作可將法線貼圖作為紋理投射到 CAD 零件表面的 proxy 對(duì)象。改變擴(kuò)展程序中的參數(shù)實(shí)際上是在改變投射紋理的立方體大小和形狀。

圖 7：示例 - 在 CAD 零件表面程序性生成劃痕

利用所需參數(shù)運(yùn)行擴(kuò)展程序后，將能夠輸出一組帶注釋的參考圖像并將以 .png、.json 和 .npy 文件格式保存至一個(gè)可利用擴(kuò)展程序進(jìn)行定義的文件夾中。

模型訓(xùn)練和驗(yàn)證

Omniverse 擴(kuò)展程序輸出的是可用于大量本地或云端模型訓(xùn)練平臺(tái)的標(biāo)準(zhǔn)文件格式。此外，開發(fā)人員還可以通過(guò)構(gòu)建自定義寫入器來(lái)格式化相關(guān)數(shù)據(jù)，以便將其用于特定的模型和平臺(tái)之中。

該示例中開發(fā)人員建立了一個(gè)可將輸出結(jié)果導(dǎo)入 Roboflow 的自定義 COCO JSON 寫入器。Roboflow 是一個(gè)可用于訓(xùn)練和部署計(jì)算機(jī)視覺(jué)模型的網(wǎng)絡(luò)平臺(tái)。

圖 8：Roboflow 中完整的合成數(shù)據(jù)集

開發(fā)人員首先是在 Roboflow 用戶界面中使用了一組包含 1000 張合成圖像數(shù)據(jù)集來(lái)訓(xùn)練 YOLOv8 模型，以加快對(duì)象檢測(cè)速度。這項(xiàng)操作的主要目的在于查看模型在該數(shù)據(jù)集中的表現(xiàn)情況，這僅僅只是一個(gè)開始。模型訓(xùn)練是一個(gè)迭代過(guò)程，因此訓(xùn)練伊始可以使用規(guī)模較小的數(shù)據(jù)集，而后在迭代中持續(xù)擴(kuò)大數(shù)據(jù)集的規(guī)模并提升數(shù)據(jù)集的多樣性。

圖 9：合成數(shù)據(jù)生成所產(chǎn)出的初步結(jié)果顯示模型準(zhǔn)確率為 74%、34% 和 39%

雖然初始模型展示的結(jié)果較好，但并不完美（如圖 9 所示）。在初始模型中仍存在以下缺陷：

• 未有效檢測(cè)出長(zhǎng)劃痕

• 捕捉了反光邊緣

• 車間地板上的劃痕也被包含在內(nèi)

為解決這些問(wèn)題，可以采取以下解決措施：

• 調(diào)整擴(kuò)展程序參數(shù)以涵蓋長(zhǎng)度更長(zhǎng)的劃痕

• 在所生成的場(chǎng)景中加入零件的更多角度

• 改變照明和背景場(chǎng)景

另一個(gè)辦法是使用真值圖像來(lái)強(qiáng)化合成數(shù)據(jù)。雖然 Replicator 會(huì)對(duì)文件進(jìn)行自動(dòng)注釋，但該示例中仍使用了 Roboflow 的內(nèi)置工具來(lái)進(jìn)行手動(dòng)注釋。

圖 10：Roboflow 內(nèi)置用于手動(dòng)注釋圖像的工具

通過(guò)上述調(diào)整可訓(xùn)練該模型于每張驗(yàn)證圖像中發(fā)現(xiàn)更多的劃痕，甚至能在置信度閾值更高的情況下來(lái)完成此操作。

圖 11：通過(guò) Roboflow 用戶界面調(diào)整模型參數(shù)

入門

事實(shí)上在現(xiàn)實(shí)世界中，并非總是能夠獲得足夠的真值圖像。開發(fā)人員可以使用 NVIDIA Omniverse Replicator 生成的合成數(shù)據(jù)來(lái)縮小仿真與現(xiàn)實(shí)之間的差距。

如若想要自行生成合成數(shù)據(jù)，開發(fā)人員需先下載 NVIDIA Omniverse。

（https://developer.nvidia.cn/omniverse/get-started）

用戶可以從 GitHub 下載并安裝參考擴(kuò)展程序，并使用 Omniverse Code 來(lái)探索相關(guān)工作流，而后通過(guò)修改代碼來(lái)構(gòu)建自定義的缺陷檢測(cè)生成工具。此外，用戶還可以通過(guò) Omniverse Exchange 上的缺陷檢測(cè)演示包來(lái)訪問(wèn)配套的 USD 文件和樣本。

用戶可點(diǎn)擊“閱讀原文”，免費(fèi)下載標(biāo)準(zhǔn)許可證以使用 NVIDIA Omniverse，或在 Omniverse 頁(yè)面了解 Omniverse Enterprise 如何連接企業(yè)團(tuán)隊(duì)。