大多數(shù)無人機檢查工作仍然需要人工檢查視頻中的缺陷。計算機視覺可以幫助實現(xiàn)無人機檢查的自動化并加快檢查進(jìn)程。但如果缺失大量包含潛在缺陷的標(biāo)記數(shù)據(jù)，那么訓(xùn)練計算機視覺模型以實現(xiàn)自動化檢查這一工作會十分困難。

在一場 NVIDIA GTC 分會上，專家分享了 Exelon 如何在 NVIDIA Omniverse 中使用 Omniverse Replicator 進(jìn)行合成數(shù)據(jù)生成，從而自動創(chuàng)建涵蓋各種電網(wǎng)資產(chǎn)缺陷的數(shù)千個已標(biāo)記的逼真示例。本文將重點介紹如何將合成圖像用于訓(xùn)練實時無人機檢查模型，以便優(yōu)化電網(wǎng)維護(hù)，提升電網(wǎng)的可靠性和彈性。

項目概述

Exelon 是一家電力公司，其負(fù)責(zé)為美國多地的 1000 多萬客戶提供服務(wù)。

根據(jù)其“Path to Clean”計劃，這家能源供應(yīng)商計劃到 2030 年減少 50% 的排放，到 2050 年實現(xiàn)凈零排放。

該項目能夠為公司帶來許多好處，包括降低工作人員暴露在危險現(xiàn)場的風(fēng)險、減少在審核圖像上花費的人工勞動、通過縮短從圖像采集到解決缺陷的時間來提高電網(wǎng)可靠性等。

Exelon 的方法在確定了目標(biāo)電網(wǎng)資產(chǎn)以及圖像數(shù)據(jù)中的相關(guān)缺陷后，會創(chuàng)建一個使領(lǐng)域?qū)＜遥⊿ME）能夠標(biāo)記資產(chǎn)和缺陷的資產(chǎn)圖像標(biāo)記流程。然后，Exelon 與領(lǐng)域?qū)＜乙黄饦?gòu)建、測試并驗證計算機視覺資產(chǎn)和缺陷檢測模型。最后努力向企業(yè)相關(guān)人員推廣該解決方案。

過程中他們也遇到了許多挑戰(zhàn)。項目需要大量經(jīng)過標(biāo)記的真實世界缺陷數(shù)據(jù)來訓(xùn)練和測試 AI 模型，Exelon 想知道在 Omniverse Replicator 中生成的合成數(shù)據(jù)是否能解決這一挑戰(zhàn)。Omniverse Replicator 是建立在 Omniverse 平臺和通用場景描述（USD）上的一個核心擴展程序，能夠生成用于訓(xùn)練計算機視覺模型并符合物理學(xué)的合成數(shù)據(jù)。

他們還想建立一個端到端的可擴展生態(tài)圈，以便幫助其加快如高壓線、輸電塔、變電站等其他輸配電資產(chǎn)的部署。

無人機檢查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，該公司為美國馬里蘭州的 100 多萬客戶提供服務(wù)。在對指定目標(biāo)進(jìn)行現(xiàn)場無人機檢查時，BGE 也會派出一個現(xiàn)場小組，使用無人機在約 8-15 英尺遠(yuǎn)的地方從正面、側(cè)面、上面、背面等不同角度拍攝多張照片。這主要是為了至少有一張圖像中能看到電線桿、橫擔(dān)、絕緣子、變壓器等資產(chǎn)的任何缺陷。統(tǒng)一的圖像采集流程能夠幫助專家研究如何使用 AI 和計算機視覺技術(shù)實現(xiàn)自動缺陷檢測。

圖 1 使用 NVIDIA Omniverse 模擬用于訓(xùn)練 AI 檢測模型的木桿缺陷。

這個項目集中于識別橫擔(dān)的缺陷，對橫擔(dān)缺陷的識別與修復(fù)將提高系統(tǒng)的可靠性。橫擔(dān)最常見的缺陷是開裂，該缺陷可能會影響所安裝的絕緣子的穩(wěn)定性，并導(dǎo)致客戶停電。

團隊最初使用人工標(biāo)記的地面數(shù)據(jù)訓(xùn)練并驗證模型是否能夠準(zhǔn)確檢測和計算無人機圖像中的橫擔(dān)。接下來的目標(biāo)是使用經(jīng)過標(biāo)記的真實世界數(shù)據(jù)以及合成數(shù)據(jù)生成進(jìn)行橫擔(dān)缺陷檢測。Exelon 目前正在真實圖像與合成圖像上訓(xùn)練其缺陷檢測模型并正在與企業(yè)相關(guān)人員驗證模型。

資產(chǎn)檢測模型的訓(xùn)練和評估

由于缺陷檢測中會存在識別物體確切像素等需求，團隊選擇在圖像標(biāo)記工作中使用分割掩碼。

理論上，分割會返回 positive identifications 并能夠識別所有圖像像素及區(qū)分物品。因此這在檢測線性裂縫、接縫、填充物和陰影方面能夠有更好的性能。

Exelon 的數(shù)據(jù)科學(xué)家花費了大量時間來測試標(biāo)記圖像，并去理解不同的標(biāo)注技術(shù)會如何影響模型的準(zhǔn)確性。

圖 2 資產(chǎn)檢測模型訓(xùn)練和橫擔(dān)缺陷評估。

Exelon 已經(jīng)看到了資產(chǎn)檢測的早期成果，他們知道對多種潛在缺陷的大量標(biāo)記數(shù)據(jù)的缺乏，將使得缺陷檢測變得更加困難。NVIDIA Omniverse 和 Omniverse Replicator 能夠大大提高其構(gòu)建 3D 模型和生成反映現(xiàn)場電網(wǎng)資產(chǎn)缺陷的合成數(shù)據(jù)的能力。

在與 NVIDIA 的合作過程中，Exelon 與 NVIDIA 舉行了多次會議，一起為其架構(gòu)出謀劃策。Exelon 通過 Omniverse Replicator 生成了不同的橫擔(dān)缺陷，這些缺陷將為檢測模型的訓(xùn)練生成標(biāo)記數(shù)據(jù)。他們同時還使用 Omniverse 按照尺寸、形狀和位置創(chuàng)建了不同類型的橫擔(dān)缺陷。

在生成了足夠多的變化和缺陷后，團隊將輸出結(jié)果添加到整個桿件結(jié)構(gòu)中。然后按照不同的場景、橫擔(dān)數(shù)量和缺陷數(shù)量生成合成圖像。

與第三方一起生成合成圖像

在與 NVIDIA 的討論會議中，Exelon 意識到 3D 建模是一項極具挑戰(zhàn)性的工作，并且超出了其數(shù)據(jù)科學(xué)核心重點。對他們來說需要有經(jīng)驗的藝術(shù)家和建模師來構(gòu)建 3D 模型、將其整合到逼真的環(huán)境中并操控照明和場景條件。NVIDIA 幫助 Exelon 與數(shù)家供應(yīng)商建立了聯(lián)系，這些供應(yīng)商正在使用 Omniverse 并為其他公用事業(yè)公司以及公用事業(yè)行業(yè)以外的其他用例提供圖像。

圖 3 德勤使用 NVIDIA Omniverse 的合成數(shù)據(jù)生成 3D 工作流程。

在這次試點中，Exelon 選擇了德勤公司幫助開發(fā)用于橫擔(dān)的合成圖像。德勤使用 Autodesk Maya 構(gòu)建資產(chǎn)和缺陷的 3D 模型，然后使用 Epic 虛幻引擎進(jìn)一步開發(fā)出逼真的周邊環(huán)境，并將精準(zhǔn)的照明和場景條件導(dǎo)入到 Omniverse。最后，他們的設(shè)計師和開發(fā)人員一起輸出用于訓(xùn)練缺陷檢測模型的標(biāo)記圖像。

未來的重點領(lǐng)域和機遇

Exelon 的最終目標(biāo)是創(chuàng)建一個端到端的可擴展生態(tài)圈，可以利用這個生態(tài)圈從一種資產(chǎn)擴展到另一種資產(chǎn)。比如從橫擔(dān)開始，一直擴展到其輸配電、石油和天然氣資產(chǎn)。

構(gòu)建分析產(chǎn)品需要整個團隊的努力。通過與 NVIDIA 和德勤合作，Exelon 推動了合成圖像的生成并使其能夠在外部專家的幫助下建立 3D 模型、設(shè)計背景和標(biāo)記圖像。德勤正在圍繞 Omniverse 來集成所有可用于創(chuàng)建 3D 圖像的工具，并提供開發(fā)大型橫擔(dān)數(shù)據(jù)集所需的框架。

在圖像采集中利用智能技術(shù)仍將是 Exelon 和其他公用事業(yè)公司的重點。如果這個項目取得成功，Exelon 將能夠擴展到其他輸配電資產(chǎn)，比如電線桿、變壓器、絕緣子插銷、橫擔(dān)支架或輸電塔等。

點擊“閱讀原文”，深入了解NVIDIA Omniverse Replicator。

掃描下方海報二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領(lǐng)域的最新進(jìn)展！