異常檢測是什么？

“異常值（又名異常）是數(shù)據(jù)集中的觀察結(jié)果，它似乎與該數(shù)據(jù)集的其余部分不一致”——約翰遜 1992 年

“離群值是一種觀察結(jié)果，它與其他觀察結(jié)果的偏差如此之大，以至于引起人們懷疑它是由不同的機制產(chǎn)生的”——霍金斯 1980

異常是與常態(tài)不同、很少發(fā)生并且不符合“模式”其余部分的事件。異常包括，例如：

• 全球事件導致股市大幅下跌和上漲
• 工廠或傳送帶上的故障產(chǎn)品
• 污染的實驗室樣本

為什么要進行異常檢測？

計算機視覺中如何使用異常檢測？

一級圖像處理方法

基于傳統(tǒng)的圖像處理技術(shù)，例如邊緣檢測、特征檢測……和測量指標（例如，大小、顏色、位置、周長、圓度、形狀……）來描述一個物體 。

優(yōu)點：無需培訓

缺點：沒有概括性

二級機器學習方法

機器學習算法使用計算方法直接從數(shù)據(jù)中“學習”信息，而不依賴于預先確定的方程式作為模型。

優(yōu)點：更少的培訓

缺點：泛化程度較低

3 級深度學習方法

基于卷積神經(jīng)網(wǎng)絡檢測異常值。訓練和推理需要大數(shù)據(jù)集和高效的硬件

優(yōu)點：更泛化

缺點：更多培訓

小伙伴可能會問“我們應該選擇哪種方法呢？” 即使我們的問題與上面的情況完全不同也不必擔心，我們提供一個選擇的原則：

1. 從圖像處理方法開始。如果數(shù)據(jù)具有低可變性，這可以提供可靠的解決方案。
2. 在變量生產(chǎn)下，如果你有一個強大的 GPU 和大量標記的數(shù)據(jù)/圖像。然后，深度學習技術(shù)可以更好地處理更多數(shù)據(jù)，而 GPU 有助于減少訓練模型所需的時間。如果不是，那么 ML 方法是最佳選擇。

異常檢測和數(shù)據(jù)

異常檢測將如何在三種不同的情況下發(fā)生，具體取決于數(shù)據(jù)的情況。

監(jiān)督：

在這種情況下，訓練數(shù)據(jù)被標記為“好”或“異?！保▔模１O(jiān)督場景是理想的。這是為數(shù)據(jù)科學家精心準備的數(shù)據(jù)集，其中所有數(shù)據(jù)點都標記為異?；蛄己玫那闆r。

資源用于結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法：

• 支持向量機學習
• k 最近鄰 (KNN)
• 貝葉斯網(wǎng)絡
• 決策樹

半監(jiān)督：

在半監(jiān)督場景中，所有數(shù)據(jù)都被假定為“好”，并且被“異?！保▔模?shù)據(jù)點污染。

用于結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法：

• 自動編碼器
• 一類 SVM
• 高斯混合模型
• 核密度估計

無監(jiān)督：

在無監(jiān)督場景中，訓練數(shù)據(jù)是未標記的，由“好”和“異常”（壞）數(shù)據(jù)點組成。無監(jiān)督場景中的數(shù)據(jù)集沒有將其部分標記為好或壞。

“無監(jiān)督學習中最常見的任務是聚類、表示學習和密度估計。在所有這些情況下，我們都希望在不使用明確提供的標簽的情況下了解數(shù)據(jù)的固有結(jié)構(gòu)。”

在無監(jiān)督場景中，需要一組不同的工具來在非結(jié)構(gòu)化數(shù)據(jù)中創(chuàng)建順序。非結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法是：

• 自組織映射 (SOM)
• K 均值
• C 均值
• 期望最大化元算法 (EM)
• 自適應共振理論 (ART)
• 一級支持向量機

異常檢測示例

App1：使用機器學習技術(shù)對無人機進行實時退化識別（Real time degradation identification of UAV using machine learning techniques）

在本文中，作者分析了無人機執(zhí)行預定任務后的飛行數(shù)據(jù)流，并實時預測身體部位（在本例中為螺旋槳）的退化程度。

為了實現(xiàn)這一目標，他們使用 k 最近鄰算法作為分類算法，并使用動態(tài)時間規(guī)整作為距離度量來計算兩個航班塊之間的相似性。

App2：UAV-AdNet：使用深度神經(jīng)網(wǎng)絡進行空中監(jiān)視的無監(jiān)督異常檢測（

UAV-AdNet: Unsupervised Anomaly Detection using Deep Neural Networks for Aerial Surveillance）

在本文中，作者提出了一種用于鳥瞰圖像環(huán)境表示的啟發(fā)式方法和一種基于 DNN 的異常檢測方法 (UAV-AdNet)，該方法在環(huán)境表示和 GPS 標簽上聯(lián)合訓練。

在他們的實驗中，他們證明了所提出的架構(gòu)在輸入的復制和裁剪連接下具有更好的場景重建性能。他們還觀察到，為網(wǎng)絡提供 GPS 數(shù)據(jù)可以增強異常檢測性能。

在他們的研究中，作者考慮了以下異常情況：

(1) 違反私人規(guī)則的物體：建筑物背面出現(xiàn)任何人或車輛。建筑物左側(cè)出現(xiàn)任何車輛

（2）違反公共規(guī)則的物體：行人只能使用斑馬線過馬路。自行車只能在自行車道上行駛。除自行車和摩托車外，其他車輛不得在自行車道上騎行或停放。

（3）尋找可疑物品

App3：監(jiān)控環(huán)境中無人機錄制的視頻中的異常檢測（Anomaly Detection in Videos Recorded by Drones in a Surveillance Context）

本文專門研究了監(jiān)視環(huán)境中的異常檢測，特別是針對由無人機錄制的監(jiān)視視頻組成的微型無人機視頻數(shù)據(jù)集。本文提出的模型在 MDV 數(shù)據(jù)集上進行了評估。

盡管它很簡單，但該模型達到了最先進的性能。獲得的結(jié)果表明，這種應用程序的監(jiān)督學習不太適合異常檢測。因為該模型未能檢測到它在 MDV 數(shù)據(jù)集訓練期間從未遇到過的情況，這是有問題的，因為即使不是不可能，也很難編譯代表許多實例的所有可能異常的數(shù)據(jù)集。

建議的異常檢測器是由卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡組成的深度神經(jīng)網(wǎng)絡，使用監(jiān)督學習進行訓練。在他們未來的工作中，他們將專門檢查使用無監(jiān)督學習訓練的模型設計，以減少對標記異常數(shù)據(jù)的需求。

App4：使用航空紅外熱成像技術(shù)自動檢測光伏電站：綜述（Automatic Inspection of Photovoltaic Power Plants Using Aerial Infrared Thermography: A Review）

提出一種使用空中紅外視頻進行自動光伏電站檢查的有效方法。

本文對光伏電站航空紅外熱成像 (aIRT) 框架不同任務自動化方法的文獻進行了全面回顧，因為這是近年來研究人員深入研究的課題。這些研究大多集中在視覺、IRT 和 aIRT 圖像中光伏電站的自主故障檢測和分類。在這些研究中，DL 算法的使用提供了良好的結(jié)果，在從 aIRT 圖像中提取的模塊段中檢測到的 10 種不同異常類型的故障檢測和分類中，準確率高達 90%。

然而，所開發(fā)算法的準確性、魯棒性和泛化性仍然是這些研究的主要挑戰(zhàn)，尤其是在處理更多類別的故障和大型光伏電站的檢查時。隨著公用事業(yè)規(guī)模光伏電站的容量和規(guī)模不斷增加，達到千兆瓦和數(shù)百公頃的規(guī)模，自動化越來越成為一個不僅具有科學意義而且具有經(jīng)濟重要性的問題。因此，仍然必須探索自主程序和分類任務，以提高 aIRT 方法的準確性和適用性。