ADI 公司構(gòu)建了一個系統(tǒng) OtoSense，該系統(tǒng)能夠從機器學習聲音和振動，并破譯其含義以檢測異常行為并執(zhí)行診斷。該系統(tǒng)是一個機器健康監(jiān)測系統(tǒng)，可以實現(xiàn)我們所說的“計算機聽力”，它允許計算機理解機器行為的主要指標：聲音和振動。

該系統(tǒng)適用于任何機器，無需網(wǎng)絡(luò)連接即可實時工作。該系統(tǒng)適用于工業(yè)應(yīng)用，可實現(xiàn)可擴展、高效的機器健康監(jiān)測。

人類聽覺系統(tǒng)和 OtoSense 的翻譯

人類理解聲音的過程可以用四個熟悉的步驟來描述：聲音的模擬采集、數(shù)字轉(zhuǎn)換、特征提取和解釋。在這些步驟中，可以將人耳聽力與 OtoSense 系統(tǒng)進行比較。

模擬采集和數(shù)字化： 在 OtoSense 中，模擬采集和數(shù)字化由傳感器、放大器和編解碼器執(zhí)行。數(shù)字化過程使用可在 250 Hz 和 196 kHz 之間調(diào)整的固定采樣率，波形以 16 位編碼并存儲在 128 個樣本到 4096 個樣本的緩沖區(qū)中。

特征提?。?OtoSense 使用我們稱為塊的時間窗口，它以固定的步長移動。這個塊的大小和步長可以從 23 毫秒到 3 秒不等，具體取決于需要識別的事件和采樣率，并在邊緣提取特征。稍后我們將提供有關(guān) OtoSense 提取的特征的更多信息。

解釋發(fā)生在關(guān)聯(lián)皮層中： OtoSense 與人的交互從基于人類神經(jīng)學的視覺、無監(jiān)督聲音映射開始。它顯示了所有聽到的聲音或振動的圖形表示，按相似性組織，但不試圖創(chuàng)建嚴格的類別。這允許專家組織和命名屏幕上看到的分組，而無需嘗試人為地創(chuàng)建有界類別。他們可以構(gòu)建與他們對 OtoSense 最終輸出的知識、感知和期望相一致的語義圖。

從聲音和振動到功能

特征被分配一個單獨的數(shù)字來描述一段時間內(nèi)的聲音或振動的給定屬性或質(zhì)量（如我們前面提到的時間窗口或塊）。OtoSense 平臺選擇功能的原則如下：

特征應(yīng) 盡可能完整地描述環(huán)境，并在頻域和時域中提供盡可能多的細節(jié)。他們必須描述靜止的嗡嗡聲以及咔噠聲、嘎嘎聲、吱吱聲和任何類型的瞬態(tài)不穩(wěn)定性。

特征應(yīng)盡可能正交地構(gòu)成一個集合。如果一個特征被定義為“塊上的平均振幅”，則不應(yīng)該有另一個特征與其強相關(guān)，就像“塊上的總光譜能量”這樣的特征。當然，永遠不會達到正交性，但任何特征都不應(yīng)該表示為其他特征的組合——每個特征中都必須包含一些奇異的信息。

特征 應(yīng)該 最小化 計算。大多數(shù) OtoSense 功能都設(shè)計為增量式，因此每個新樣本都可以通過簡單的操作修改功能，而無需在完整緩沖區(qū)或更糟糕的塊上重新計算它。最小化計算也意味著不關(guān)心標準物理單位。例如，嘗試用 dBA 值表示強度是沒有意義的。如果需要輸出一個dBA值，可以在輸出的時候做，如果需要的話。

OtoSense 平臺的 2 到 1024 功能的一部分描述了時域。它們要么直接從波形中提取，要么從塊上任何其他特征的演變中提取。其中一些特征包括平均和最大振幅、從波形的線性長度導出的復(fù)雜性、振幅變化、脈沖的存在和表征、作為第一個和最后一個緩沖區(qū)之間相似性的穩(wěn)定性、避免卷積的窄自相關(guān)或變化主要光譜峰。

頻域上使用的特征是從 FFT 中提取的。FFT 在每個緩沖區(qū)上計算并產(chǎn)生 128 到 2048 個單獨的頻率貢獻。然后，該過程會創(chuàng)建一個具有所需維數(shù)的向量——當然，遠小于 FFT 大小，但這仍然廣泛地描述了環(huán)境。OtoSense 最初從一種不可知的方法開始，用于在對數(shù)譜上創(chuàng)建相等大小的存儲桶。然后，根據(jù)環(huán)境和要識別的事件，這些桶適應(yīng)于關(guān)注信息密度高的頻譜區(qū)域，無論是從最大化熵的無監(jiān)督角度，還是從使用標記事件作為一個半監(jiān)督的角度。指導。這模仿了我們內(nèi)耳細胞的結(jié)構(gòu)，在語音信息最大的地方更密集。

架構(gòu)：向邊緣供電和本地數(shù)據(jù)

使用 OtoSense 的異常值檢測和事件識別發(fā)生在邊緣，無需任何遠程資產(chǎn)的參與。這種架構(gòu)確保系統(tǒng)不會受到網(wǎng)絡(luò)故障的影響，并且避免了將所有原始數(shù)據(jù)塊發(fā)送出去進行分析。運行 OtoSense 的邊緣設(shè)備是一個獨立的系統(tǒng)，它實時描述它正在收聽的機器的行為。

運行 AI 和 HMI 的 OtoSense 服務(wù)器通常托管在本地。云架構(gòu)對于聚合多個有意義的數(shù)據(jù)流作為 OtoSense 設(shè)備的輸出是有意義的。將云托管用于專門處理大量數(shù)據(jù)并與單個站點上的數(shù)百個設(shè)備交互的 AI 就沒有意義了。

圖 1. OtoSense 系統(tǒng)。

從特征到異常檢測

正常/異常評估不需要與專家進行太多互動即可開始。專家只需要幫助建立機器正常聲音和振動的基線。然后，此基線在被推送到設(shè)備之前在 OtoSense 服務(wù)器上轉(zhuǎn)換為異常值模型。

兩種不同的策略用于評估傳入聲音或振動的正常性：

第一個策略是我們所說的常態(tài)，即任何進入特征空間的新傳入聲音都會檢查其周圍環(huán)境、它與基線點和集群的距離以及這些集群的大小。距離越大，簇越小，新聲音越不尋常，離群值越高。當這個異常值高于專家定義的閾值時，相應(yīng)的塊被標記為異常并發(fā)送到服務(wù)器以供專家使用。

第二種策略非常簡單：任何具有高于或低于定義基線的所有特征的最大值或最小值的特征值的傳入塊都被標記為極端并發(fā)送到服務(wù)器。

異常和極端策略的結(jié)合提供了對異常聲音或振動的良好覆蓋，并且這些策略在檢測漸進磨損和意外的殘酷事件方面表現(xiàn)良好。

從特征到事件識別

特征屬于物理領(lǐng)域，意義屬于人類認知。要將特征與意義聯(lián)系起來，需要 OtoSense AI 和人類專家之間的交互。我們花費了大量時間聽取客戶的反饋來開發(fā)人機界面 （HMI），使工程師能夠有效地與 OtoSense 交互以設(shè)計事件識別模型。該 HMI 允許探索數(shù)據(jù)、對其進行標記、創(chuàng)建異常模型和聲音識別模型以及測試這些模型。

OtoSense Sound Platter（也稱為 splatter）允許通過對數(shù)據(jù)集的完整概覽來探索和標記聲音。Splatter 在完整的數(shù)據(jù)集中選擇最有趣和最有代表性的聲音，并將它們顯示為混合標記和未標記聲音的 2D 相似度圖。

圖 2. OtoSense Sound Platter 中聲音的 2D 飛濺圖。

任何聲音或振動，連同其上下文，都可以通過許多不同的方式進行可視化——例如，使用聲音小部件（也稱為小部件）。

圖 3. OtoSense 聲音小部件（小部件）。

在任何時候，都可以創(chuàng)建異常值模型或事件識別模型。事件識別模型以圓形混淆矩陣的形式呈現(xiàn)，允許 OtoSense 用戶探索混淆事件。

圖 4.可以根據(jù)所需事件創(chuàng)建事件識別模型。

可以通過一個界面來探索和標記異常值，該界面會隨著時間的推移顯示所有不尋常和極端的聲音。

圖 5. OtoSense 異常值可視化中隨時間推移的聲音分析。

持續(xù)學習過程，從異常檢測到日益復(fù)雜的診斷

OtoSense 旨在向多位專家學習，并允許隨著時間的推移進行越來越復(fù)雜的診斷。通常的過程是 OtoSense 和專家之間的循環(huán)循環(huán)：

異常值模型和事件識別模型在邊緣運行。這些為潛在事件發(fā)生的概率以及它們的異常值創(chuàng)建了輸出。

超過定義閾值的異常聲音或振動會觸發(fā)異常通知。然后，使用 OtoSense 的技術(shù)人員和工程師可以檢查聲音及其上下文。

然后，這些專家將這一不尋常的事件標記為。

計算包含此新信息的新識別模型和異常值模型并將其推送到邊緣設(shè)備。

結(jié)論

ADI 公司的 OtoSense 技術(shù)的目標是持續(xù)提供聲音和振動專業(yè)知識。該技術(shù)在航空航天、汽車和工業(yè)監(jiān)控應(yīng)用中用于機器健康監(jiān)測，在曾經(jīng)需要人類專業(yè)知識的情況下以及在涉及嵌入式應(yīng)用的情況下（尤其是在復(fù)雜機器上）顯示出性能。

審核編輯：郭婷