根據(jù)國(guó)家安全委員會(huì) (NSC) 的一項(xiàng)研究，每七秒鐘就會(huì)發(fā)生一次工傷事故。這一驚人的統(tǒng)計(jì)數(shù)字相當(dāng)于每年約有 450 萬名工人受傷。雖然現(xiàn)場(chǎng)主管可以衡量工人的情緒，但主管無法時(shí)刻監(jiān)控工人以防止事故發(fā)生。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的機(jī)器操作員監(jiān)視器應(yīng)用程序，根據(jù)面部表情的視頻輸入自動(dòng)推斷機(jī)器操作員的注意力和情緒水平。有關(guān)機(jī)器操作員情緒和注意力水平的信息有助于保護(hù)操作員免受嚴(yán)重傷害。

機(jī)器操作員監(jiān)控?cái)?shù)據(jù)管道

圖 1顯示了 Machine Operator Monitor 深度學(xué)習(xí)應(yīng)用程序的管道。讓我們探索這個(gè)管道和發(fā)生的活動(dòng)。

圖 1：操作員姿勢(shì)和情緒推理管道圖說明了捕獲的圖像如何通過深度神經(jīng)網(wǎng)絡(luò)和 OpenVINO ?工具包移動(dòng)，以識(shí)別機(jī)器操作員的注意力和情緒水平。（來源：作者）

該應(yīng)用程序使用安裝在制造站上的攝像機(jī)捕獲的圖像。捕獲的圖像流經(jīng)一系列三個(gè)深度神經(jīng)網(wǎng)絡(luò)（基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN）。CNN 是一種流行的深度神經(jīng)網(wǎng)絡(luò)，通常用于處理圖像。第一個(gè) CNN 識(shí)別捕獲的幀中是否存在人臉。如果第一個(gè) CNN 沒有檢測(cè)到人臉，那么就沒有必要進(jìn)一步處理圖像的姿勢(shì)或情緒。如果第一個(gè) CNN 檢測(cè)到具有用戶可配置檢測(cè)閾值的人臉，則該人臉將傳遞到接下來的兩個(gè)階段。接下來 CNN 確定操作員是否在看機(jī)器。CNN 通過檢測(cè)操作員是否面向攝像機(jī)來做到這一點(diǎn)。最終的 CNN 檢測(cè)操作員的面部表情。

圖 2顯示了深度神經(jīng)網(wǎng)絡(luò)這三個(gè)階段的完成過程的示例。

圖 2 ：Machine Operator Monitor 屏幕顯示了 OpenVINO?工具套件應(yīng)用程序處理捕獲的圖像后生成的輸出示例。（來源：英特爾）

如圖 2 所示，檢測(cè)面部以及推斷情緒和姿勢(shì)所需的時(shí)間約為 140 毫秒。這種速度允許快速響應(yīng)時(shí)間，允許及時(shí)警告操作員以最大限度地減少事故和傷害的機(jī)會(huì)。示例應(yīng)用程序還說明了消息隊(duì)列遙測(cè)傳輸 (MQTT) 協(xié)議如何將信息傳送到工業(yè)數(shù)據(jù)分析系統(tǒng)。

為什么這很酷

機(jī)器操作員監(jiān)控應(yīng)用程序是使用 Intel ? OpenVINO ?發(fā)行版和 700 行 Go 或 500 行 C++ 開發(fā)的。此代碼主要是膠水代碼，其中包含在為機(jī)器操作員監(jiān)控任務(wù)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行的復(fù)雜工作。第一個(gè)網(wǎng)絡(luò)可以檢測(cè)人臉并檢查以確保人臉矩形完全位于捕獲的幀內(nèi)——即，不是部分人臉。捕獲的圖像然后通過姿勢(shì)網(wǎng)絡(luò)傳遞，檢查頭部是否相對(duì)于機(jī)器傾斜 45 度角以內(nèi)。最后，將人臉圖像傳入情感網(wǎng)絡(luò)，識(shí)別操作員的情緒。當(dāng)與功能強(qiáng)大的硬件配對(duì)時(shí)，例如基于第六代Intel ?的硬件Core? 處理器或由 Intel Movidius? X VPU 提供支持的 Intel Neural Compute Stick 2，該應(yīng)用程序可以提供令人印象深刻的推理速度，從而實(shí)現(xiàn)實(shí)時(shí)分析。

改編這個(gè)例子

視線跟蹤是一項(xiàng)具有許多應(yīng)用的重要新技術(shù)，但當(dāng)今的一項(xiàng)重要技術(shù)是車輛駕駛員監(jiān)控。艾倫·阿德勒 (Alan Adler) 撰寫的 2018 年卡車運(yùn)輸死亡人數(shù)達(dá)到 29 年來最高水平的文章顯示，雖然機(jī)動(dòng)車事故死亡人數(shù)正在下降（去年為 2%），但去年大型卡車事故死亡人數(shù)上升至 9% 的 29 年來新高。分心駕駛的增加是導(dǎo)致卡車運(yùn)輸死亡人數(shù)上升的一個(gè)因素。

使用深度神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)跟蹤駕駛員的頭部姿勢(shì)是確保駕駛員注意道路的一種方法。使用信息來監(jiān)控駕駛員的視線可以幫助識(shí)別風(fēng)險(xiǎn)并確保駕駛員的合規(guī)性，從而減少分心的駕駛員給我們擁擠的道路帶來的風(fēng)險(xiǎn)。

此外，您可以將頭部姿勢(shì)檢測(cè)與其他技術(shù)（例如心率檢測(cè)、體溫測(cè)量和呼吸監(jiān)測(cè)器）結(jié)合使用來識(shí)別睡意。關(guān)注眼睛，監(jiān)測(cè)眨眼和眼球運(yùn)動(dòng)可用于檢測(cè)微睡眠——我們進(jìn)入一種非常短暫的無意識(shí)狀態(tài)，即使我們的眼睛保持睜開并且看起來很專心。

很容易想到頭部姿勢(shì)和表情檢測(cè)的其他應(yīng)用。使用提供的示例代碼，您只需要為您的應(yīng)用程序使用輸出分類，包括修改適當(dāng)?shù)念^部?jī)A斜度。

M. Tim Jones 是一位資深的嵌入式固件架構(gòu)師，擁有超過 30 年的架構(gòu)和開發(fā)經(jīng)驗(yàn)。Tim 是多本書籍和多篇文章的作者，涉及軟件和固件開發(fā)領(lǐng)域。他的工程背景從地球同步航天器的內(nèi)核開發(fā)到嵌入式系統(tǒng)架構(gòu)和協(xié)議開發(fā)。

審核編輯黃宇