只用“耳機(jī)”，識(shí)別表情，這是怎么做到的了？

AI讓蒙娜麗莎動(dòng)起來，甚至模仿我們的表情運(yùn)動(dòng)，伴隨科技的飛躍，都已經(jīng)不再是讓人驚奇的事了。

然而，面部追蹤系統(tǒng)，通常對(duì)攝像頭精度要求很高。 然而，如果攝像頭可以不被使用了呢？ 事實(shí)上，康奈爾大學(xué)的科研專家已做到了，過程無需任何正對(duì)著用戶的臉的攝像頭，追蹤就完成了，效果也不錯(cuò)。 先看看追蹤效果如何：

攝像頭不必要的話，看看佩戴口罩的效果：

那么拋開攝像頭，面部表情如何追蹤了？ 提示：戴在耳朵上的小東西。事實(shí)上，那副耳機(jī)就是主要儀器，用戶的表情可以實(shí)時(shí)輸出。 比用攝像頭的“傳統(tǒng)方法”，該方法的優(yōu)點(diǎn)在于，哪怕有口罩，追蹤用戶的面部表情依然輕松，人們無需特地取下口罩了。 系統(tǒng)叫做C-Face（Contour-Face）。 康奈爾大學(xué)SciFi實(shí)驗(yàn)室主任、C-Face論文的高級(jí)作者張鋮在聲明中說：“該設(shè)備比所有的耳掛式可穿戴技術(shù)都更簡(jiǎn)易、更有新鮮感，有更全的功能?！? “傳統(tǒng)的為了識(shí)別面部表情的可穿戴技術(shù)中，大部分必須在面部上配置傳感器，傳感器數(shù)量這么大，系統(tǒng)也僅僅識(shí)別一組離散面部表情?！?/p>

42個(gè)特征點(diǎn)被抓，C-Face也支持無聲命令和聊天表情發(fā)送

攝像頭并非完全沒被在此項(xiàng)目中用到，只不過非常隱蔽。 觀察用戶的耳朵下方，左右都有一個(gè)RGB攝像頭，攝像頭可以在用戶面部肌肉移動(dòng)時(shí)，捕捉臉頰輪廓的變化。

頭戴式耳機(jī)也能夠配置攝像頭，實(shí)現(xiàn)面部識(shí)別。

通過計(jì)算機(jī)視覺和深度學(xué)習(xí)模型重建圖像后，卷積神經(jīng)網(wǎng)絡(luò)可以解析2D圖像，把面部特征變?yōu)?2個(gè)面部特征點(diǎn)，特征表征用戶的嘴巴、眼睛和眉毛的形狀。 臉部追蹤數(shù)據(jù)有了后，數(shù)據(jù)被變成八種不同表情，有中立或憤怒等等。 C-Face還支持通過面部表情操作音樂程序上的播放鍵。 手機(jī)在充電，但是不想動(dòng)，無需說出聲音，播放歌曲就實(shí)現(xiàn)了：

或者，聊天需要發(fā)送表情，但是恰巧找不到表情包了，該怎么辦？ 在這種情境下，直接做出表情，系統(tǒng)可以識(shí)別并直接發(fā)送出去，非常簡(jiǎn)便：

不過，因?yàn)槭艿叫鹿谝咔榈挠绊?，科研小組只對(duì)9名參與者測(cè)試了C-Face。雖然參與者不多，但準(zhǔn)確度超過了88％，面部提示的準(zhǔn)確度多于85％。 并且，專家發(fā)現(xiàn)，耳機(jī)的電池容量影響了續(xù)航時(shí)間，正設(shè)計(jì)功耗更低的傳感技術(shù)。

深耕于人機(jī)交互領(lǐng)域的華人教授張鋮

在這個(gè)項(xiàng)目的研發(fā)小組中，有華人教授的——張鋮，同樣是研發(fā)小組的負(fù)責(zé)人。 張鋮個(gè)人網(wǎng)站，他現(xiàn)在是康奈爾大學(xué)計(jì)算機(jī)和信息科學(xué)的助理教授，兼任未來交互智能計(jì)算機(jī)接口（Smart Computer Interfaces for Future Interaction，SciFi）實(shí)驗(yàn)室主任。

原文標(biāo)題：“人臉識(shí)別”耳機(jī)？！靠追蹤肌肉識(shí)別表情

文章出處：【微信公眾號(hào)：MEMS】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq