麻省理工學(xué)院媒體實(shí)驗(yàn)室(MIT Media Lab)的研究人員開發(fā)了一種機(jī)器學(xué)習(xí)模型，它使計(jì)算機(jī)更接近于像人類一樣自然地解釋我們的情緒。

媒體實(shí)驗(yàn)室的研究人員開發(fā)了一種機(jī)器學(xué)習(xí)模型，該模型在捕捉這些小的面部表情變化方面優(yōu)于傳統(tǒng)系統(tǒng)，可以在訓(xùn)練數(shù)千張面部圖像時(shí)更好地衡量情緒。此外，通過使用一些額外的訓(xùn)練數(shù)據(jù)，該模型可以適應(yīng)全新的一組人，具有相同的功效。目的是改進(jìn)現(xiàn)有的情感計(jì)算技術(shù)。

“這是監(jiān)控我們心情的一種不引人注目的方式?！泵襟w實(shí)驗(yàn)室研究員兼合作者Oggi Rudovic在一篇描述該模型的論文中說道，“如果你想要具有社交智能的機(jī)器人，你必須讓它們變得聰明，更像人類，可以自然地回應(yīng)我們的心情和情緒?！?/p>

該論文的共同作者是：第一作者為Michael Feffer，電氣工程和計(jì)算機(jī)科學(xué)的本科生; Rosalind Picard，媒體藝術(shù)和科學(xué)教授，情感計(jì)算研究小組的創(chuàng)始負(fù)責(zé)人。

個(gè)性化專家

傳統(tǒng)的情感計(jì)算模型使用“一刀切”的概念。他們在一組圖像上進(jìn)行訓(xùn)練，圖像上描繪了各種各樣的面部表情，優(yōu)化了一些特征 —— 例如唇部在微笑時(shí)如何卷曲 —— 并將這些一般特征優(yōu)化映射到整個(gè)新圖像集。

相反，研究人員將一種稱為“混合多專家模型”(MoE)的技術(shù)與模型個(gè)性化技術(shù)相結(jié)合，這種技術(shù)幫助從個(gè)體中挖掘出更細(xì)粒度的面部表情數(shù)據(jù)。Rudovic說，這是第一次將這兩種技術(shù)結(jié)合起來用于情感計(jì)算。

在MoE中，許多稱為“專家”的神經(jīng)網(wǎng)絡(luò)模型都經(jīng)過訓(xùn)練，專門從事單獨(dú)的處理任務(wù)并產(chǎn)生一個(gè)輸出。 研究人員還納入了一個(gè)“門控網(wǎng)絡(luò)”，它可以計(jì)算出哪個(gè)專家能夠最能察覺未被發(fā)現(xiàn)情緒的概率。 “基本上，網(wǎng)絡(luò)可以分辨出不同的個(gè)體，并指出，這是給定圖像的正確專家?！盕effer說。

對于他們的模型，研究人員通過將每個(gè)專家與RECOLA數(shù)據(jù)庫中的18個(gè)單獨(dú)視頻錄制中的一個(gè)進(jìn)行匹配來個(gè)性化MoE。RECOLA數(shù)據(jù)庫是一個(gè)公共數(shù)據(jù)庫，在專為情感計(jì)算應(yīng)用設(shè)計(jì)的視頻聊天平臺(tái)上，人們進(jìn)行交談的數(shù)據(jù)。他們使用9個(gè)分類訓(xùn)練模型，并在其他9個(gè)分類上對其進(jìn)行評估，所有視頻都分解為單獨(dú)的幀。

每個(gè)專家和門控網(wǎng)絡(luò)在剩余網(wǎng)絡(luò)(“ResNet”)的幫助下跟蹤每個(gè)人的面部表情，該網(wǎng)絡(luò)是用于物體分類的神經(jīng)網(wǎng)絡(luò)。在這樣做時(shí)，模型基于情緒效價(jià)(愉快或傷心)和喚醒(興奮)對每個(gè)幀進(jìn)行評分，這是一種常用指標(biāo)來編碼不同的情緒狀態(tài)。另外，六名人類專家根據(jù)-1(低水平)到1(高水平)的等級(jí)標(biāo)記每一幀的效價(jià)和喚醒，該模型也用于訓(xùn)練。

然后，研究人員進(jìn)行了進(jìn)一步的模型個(gè)性化，他們從剩下視頻片段的一些幀中輸入訓(xùn)練過的模型數(shù)據(jù)，然后在這些視頻中對所有看不見的幀進(jìn)行測試。最后的結(jié)果顯示，只有5%到10%的數(shù)據(jù)來自新人群，該模型大大優(yōu)于傳統(tǒng)模型，這意味著它在看不見的圖像上獲得了效價(jià)和喚醒，更接近人類專家的解釋。

Rudovic說，這表明模型在極少的數(shù)據(jù)下，從人群到人群，或個(gè)體到個(gè)體的適應(yīng)力。 “這是關(guān)鍵?！彼f， “當(dāng)你有一個(gè)新人群時(shí)，你必須有辦法解釋數(shù)據(jù)分布的變化[微妙的面部變化]。設(shè)想一個(gè)模型集來分析一種文化中需要適應(yīng)不同文化的面部表情。如果不考慮這種數(shù)據(jù)轉(zhuǎn)移，那些模型將會(huì)表現(xiàn)不佳。但是，如果你只是從新文化中抽取一點(diǎn)來調(diào)整我們的模型，這些模型可以做得更好，特別是在個(gè)人層面。這是最能體現(xiàn)模型個(gè)性化重要性的地方?！?/p>

目前可用于這種情感計(jì)算研究的數(shù)據(jù)在膚色方面并不是很多樣，因此研究人員的訓(xùn)練數(shù)據(jù)是有限的。但是，當(dāng)這些數(shù)據(jù)可用時(shí)，可以訓(xùn)練模型以用于更多不同的人群。 Feffer說，下一步是將模型訓(xùn)練為“一個(gè)更加多元化文化的更大數(shù)據(jù)集”。

更好的人機(jī)交互

研究人員說，訓(xùn)練模型的另一個(gè)目標(biāo)是，幫助計(jì)算機(jī)和機(jī)器人自動(dòng)從少量變化的數(shù)據(jù)中學(xué)習(xí)，以更自然地檢測我們的感受并更好地滿足人類的需求。

例如，它可以在計(jì)算機(jī)或移動(dòng)設(shè)備的背景中運(yùn)行，以跟蹤用戶基于視頻的對話，并在不同的環(huán)境下學(xué)習(xí)細(xì)微的面部表情變化。 “你可以讓智能手機(jī)應(yīng)用程序或網(wǎng)站之類的東西能夠分辨出人們的感受，并提出應(yīng)對壓力或疼痛的方法，以及其它對他們生活產(chǎn)生負(fù)面影響的事情?！盕effer說。

這也可能有助于監(jiān)測抑郁癥或癡呆癥，因?yàn)槿藗兊拿娌勘砬橥蜻@些條件而微妙地改變。 “能夠被動(dòng)地監(jiān)控我們的面部表情?！盧udovic說，“隨著時(shí)間的推移，我們可以向用戶個(gè)性化這些模型，并監(jiān)控他們每天有多少偏差 —— 偏離平均表情水平 —— 并采用它關(guān)于健康和幸福的指標(biāo)。”

Rudovic說，一個(gè)很有前途的應(yīng)用是人類—機(jī)器人互動(dòng)，例如個(gè)人機(jī)器人或用于教育目的的機(jī)器人，機(jī)器人需要適應(yīng)，并評估許多不同人的情緒狀態(tài)。例如，一個(gè)版本被用于幫助機(jī)器人更好地解釋自閉癥兒童的情緒。