麻省理工學院媒體實驗室的研究者們已經(jīng)開發(fā)了一種機器學習模型，這種模型讓電腦更加像人一樣解譯我們的情感。

在“情感計算”這個新興領(lǐng)域，人們開發(fā)可以分析面部表情的機器人和計算機，讓它們解譯我們的情感并根據(jù)解譯結(jié)果做出回應(yīng)。其應(yīng)用包括管理個人健康、保證學生在課堂上的興趣、幫助診斷一些疾病以及開發(fā)有用的機器人伙伴。

然而這項技術(shù)面臨的一大挑戰(zhàn)是，不同的人表達情感的方式非常不同，這一不同依賴于許多因素。一些普適的差異包括不同文化、性別、年齡組之間的差異。但是此外還存在一些更精細的差異：每天中的不同時刻、睡眠狀況、甚至對談話對象的熟悉程度等都會導(dǎo)致你情感表達的差異。

人們的大腦天生就可以處理這些偏差，但這對機器來說很難。深度學習技術(shù)在近些年來幫助機器捕捉這些偏差，但這還無法精確到或能夠適應(yīng)不同的人群需求。

麻省理工學院媒體實驗室的研究人員們開發(fā)了一種新的機器學習模型，這個模型通過幾千個面部圖像學習，獲得了比傳統(tǒng)模型更能捕捉到細微的面部表情變化的能力，可以更好衡量人們的情感。此外，通過使用一些額外的訓(xùn)練數(shù)據(jù)，模型還可以適應(yīng)一個全新的人群，并達到同樣的效果。這項研究的目標是提高現(xiàn)有的情感計算技術(shù)。

“這是一種隱蔽的管理情感方式，”麻省理工學院媒體實驗室研究者及這篇文章的共作者 Oggi Rudovic 表示，“如果你想讓機器人擁有社交智能，你必須讓它們能夠聰明而自然地對我們的情感作出回應(yīng)，更加像人類一樣。”O(jiān)ggi Rudovic 在上周的機器學習和數(shù)據(jù)挖掘大會上進行了展示。

個性化專家

傳統(tǒng)情感計算模型通常想找到一個“通解”。他們通過對一系列描述不同面部表情的圖像訓(xùn)練來優(yōu)化特征——如當笑的時候嘴唇是如何卷曲的——并將這些普適的優(yōu)化標記在整個新圖像數(shù)據(jù)集中。

而本次研究的科學家將個性化模型技術(shù)與“多專家模型（MoE)”技術(shù)結(jié)合，幫助挖掘細粒度的個人面部表情數(shù)據(jù)。Rudovic 說，這是首次將這兩種技術(shù)結(jié)合并用于情感計算。

在多專家模型中，一系列神經(jīng)網(wǎng)絡(luò)模型被稱為“專家”，每一個“專家”用于專門訓(xùn)練一個分開的任務(wù)并生成一個輸出結(jié)果。研究人員結(jié)合了門控網(wǎng)絡(luò)，這一網(wǎng)絡(luò)可以計算每個專家成功解譯未見過的新情緒的概率?！盎旧?，網(wǎng)絡(luò)可以區(qū)別個體的差異并指出‘在這張圖中這個專家的結(jié)果是正確的’?！盕effer 說。

對他們的模型來說，研究人員通過將每個專家與 RECOLA 數(shù)據(jù)集中 18 個個人視頻記錄進行匹配。RECOLA 數(shù)據(jù)集是一個公開數(shù)據(jù)庫，供人們在為情感計算設(shè)計的應(yīng)用平臺上通過視頻聊天交流。他們采用了 9 個主題訓(xùn)練模型，而通過另外 9 個主題來評估訓(xùn)練結(jié)果。所有的視頻都被剪輯成獨立的小部分。

每一個專家和門控網(wǎng)絡(luò)都可以通過一種叫 ResNet 的分類神經(jīng)網(wǎng)絡(luò)幫助追溯到每個個體的面部表情。在這個過程中，模型基于數(shù)值的高低（如高興或不高興）和喚醒程度（如興奮）為每一個框架打分。通常使用矩陣為這些不同的情感狀態(tài)進行編碼。同時，6 個人類專家標記每一個框架的數(shù)值和喚醒度，用來訓(xùn)練這些模型。

研究人員進一步對模型個性化，他們將一些剩下的視頻作為訓(xùn)練模型數(shù)據(jù)，用另一些機器未見過的視頻對模型測試。結(jié)果顯示，在含有 5%-10% 新人群類型的數(shù)據(jù)中，該模型比傳統(tǒng)模型表現(xiàn)有很大改觀，這意味著模型的數(shù)值和喚醒度數(shù)據(jù)更接近人類專家的評分。

更好的人機交互

另一個目標是訓(xùn)練模型幫助計算機和機器人自動學習數(shù)據(jù)中的微小變化，以用于更自然的檢測我們的感覺并更好的服務(wù)人類需要。研究者說。

例如，這個模型可以在電腦或移動設(shè)備上運行并追溯用戶的視頻對話，以學習其在不同環(huán)境中的細微面部表情變化?！澳憧梢允褂媚茏R別人們感情的智能手機 app 或網(wǎng)站，它們將向你推薦如何應(yīng)付這些壓力，或其他對生活有負面影響的事?！盕effer 說。

該模型也可以幫助人們管理壓力等負面情緒，這些情緒中的人們面部表情會有一些微妙的變化?！巴ㄟ^管理我們面部表情中的負面情緒，”Rudovic 說，“我們可以個性化這些模型并管理人們每天的數(shù)據(jù)與平均數(shù)據(jù)之間的變化，并進一步用作健康指標?！?/p>