利用 AI 技術(shù)判斷一個人的情緒通常有兩種途徑，一種是通過面部表情，另一種是通過語音。前者已經(jīng)比較成熟，而語音識別情感方面的研究，正在快速發(fā)展。近期，一些科研團隊提出了新的方法，來更準(zhǔn)確地識別用戶聲音中的情緒。

知乎上有很多關(guān)于「如何判斷女朋友是否生氣」之類的問題，有人回答：字越少，事越大；還有人說：真生氣，一個月不聯(lián)系；假生氣，會撒嬌說「我生氣了」。

「女朋友是生氣了么？」是千古難題

所以，女朋友的「我沒生氣/真的沒生氣」=「很生氣」；「我生氣了」=「撒嬌，沒生氣，親親抱抱舉高高嘛」。這樣的情緒邏輯讓直男們抓狂。

女朋友的情緒根本就感受不出來啊

究竟應(yīng)該怎么樣才能聽出女朋友到底生氣了沒呢？據(jù)說，AI 已經(jīng)在聽音識情緒上做出成績，可能比男生抓耳撓腮地琢磨半天的結(jié)果更準(zhǔn)確。

Alexa 語音助手：正在修煉成為暖男

亞馬遜語音助手Alexa 在感知情緒方面，可能比男朋友還機智。

今年，經(jīng)過最新升級后，Alexa 已經(jīng)能夠通過分析用戶指令的高低和音量等反應(yīng)，識別出快樂、高興、憤怒、悲傷、煩躁、恐懼、厭惡、厭倦甚至壓力等情緒，并對相應(yīng)指令做出回應(yīng)。

比如，如果一個女生一邊擤鼻涕一邊咳嗽一邊又跟 Alexa 說自己有點餓了，那么 Alexa 就會通過對女生說話的的音調(diào)（虛弱、低沉）和背景音（咳嗽、擤鼻涕）分析出她很可能得病了，然后發(fā)出來自機器的貼心關(guān)懷：要不要來碗雞湯，或者叫個外賣？甚至直接線上訂購一瓶止咳糖漿一小時內(nèi)送貨上門？

這表現(xiàn)，是不是比鋼鐵直男男朋友還貼心？

人工智能做情緒分類已不是什么新鮮事了，不過，最近，亞馬遜 Alexa Speech 團隊前段時間打破了傳統(tǒng)方法，發(fā)表了新的研究成果。

傳統(tǒng)的方法都是有監(jiān)督的，其獲取的訓(xùn)練數(shù)據(jù)已經(jīng)根據(jù)說話者的情緒狀態(tài)被標(biāo)記過。而亞馬遜 Alexa Speech 團隊的科學(xué)家最近采用了一種不同的方法，他們在國際聲學(xué)，語音和信號處理會議（ICASSP）上發(fā)表了介紹這種方法的論文《Improving Emotion Classification through Variational Inference of Latent Variables》（http://t.cn/Ai0se57g）

他們沒有采用詳盡注釋過「情感」的語料庫來訓(xùn)練系統(tǒng)，而是提供了一個對抗自編碼器（AAE）。這是一個包含來自 10 個不同發(fā)言者的 10,000 個話語的公開數(shù)據(jù)集。

他們得到的研究結(jié)果是，在判斷人們的聲音中的效價（emotion valence）或情感價值（emotional value）時，神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度提高了 4％。在團隊的努力下，通過用戶聲音，便能可靠地確定用戶的心情或情緒狀態(tài)。

AAE 模型原理示意圖

論文的共同作者，Alexa Speech 組高級應(yīng)用科學(xué)家 Viktor Rozgic 解釋道，對抗自編碼器是包含編碼器的兩部分模型——編碼器（encoder）和解碼器（decoder）。編碼器學(xué)習(xí)生成輸入語音的緊湊（或潛在）表示，編碼訓(xùn)練示例的所有屬性；而解碼器重建來自緊湊表示的輸入。

對抗自編碼器的架構(gòu)

研究人員的情緒表征由三個網(wǎng)絡(luò)節(jié)點組成，三個網(wǎng)絡(luò)節(jié)點分別用于三種情緒測量：效價，激活（activation，說話者是警覺的，投入的還是被動的），以及支配（說話者是否感覺被周邊局面控制）。

訓(xùn)練分三個階段進(jìn)行。第一階段使用無標(biāo)簽的數(shù)據(jù)單獨訓(xùn)練編碼器和解碼器。第二階段為對抗訓(xùn)練，對抗性鑒別器試圖區(qū)分編碼器產(chǎn)生的真實表示與人工表示的技術(shù)，該階段用于調(diào)整編碼器。在第三階段，調(diào)整編碼器以確保潛在情緒表示，來預(yù)測訓(xùn)練數(shù)據(jù)的情緒標(biāo)簽。

為了捕獲有關(guān)語音信號的信息，在涉及句子級特征表示的「hand-engineered」實驗中，他們的 AI 系統(tǒng)在評估效價方面比傳統(tǒng)訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確度提高了 3％。

此外，他們表示，當(dāng)向網(wǎng)絡(luò)提供一組表示 20 毫秒幀(或音頻片段)聲學(xué)特性的序列時，效果提高了 4%。

MIT 實驗室打造神經(jīng)網(wǎng)絡(luò)1.2 秒感知憤怒

亞馬遜不是唯一一家研究改進(jìn)的基于語音的情緒檢測的公司。麻省理工學(xué)院媒體實驗室 Affectiva 最近演示了一個神經(jīng)網(wǎng)絡(luò) SoundNet：可以在短短 1.2 秒內(nèi)（已經(jīng)超越人類感知憤怒所需時間）將憤怒與音頻數(shù)據(jù)分類，并且無論哪種語言。

Affectiva 的研究人員在新論文《Transfer Learning From Sound Representations For Anger Detection in Speech》（https://arxiv.org/pdf/1902.02120.pdf）中描述了該系統(tǒng)。它建立在語音和面部數(shù)據(jù)打造情感檔案的基礎(chǔ)上。

為了測試 AI 模型的通用性，該團隊使用以英文訓(xùn)練的模型，對普通話語音情感數(shù)據(jù)訓(xùn)練的模型（普通話情感語料庫，簡稱MASC）進(jìn)行了評估。結(jié)果它不僅可以很好地推廣到英語語音數(shù)據(jù)，對漢語數(shù)據(jù)也很有效，盡管性能略有下降。

針對英文與中文的訓(xùn)練結(jié)果 ROC 曲線

虛線表示隨機分類器的 ROC

團隊表示，「識別憤怒應(yīng)用廣泛，包括會話界面和社交機器人，交互式語音應(yīng)答（IVR）系統(tǒng)，市場研究，客戶代理評估和培訓(xùn)，以及虛擬現(xiàn)實和增強現(xiàn)實?！?/p>

未來的工作將開發(fā)其他大型公共語料庫，并為相關(guān)的基于語音的任務(wù)訓(xùn)練 AI 系統(tǒng)，例如識別其他類型的情緒和情感狀態(tài)。

以色列 App 識別情緒：準(zhǔn)確率 80%

以色列創(chuàng)業(yè)公司 Beyond Verbal 開發(fā)了一款名為 Moodies 的應(yīng)用，它能夠通過麥克風(fēng)采集說話者的聲音，經(jīng)過 20 秒左右的分析，判斷說話者的情緒特征。

Moodies 擁有一套特殊的算法，軟件會對說話者的

節(jié)奏、時間、聲音大小、停頓以及能量等情緒維度進(jìn)行分析

盡管語音分析專家承認(rèn)語言與情緒具有相關(guān)性，但不少專家卻質(zhì)疑這種實時測算的準(zhǔn)確性——這類工具收集到的聲音樣本非常有限，實際的分析可能需要收集數(shù)年的樣本。

「以目前認(rèn)知神經(jīng)學(xué)的水平，我們根本沒有技術(shù)真正地了解一個人的思想或者情感。」哥倫比亞大學(xué)心理學(xué)教授助理 Andrew Baron 說道。

不過 Beyond Verbal 負(fù)責(zé)市場的副總裁 Dan Emodi 表示，Moodies 經(jīng)過了三年多的研究，根據(jù)用戶的反饋，應(yīng)用分析的準(zhǔn)確率約為 80%。

Beyond Verbal 公司表示，Moodies 可以應(yīng)用于自我情緒診斷、客服中心處理顧客關(guān)系甚至檢測求職者是否說謊，當(dāng)然你也可以帶到約會的場景中，看對方是否真的對自己感興趣。

語音情緒識別依然面臨挑戰(zhàn)

雖然很多科技公司已經(jīng)在這方面有著多年的研究，也得到不錯的成果。但是，正如上文 Andrew Baron 所質(zhì)疑的，這項技術(shù)還面臨多個挑戰(zhàn)。

就像女朋友一句平靜的「我沒生氣」并不代表她真的沒生氣一樣，一個發(fā)音中可以包含多種感情，不同情感的邊界也難以界定，哪個情緒是當(dāng)前主導(dǎo)的情緒？

國內(nèi)某語音情緒識別產(chǎn)品展示

并不是所有的語氣都像視頻中這樣明顯與激烈，表達(dá)情感是一個個性化極強的事情，根據(jù)個人，環(huán)境甚至文化差異都很大。

此外，一種情緒可能持續(xù)很長時間，但期間也會有快速變化的情緒，情感識別系統(tǒng)是檢測長期的情緒還是短時的情緒呢？比如某人限于失業(yè)的痛苦中，但期間因為朋友的關(guān)心短暫開心了一下，但實際上他仍處于傷心狀態(tài)，AI 該怎么定義他的狀態(tài)呢？

而另一個令人擔(dān)心的事是，當(dāng)這些產(chǎn)品能夠聽懂人的情緒后，是否會因為用戶對它的依賴，而詢問更多隱私性的問題，獲取用戶多方面信息，從而將「服務(wù)」變成「買賣」？

愿你會擁有大白，也擁有真正懂你的人

很多人都想擁有一個溫暖又貼心的大白，這個在科幻動畫里才有的高情商機器人，未來是否會成真呢？

非常低落而緩慢地跟小冰說話得到無情回答

目前，很多聊天機器人依然沒有情商，無法感知用戶的小情緒，常常把天聊死。所以，真正能夠聽懂你的，依然是陪伴在你身邊傾聽你的人。