人是善于通過(guò)表情偽裝情緒的動(dòng)物，但心理學(xué)家卻能夠通過(guò)“微表情”來(lái)揭示人們?cè)噲D隱藏的真實(shí)情緒。 所謂微表情，是一種持續(xù)時(shí)間極短、在人們?cè)噲D掩飾自己真實(shí)情緒時(shí)泄露出來(lái)的面部動(dòng)作。 如果看過(guò)美劇《Lie to Me》，應(yīng)該對(duì)微表情不會(huì)陌生。男主卡爾?萊特曼是一個(gè)微表情專家，他不需要借助測(cè)謊儀之類的設(shè)備，也不需要收集各種證據(jù)，甚至不需要對(duì)話，只需要觀察細(xì)微的表情變化便可以判斷一個(gè)人是否說(shuō)謊。 之所以能夠這樣，是因?yàn)槿藗冊(cè)隗w驗(yàn)情緒時(shí)會(huì)有一系列肌肉動(dòng)作不自覺(jué)地表現(xiàn)出來(lái)。 例如人們?cè)趹嵟瓡r(shí)，眉毛會(huì)緊皺下垂，，眼瞼和嘴唇緊張：

或者一個(gè)人在對(duì)事物表示驚訝時(shí)，下顎會(huì)自然下垂，嘴唇和嘴巴放松，眼睛張大，眼瞼和眉毛會(huì)微微上抬：

當(dāng)然，我們知道面部表情是可以受主觀意識(shí)控制，例如一個(gè)人可能因其知識(shí)、閱歷、能力等原因，在內(nèi)心波濤洶涌的時(shí)候做到面不改色。然而，微表情是面部肌肉條件反射地表現(xiàn)出情緒所對(duì)應(yīng)的行為。正是因?yàn)槿绱?，微表情往往能夠揭示人類試圖隱藏的真實(shí)情緒。 但正如對(duì)微表情的定義，微表情持續(xù)時(shí)間短暫、變化幅度微弱和動(dòng)作區(qū)域較少，很多時(shí)候人們很難注意到其存在。只有那些經(jīng)過(guò)大量訓(xùn)練的專家才能準(zhǔn)確地檢測(cè)，而且不同的專家還往往會(huì)判斷不一致。靠人工來(lái)觀察微表情真的是一個(gè)耗費(fèi)人力、耗費(fèi)時(shí)間，而且準(zhǔn)確度低的事情！ 停！ 耗費(fèi)人力物力、工作機(jī)械、需要大量專家……這不正是機(jī)器學(xué)習(xí)所擅長(zhǎng)的嗎？事實(shí)上，目前已有許多學(xué)者在用機(jī)器學(xué)習(xí)的方法進(jìn)行微表情研究了。

一、方法

對(duì)微表情的研究，在方法上事實(shí)上類似于人臉識(shí)別，一般包含檢測(cè)和識(shí)別兩個(gè)具體問(wèn)題。 對(duì)于人臉識(shí)別，一般都是先進(jìn)行人臉檢測(cè)，然后對(duì)檢測(cè)到的人臉進(jìn)行識(shí)別。這個(gè)過(guò)程同樣也適用于微表情識(shí)別：先從一段長(zhǎng)視頻中把發(fā)生微表情的視頻片段檢測(cè)出來(lái)，然后識(shí)別該微表情屬于哪一類微表情。

人臉檢測(cè)和微表情檢測(cè) 微表情檢測(cè)，就是指在一段視頻流中，檢測(cè)出是否包含微表情，并標(biāo)記微表情的起點(diǎn)(onset)、峰值(apex)和終點(diǎn)(offset)。起點(diǎn)(onset) 是指微表情出現(xiàn)的時(shí)間；峰值(apex) 是指微表情幅度最大的時(shí)間; 終點(diǎn)(offset) 是指微表情消失的時(shí)間。 微表情識(shí)別是指給定一個(gè)已經(jīng)分割好的微表情片斷，通過(guò)某種算法，識(shí)別該微表情的情緒種類（例如厭惡、悲傷、驚訝、憤怒、恐懼、快樂(lè)等）。如同三維動(dòng)態(tài)表情識(shí)別一樣，其處理的對(duì)象是視頻片斷，而不只是單幅圖像。對(duì)其處理過(guò)程中，不僅要考慮空間上的模式，還要考慮時(shí)間上的模式。所以許多微表情識(shí)別的算法都考慮了時(shí)空模式。 相對(duì)于微表情檢測(cè)來(lái)說(shuō)，微表情識(shí)別的難度要小一點(diǎn)。所以對(duì)微表情的研究一般從微表情識(shí)別開(kāi)始入手。 不過(guò)對(duì)微表情的檢測(cè)和定位往往會(huì)更有實(shí)用價(jià)值。如果能在一段視頻中準(zhǔn)確地檢測(cè)和定位到某個(gè)時(shí)間點(diǎn)有微表情出現(xiàn)，那么就說(shuō)明這個(gè)人在這個(gè)時(shí)間點(diǎn)上可能會(huì)有異常。

二、數(shù)據(jù)集

事實(shí)上對(duì)于微表情研究，最難的是如何收集足夠多的、質(zhì)量高的微表情數(shù)據(jù)集。 目前微表情數(shù)據(jù)庫(kù)并不多，已知的有：USF-HD數(shù)據(jù)庫(kù)，Polikovsky數(shù)據(jù)庫(kù)， SMIC數(shù)據(jù)庫(kù), CASME數(shù)據(jù)庫(kù), CASME II數(shù)據(jù)庫(kù)，SAMM數(shù)據(jù)庫(kù)，CAS(ME)2數(shù)據(jù)庫(kù)。在這八個(gè)數(shù)據(jù)庫(kù)中，前兩個(gè)都是非自然誘發(fā)的，且非公開(kāi)的。 另外5個(gè)數(shù)據(jù)集，CASME、CASME II、CAS(ME)2是中國(guó)科學(xué)院心理研究所傅小蘭團(tuán)隊(duì)所建立，SMIC是由芬蘭奧魯大學(xué)趙國(guó)英團(tuán)隊(duì)建立。各個(gè)數(shù)據(jù)集的細(xì)節(jié)如下表所示：

五個(gè)公開(kāi)發(fā)表的微表情數(shù)據(jù)庫(kù) 需要強(qiáng)調(diào)的是，這些數(shù)據(jù)庫(kù)的樣本量都非常小，到目前為止，公開(kāi)發(fā)表的微表情樣本只有不到800個(gè)。是典型的小樣本問(wèn)題。這就造成當(dāng)前基于深度學(xué)習(xí)的方法在微表情問(wèn)題上無(wú)法完全發(fā)揮出它應(yīng)有的威力。 事實(shí)上，微表情數(shù)據(jù)庫(kù)的建立非常困難。一個(gè)原因是微表情的誘發(fā)很難，研究者往往要求被試觀看情緒視頻，激發(fā)他們的情緒同時(shí)要求他們偽裝自己的表情。有些被試可能并沒(méi)有出現(xiàn)微表情或者出現(xiàn)得很少。 另一方面，微表情的編碼也十分費(fèi)時(shí)費(fèi)力。微表情的編碼依賴于肉眼，需要觀察者慢速觀看視頻，并且選擇臉部運(yùn)動(dòng)的起始、高峰、結(jié)束并計(jì)算他們的時(shí)長(zhǎng)。而且對(duì)于微表情的情緒標(biāo)定，目前沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。 微表情數(shù)據(jù)庫(kù)面臨的另外的問(wèn)題。因?yàn)槲⒈砬榈倪\(yùn)動(dòng)幅度非常小，并且相對(duì)于常規(guī)表情常常是局部的運(yùn)動(dòng)，導(dǎo)致在情緒分類上并不是很明確，所以不同數(shù)據(jù)庫(kù)的情緒標(biāo)定標(biāo)準(zhǔn)不一樣，所以相似的運(yùn)動(dòng)被作為不同類的微表情而不同的運(yùn)動(dòng)被視作為同類的表情。這一特點(diǎn)導(dǎo)致使用各種數(shù)據(jù)庫(kù)進(jìn)行微表情識(shí)別算法訓(xùn)練得出的結(jié)果并不一致。 此外，由于微表情持續(xù)時(shí)間短、強(qiáng)度低且經(jīng)常是局部運(yùn)動(dòng)，現(xiàn)在的許多微表情數(shù)據(jù)庫(kù)視頻質(zhì)量并不能滿足微表情識(shí)別分析的需要，這需要具有更高的時(shí)間和空間分辨率的視頻片段才能進(jìn)一步改進(jìn)目前的識(shí)別算法。 一句話：微表情建庫(kù)，重要性非常高，問(wèn)題非常多，困難非常大。

三、現(xiàn)狀

近幾年來(lái)，微表情受到越來(lái)越多學(xué)者們的關(guān)注。

2009-2016年計(jì)算機(jī)科學(xué)領(lǐng)域中微表情論文發(fā)文量的統(tǒng)計(jì)（數(shù)據(jù)來(lái)自Scopus） 上圖對(duì)2009-2016年計(jì)算機(jī)科學(xué)領(lǐng)域中微表情論文發(fā)文量進(jìn)行了統(tǒng)計(jì)?？梢钥闯?，近三年來(lái)，有關(guān)微表情論文的發(fā)文量在急劇增長(zhǎng)。2009-2016年一共發(fā)文81篇，其中2016年就發(fā)文30篇，占總數(shù)37%。特別是2013年兩個(gè)微表情數(shù)據(jù)庫(kù)（CASME和SMIC）公開(kāi)發(fā)布以后，微表情相關(guān)的論文發(fā)文量逐年遞增。 目前，國(guó)外做的較好的以芬蘭奧魯大學(xué)趙國(guó)英團(tuán)隊(duì)為主，他們?yōu)槲⒈砬樽R(shí)別提出了一個(gè)系統(tǒng)的框架，并且公開(kāi)以布了一個(gè)微表情數(shù)據(jù)庫(kù)SMIC。其他包括馬來(lái)西亞Multimedia大學(xué)的John See團(tuán)隊(duì)、英國(guó)曼徹斯特都會(huì)大學(xué)的Moi Hoon Yap團(tuán)隊(duì)、美國(guó)南佛羅里達(dá)大學(xué)的Shreve、日本筑波大學(xué)的Polikovsky和日本早稻田大學(xué)Yao等。 而國(guó)內(nèi)做微表情檢測(cè)和識(shí)別的科研機(jī)構(gòu)主要有中國(guó)科學(xué)院心理研究所傅小蘭團(tuán)隊(duì)，前面提到的三個(gè)數(shù)據(jù)庫(kù)都是他們建立的。其次還有東南大學(xué)鄭文明團(tuán)隊(duì)、山東大學(xué)賁晛燁團(tuán)隊(duì)、復(fù)旦大學(xué)張軍平團(tuán)隊(duì)、清華大學(xué)劉永進(jìn)團(tuán)隊(duì)、中山大學(xué)的鄭偉詩(shī)團(tuán)隊(duì)等。可以看出，國(guó)內(nèi)在這方面有相對(duì)較多的研究隊(duì)伍。 從微表情論文發(fā)文數(shù)量可以看出，微表情檢測(cè)和識(shí)別的研究屬于一個(gè)小眾的研究。其限制的主要原因在于大規(guī)模、高質(zhì)量、公開(kāi)的數(shù)據(jù)資源的稀缺。所以，用機(jī)器學(xué)習(xí)方法做微表情研究，面臨的一個(gè)重要的問(wèn)題便是：如何建立大規(guī)模、高質(zhì)量的數(shù)據(jù)庫(kù)資源。這面臨著從硬件，到軟件，到標(biāo)準(zhǔn)的一系列嚴(yán)峻挑戰(zhàn)。