編者按：著名心理學(xué)家Paul Ekman和研究伙伴W.V.Friesen，通過對臉部肌肉動作與對應(yīng)表情關(guān)系的研究，于1976年創(chuàng)制了“面部運動編碼系統(tǒng)”，而利用微表情的“讀心術(shù)”正是基于這一研究體系。由于該領(lǐng)域有限的數(shù)據(jù)集和高昂的標(biāo)注成本，有監(jiān)督學(xué)習(xí)的方法往往會導(dǎo)致模型過擬合。本文中，將為大家介紹中科院計算所VIPL組的CVPR2019新作：作者提出了一種基于視頻流的自監(jiān)督特征表達方法，通過利用巧妙的自監(jiān)督約束信號， 得到提純的面部動作特征用于微表情識別。

1.研究背景

面部運動編碼系統(tǒng) （FACS，F(xiàn)acial Action Coding System）從人臉解剖學(xué)的角度，定義了44個面部動作單元（Action Unit，簡稱AU）用于描述人臉局部區(qū)域的肌肉運動，如圖1所示，AU9表示“皺鼻”，AU12表示“嘴角拉伸”。各種動作單元之間可以自由組合，對應(yīng)不同的表情。如“AU4（降低眉毛）+AU5（上眼瞼上升）+AU24（嘴唇相互按壓）”這一組合對應(yīng)“憤怒”這一情緒狀態(tài)。

面部動作單元能夠客觀、精確、細粒度地描述人臉表情。然而昂貴的標(biāo)注代價在很大程度上限制了AU識別問題的研究進展，其原因在于不同的AU分布在人臉的不同區(qū)域，表現(xiàn)為不同強度、不同尺度的細微變化。具體來說，為一分鐘的人臉視頻標(biāo)注一個AU，需要耗費一名AU標(biāo)注專家30分鐘。目前學(xué)術(shù)界已發(fā)布的AU數(shù)據(jù)集只包含了有限的采集對象，以及有限的人臉圖像（如2017年CMU發(fā)布的GFT數(shù)據(jù)集有96個人，約35，000張人臉圖像）。

圖1. 面部動作單元示例

當(dāng)前已有的工作多采用人臉區(qū)域分塊、注意力機制等方法學(xué)習(xí)人臉局部區(qū)域的AU特征，這類方法在訓(xùn)練階段需要利用精確標(biāo)注的AU標(biāo)簽，由于目前業(yè)界發(fā)布的AU數(shù)據(jù)集人數(shù)及圖像總量不足，采用監(jiān)督學(xué)習(xí)方法訓(xùn)練得到的模型往往呈現(xiàn)出在特定數(shù)據(jù)集上的過擬合現(xiàn)象，這無疑限制了其實際使用效果。

我們提出了一種能夠在不依賴AU標(biāo)簽的前提下，從人臉視頻數(shù)據(jù)中自動學(xué)習(xí)AU表征的方法（Twin-Cycle Autoencoder，簡稱TCAE）。TCAE用于后續(xù)的AU識別任務(wù)時，只需要利用訓(xùn)練數(shù)據(jù)訓(xùn)練一個分類器即可，顯著減少了所需的訓(xùn)練數(shù)據(jù)，并提升了模型的泛化能力。

2.方法概述

如圖2所示，該方法以兩幀人臉圖像（源圖，目標(biāo)圖）之間的運動信息為監(jiān)督信號，驅(qū)使模型提取出用于解碼運動信息的圖像特征。這個方法的理念在于，模型只有感知并理解了人臉圖像中各個面部動作單元的狀態(tài)（AU是否激活），才能夠?qū)⒃磮D的面部動作轉(zhuǎn)換為目標(biāo)圖像的面部動作。

圖2. TCAE 設(shè)計圖

考慮到兩幀人臉圖像之間的運動信息包含了AU以及頭部姿態(tài)的運動分量，TCAE通過利用巧妙的自監(jiān)督約束信號，使得模型能夠分離出AU變化引起的運動分量，以及頭部姿態(tài)變化引起的運動分量，從而得到提純的AU特征。與其他監(jiān)督方法，TCAE可以利用大量的無標(biāo)注人臉視頻，這類視頻是海量的。與半監(jiān)督或者弱監(jiān)督方法相比， TCAE采用了自監(jiān)督信號進行模型訓(xùn)練，避免了對數(shù)據(jù)或者標(biāo)簽的分布做出任何假設(shè)。

3.算法詳解

如圖3所示，TCAE包含四個階段，分別是特征解耦，圖像重建，AU循環(huán)變換，以及姿態(tài)（pose）循環(huán)變換。

給定兩張人臉圖像，TCAE在特征解耦階段使用編碼器得到每張圖像的AU特征以及姿態(tài)特征，隨后，兩幀圖像的AU特征被送入AU解碼器，用于解碼出AU位移場；兩幀圖像的姿態(tài)特征被送入姿態(tài)解碼器，用于解碼出姿態(tài)位移場?？紤]到AU的變化是稀疏的，且AU位移場的數(shù)值與姿態(tài)位移場相比更小，我們?yōu)锳U位移場添加了L1約束：

在目標(biāo)圖重建階段，TCAE通過線性組合AU位移場和pose位移場，得到源圖和目標(biāo)圖之間的整體位移場，進行圖像重建：

在AU循環(huán)變換階段，僅變換了AU的人臉圖像被重新變換到源圖，由此我們獲得一個像素層面的一致性約束：

另外，對于變換了AU的人臉圖像，其AU特征應(yīng)該接近目標(biāo)圖像的AU特征，其姿態(tài)特征應(yīng)該和源圖的姿態(tài)特征一致，由此我們獲得一個特征層面的一致性約束：

同理，在pose循環(huán)變化階段，我們同樣可以獲得類似的像素及特征層面的一致性約束：

圖3. TCAE的四個階段示意圖，四個階段分別是特征解耦，圖像重建，AU循環(huán)變換，以及pose循環(huán)變換。

4.實驗結(jié)果

多個數(shù)據(jù)集上的實驗證明，TCAE能夠成功提取出人臉圖像的AU及姿態(tài)特征。如圖4所示，給定兩張人臉圖像（源圖，目標(biāo)圖），TCAE能夠僅僅改變源圖的AU或者頭部姿態(tài)?？梢暬腁U位移場呈現(xiàn)出運動方向的多樣性。

在AU識別任務(wù)上，TCAE取得了與監(jiān)督方法可比的性能。表1及表2的結(jié)果表明，TCAE明顯優(yōu)于其他自監(jiān)督方法。在GFT數(shù)據(jù)集（該數(shù)據(jù)集存在大范圍的頭部姿態(tài)變化）上，TCAE的性能優(yōu)于其他監(jiān)督方法。

圖4. 可視化結(jié)果

表1. BP4D及DISFA數(shù)據(jù)集評測結(jié)果

（評測標(biāo)準(zhǔn)：F1 值 (%)）

表2. GFT及EmotioNet數(shù)據(jù)集評測結(jié)果

（評測標(biāo)準(zhǔn)：F1 值 (%) ）

5.總結(jié)與展望

TCAE通過自監(jiān)督的方法學(xué)習(xí)到了魯棒的AU表征，實驗證明該AU表征是魯棒的，適用于AU分類任務(wù)的?？梢暬Y(jié)果表明，TCAE具有潛在的人臉表情編輯價值。另外，TCAE在訓(xùn)練階段使用了大量的無標(biāo)簽數(shù)據(jù)（近6000人，約10，000，000張圖像），由此可見使用自監(jiān)督方法訓(xùn)練模型時數(shù)據(jù)利用的效率需要進一步提高，這一點在BERT的實驗分析中也得到了印證：Good results on pre-training is >1,000x to 100,000 more expensive than supervised training。