陳湯慧 高美鳳

（江南大學(xué)輕工過程先進控制教育部重點實驗室，物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫 214122）

1 引言

微表情是一種持續(xù)時間短、肌肉運動幅度小的面部表情，通常發(fā)生在人類試圖隱藏自己內(nèi)心真實情緒的時候，并且具有不可欺騙性。微表情的產(chǎn)生是無意識的，往往能夠有效表達一個人的真實情感，因此，微表情作為一種識別謊言的線索，在很多領(lǐng)域中都有廣泛的研究與應(yīng)用。例如，在心理學(xué)研究和臨床醫(yī)療領(lǐng)域，判別微表情有助于心理醫(yī)生更加快速、準確地診斷和治療精神疾病，可用于抑郁癥的早期發(fā)現(xiàn)；在刑偵領(lǐng)域，使用微表情作為重要線索對犯罪嫌疑人進行測謊，從而降低審訊難度；在公共安全領(lǐng)域，通過微表情判斷潛伏的危險分子，可以預(yù)防暴亂和恐怖行為的發(fā)生。

人臉微表情識別大致包括三個步驟：預(yù)處理、特征提取和分類，而其中功能強大的特征表示方法已經(jīng)成為近期關(guān)于微表情識別研究的重點之一。早期，微表情特征提取的主流方法是基于局部二值模式或光流的特征表示方法，Pfister 等人［1］首次使用局部二值模式實現(xiàn)微表情識別，提出基于三個正交平面的局部二值模式（Local Binary Pattern from Three Orthogonal Planes，LBP-TOP）來處理動態(tài)特征。Huang 等人［2］改進LBP-TOP，提出時空完備局部量化模式描述子，通過提取幀序列指示、幅值和方向特征以解決LBP-TOP 只關(guān)注外觀和運動特征的問題。Liu等人［3］提出主方向平均光流特征，將一種簡單有效的光流方法應(yīng)用于微表情序列，并進行感興趣區(qū)劃分，更加精確地處理微表情特征。馬浩原等人［4］提出平均光流方向直方圖（Main Histogram of Oriented Optical Flow，MHOOF），提取感興趣區(qū)域相鄰兩幀的HOOF 特征來檢測頂點幀，將起始幀與該頂點幀之間的MHOOF 特征用于微表情識別。Routray 等人［5］提出一種全新的模糊光流方向直方圖，為基于光流的微表情識別方法提供了新的思路。

上述傳統(tǒng)方法雖然可以有效的識別微表情，但是存在以下不足：（1）計算量較大、耗時長，容易產(chǎn)生數(shù)據(jù)冗余；（2）手工特征設(shè)計過程較為復(fù)雜，需要一定的心理學(xué)專業(yè)知識。與依靠先驗知識的傳統(tǒng)特征相比，通過神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)可以得到更高層的語義信息。隨著深度學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域中的廣泛應(yīng)用，研究人員開始嘗試將其應(yīng)用于微表情識別。

Liong 等人［6］先是引入來自頂點幀網(wǎng)絡(luò)的光流特征，僅從頂點幀和起始幀獲取光流信息，并首次進行跨數(shù)據(jù)集驗證。后又設(shè)計了一種淺層三流三維卷積神經(jīng)網(wǎng)絡(luò)［7］，該網(wǎng)絡(luò)在計算上很輕，同時能夠提取出具有區(qū)分性的高級特征和微表情的細節(jié)。Peng等人［8］提出基于頂點幀空間信息和相鄰幀時間信息的頂點時間網(wǎng)絡(luò)，通過學(xué)習(xí)時間信息輔助微表情識別，在跨數(shù)據(jù)集驗證中極具魯棒性。蘇育挺等人［9］提出一種新的微表情識別方法，對多種運動特征圖進行特征的再提取以及融合，以獲得更準確的識別結(jié)果。Xia 等人［10］提出了一種基于深度遞歸卷積網(wǎng)絡(luò)的微表情識別方法，捕捉使用歐拉視頻放大方法進行放大的微表情序列的時空變形。然而，由于微表情數(shù)據(jù)集樣本少，使用深度學(xué)習(xí)方法構(gòu)建大網(wǎng)絡(luò)訓(xùn)練容易導(dǎo)致過擬合，限制模型的最優(yōu)性能。宏表情與微表情之間具有相似性，通過遷移學(xué)習(xí)將從宏表情識別中學(xué)習(xí)到的知識加以應(yīng)用，可以解決數(shù)據(jù)集樣本少的問題［11］。除此之外，現(xiàn)有的大多數(shù)基于視頻運動放大的方法對微表情視頻進行無區(qū)別放大，盡管放大后的微表情特征更明顯，但是卻忽略了每個微表情樣本強度不同的情況。

針對上述問題，本文以微表情運動幅度增強以及宏、微表情之間的語義相關(guān)性為出發(fā)點，提出了一種基于ME-Xception 卷積神經(jīng)網(wǎng)絡(luò)的微表情識別方法。本方法根據(jù)余弦相似度可以反映圖片相似性的特點，通過宏表情的先驗知識得到合適的微表情放大倍數(shù)，以實現(xiàn)自適應(yīng)放大微表情運動幅度；此外，改進Mini-Xception 網(wǎng)絡(luò)模型以構(gòu)建MEXception 網(wǎng)絡(luò)模型，在Mini-Xception 網(wǎng)絡(luò)模型輸入層兩側(cè)各增加一個投影層，通過網(wǎng)絡(luò)訓(xùn)練來重整微表情輸入特征，以及將通道注意力機制加入由深度可分離卷積層和批歸一化層組成的循環(huán)模塊，為有效信息增加通道權(quán)重；最后，采用宏表情識別到微表情識別的遷移學(xué)習(xí)，從宏表情中學(xué)習(xí)有用的知識，以幫助在微表情識別時選擇高質(zhì)量的樣本，訓(xùn)練更為有效的分類器。

2 本文算法

本文算法的整體流程如圖1 所示，大致可以分為預(yù)處理、特征提取和分類三個部分，其中，預(yù)處理過程包括人臉裁剪、人臉對齊、頂點幀定位和自適應(yīng)運動放大，特征提取過程包括光流特征提取和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提取特征。

2.1 自適應(yīng)運動放大

針對微表情肌肉運動幅度小的問題，本文提出基于LVMM 的自適應(yīng)運動放大方法，以保證放大后的微表情圖像不失真，并且達到較好的效果。視頻運動放大技術(shù)能夠放大肉眼看不見的微小運動，現(xiàn)有的基于運動放大的微表情識別方法大都采用歐拉視頻放大（Eulerian Video Magnification，EVM）方法［12］。但使用EVM進行運動放大時，需要手工設(shè)計參數(shù)，過程復(fù)雜，并且因為運動很小，所以放大結(jié)果容易產(chǎn)生噪音或過度模糊。相較于EVM，基于學(xué)習(xí)的視頻運動放大（Learning-based Video Motion Mag?nification，LVMM）方法［13］可以在真實視頻上獲得更高質(zhì)量的結(jié)果，不需要手工設(shè)計參數(shù)，只需輸入想要放大的倍數(shù)即可。理論上，不同強度的微表情樣本所需要的放大倍數(shù)也應(yīng)該是不同的。因此，針對不同樣本使用余弦相似度自動計算相對應(yīng)的放大倍數(shù)m：

式（1）和式（2）中余弦相似度的計算公式如下：

其中，Aonset表示視頻樣本起始幀的像素矩陣；Aapex表示視頻樣本頂點幀的像素矩陣。

理論上，微表情強度越小，起始幀和頂點幀越相似，其余弦相似度就越大，根據(jù)式（1）求得的放大倍數(shù)也越大，符合實際需求。將根據(jù)上述方法計算得到的放大倍數(shù)和微表情視頻輸入到已訓(xùn)練好的LVMM 網(wǎng)絡(luò)模型對微表情進行自適應(yīng)運動放大。本文的LVMM 網(wǎng)絡(luò)模型使用文獻［13］給出的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、數(shù)據(jù)集和訓(xùn)練方法進行訓(xùn)練得到。

表1為該計算放大倍數(shù)方法在CASME Ⅱ數(shù)據(jù)集上的部分結(jié)果，由表1可知，兩張圖片的余弦相似度越大，其對應(yīng)的放大倍數(shù)也越大，反之亦然。余弦相似度大表示微表情運動幅度小，需要較大的放大倍數(shù)以得到更為明顯的運動放大圖像，因此，該方法符合預(yù)期的效果。其中，樣本Sub01_EP02_01f 和Sub19_EP01_01f頂點幀的原始圖片、EVM放大結(jié)果、LVMM 放大結(jié)果及自適應(yīng)放大結(jié)果如圖2所示。由圖2 可知，相較于EVM，LVMM 的放大效果更好，但在固定放大倍數(shù)為10時，Sub19_EP01_01f樣本出現(xiàn)明顯扭曲和失真。設(shè)置自適應(yīng)放大倍數(shù)后，兩個樣本都可以在不失真的情況下得到較好的放大效果。

表1 余弦相似度及其對應(yīng)的放大倍數(shù)Tab.1 Cosine similarity and its corresponding magnification

2.2 ME-Xception網(wǎng)絡(luò)模型

與Xception 體系結(jié)構(gòu)類似，Octavio Arriaga 等人［15］提出的CNN 框架Mini-Xception 結(jié)合殘差模塊和深度可分離卷積的使用，能夠?qū)崟r完成性別分類和情感分類（宏表情）任務(wù)，而微表情與宏表情之間具有很強的相關(guān)性。此外，該模型的總體結(jié)構(gòu)是一個完全卷積的神經(jīng)網(wǎng)絡(luò)，其中包含4 個由深度可分離卷積層、批歸一化層等組成的循環(huán)模塊。該結(jié)構(gòu)具有大約60000 個參數(shù)，由于微表情識別的樣本數(shù)量較少，選用參數(shù)少的模型進行訓(xùn)練有助于防止過擬合。綜上所述，將Mini-Xception 網(wǎng)絡(luò)模型應(yīng)用于微表情識別領(lǐng)域具有可行性。

本文提出了一種用于微表情識別的MEXception 網(wǎng)絡(luò)模型，如圖3 所示。主要是在Mini-Xception 網(wǎng)絡(luò)模型中添加投影層（對應(yīng)圖中的Leftmultiplied 和Right-multiplied 層）以及壓縮與激勵（Squeeze and Excitation，SE）模塊（對應(yīng)圖中的SE block）。

上述添加投影層的改進方法，其具體操作如下：在Mini-Xception 網(wǎng)絡(luò)模型的輸入層兩側(cè)分別添加大小為30×48 和48×30 的左乘、右乘矩陣，其中矩陣的值由可訓(xùn)練權(quán)重組成。左乘投影變換和右乘投影變換將輸入的48×48 大小圖像重整為具有高信息含量的30×30 大小圖像，以此來增強光流特征。在網(wǎng)絡(luò)中加入投影層，以神經(jīng)網(wǎng)絡(luò)驅(qū)動特征學(xué)習(xí)，重新整合面部特征，能夠產(chǎn)生更具有區(qū)分性的特征［16］。由于卷積層跟隨第一個投影層，因此能夠從投影層的集合特征中提取高層特征。此外，投影變換實際上分解了CNN 網(wǎng)絡(luò)中的經(jīng)典二維卷積矩陣，從而大大減少了網(wǎng)絡(luò)中的連接數(shù)，可以緩解由微表情數(shù)據(jù)集樣本數(shù)量少造成的深度學(xué)習(xí)方法在網(wǎng)絡(luò)訓(xùn)練過程中容易出現(xiàn)過擬合的問題［17］。

上述添加SE模塊的改進方法，其具體操作是在Mini-Xception 網(wǎng)絡(luò)模型的四個循環(huán)結(jié)構(gòu)中，將第一個深度可分離卷積層的輸出，輸入到圖4 所示的SE模塊中，得到的輸出再送入批歸一化層。微表情面部肌肉運動幅度小，網(wǎng)絡(luò)難以學(xué)習(xí)與微表情相關(guān)的微小特征，而添加通道注意力機制可以讓網(wǎng)絡(luò)進一步關(guān)注和選擇有助于微表情分類的信息［18］。SE 網(wǎng)絡(luò)是Hu 等人［19］聚焦于通道維度提出的，它對通道間的依賴關(guān)系進行建模，使之可以自適應(yīng)地調(diào)整各通道的特征響應(yīng)值。由圖4所示，輸入X經(jīng)過深度可分離卷積后得到特征Q=[q1，q2，…，qc]，qc∈RH×W，之后使用SE 模塊重新標定每個特征通道的權(quán)重。SE 模塊分為3 個步驟，分別是壓縮、激勵和重定權(quán)重，用符號Fsq(·)、Fex(·，W)、Fscale(·，·)表示。

壓縮操作使用全局平均池化將每個通道都壓縮為一個實數(shù)，從而將感受野擴展到全局范圍，以此來得到更抽象的語義信息，該操作第k個通道對應(yīng)的實數(shù)為：

其中，qk為Q中第k個特征圖；H和W為Q的空間維度；C為通道個數(shù)。

激勵操作捕獲壓縮后的實數(shù)列信息，使用兩個全連接層增加模塊的非線性。經(jīng)過第一個全連接層降維后通過ReLU 函數(shù)激活，接著經(jīng)過第二個全連接層升維，最后通過Sigmoid 函數(shù)激活，整個過程如下：

其中，δ為線性激活函數(shù)ReLU；σ為Sigmoid 激活函數(shù)；W1和W2為兩個全連接層的參數(shù)，且，，r為壓縮比，在3.3.3 節(jié)將討論該參數(shù)的選擇。

重定權(quán)重操作用原來的特征逐個通道乘以激勵操作獲得的通道重要度系數(shù)s=[s1，s2，…，sc]，得到重新標定的特征：

3 實驗

3.1 數(shù)據(jù)集

目前，最常用的微表情數(shù)據(jù)集有SMIC、CASMEⅡ、SAMM 數(shù)據(jù)集，具體信息如表2所示，其中消極類別包括消極、厭惡、恐懼、悲傷、壓抑、輕蔑、憤怒標簽，積極類別包含積極、快樂標簽，而驚訝類別只有驚訝標簽。

表2 三種微表情數(shù)據(jù)集Tab.2 Three kinds of micro-expression datasets

SMIC 數(shù)據(jù)集是世界上第一個公開發(fā)布用于微表情識別研究的自發(fā)式微表情數(shù)據(jù)集［20］，由芬蘭奧盧大學(xué)的趙國英團隊于2012 年設(shè)計采集。該數(shù)據(jù)集共采集16 位被試者的164 個自發(fā)式微表情，共包含積極、消極以及驚訝3 類微表情。CASME Ⅱ數(shù)據(jù)集［21］是由中國科學(xué)院心理學(xué)研究所傅小蘭團隊于2014 年提出的，該數(shù)據(jù)集使用面部編碼系統(tǒng)對每一個微表情標注面部動作單元的編碼，并對每個微表情序列均標注微表情起始幀、結(jié)束幀和頂點幀。SAMM 自發(fā)式微表情數(shù)據(jù)集［22］由英國曼徹斯特大學(xué)Moi Hoon Yap 團隊于2018年提出，與之前的微表情數(shù)據(jù)集相比，SAMM 數(shù)據(jù)集在被試者的選擇上更加廣泛和嚴謹，其32 位被試者包括16 位女性和16位男性，來自13個不同的種族，年齡范圍在19歲至57歲，并且有意識的選擇更大范圍年齡差的被試人群。

3.2 預(yù)處理

對部分微表情數(shù)據(jù)集進行預(yù)處理，SAMM 數(shù)據(jù)集提供的是未裁剪圖片，需要采用OpenCV 中的Dlib 人臉檢測器進行人臉裁剪和對齊，與文獻［21］類似，僅對每個視頻的第一幀進行特征點檢測，原因在于對每一幀進行特征點檢測會產(chǎn)生一定的誤差，從而導(dǎo)致人為的頭部移動，而微表情持續(xù)時間短，在此過程中產(chǎn)生的頭部剛性運動往往可以忽略不計。實驗過程使用的頂點幀數(shù)據(jù)由CASME Ⅱ數(shù)據(jù)集和SAMM 數(shù)據(jù)集自身給出，對于未提供頂點幀數(shù)據(jù)的SMIC 數(shù)據(jù)集，本文采用Li 等人［23］提出的方法進行頂點幀定位。

本文通過自適應(yīng)運動放大和表情強度縮小來提高宏表情和微表情兩個域之間的適應(yīng)性，使用第2.1 節(jié)的方法對微表情進行自適應(yīng)運動放大。對于CK+宏表情數(shù)據(jù)集，人為選取視頻的1/3幀作為頂點幀，以減少宏表情的強度。由于CNN 本身是空間的，而光流信息是時間特征，因此將二者結(jié)合起來得到時空特征。采用TV-L1 光流預(yù)測算法［24］計算微表情起始幀和放大后頂點幀之間的光流特征，包括水平光流、垂直光流和光學(xué)應(yīng)變，作為網(wǎng)絡(luò)的輸入。

3.3 實驗結(jié)果及分析

3.3.1 實驗環(huán)境和參數(shù)設(shè)置

本文實驗環(huán)境為64 位的Windows 10 操作系統(tǒng)和CPU Intel Core i5-9400 設(shè)備，使用Keras 框架搭建神經(jīng)網(wǎng)絡(luò)。采用CK+宏表情數(shù)據(jù)集對ME-Xception網(wǎng)絡(luò)進行預(yù)訓(xùn)練，然后對微表情數(shù)據(jù)集進行留一交叉驗證（Leave One Subject Out，LOSO）驗證實驗。參數(shù)設(shè)置如下，初始學(xué)習(xí)率為0.0001，衰減率為0.00001，使用Adam 優(yōu)化器。網(wǎng)絡(luò)訓(xùn)練選用聚焦損失函數(shù)可以解決樣本類別不平衡以及樣本分類難度不平衡等問題，該函數(shù)定義為：

其中，(1 -pt)γ是調(diào)節(jié)因子；γ≥0 是可調(diào)節(jié)的聚焦參數(shù)。并且加入L2正則化，以加快網(wǎng)絡(luò)收斂和防止過擬合，在網(wǎng)絡(luò)微調(diào)過程中加入早停機制以得到最佳的訓(xùn)練模型。

3.3.2 評價指標

為了評估網(wǎng)絡(luò)性能，采用準確度（Accuracy，Acc）、未加權(quán)平均召回率（Unweighted Average Re?call，UAR）和未加權(quán)F1 分數(shù)（Unweighted F1-score，UF1）三個評價指標。

Acc 指標為LOSO 實驗k折上所有準確度的平均值，但由于樣本類別不平衡，需要使用更加公平的平衡指標報告性能。UF1 和UAR 指標提供了一個平衡的判斷，即一種方法是否能夠同樣好地預(yù)測所有類，從而降低了一種方法只適合于某些類的可能性。

為了計算UF1，首先要獲得第i類（共C類）的LOSO 實驗k折上的所有真陽性、假陽性和假陰性樣本個數(shù)（NTP、NFP、NFN），UF1 通過平均每類F1 分數(shù)確定：

UAR 指標也被稱為系統(tǒng)的平衡精度，以類似的方式，首先計算每個類的準確度分數(shù)，然后按類數(shù)取平均值，ni是第i類的樣本個數(shù)：

3.3.3 設(shè)定SE模塊的壓縮比

由于SE模塊壓縮過程中的壓縮比（r值）大都是根據(jù)經(jīng)驗選取的，本文通過對一系列r值進行實驗，以選取在微表情識別網(wǎng)絡(luò)中使用SE 模塊的最優(yōu)壓縮比參數(shù)值，并提供實驗結(jié)果以供參考。由于本文在ME-Xception 網(wǎng)絡(luò)模型的深度可分離卷積層之后添加SE 模塊，該卷積層的通道數(shù)小于32，實驗的r值最大取16。圖5 表明準確度并不總是隨著r值的增大而提高，其差值均在5%以內(nèi)，這說明性能對一系列壓縮比較為魯棒。隨著r值減少，網(wǎng)絡(luò)復(fù)雜度增加，但不會單調(diào)提高性能，而較小的壓縮比卻會顯著增加模型參數(shù)，因此，設(shè)置r=16可以在準確性和復(fù)雜性之間實現(xiàn)良好的平衡。在可選擇的范圍內(nèi)，r值取16 時三個數(shù)據(jù)集上的實驗結(jié)果也是最優(yōu)的。實驗結(jié)論可以說明，使用深度學(xué)習(xí)方法識別微表情時，選取稍大一點的r值可以減少網(wǎng)絡(luò)模型參數(shù)，從而在一定程度上緩解樣本數(shù)量小帶來的過擬合問題以提高識別精度。

3.3.4 消融實驗

為了驗證網(wǎng)絡(luò)的識別性能，在CASME Ⅱ數(shù)據(jù)集上進行消融實驗，不同方法在該數(shù)據(jù)集上的識別精度對比如圖6 所示。其中，各方法的詳細說明如表3 所示，主要是在Mini-Xception 網(wǎng)絡(luò)模型的基礎(chǔ)上是否進行自適應(yīng)運動放大、是否加入投影層和通道注意力機制。由圖6 可知，通過自適應(yīng)運動放大增強微表情識別和宏表情識別兩個領(lǐng)域之間的相似性，極大地提高了模型的識別性能；此外，提出的兩種改進方式也能夠有效地選擇微表情特征中的關(guān)鍵信息，從而在一定程度上提高網(wǎng)絡(luò)模型的識別精度。ME-Xception 網(wǎng)絡(luò)模型在CASME Ⅱ數(shù)據(jù)集上的UF1、UAR和Acc分別是88.58%、89.19% 和90.62%，相較于Mini-Xception網(wǎng)絡(luò)模型分別提高了53.89%、56.69%和58.40%。

表3 消融實驗中的四種方法Tab.3 Four methods in ablation experiment

3.3.5 性能對比

本文與其他主流算法的識別精度對比如表4所示，為了公平比較，選取UF1和UAR 兩個指標，并且表中其他算法的所有數(shù)據(jù)均由相應(yīng)的文獻報告得出，且均采用LOSO 驗證協(xié)議。由表4 可知，本文算法在CASME Ⅱ、SMIC 數(shù)據(jù)集上都取得了最優(yōu)的UF1 和UAR，而在SAMM數(shù)據(jù)集上的UF1次優(yōu)，UAR 精度略差一些?？紤]到SAMM 數(shù)據(jù)集的被試者年齡差范圍較大，本文算法對于年齡較大人群的微表情不能較好地識別，尤其是光流特征提取本身會受到皺紋、肌肉松弛等因素的影響。但總體上，還是取得了比較有競爭力的結(jié)果。

表4 與其他算法的識別精度對比Tab.4 Accuracy comparison with other algorithms

4 結(jié)論

本文提出了一種基于ME-Xception 卷積神經(jīng)網(wǎng)絡(luò)的微表情識別，在自適應(yīng)運動放大等預(yù)處理后，改進Mini-Xception 網(wǎng)絡(luò)模型，構(gòu)建適用于微表情識別領(lǐng)域的ME-Xception 網(wǎng)絡(luò)模型，提取微表情特征以用于分類。首先，基于LVMM 的自適應(yīng)運動放大方法增強了微表情的肌肉運動幅度，使得后續(xù)提取到的光流特征覆蓋區(qū)域更廣。其次，通過兩個投影層重整光流特征，使之尺寸更小、有用信息含量更高。最后，在網(wǎng)絡(luò)中添加通道注意力機制讓網(wǎng)絡(luò)在提取特征的過程中有選擇性地增強信息量大的特征，使得后續(xù)處理可以充分利用這些特征，并對無用特征進行抑制。本文算法在CASMEⅡ和SMIC 數(shù)據(jù)集上達到了最優(yōu)的UF1 和UAR，分別為88.58%、89.19% 和70.13%、72.35%，但受SAMM 數(shù)據(jù)集被試者年齡差范圍大、面部有皺紋和肌肉松弛的影響，其識別精度略有下降。因此，針對不同年齡人群面部特征的差異性，消除無關(guān)特征以及利用面部運動單元尋找其與微表情之間的密切關(guān)系，都是后續(xù)可以進一步研究的方向和思路。