周濤，孫亞新

（嘉興學院，嘉興 314001）

0 引言

人臉表情識別是對人臉的表情信息進行特征提取和分析，進而使機器理解人類情感的人工智能技術(shù)。在機器人、人機交互、遠程教育、游戲娛樂等領(lǐng)域都有非常廣泛的應(yīng)用。目前已經(jīng)有大量的研究者針對人臉表情識別展開研究。

何俊提出了一個新的多角度人臉表情識別方法，該方法首先提取回歸模型的增量修正特征，然后用主成分分析法進行特征選擇，最后采用判別共享高斯過程隱變量模型識別多角度人臉表情[1]。黃壽喜采用改進的深度信念網(wǎng)絡(luò)作為提取人臉表情特征的檢測器，堆疊自編碼器作為識別表情的分類器，實現(xiàn)在人臉表情識別研究中深度信念網(wǎng)絡(luò)與堆疊自編碼器的結(jié)合[2]。齊梅提出了一種韋伯梯度編碼特征描述的人臉表情識別算法[3]。盧官明提出一種基于協(xié)作表示的分類算法,并應(yīng)用于人臉表情識別[4]。羅源將訓練樣本切割出眼眉、臉頰和嘴三部分,對分割的各部分利用K-SVD算法得到塊字典向量,再用層次分析法的權(quán)重賦值方法求塊字典向量的權(quán)重值,構(gòu)成各類子字典[5]。周宇旋針對完全局部二值模式存在直方圖維數(shù)過高和特征冗余,會導致識別速度降低和識別率低的問題,提出基于有判別力的完全局部二值模式的人臉表情識別算法[6]。

從上述文獻的描述可以看到，這些文獻主要從特征提取[2,3,6]和分類器[1,4,5]上展開研究。這些方法在分類上均采用單個分類器完成任務(wù)。但是本文注意到在人臉數(shù)據(jù)中，不同人、不同角度、不同光照往往比不同表情對人臉的影響更大，導致導致不同表情的數(shù)據(jù)可能比同一表情的數(shù)據(jù)更相似。然而人類在這種情況下，卻能比較容易的發(fā)現(xiàn)不同表情的人臉之間的差異。究其原因可能是人類在識別不同的人臉表情時，會自動尋找合適的特征和分類方法將其區(qū)分開來。

為了模擬上述人類識別人臉表情的過程，本文提出一種基于兩階段分類與自適應(yīng)特征變換的人臉表情識別方法。第1階段，在維數(shù)約簡結(jié)果上，分別使用KNN和SVM對測試樣本分類。這里KNN和SVM分別表示兩個不同的人采取同一特征識別人臉表情。如果該特征適合用來識別該表情，顯然兩者結(jié)果應(yīng)該一致。如果該特征不適合用來識別該表情，則兩個人可能會持不同的意見。此時應(yīng)該尋找另外一種特征來識別該表情，所以接下來采取新的階段再次識別該表情。

第2階段，首先使用一種自適應(yīng)特征變換，將維數(shù)約簡結(jié)果變換到新的特征空間，然后使用稀疏表示分類進行分類。其中，對于自適應(yīng)特征變換，本文發(fā)現(xiàn)文獻[7]給出的基于引力感知模型的自適應(yīng)特征變換能夠很好的完成任務(wù)。另外，本文使用稀疏表示分類的原因稀疏表示分類的原理與KNN和SVM差異較大。

1 基于兩階段分類與自適應(yīng)特征變換的集成分類器（TSAFTC）

TSAFTC的主要過程是對分類難度較大的測試樣本，將特征映射到新的空間，使用新的分類器進一步識別。其原理是模擬人類在識別目標時會自動選擇合適的特征和分類方法。本節(jié)先給出TSAFTC的框架，然后給出自適應(yīng)特征變換（Adaptive Feature Transform,AFT），最后給出TSAFTC算法。

1.1 T SAFTC的框架

圖1給出了TSAFTC的流程圖。從圖1可以看到給定一個測試樣本的表情特征。第1階段，使用KNN和SVM分別進行識別，并判斷分類結(jié)果是否相同，如果相同則輸出分類結(jié)果，否則進入第2階段。第2階段，首先使用AFT將特征變換到新的特征空間，然后使用SRC進行分類，得到最終分類結(jié)果。

圖1 TSAFTC流程圖

1.2 自適應(yīng)特征變換（AFT）

本文采用文獻[7]研究得到的自適應(yīng)特征變換方法。給定 n個訓練樣本其中 p是數(shù)據(jù)的維度，n是數(shù)據(jù)的個數(shù)，對于訓練樣本xi自適應(yīng)特征變換定義如下：

1.3 T SAFTC算法

根據(jù)前面兩小節(jié)的描述，TSAFTC算法可以總結(jié)如下:

算法1 TSAFTC

輸入：訓練樣本集X=[x1,x2,…,xn]∈Rp×n和其類別標簽L=[l1,l2,…,ln]，測試樣本x

輸出：測試樣本的類別c

1：對x分別使用KNN和SVM得到分類結(jié)果c1和c2。

2：如果c1和c2結(jié)果相同，則分類結(jié)果c=c1。否側(cè)，進入第3步。

3：使用式（1）得到訓練樣本的自適應(yīng)特征變換結(jié)果Y=[y1,y2,…,yn]∈Rn×n，使用式（9）得到測試樣本的自適應(yīng)特征變換結(jié)果y∈Rn×1。

4：根據(jù)Y，L，y使用SRC得到分類結(jié)果c

2 基于TSAFTC的人臉表情識別方法

為了實現(xiàn)人臉表情識別，還需要特征提取和維數(shù)約簡。流程圖如圖2所示。接下來簡要介紹本文采用的特征提取和維數(shù)約簡方法。

圖2 基于TSAFTC的人臉表情識別方法流程圖

其中梯度方向直方圖（Histogram of Oriented Gradients,HOG）用于提取特征。首先將人臉圖像歸一化為128×128大小。然后使用兩種不同的參數(shù)提取HOG特征，其中方向組數(shù)為16。第1種參數(shù)設(shè)置如下：人臉圖像劃分成8×8不重疊的塊，這樣總共有256塊。第2種參數(shù)設(shè)置如下：人臉劃分成16×16不重疊的塊，這樣總共有64塊。

文獻[8]給出的增強的相關(guān)反饋（Enhanced Rele?vance Feedback,ERF）方法用于維數(shù)約簡。

3 實驗結(jié)果

3.1 實驗數(shù)據(jù)集

兩個基準數(shù)據(jù)庫用于實驗。第1個數(shù)據(jù)庫是日本女性人臉表情數(shù)據(jù)庫（Japanese female facial expression,JAFFE）。該數(shù)據(jù)庫總共包含213張256×256大小的灰度圖。由10位日本女性，每種表情提供2到4張圖片組成。

第2個數(shù)據(jù)庫是擴展 Cohn–Kanade（Extended Cohn–Kanade,CK+）數(shù)據(jù)庫。該數(shù)據(jù)庫包含123個對象的327個標注了人臉表情的圖像序列，其中表情標簽有高興、悲傷、憤怒、害怕、厭惡、藐視、驚奇等。本文選擇序列中的最后3張圖片用于實驗。

3.2 對比算法和實驗策略

TSAFTC是一種分類器，所以本文將與其他的分類器比較，包括SVM，KNN，SRC三種方法。其中SVM使用多項式核，KNN中的鄰域參數(shù)k由在訓練數(shù)據(jù)中的交叉算法確定。

采用人獨立的實驗策略，即每次采用一個人的數(shù)據(jù)作為測試數(shù)據(jù)，其他人的數(shù)據(jù)作為訓練數(shù)據(jù)。所有人的數(shù)據(jù)均作為一次測試數(shù)據(jù)，所有實驗結(jié)果的平均作為最終的實驗結(jié)果。

3.3 人臉表情識別結(jié)果

表1 兩數(shù)據(jù)庫上使用不同分類器的人臉表情識別結(jié)果

表1給出了不同分類器在兩個數(shù)據(jù)庫上的人臉表情識別結(jié)果。從表1可以看到TSAFTC在兩個數(shù)據(jù)庫上均能取得最好的效果。在CK+數(shù)據(jù)上，TSAFTC比SVM，KNN，SRC分別高 2.11%，2.02%，1.27%。在JAFFE數(shù)據(jù)庫上比 SVM，KNN，SRC分別高 1.43%，2.36%，5.75%。這些實驗結(jié)果證明了本文算法在人臉表情識別上的有效性。

因為各個分類器的輸入數(shù)據(jù)需要先使用維數(shù)約簡算法降維，所以在圖3和圖4中還給出了維數(shù)約簡結(jié)果取不同維度的實驗結(jié)果，其中維度分別取20,40,60,80,100,120,140,160。從圖3和4可以看到，在取不同維度時，TSAFTC算法相對其他算法能夠得到更穩(wěn)定的實驗結(jié)果。特別是TSAFTC在降低的維度時就能達較好的實驗結(jié)果。這樣有兩個好處：首先，維數(shù)約簡結(jié)果的維度，目前來說，并沒有一個很好的選擇方法，如果分類器在不同維度時的結(jié)果更穩(wěn)定，則更有利于維數(shù)約簡結(jié)果維度的選擇。其次，在更低維度上就能達到更好的效果，有利于提高后續(xù)步驟的執(zhí)行速度。

4 結(jié)語

本文提出一種基于兩階段分類與自適應(yīng)特征變換的人臉表情識別方法。該方法能夠模擬人類以下的目標識別過程：當一種特征或者識別方法不能夠很好地識別物體時，會自動的切換至另外一種特征或者方法來識別該目標。通過在JAFFE和CK+上的人獨立的表情識別實驗可以看到，本文算法能夠取得更好的實驗結(jié)果。

圖3 ERF取不同維度時在CK+數(shù)據(jù)庫上的分類結(jié)果

圖4 ERF取不同維度時在JAFFE數(shù)據(jù)庫上的分類結(jié)果

本文算法使用兩個不同的分類器對測試樣本進行識別，然后根據(jù)識別結(jié)果，判斷該樣本使用該特征和方法是否能夠比較容易的識別該表情。雖然在一定程度上能夠發(fā)現(xiàn)該特征和方法是否有利于該表情，但是依舊會出現(xiàn)較多的、兩者識別結(jié)果一致時，識別結(jié)果卻不對的情況。所以在將來研究一種更合理的方法，來發(fā)現(xiàn)采用的特征和方法是否有利于識別該表情。

參考文獻：

[1]何俊,何忠文,蔡建峰,房靈芝.一種新的多角度人臉表情識別方法.計算機應(yīng)用研究.2018(35):1-8

[2]黃壽喜,邱衛(wèi)根.基于改進的深度信念網(wǎng)絡(luò)的人臉表情識別.計算機工程與設(shè)計,2017(6):1580-1584

[3]齊梅,李艷秋.WGC特征描述的人臉表情識別.電子測量與儀器學報,2017(4):566-572

[4]盧官明,石婉婉,李霞,張正言,閆靜杰.基于協(xié)作表示的人臉表情識別.南京郵電大學學報(自然科學版),2017(2):51-56

[5]羅源,張靈,陳云華,朱思豪,田小路.基于層次結(jié)構(gòu)化字典學習的人臉表情識別,2017(11):3514-3517

[6]周宇旋,吳秦,梁久禎,王念兵,李文靜.判別性完全局部二值模式人臉表情識別.計算機工程與應(yīng)用,2017(4):163-169

[7]Ya-xin Sun,Gu-ihua Wen.Cognitive Gravitation Model-Based Relative Transformation for Classification.Soft computing,2017,21(18):5425-5441.

[8]Ya-xin Sun,Gui-huaWen.Cognitive Facial Expression Recognition with Constrained Dimensionality Reduction.Neuro computing,2017,239:397-408.