姜莉媛

摘 ? 要：情感是表達(dá)內(nèi)心想法的重要方式。隨著人機(jī)交互和人工智能的崛起，人臉表情識別也逐漸成為當(dāng)前的一個研究熱點(diǎn)。人臉表情識別是在人臉識別的基礎(chǔ)之上發(fā)展而來的，但和人臉識別存在著一定的差異，表情識別需要在人臉識別之后，利用一系列的算法對面部表情細(xì)節(jié)特征加以提取，再利用分類器對所提取的表情加以分類、識別。文章就人臉表情識別的3部分進(jìn)行闡述，介紹了每一部分的思想和所用的主要算法，并對表情特征的提取、分類的方法重點(diǎn)介紹。

關(guān)鍵詞：人臉檢測;人臉表情識別;特征提取;特征分類

情感影響著人們生活的方方面面，例如：健康、人際關(guān)系，還影響著如何學(xué)習(xí)、做決定、做生意等各個方面。1971年，Ekman與Friesen最早提出人類有7種基本情感：自然、憤怒、高興、悲傷、驚訝、厭惡和恐懼[1]。

隨著科技的進(jìn)步與發(fā)展，計(jì)算機(jī)的發(fā)展也是日益迅速，人機(jī)交互快速崛起，人們幾乎每天都要用到計(jì)算機(jī)和網(wǎng)絡(luò)，甚至和計(jì)算機(jī)打交道要比與現(xiàn)實(shí)生活中其他人打交道還多。盡管如此，電腦也無法識別人類的情緒，畢竟很多技術(shù)只是具有認(rèn)知性智能，沒有情緒性智能。許多研究者都想到：如果計(jì)算機(jī)等技術(shù)可以識別人類的情緒將會如何？如果設(shè)備可以識別人類感受并且做出相應(yīng)的反應(yīng)將會怎樣？這些問題引導(dǎo)著眾多研究者去創(chuàng)造可以閱讀情緒并做出反應(yīng)的技術(shù)。而研究的起點(diǎn)就是人臉，因?yàn)樵谌粘Ｉ罱涣髦?，人臉是最基本的方式之一，通過人臉可以表達(dá)內(nèi)心的情緒狀態(tài)。在情感科學(xué)中，每一個面肌運(yùn)動都被稱為一個動作單元，例如，動作單元12代表微笑的主要構(gòu)成—嘴角上揚(yáng);動作單元04代表眉間紋，當(dāng)眉毛擰到一起的時候紋理和皺紋就會出現(xiàn)，是一個很強(qiáng)的負(fù)面情緒指示器。動作單元大概有45個，相應(yīng)的組合則可以表達(dá)相應(yīng)的上百種情緒，很難讓電腦讀懂這些情緒，因?yàn)槠浼?xì)小微妙、稍縱即逝，同時還有很多的組合方式。

1 ? ?人臉檢測的綜述

人臉檢測是指對于任意圖像進(jìn)行掃描圖像時檢測是否包含人臉，如果是則返回人臉的位置、大小[2]。

1.1 ?人臉識別的特點(diǎn)

與其他的識別類型相比，人臉識別的特點(diǎn)有：

（1）被動性。設(shè)備能夠在用戶不經(jīng)意間獲取人臉圖像，從而達(dá)到采集的主動性，減少了麻煩。

（2）同時性。在現(xiàn)實(shí)生活中，當(dāng)一個場景下同時有多個人時，設(shè)備也可以對多個人同時進(jìn)行采集人臉圖形，并且進(jìn)行人臉的分選、判斷和識別。

（3）設(shè)備采集所獲得的結(jié)果直接，設(shè)備也具有隱蔽性。

1.2 ?人臉檢測

人臉圖像采集：無論被采集者是靜止不動還是正在運(yùn)動，不管面向什么方向或者在做什么樣的動作，只要在設(shè)備的采集區(qū)域內(nèi)，攝像鏡頭都將會自動搜索并采集。

人臉檢測：人臉識別時，先要對人臉位置進(jìn)行檢測。人臉圖像中包含的模式特征十分豐富，如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征等[3]。

1.3 ?Adaboost算法

在當(dāng)下的研究中，人臉檢測一般都采用Adaboost算法。Adaboost的思想是指修改上一個弱學(xué)習(xí)算法，每個分類器要等上一個分類器訓(xùn)練結(jié)束后才能開始。如此，可以很好地關(guān)注到上一個分類器的失誤樣本，從而使得下一個分類器可以主動修改、彌補(bǔ)其不足。

2 ? ?表情特征提取的綜述

人們把用眼睛觀察到的視覺信息叫作圖像信息，如人臉的表情信息，是整體識別和特征識別共同作用的結(jié)果。

2.1 ?人臉表情識別的流程

人臉表情識別由人臉檢測、表情特征提取和表情特征分類識別組成[4]。當(dāng)采集到一張圖像時，除了所需的人臉以外，還包括一些障礙物，如背景物。因此，首先削弱人臉以外的干擾物，再對人的外部輪廓進(jìn)行識別，或者在預(yù)處理過程中進(jìn)行數(shù)據(jù)增廣，圖像處理里有平移旋轉(zhuǎn)的不變性，換句話而言，一個人的照片豎著放和橫著放都是這個人。其次，對臉部進(jìn)行定位，將臉的局部特征進(jìn)行框定和識別，對相應(yīng)的特征進(jìn)行分析，再用分類器對特征進(jìn)行分類和識別，最終進(jìn)行情緒的映射，形成各個情緒。

2.2 ?表情特征提取的方法

表情特征提取的方法有基于幾何、統(tǒng)計(jì)、頻率域等[5]。

（1）基于幾何的特征提取方法：常用幾何特征模型有AAM，該方法無須大量數(shù)據(jù)的輸入，但會丟失一些重要信息，導(dǎo)致最終的結(jié)果不準(zhǔn)確。

（2）基于整體統(tǒng)計(jì)的特征提取方法：有PCA和ICA。PCA是一種統(tǒng)計(jì)方法，可以被看作是一種非常重要的降維技術(shù)，而降維是提高有效性的前提，通過PCA的轉(zhuǎn)化，信息量并沒有本質(zhì)上的變化，只是轉(zhuǎn)換前的信息分散在各個原始指標(biāo)變量中，而轉(zhuǎn)換之后，信息集中分布在重要的綜合指標(biāo)當(dāng)中，而有些信息量相對較少或者不重要，則可將其丟棄，從而達(dá)到降維的效果。

（3）基于頻率域的特征提取方法：利用某種算法使得圖像可以在頻率域變換，從而提取其特征，最常見的是Gabor小波變換法。小波指的是時間跨度短，也就是將波長分為若干個小的波使得每一個波在有限的時間內(nèi)具有非零值，其他時間都是零，而不是指波的幅值小。通過小波可以看到頻率的變化，當(dāng)小波帶寬較大時，其低頻分量相對較高，隨著時間的增長，對應(yīng)頻率逐步增加。因此小波變換法通過多個不同的分辨率對圖形進(jìn)行分析，從而提取出不同層面上的特征情況，有時，特征值層次較低，常與分類器配合用于人臉表情的識別。

3 ? ?表情特征分類

常用分類識別方法主要有線性分類器、神經(jīng)網(wǎng)絡(luò)分類器、支持向量機(jī)、隱馬爾可夫模型等[6]。

3.1 ?線性分類器

線性分析是從降維的角度出發(fā)，希望找到合適的投影方向，將一個高維系統(tǒng)的數(shù)據(jù)全部投影到一維坐標(biāo)軸上，然后再對一維數(shù)據(jù)進(jìn)行分類，最終達(dá)到被劃分為同一類別區(qū)域中的數(shù)據(jù)方差足夠小，不同類別的數(shù)據(jù)相對分散。以此做到了線性可分，當(dāng)采集到人臉不同的表情特征時，利用線性分析就可以輕易找到不同表情之間的異同，從而可以方便地進(jìn)行表情匹配識別。

3.2 ?神經(jīng)網(wǎng)絡(luò)分類器

神經(jīng)網(wǎng)絡(luò)分類是一個網(wǎng)狀的數(shù)學(xué)模型，其中的“神經(jīng)元”中裝著很多數(shù)字，每一個數(shù)字都代表著一個像素點(diǎn)的灰度值。同時因?yàn)槠涫蔷W(wǎng)狀的，所以上一層的父節(jié)點(diǎn)對下一層的子節(jié)點(diǎn)有著一定的決定作用。神經(jīng)網(wǎng)絡(luò)就是模仿生物如何根據(jù)上一個神經(jīng)元的激發(fā)，促使其下一些相關(guān)神經(jīng)元的激發(fā)，在該模型中，當(dāng)在網(wǎng)絡(luò)層輸入一些灰度值時，根據(jù)相應(yīng)的算法會讓其下層產(chǎn)生某些圖案，最終輸出某種結(jié)果，其相當(dāng)于輸入層的信息。因此將人臉特征相應(yīng)灰度值作為輸入，神經(jīng)網(wǎng)絡(luò)分類根據(jù)自身算法輸出一定結(jié)果，來進(jìn)行表情的識別。

3.3 ?支持向量機(jī)分類算法

支持向量機(jī)（Support Vector Machine，SVM）是一種二類分類器，具有對偶性、間隔性以及核技巧。在線性不可分的情況下，應(yīng)該先伸維，使其在更高的維度上分開，SVM在高維模式識別問題方面相對較好。

3.4 ?隱馬爾可夫模型

隱馬爾可夫模型（Hidden Markov Model，HMM）需要解決兩個問題：一是通過已知數(shù)據(jù)學(xué)習(xí)、獲得所需參數(shù);二是通過看到的數(shù)據(jù)加以推斷其后檢驗(yàn)概率。因此可以利用HMM進(jìn)行表情的動態(tài)特征分析。

4 ? ?結(jié)語

雖然人臉識別已經(jīng)取得很好的成就，然而在現(xiàn)實(shí)生活場景下受光照等情況的干擾，或者在圖像中同時出現(xiàn)多個人、或者有側(cè)面人臉時，表情識別的效率相對顯得比較低。對于以上情況，相應(yīng)的算法也比較少，因此在復(fù)雜場景同時對多人的表情進(jìn)行識別處理依舊是當(dāng)下研究的熱點(diǎn)。

[參考文獻(xiàn)]

[1]王大偉，周軍，梅紅巖，等.人臉表情識別綜述[J].計(jì)算機(jī)工程與應(yīng)用，2014（20）：149-157.

[2]郭磊，王秋光.Adaboost人臉檢測算法研究及OpenCV實(shí)現(xiàn)[J].哈爾濱理工大學(xué)電氣與電子工程學(xué)院學(xué)報(bào)，2009（5）：123-126.

[3]梁路宏，艾海舟，張鈸.人臉檢測研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002（5）：1-10.

[4]聶倩倩，秦潤澤，高育新，等.人臉表情識別算法綜述[J].物聯(lián)網(wǎng)技術(shù)，2018（5）：61-63.

[5]付喜梅，莊思發(fā).人臉表情識別的概述[J].電腦知識與技術(shù)，2018（2）：211-214.

[6]付勝博.結(jié)合雙向二維主成分分析和Fisher線性判別的人臉表情識別的研究[D].天津：天津大學(xué)，2012.

Abstract：Emotion is an important way to express inner thoughts. With the rise of human-computer interaction and artificial intelligence， facial expression recognition has gradually become a research hotspot. Facial expression recognition is developed on the basis of face recognition. After face recognition， facial expression recognition requires the use of a series of algorithms to extract the details of facial expressions， and then the classifier to classify and recognize the extracted expressions. This paper discusses the three major parts of facial expression recognition and the corresponding flow of each part and the algorithm used， focusing on the facial expression extraction and classification methods， the development of facial expression recognition is discussed.

Key words：face detection; facial expression recognition; feature extraction; feature classification