郝曉麗， 田 苗

(太原理工大學 計算機科學與技術(shù)學院， 山西 太原 030024)

0 引 言

面部表情是人機交互和人類情感交流的重要途徑. 作為情感識別的基礎(chǔ),面部表情的識別已成為當前人工智能、 計算機視覺等領(lǐng)域的研究熱點[1-3]. 在面部表情識別系統(tǒng)中， 表情特征的提取和分類是整個識別系統(tǒng)的關(guān)鍵. 2006年， Hinton提出了深度學習的概念[4，5]， 后續(xù)的專家學者又將其成功應(yīng)用到圖像、 語音、 文本識別等領(lǐng)域. 深度學習在圖像特征學習和抽象方面具有天然優(yōu)勢[6-8].其中， 將深度置信網(wǎng)絡(luò)(Deep Belief Net， DBN)應(yīng)用于表情特征提取與識別時， 雖然具有很好的學習功能， 但是當圖像以像素級向量形式輸入而得到的高級抽象特征用于面部表情識別時， 仍存在局部結(jié)構(gòu)特征表征不足等問題.

面部包含了豐富的紋理特征信息， 并且紋理特征具有位移、 角度、 旋轉(zhuǎn)不變性的優(yōu)點， 近年來基于紋理特征的改進算法及研究成果有很多. Guo等提出的完全局部二值模式(CLBP)[9]以及基于Fisher準則的局部二值模式(FCL-CLBP)[10]， 均對紋理特征進行了優(yōu)化. Liu等提出的Gabor多方向特征融合規(guī)則[11]和Zhong等提出的基于局部Gabor特征的特征值提取法[12]等, 均部分解決了Gabor小波局部細微特征提取不足等問題. 本文基于韋伯特征(Weber Local Descriptor， WLD)[13]具有很強的紋理特征的描述性和區(qū)分性， 且對噪聲和光照變化魯棒性好等優(yōu)勢， 提出雙值韋伯描述子(DWLD)， 優(yōu)化了中心像素梯度方向算法， 豐富了局部細節(jié)紋理信息， 篩選出更有鑒別力的紋理特征. 本文擬將局部紋理特征的提取引入DBN模型， 構(gòu)建表情識別新方法. 在該算法中， 首先使用DWLD對所輸入圖像實現(xiàn)初次特征提取， 以減少光照、 噪音等自然影響和旋轉(zhuǎn)影響； 其次在DBN網(wǎng)絡(luò)中實現(xiàn)二次特征自主提取， 以得到高層次的抽象特征. 該算法提高了面部表情識別算法的識別率， 增強了算法的魯棒性， 減少了深度學習計算量. 實驗結(jié)果表明， 相比傳統(tǒng)WLD特征， DWLD有更好地局部特征表征能力. 將雙值韋伯描述子引入深度置信網(wǎng)絡(luò)進行紋理信息的局部處理時， 具有更好的識別效果.

1 基于深度置信網(wǎng)絡(luò)的表情識別

深度置信網(wǎng)絡(luò)(Deep Belief Net，DBN)是由多個限制玻爾茲曼機(Restricted Boltzmann Machine，RBM)層堆疊組成的多層神經(jīng)網(wǎng)絡(luò)模型[7]， 是一種概率生成模型， 每一層的輸出作為下一層的輸入， 從而獲得更高級的抽象特征. 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比， DBN通過逐層訓練的方式有效避免了對所有層同時訓練的時間復(fù)雜度問題， 同時對于每層RBM內(nèi)部的輸入進行逐一重構(gòu)， 其權(quán)值偏置也會不斷調(diào)優(yōu). 這一貪心算法模式大大提高了無監(jiān)督學習的效率.典型DBN模型如圖 1 所示.

圖 1 DBN網(wǎng)絡(luò)模型 Fig.1 DBN network model

這些網(wǎng)絡(luò)結(jié)構(gòu)分為可視層和隱藏層， 層與層間存在連接， 但層內(nèi)的單元間是獨立的. 假設(shè)DBN有L個隱藏層， 則可視單層v和L個隱藏層hk的聯(lián)合分布可用式(1)表示

p(v,h1,h2,…,hl)=

式中：v=h0表示DBN的可視單元；hk(k=1,2,…,l)是第k層隱藏單元；P(hk|h(k+1))是第k層隱藏層獲得可視單元值的條件分布,滿足

(2)

在第k層中， 隱藏單元被激活的概率為

(3)

深度置信網(wǎng)絡(luò)的特征學習包括模型中的預(yù)訓練和微調(diào)， 對面部表情圖像的原始像素特征進行學習， 可得到更高層次的抽象特征. 但是當表情圖像以像素級圖像作為DBN輸入時， 深度網(wǎng)絡(luò)對面部表情圖像的特征學習和信息提取能力也存在很多缺陷， 如 ① 深度置信網(wǎng)絡(luò)(DBN)忽略了圖像的二維結(jié)構(gòu)， 難以學習到面部圖像的局部特征[14],而面部圖像局部結(jié)構(gòu)在面部識別中是非常關(guān)鍵的特征; ② 以像素級的面部特征作為DBN的輸入, 學習過程在很大程度上受輸入圖像質(zhì)量影響, 若輸入圖像受到強烈光照影響,網(wǎng)絡(luò)會因光照等因素影響而學習到不利的特征表達; ③ 對于檢測一個給定特征的權(quán)值， 每個位置都要分別去學習， 這無疑加重了運算量.

本文將局部紋理特征引入到深度置信網(wǎng)絡(luò)中， 首先借助其在表情圖像的梯度、 邊緣等紋理細節(jié)信息提取及表征上的優(yōu)勢， 實現(xiàn)表情圖像的初次特征提??； 然后， 為抽取圖像全面性的高級抽象特征， 將得到的初級特征引入深度置信網(wǎng)絡(luò)， 做二次特征提取及分類， 實現(xiàn)了二者的融合.

2 深度置信網(wǎng)絡(luò)表情識別算法

韋伯局部描述子(Weber Local Descriptor, WLD)是基于心理學Weber定律[13]而提出的， 在提取圖像紋理方面非常有效， 在抑制噪音和光照方面也具有很好的魯棒性. 針對傳統(tǒng)的WLD在紋理梯度方向無法利用中心像素的所有鄰接點全面描述紋理信息的不足， 本文提出一種雙值韋伯局部描述子(DWLD)， 能通過新的梯度方向計算方法更加有效地提取局部紋理信息， 從而提高對噪音和光照的魯棒性.

2.1 韋伯局部特征(WLD)

陳杰等受Weber定律啟發(fā)， 提出韋伯局部描述子(WLD)， 它由兩部分組成： 差分激勵(Differential Excitation)ξ， 即韋伯公式的比值， 用來描述周圍像素變化與當前像素的比值， 反映圖像的顯著變化， 如式(4)； 梯度方向(Orientation)θ， 即當前像素的梯度方向， 用來描述垂直方向和水平方向像素變化的比值， 反映局部窗內(nèi)灰度變化的空間分布信息， 如式(5). 圖 2 表示了差分激勵和梯度方向的計算過程， 圖中Xs表示當前像素Xc及其8個相鄰像素.

圖 2 WLD計算示意圖Fig.2 Schematic diagram of WLD

2.2 雙值韋伯局部特征

由式(5)可知， 原始WLD的梯度方向僅僅使用了中心像素8個領(lǐng)域像素中的4個， 即僅反映了其紋理信息在空間分布上水平方向和垂直方向上的梯度變化,不能充分反映在空間分布結(jié)構(gòu)上的灰度變化,即無法準確體現(xiàn)紋理信息的內(nèi)在變化特征. 如在計算圖 3 中， 3種不同紋理模式的WLD特征， 按照傳統(tǒng)WLD的計算方法， 他們的ξ=0， 同時由于垂直梯度方向上的灰度值變化為0， 即梯度方向計算公式中x5-x1=0, 表明他們的梯度方向也等于0. 這就意味著對于傳統(tǒng)WLD， 這3個紋理模式是無法被區(qū)分的. 這是因為在WLD特征中， 梯度方向的計算只考慮了當前像素的4個鄰接像素， 這導致了傳統(tǒng)方法在提取韋伯特征時丟失了一些有鑒別力的細節(jié)信息， 也意味著容易受到噪聲的干擾.

圖 3 局部紋理圖示例Fig.3 Local texture sample

基于這樣的情況， 本文對傳統(tǒng)WLD的梯度方向進行如式(6)所示的改進， 即

(6)

在式(6)中， 改進的WLD在計算梯度方向時， 中心像素的8個鄰接像素均被使用了兩次， 消除了因鄰接像素在使用頻率上不同而對方向梯度產(chǎn)生的誤差， 所以也稱改進的韋伯局部特征為雙值韋伯特征(DWLD). 本文使用改進的DWLD方法， 考慮了所有8個領(lǐng)域像素， 能夠更好的提取方向信息， 也能夠有效地抑制噪聲. DWLD梯度方向計算示意圖如圖 4 所示.

圖 4 DWLD梯度方向計算示意圖Fig.4 Schematic diagram of DWLD gradient direction

DWLD與WLD特征梯度方向?qū)嶒瀸Ρ热鐖D 5 所示， 從實驗結(jié)果來看， DWLD的梯度方向比傳統(tǒng)WLD具有更豐富的局部紋理信息， 我們可以更加清晰地看到圖中面部的輪廓,且圖像中包含了更豐富的圖像細節(jié)信息. 各種特征提取與DBN結(jié)合的實驗結(jié)果如圖 6 所示.

圖 5 傳統(tǒng)WLD和DWLD梯度方向?qū)嶒灲Y(jié)果對比圖Fig.5 The experimental results contrast figure of gradient direction between WLD and BWLD

圖 6 不同的特征提取方法在與DBN結(jié)合時的識別率Fig.6 The recognition rate of DBN combine with different feature extractions

2.3 融合雙值韋伯特征的深度置信網(wǎng)絡(luò)表情識別算法

一般來說， 圖像特征表征方法基于局部特征要優(yōu)于基于全局特征， 但僅用局部特征表示圖像會丟失其全局結(jié)構(gòu)信息. 作為一種全局特征提取算法， 深度學習具有很好的學習功能， 但當面部表情圖像以向量形式輸入時， 它雖然能學習到圖像的高級抽象特征， 但對于面部表情的局部結(jié)構(gòu)信息特征提取仍有不足之處.

深度置信網(wǎng)絡(luò)表情識別算法將面部表情圖像提取到的WLD紋理特征作為DBN的輸入， 既能結(jié)合兩者之間的優(yōu)勢， 彌補兩者之間的不足， 又能減少深度學習在學習、 訓練過程中的計算量， 同時由于WLD紋理特征具有灰度不變性和旋轉(zhuǎn)不變性等優(yōu)點， 所以作為DBN輸入時， 其特征兼具局部性和全局性. 本文的面部表情識別算法實驗步驟如下：

1) 提取面部表情數(shù)據(jù)庫中圖像并進行面部定位、 裁剪、 歸一化等預(yù)處理；

2) 對預(yù)處理后的圖像進行DWLD特征提取， 其中， 對圖像的DWLD特征提取時， 采用3×3像素窗口， 半徑R為1,中心像素的鄰接像素為8. 最后將其分為訓練樣本集和測試數(shù)據(jù)樣本集；

3) 對DBN模型中第k層RBM進行預(yù)訓練： 初始化參數(shù)θ={W,b,c}， 將表情圖像的DWLD特征輸入到網(wǎng)絡(luò)模型中， 獲取可視層各節(jié)點的值v1k∈{0,1}；

5) 根據(jù)步驟4)所求得的隱藏節(jié)點的值重構(gòu)可見節(jié)點的值， 計算多個可視節(jié)點的條件分布概率P(v2ki=1|vik)， 并對P(v2t=1|vik)隨機采樣計算可視節(jié)點值v2ki∈{0,1}；

6) 根據(jù)步驟5)所求得的可視節(jié)點值計算隱藏節(jié)點值h2k， 并計算隱藏節(jié)點的概率分布P(22kj=1|v2k， 采用隨機采樣得到h2kj∈{0,1}；

7) 按照式(7)～(9)更新參數(shù)集θ={W,b,c}；

Δwi,j=ε(〈vihj〉data-〈vihj〉recon),(7)

Δbi=ε(〈vi〉data-〈vt〉recon),(8)

Δcj=ε(〈hi〉data-〈hi〉recon).(9)

8) 重復(fù)步驟3)到步驟7)， 直至符合結(jié)束條件， 則該層RBM模型參數(shù)固定；

9) 重復(fù)步驟3)到步驟8)， 通過采用自上而下逐層無監(jiān)督的貪婪學習算法， 獲得序列權(quán)值參數(shù)；

10) 采用BP算法， 對DBN模型進行微調(diào)， 根據(jù)輸入數(shù)據(jù)和重構(gòu)數(shù)據(jù)的損失函數(shù)， 重新調(diào)整網(wǎng)絡(luò)參數(shù)；

11) 判斷初始樣本向量值和最優(yōu)權(quán)值的重構(gòu)向量值的差值是否小于預(yù)定值， 若是， 則進行步驟12)， 否則返回步驟10)；

12) 將測試數(shù)據(jù)樣本輸入DBN網(wǎng)絡(luò)模型進行分類， 并輸出結(jié)果.

3 實驗結(jié)果及分析

本文選擇JAFFE數(shù)據(jù)庫和Extended Cohn Kanade(CK+)面部庫作為實驗樣本， 采用融合雙值韋伯特征的深度置信網(wǎng)絡(luò)識別算法， 并與已有的監(jiān)督算法進行比較， 以進一步驗證該算法的性能. JAFFE數(shù)據(jù)庫中有總計213幅圖片， 分辨率為256×256， 包含10個日本女學生的各7種表情， 其中包含6種基本表情和1種中性表情， 每種表情含2～4幅圖像. CK+數(shù)據(jù)庫發(fā)布于2010年， 其包含的表情圖片要比JAFFE數(shù)據(jù)庫更多， 其中包含了123個人共593個圖像序列， 本文使用其中327個有表情標簽的圖像進行交叉驗證.

為了測試本文引入的雙值韋伯特征對表情識別率的影響， 本實驗在JAFFE數(shù)據(jù)庫和CK+面部庫中分別使用DBN算法、 WLD+DBN算法和DWLD+DBN算法進行識別率比較. 由于DBN本身并無識別功能， 所以在DBN頂層設(shè)置BP神經(jīng)網(wǎng)絡(luò)用于微調(diào)整個網(wǎng)絡(luò). 使用JAFFE面部庫時， 經(jīng)過多次試驗發(fā)現(xiàn)， 當DBN參數(shù)中隱藏節(jié)點數(shù)為 300時， 隱藏層數(shù)分別為 1， 2， 3， 實驗結(jié)果如表 1 所示. 當隱藏層數(shù)為1時， 隱藏層的節(jié)點數(shù)分別為50， 100， 300， 500， 實驗結(jié)果如表 2 所示. 由此可以看出， 識別率并非隨著隱藏層數(shù)的增加而增加， 這可能是因為隨著深度增加會導致： ① RBM重構(gòu)誤差累加； ② BP算法的累加誤差過大[15].

表 1 DBN, DBN+WLD與DBN+DWLD在不同隱藏層數(shù)的識別結(jié)果

表 2 DBN, DBN+WLD與DBN+DWLD在不用隱藏節(jié)點數(shù)的識別結(jié)果

在WLD+DBN表現(xiàn)最好時， 其7種表情的實驗結(jié)果如表 3 所示.

表 3 DWLD+DBN應(yīng)用于JAFFE面部庫各種表情的正確識別率

從表 3 中可以看出本算法平均識別率是92.66%， 7種表情中， 有4種表情的正確識別率在90%以上， 中性表情的識別率則將近有100%， 識別效果較為理想， 而高興、 討厭和害怕3種表情的平均識別率只有85.19%， 這是因為這3種表情在某種程度上容易產(chǎn)生混淆.

使用CK+面部庫時， 經(jīng)過多次試驗， 當DBN參數(shù)中隱藏層數(shù)設(shè)置為1以及隱藏節(jié)點數(shù)為500時， 本文方法的識別效果最好， 平均識別率為96.57%， 實驗結(jié)果分別如表 4 所示.

表 4 DWLD+DBN應(yīng)用于CK+面部庫時各種表情的正確識別率

表 5 應(yīng)用于JAFFE數(shù)據(jù)庫時不同算法訓練和識別所消耗的時間表

同時本文在JAFFE數(shù)據(jù)上對不同算法的時間消耗進行了比較， 實驗結(jié)果如表 6 所示.

表 6 不同算法分別應(yīng)用于JAFFE數(shù)據(jù)庫和CK+面部庫的正確識別率

從表5可以看出， 當先對表情數(shù)據(jù)庫中的圖像進行韋伯特征初次識別時， 在深度置信網(wǎng)絡(luò)中的訓練時間和分類時間都有所減少， 其中WLD+DBN消耗的總時間比DBN時間減少13.89%， DWLD+DBN消耗的總時間也比DBN少.

將本文所提出算法與改進面部識別局部二值模式(LDP)、 Gabor小波變換、 PCA的特征提取法以及支持向量機(Support Vector Machine, SVM)、K鄰近算法(K-Nearest Neighbor, KNN)識別方法相比較， 比較結(jié)果如表 6 所示. 從實驗結(jié)果可以看出， 本文所提算法在平均識別率上略有提高. 事實上， DBN的學習能力非常好， 且隱藏層和隱藏節(jié)點數(shù)越多， 學習效果越強. 由于JAFFE數(shù)據(jù)總樣本比較少， 所以在本實驗中， 隱藏層數(shù)是1， 隱藏節(jié)點數(shù)為300時， 正確率最高. 在CK+數(shù)據(jù)庫中， 則是隱藏層數(shù)是1， 隱藏節(jié)點數(shù)為500時， 識別效果最好.

4 結(jié) 語

本文首先采用改進韋伯特征對表情圖像進行特征提取， 再將其引入到深度置信網(wǎng)絡(luò)進行二次表情識別， 并利用BP算法進行表情識別. 實驗結(jié)果顯示， 改進的韋伯特征在計算圖像的梯度方向時， 使用了中心像素的8個鄰接像素， 使得雙值韋伯特征相比傳統(tǒng)韋伯特征在紋理細節(jié)處更具表征能力， 有助于提高表情的識別率. 基于雙值韋伯特征的深度置信網(wǎng)絡(luò)， 改善了韋伯局部特征在提取面部表情圖像整體紋理結(jié)構(gòu)信息時的不足和深度學習對圖片局部紋理結(jié)構(gòu)信息的缺陷， 結(jié)合了局部特征提取和整體特征提取的互補優(yōu)勢， 減少了對冗余信息的學習， 使學習速度和分類精度均得到一定的提高.

[1] Ying Zilu, Li Jingwen, Zhang Youwei. Facial expression recognition based on SLLE with expression weighted distances[J]. Pattern Recognition & Artificial Intelligence, 2010, 23(2)： 278-283.

[2] Xue Yuli, Mao Xi, Guo Ye, et al. The research advance of facial expression recognition in human computer interaction[J]. Journal of Image & Graphics, 20092009： 14(5)： 764-772．

[3] Jiang B, Jia Kebin. A local discriminative component analysis algorithm for facial expression recognition[J]. Acta Electronica Sinica, 2014, 42(1)： 155-159.

[4] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7)： 1527-1554.

[5] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786)： 504.

[6] Liu Ping, Han Shizhong, Meng Zibo, et al. Facial expression recognition via a boosted deep belief network [C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014： 1805-1812.

[7] Jung H, Lees S, Park S, et al. Development of deep learning for emotion recognition system[C]. Frontiers of Computer Vision(FCV),2015 21st Korea-Japan Joint workshop on. Mokpo： IEEE, 2015： 1-4.

[8] Gan Q, Wu C, Wang S, et al. Posed and spontaneous facial expression differentiation using deep Boltzmann machines[C]. International Conference on Affective Computing and Intelligent Interaction. 2015： 643-648.

[9] Guo Zhenhua, Zhang Lei. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010, 19(6)： 1657-63.

[10] Guo Yimo. Discriminative features for texture description[J]. Pattern Recognition, 2012, 45(10)： 3834-3843.

[11] LIU Shuaishi. Facial expression recognition method based on gabor multi-orientation features fusion and block histogram[J]. Acta Automatica Sinica, 2011, 37(12)： 1455-1463.

[12] Zhong Sizhi. Research on facial expression recognition[D]. Shanghai： School of Information Science Technology, 2015.

[13] Chen Jie. WLD： A robust local image descriptor[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9)： 1705-1720．

[14] Itamar A, Derek R C, Thomas P K. Deep machine learning-A new frontier in artificial intelligence research[research frontier][J]. IEEE Computational Intelligence Magazine, 2010, 5(4)： 13-18.

[15] Pan Guangyuan, Chai Wei, Qiao Junfei. Calculation for depth of deep belief network[J]. Control & Decision, 2015, 30(2)： 256-260.