王 玨，潘沛生

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

0 引 言

近年來，人臉表情識別技術在醫(yī)學研究、案件偵破、自動駕駛等領域[1-2]有著廣泛的應用。但受限于目前的監(jiān)控系統(tǒng)，絕大多數都是遠距離的場景下，獲得的人臉表情圖像是視覺模糊和小尺寸的，該文將這類圖像稱為低分辨率人臉表情圖像，這類圖像具有較少的表情特征，所以低分辨率的人臉表情識別是極其困難的。目前研究低分辨率人臉表情識別課題的方向較少，其中張靈等人[3]利用壓縮感知理論重建低分辨率疲勞表情圖像；李桂峰[4]采用基于塊和基于像素提出的正則化方法對低分辨率微表情圖像進行處理。傳統(tǒng)算法重建的圖像會出現丟失細節(jié)、邊緣模糊的問題。研究表明，深度學習在圖像超分辨率重建[5-8]和識別領域[9-11]比傳統(tǒng)方法取得了更好的效果。針對上述問題，該文提出一種基于深度學習的超分辨率重建算法用于對低分辨率面部圖像進行表情識別。

1 算法框架

提出的低分辨率人臉表情識別的系統(tǒng)流程如圖1所示。該算法主要包括兩個子網絡：基于新的混合損失函數的超分辨率重建網絡和基于小尺度卷積核的人臉表情識別網絡。具體操作流程是：先將低分辨率人臉表情圖像輸入超分辨率重建網絡從而生成高分辨率人臉表情圖像，然后對該人臉表情圖像進行特征提取并實現分類即表情識別。

圖1 低分辨率人臉表情識別系統(tǒng)流程

1.1 基于新的混合損失函數的超分辨率重建網絡

該文基于深度學習的超分辨率重建網絡結構[8]如圖2(a)所示，輸入的低分辨率圖像經過卷積和32個相同的殘差網絡結構疊加構成殘差塊學習圖像特征，再進行上采樣操作，然后得到重建后的高分辨率圖像。

(a)超分辨率重建網絡結構 (b)殘差網絡結構

首先殘差網絡[8]的結構如圖2(b)中右圖所示，對比原始的殘差塊(如圖2(b)左圖)，該網絡結構去掉了兩個批量歸一化操作(batch normalization，BN)和線性整流函數(ReLU)。因為，BN[12]會對提取到的特征值進行正則化處理，從而導致整個網絡的靈活性下降。

其次，系統(tǒng)中對特征圖進行上采樣，采用的方法是子像素卷積(shuffle)層[13]。該方法是隱含在卷積層中的，可以實現自主學習，從而避免引入過多的人工因素的干擾，并且會提高算法效率。

最后，為了生成更高質量的人臉表情圖像，該文提出一種新的混合損失函數以減少重建后的人臉表情圖像與原始高分辨率人臉表情圖像的差距，其定義為：

Lloss=αLsmooth L1+(1-α)LSSIM

(1)

其中，Lsmooth L1，LSSIM分別表示魯棒的L1型損失函數[7]和結構相似性(structural similarity，SSIM)損失函數[14]，α(0≤α<1)表示損失函數的權重。

Lsmooth L1損失函數用于衡量像素的相似性，其定義為：

(2)

其中x和y表示重建后的圖像與原標簽圖像。

Lsmooth L1損失函數是基于逐像素比較差異，忽略鄰域的標簽，Lsmooth L1損失函數比L1型損失函數穩(wěn)定，同時比L2型損失函數收斂速度塊，易于模型的訓練。

SSIM可以用于衡量圖像相似性，該損失函數考慮每個像素的局部鄰域，可以將較高的權重分配給邊界。如果將其整合到網絡的損失函數中，可以獲得標簽圖像的結構信息，其表達式為：

(3)

若采用單一的Lsmooth L1損失函數，其只考慮對應點像素的差異，會造成圖像缺少部分高頻，并且出現過度平滑的紋理[12]和局部結構缺失，因此采用混合損失函數共同監(jiān)督。Lsmooth L1損失函數可以減小像素差異，LSSIM損失函數通過對鄰域像素的計算，保留高頻信息，提高圖像質量。

現有研究中，針對社會化信任關系的協同過濾技術的隱私保護工作尚不多見.因此，從考慮隱私保護和預測準確率兩者間的折中以及協同過濾技術中的數據稀疏性和冷啟動問題，本文將差分隱私保護技術引入融合顯/隱式信任關系的SVD++協同過濾技術中，提出目標函數加擾的TrustSVD差分隱私保護新策略.關于新策略，文中在理論上分析了其隱私保護的性能，實驗上驗證了其在協同過濾應用中的預測表現.結果表明：所提新策略與無隱私保護的TrustSVD具有相近的預測準確率，與做類似差分隱私保護的SVD++相比獲得了更優(yōu)的預測結果，此外還給出了核心參數的調節(jié)實驗.

1.2 基于小尺度卷積核的人臉表情識別網絡

如上所述，輸入的低分辨率人臉表情圖像經過基于深度超分辨率重建網絡結構已經生成高分辨率人臉表情圖像。之后再將該圖像送入人臉表情識別網絡結構后提取特征并分類。文中借用VGG網絡[15]的思想，采用小尺度卷積核提取特征，然后使用softmax分類器得到表情分類的結果。

當前人臉表情識別研究中，為了提高人臉表情識別的準確率，大多數算法采用更深、更寬的網絡結構，但在提高準確率的同時，帶來了復雜的計算量和較低的識別效率。文中所述算法通過小尺度卷積核提取特征，降低計算復雜度，從而提高了識別效率。

如圖3所示，基于小尺度卷積核的人臉表情識別網絡結構由6個3×3卷積的小尺度卷積層、6個池化層、1個全連接層和softmax層組成。小尺度卷積核用來提取人臉表情特征；池化層用來減小特征圖的大小，文中采用的是最大池化層；全連接層將前面提取到的表情特征加權求和得到每種表情的分數；softmax分類器的作用將全連接層得到的分數映射為概率，從而得到表情識別結果。

圖3 人臉表情識別網絡結構

其次，每個小尺度卷積層的卷積核個數分別為64，128，256，512，512，512，其中步長均為1。最大池化層的步長為2。假設人臉表情圖像大小為88×88，將該圖像輸入網絡結構，經過卷積層后，會得到64個88×88的特征圖。這些特征圖再通過最大池化層進行下采樣得到44×44×64大小的特征圖，再經過五個同樣的卷積層和最大池化層的操作，輸出1×1×512大小的特征圖，然后將特征圖送入含有512個神經元的全連接層，輸出1×512維的向量。最后通過softmax分類器得到表情識別的結果。

為了衡量該網絡結構的計算復雜度，一般通過其參數量(空間復雜度)來表示，其計算公式為：

(4)

2 實驗結果與分析

本研究所有訓練和測試的過程均使用深度學習框架：GPU版本的Tensorflow，具有便攜、高效和兼容性好等優(yōu)點。實驗采用的硬件平臺為Ubuntu16.04，GTX 1080TI GPU。使用的開發(fā)環(huán)境和工具為Anaconda軟件，python3.6環(huán)境。

2.1 人臉表情識別數據集

本研究采用的訓練和測試的數據集為CK+[16]人臉表情數據庫，該數據庫中的實驗樣本包含7種表情：憤怒，蔑視，悲傷，厭惡，開心，驚訝，害怕。該數據庫是在實驗室條件下獲取的，數據可靠。文中選取該數據中每個序列的最后三幀，總共981張，憤怒，蔑視，悲傷，厭惡，開心，驚訝，害怕表情數據集的數量分別為135，54，84，177，207，249，75。實驗將表情圖像裁剪為96×96大小，作為原始高分辨人臉表情圖像。

2.2 實驗處理及參數設置

在超分辨率重建網絡結構中，將CK+數據集按照8∶2比例分為訓練集和測試集，模型訓練階段迭代次數設置為40 000次，批量大小設置為16。經過多次實驗，將混合損失函數中的權重α設置為0.8，可以取得最佳效果。

在人臉表情圖像識別網絡結構中，將CK+數據集也按8∶2比例分為訓練集和測試集。由于CK+數據量過少，會造過擬合問題，因此，在訓練階段，隨機在圖像的左上角，左下角，右上角，右下角和中心進行切割，得到88×88的圖像并做鏡像操作，這樣的操作可以使訓練集增大10倍。在該網絡結構訓練階段，動量設置值為0.9，學習率初始值為0.01，權重衰減的系數為0.000 5。

2.3 實驗結果對比與分析

為了驗證文中提出的低分辨率表情識別算法的有效性，將原始高分辨率圖像進行4倍、8倍、16倍的下采樣，分別得到24×24、12×12、6×6大小的低分辨率人臉表情圖像，如圖4所示。

圖4 不同大小的低分辨率人臉表情圖像

之后，將不同大小的低分辨率人臉表情圖像送入超分辨率重建網絡結構中，生成高分辨率圖像，再將人臉表情圖像送入人臉表情識別網絡結構中。文中以12×12尺寸大小的圖像為例，如圖5所示，第一行是原始高分辨率人臉表情圖像(HR)，第二行是低分辨率人臉表情圖像(LR)，第三行是采用文獻[6]中的算法(EDSR)重建的人臉表情圖像，第四行是使用文中方法重建的人臉表情圖像。從圖中可以看出，低分辨率人臉圖像(LR)非常模糊，表情特征難以區(qū)分。采用EDSR算法重建的人臉表情圖像，五官位置比較明確，但在嘴角和眼角位置存在局部模糊問題。采用文中算法重建的人臉表情圖像，不僅五官位置比較明確，對于嘴角和眼角的局部位置重建清晰，而且整體來看，圖像紋理更加清晰。

圖5 8倍超分辨率重建結果對比

文獻[6]中提出的EDSR算法在基于深度學習的圖像超分辨率重建方面是優(yōu)于SRCNN[5]、FRSCNN[6]、VDSR[7]等算法的，因此，為了驗證文中方法對人臉表情識別準確率提高的有效性，將低分辨率圖像采用基于局部先驗約束算法[17]、EDSR算法和文中算法重建得到的圖像進行表情識別準確率的比較，如表1所示。

表1 CK+數據集人臉表情識別準確率 %

由數據分析可得，在識別相同低分辨率表情圖像時，文中算法的識別準確率均提高了，并且均高于基于局部先驗約束重建算法和EDSR算法，說明文中算法可以提高低分辨率面部圖像表情識別的正確率。

同時，在輸入極低分辨(6×6)人臉表情圖像的情況下，準確率提高了9.091%，優(yōu)于算法，表明文中算法對極低分辨率面部圖像的表情識別效果最好。

最后，為了分析各種表情的準確率，依然以12×12大小重建的高分辨率人臉表情圖像的各類表情準確率為例，如表2所示。

表2 重建后人臉表情圖像識別準確率

在表2中，12×12大小重建后的高分辨率人臉表情準確率為96.970%。其中開心準確率為100%，憤怒、厭惡、悲傷、驚訝的表情識別準確率為97%，蔑視的準確率為94%，害怕的準確率為88%，該表情準確率較低的原因是數據集中該表情的數量較少，且表情不易區(qū)分。

3 結束語

文中提出了一種用于低分辨率表情識別的系統(tǒng)結構。首先，為了重建低分辨率人臉表情圖像，引入了基于簡化的殘差塊網絡，并提出通過新的混合損失函數共同監(jiān)督，Lsmooth L1雖然避開L1型和L2型損失函數的缺點，保持顏色亮度特征，但缺乏高頻信息；LSSIM損失函數含有高頻信息，但對亮度和彩色變化遲鈍。當結合這兩個損失函數時，既保留了圖像的顏色和特征，也保留了高頻信息。然后，將重建后的人臉表情圖像通過小尺度卷積核提取特征，再進行分類識別。實驗結果驗證了該系統(tǒng)的可行性和優(yōu)越性，有效地提高了低分辨率人臉表情的準確率。進一步的研究方向是針對部分人臉表情難以區(qū)分、準確率低的問題，考慮對提出的結構繼續(xù)進行改進和優(yōu)化。