黃 超，薄 華

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)合SVM的人臉識(shí)別研究

黃 超，薄 華

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

提出了卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)結(jié)合的方法運(yùn)用于遮擋人臉識(shí)別。通過卷積神經(jīng)網(wǎng)絡(luò)的卷積、下采樣和Softmax的特征提取處理，由支持向量機(jī)完成后續(xù)的訓(xùn)練和識(shí)別。利用AR人臉庫(kù)進(jìn)行實(shí)驗(yàn)，并和傳統(tǒng)的人臉識(shí)別方法進(jìn)行比較分析，實(shí)驗(yàn)結(jié)果表明本文的方法有更高的識(shí)別率。

卷積神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)；人臉識(shí)別

0 引言

隨著科學(xué)技術(shù)的發(fā)展，機(jī)器人的應(yīng)用越來(lái)越廣泛，人機(jī)交互也變得十分重要。人臉識(shí)別作為生物特征識(shí)別(虹膜識(shí)別、指紋識(shí)別、掌紋識(shí)別等)技術(shù)之一，由于具有成本低、用戶易接受、可靠性高等優(yōu)點(diǎn)，在身份認(rèn)證、安防監(jiān)控、人機(jī)交互等領(lǐng)域具有廣泛的應(yīng)用前景。目前對(duì)于人臉識(shí)別的技術(shù)已經(jīng)展開了很多研究工作[1]。

過去許多年來(lái)，研究者們提出了很多人臉識(shí)別的算法，主要是提取人臉特征，特征提取在人臉識(shí)別中起到了關(guān)鍵的作用，影響著系統(tǒng)識(shí)別人臉的識(shí)別率。人臉識(shí)別方法有幾何特征的方法、相關(guān)匹配的方法、子空間方法和統(tǒng)計(jì)識(shí)別的方法等[2]。近幾年來(lái)應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別非常流行，尤其是卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像識(shí)別有很強(qiáng)的優(yōu)勢(shì)，支持向量機(jī)有很好的分類效果，在人臉識(shí)別中也被廣泛的運(yùn)用[3]。

本文方法結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)對(duì)人臉進(jìn)行識(shí)別。首先，對(duì)人臉圖像進(jìn)行卷積和下采樣處理，處理后由支持向量機(jī)分類識(shí)別，最后使用AR人臉數(shù)據(jù)庫(kù)進(jìn)行驗(yàn)證，識(shí)別出200張有遮擋的人臉圖片。

1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)是一類特殊的多層神經(jīng)網(wǎng)絡(luò)，與其他的神經(jīng)網(wǎng)絡(luò)一樣是用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練，只是用在卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有點(diǎn)不同。卷積神經(jīng)網(wǎng)絡(luò)可以直接識(shí)別視覺圖像，它進(jìn)行像素圖像的預(yù)處理，并具有魯棒性和簡(jiǎn)單的幾何變換。卷積網(wǎng)絡(luò)識(shí)別圖像的傳統(tǒng)步驟如圖1所示。通過將圖像輸入CNN網(wǎng)絡(luò)，訓(xùn)練后，再分類識(shí)別得出結(jié)果。

圖1 CNN識(shí)別圖像的傳統(tǒng)步驟

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)是LeNet-5。如圖2所示。LeNet-5是LeCun提出的一個(gè)應(yīng)用在手寫數(shù)字識(shí)別的神經(jīng)網(wǎng)絡(luò)。如圖，其中處理層包含卷積層C1和C3，中間靠?jī)蓚€(gè)下采樣層S2和S4連接，最后是輸出層。

圖2 LeNet-5經(jīng)典結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)

卷積層的每一個(gè)特征圖是之前的特征圖通過卷積核與濾波卷積和的結(jié)果，再增加偏置項(xiàng)應(yīng)用于非線性函數(shù)。輸入的特征圖的值如式(1)所示，通過訓(xùn)練調(diào)整k和b的值，找到最好的，再用已經(jīng)訓(xùn)練好的特征圖來(lái)識(shí)別其他的圖片[4]。

(1)

其中，f(·)為激活函數(shù)，一般為sigmoid或者tanh；b為偏置項(xiàng)。上一層圖的大小為m×m，卷積核為n×n，卷積后的圖大小為(m-n+1)×(m-n+1)。

下采樣是為了達(dá)到空間不變性，通過采用減少特征圖的方法來(lái)對(duì)上一層特征圖降維，下采樣的形式如式(2)[5]：

(2)

其中down(·)為下采樣函數(shù)，類似于卷積；β為乘性偏置；b為加性偏置。特征圖像在維度上進(jìn)行了縮小，用n×n大小的窗口進(jìn)行采樣，最后縮小的圖像為(m/n)×(m/n)。

2 支持向量機(jī)(SVM)

支持向量機(jī)是AT&TBell 實(shí)驗(yàn)室的V.Vapnik等人在1995年提出的算法。支持向量機(jī)用于二分類尋找特征空間上的間隔最大的線性分類器。其原理示意如圖3所示[6]。

圖3 SVM原理示意圖

本文使用的SVM是臺(tái)灣林智仁(Lin Chih-Jen)教授開發(fā)設(shè)計(jì)的MATLAB版LIBSVM 3.22。LibSVM[7]大規(guī)模線性分類器，包含了單類支持向量機(jī)和用支持向量機(jī)實(shí)現(xiàn)多類分類的功能，還包含交叉驗(yàn)證、用網(wǎng)格試算方法選擇核函數(shù)參數(shù)的功能[8]。

3 本文算法(CNN+SVM)

圖5 卷積神經(jīng)網(wǎng)絡(luò)加LibSVM工作流程

本文使用卷積神經(jīng)網(wǎng)絡(luò)和SVM結(jié)合的算法，如圖4所示。這樣的算法相比傳統(tǒng)的遮擋人臉識(shí)別算法在識(shí)別率上有所提高，在后面的實(shí)驗(yàn)中將會(huì)驗(yàn)證。本文算法其中包含有卷積神經(jīng)網(wǎng)絡(luò)的卷積層、池化層、全連接層和Softmax。本文使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似于LeNet-5結(jié)構(gòu)，其中分別有2個(gè)卷積層、2個(gè)下采樣層和1個(gè)全連接層，整個(gè)網(wǎng)絡(luò)中的卷積層和下采樣層交替運(yùn)行，最后一個(gè)下采樣層與全連接層相連，全連接層再通過Softmax分類器到LibSVM，最后進(jìn)行訓(xùn)練和測(cè)試并輸出結(jié)果，具體結(jié)構(gòu)如圖5所示。

圖4 CNN結(jié)合LibSVM

本文的工作流程如下：

(1)樣本輸入卷積后生成卷積層1；

(2)卷積層1的圖片下采樣生成池化層1；

(3)重復(fù)上述過程生成卷積層2和池化層2；

(4)把池化層2的二維數(shù)據(jù)轉(zhuǎn)變?yōu)橐痪S，這一維為全連接層；

(5)全連接層數(shù)據(jù)傳給Softmax；

(6)最后由LibSVM訓(xùn)練以及分類識(shí)別測(cè)試圖像。

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)定

實(shí)驗(yàn)使用的是AR人臉數(shù)據(jù)庫(kù)，如圖6所示為數(shù)據(jù)庫(kù)中的1個(gè)人的26張不同狀態(tài)的人臉。人臉庫(kù)中有100個(gè)不同的人臉，有分男和女，有遮擋眼睛和嘴巴，有不同光照角度等不同狀態(tài)。每個(gè)人臉有26張不同狀態(tài)的圖，總共2 600張，本文把每個(gè)人臉中的24張為訓(xùn)練圖和2張為測(cè)試圖，總共有2 400張訓(xùn)練圖和200張測(cè)試圖，其中2張測(cè)試圖為隨機(jī)1張眼睛遮擋和1張嘴巴遮擋。本文主要測(cè)試人臉遮擋情況下的人臉識(shí)別率。

圖6 AR人臉數(shù)據(jù)庫(kù)

實(shí)驗(yàn)操作步驟：

(1)每張圖原圖為165×120，用MATLAB命令imresize設(shè)置圖片大小為28×28，然后歸一化處理。

(2)卷積神經(jīng)網(wǎng)絡(luò)的卷積核設(shè)置為5×5，采樣大小為2×2(平均值下采樣)，經(jīng)過2次卷積和2次下采樣，最后輸出4×4的特征圖。然后使其為16×1的全連接輸入給Softmax。Softmax輸出結(jié)果輸入給LibSVM。

(3)LibSVM算法分類識(shí)別測(cè)試圖像，直接識(shí)別出200張人臉遮擋圖片分別為某人。

(4)進(jìn)行十折交叉驗(yàn)證，6張眼睛遮擋和6張嘴巴遮擋每個(gè)挑選一個(gè)做測(cè)試樣本，剩下的都作為訓(xùn)練樣本，一共是6次。在無(wú)遮擋中挑選4次，總共進(jìn)行10次上述步驟，最后求出平均識(shí)別率。

卷積時(shí)使用的卷積核是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練好k值和b值后的卷積核，其中不同的迭代次數(shù)有不同的k和b值，識(shí)別率也不同，本文用0.12的學(xué)習(xí)率，分別迭代80次、100次、200次、500次、1 000次和2 000次。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表1、表2所示。

表1 算法識(shí)別率比較

表2 CNN+SVM算法與其他算法識(shí)別率比較

4.3 實(shí)驗(yàn)結(jié)論

本文提出用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合LibSVM來(lái)分類識(shí)別AR人臉數(shù)據(jù)庫(kù)的人臉，由表1結(jié)果可知，當(dāng)?shù)鷶?shù)增加，識(shí)別率也相應(yīng)地提高，當(dāng)?shù)螖?shù)增加到一定數(shù)值時(shí)，識(shí)別率提高效果不明顯。由表2比較其他算法卷積神經(jīng)網(wǎng)絡(luò)結(jié)合支持向量機(jī)在AR人臉識(shí)別率上也有一定的優(yōu)勢(shì)。對(duì)測(cè)試結(jié)果進(jìn)行分析可知，CNN結(jié)合LibSVM的算法對(duì)分類識(shí)別遮擋人臉有良好的效果，提高了一定的識(shí)別率，為遮擋人臉識(shí)別提供了一種新的方法。

5 結(jié)束語(yǔ)

人臉識(shí)別一直被廣泛的關(guān)注，主要在于它有著廣泛的應(yīng)用。從原來(lái)的特征提取結(jié)合SVM到現(xiàn)在的卷積神經(jīng)網(wǎng)絡(luò)，其識(shí)別率一直在不斷地提高。后續(xù)可以通過對(duì)網(wǎng)絡(luò)的算法和訓(xùn)練的算法進(jìn)行改進(jìn)，進(jìn)而增強(qiáng)人臉的識(shí)別。

[1] 陳海霞，崔茜.基于Gabor小波和PCA的人臉識(shí)別[J].東北師范大學(xué)報(bào)(自然科學(xué)版),2014,46(4):77-80.

[2] 祝秀萍,吳學(xué)毅,劉文峰. 人臉識(shí)別綜述與展望[J]. 計(jì)算機(jī)與信息技術(shù),2008(4):53-56.

[3] 舒雙寶,羅家融,徐從東,等. 一種基于支持向量機(jī)的人臉識(shí)別新方法[J]. 計(jì)算機(jī)仿真,2011,28(2):280-283.

[4] SYAFEEZA A R, KHALIL-HANI M, LIEW S S, et al. Convolutional neural network for face recognition with pose and illumination variation[J]. International Journal of Engineering & Technology,2014,6(1):44-57.

[5] LECUN Y, KAVUKCUOGLU K, FARABET C. Convolutional networks and applications in vision[C]. In Proceedings of the IEEE International Symposium on Circuits and Systems, Paris, France, 2010: 253-256.

[6] 王書舟,傘冶. 支持向量機(jī)的訓(xùn)練算法綜述[J]. 智能系統(tǒng)學(xué)報(bào),2008,3(6):467-475.

[7] FAN R E, CHEN P H, LIN C J. Working set selection using second order information for training SVM[J]. Journal of Machine Learning Research, 2005,6(4):1889-1918.

[8] 張學(xué)工. 模式識(shí)別(第三版)[M]. 北京：清華大學(xué)出版社，2010.

[9] 張建明,周威,吳宏林. 基于Gabor特征和支持向量引導(dǎo)字典學(xué)習(xí)的人臉識(shí)別[J]. 計(jì)算機(jī)工程與應(yīng)用,2016,52(13): 177-182.

[10] YANG J, ZHANG D,FRANGI A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004,26(1):131-137.

Study on face recognition based on CNN and SVM

Huang Chao, Bo Hua

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In this paper, a method combining convolution neural network and support vector machine is proposed for occluded face recognition. Through the convolution, deconvolution and Softmax feature extraction of convolution neural network, the training and recognition are completed by support vector machine. Experiments are carried out using AR face database and compared with traditional face recognition methods. Experimental results show that the proposed method has higher recognition rate.

convolution neural network; support vector machine; face recognition

TP391

A

10.19358/j.issn.1674- 7720.2017.15.016

黃超，薄華.基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)合SVM的人臉識(shí)別研究[J].微型機(jī)與應(yīng)用，2017,36(15)：56-58,72.

2017-02-07)

黃超(1987-) ，男，碩士研究生，主要研究方向: 圖像處理與機(jī)器學(xué)習(xí)。

薄華(1971-) ，女，博士，碩士生導(dǎo)師，主要研究方向：遙感圖像處理、模式識(shí)別、人工智能。