張婷　李玉鑑　胡海鶴　張亞紅

?

基于跨連卷積神經網絡的性別分類模型

張婷1李玉鑑1胡海鶴1張亞紅1

為提高性別分類準確率，在傳統(tǒng)卷積神經網絡（Convolutional neural network，CNN）的基礎上，提出一個跨連卷積神經網絡（Cross-connected CNN，CCNN）模型.該模型是一個9層的網絡結構，包含輸入層、6個由卷積層和池化層交錯構成的隱含層、全連接層和輸出層，其中允許第2個池化層跨過兩個層直接與全連接層相連接.在10個人臉數(shù)據集上的性別分類實驗結果表明，跨連卷積網絡的準確率均不低于傳統(tǒng)卷積網絡.

性別分類，卷積神經網絡，跨連卷積神經網絡，跨層連接

引用格式張婷，李玉鑑，胡海鶴，張亞紅.基于跨連卷積神經網絡的性別分類模型.自動化學報，2016，42（6）：858-865

人臉性別分類是一個二分類問題，通過人臉圖像信息自動發(fā)現(xiàn)和分析人臉性別屬性.它被廣泛應用在以客戶為中心的廣告、視覺監(jiān)控、智能用戶界面和人口統(tǒng)計等領域.

作為一種傳統(tǒng)方法，全連接網絡在多年前已被應用于人臉性別分類.Golomb等［1］通過訓練一個兩層的全連接網絡SEX-NET（Sex network），對大小為30×30的人臉圖像進行性別分類.這是第一次將神經網絡應用于性別分類.Brunelli等［2］使用HyperBF網絡進行性別分類.首先使用兩個徑向基函數(shù)（Radial basis function，RBF）網絡提取人臉特征，分別用于提取男性和女性人臉特征，然后采用提取的特征進行性別分類.Tamura等［3］探索了神經網絡在不同分辨率圖像上的性別分類，通過采用一個三層的反向傳播網絡對不同分辨率（分辨率的范圍從32×32到8×8）的人臉圖像進行性別分類.該網絡在30幅大小為8×8的低分辨率測試人臉圖像上獲得了93%的準確率.Jiao等［4］提出使用極限學習機進行人臉性別分類，取得了較好的分類準確率.以上使用全連接神經網絡進行人臉性別分類的方法沒有考慮到圖像的二維信息，忽略了圖像中像素間的二維相關性，因此，分類準確率也不夠高. 2014年，Verma等［5］使用一個6層的卷積神經網絡（Convolutional neural network，CNN）進行人臉性別分類，獲得了更高的準確率.自深度學習出現(xiàn)以來［6］，相比傳統(tǒng)的手工特征提取方法［7］，CNN表現(xiàn)出優(yōu)越的特征提取能力［8］，因而在字符識別［9］、人臉識別［10］、人臉跟蹤［11］、交通標志識別［12］、手寫體數(shù)字分類［13］、目標檢測［14-16］、目標識別［17］等領域都獲得了廣泛應用.

生物學研究表明，在一幅給定的自然圖像中，人類視覺系統(tǒng)能夠從整幅圖像中找到最感興趣的區(qū)域和物體，并進而利用細節(jié)特征進行目標識別［18］.這說明，綜合利用高層次特征和低層次特征，對改善視覺系統(tǒng)的識別性能是有利的［19］.以此為出發(fā)點，本文在傳統(tǒng)卷積神經網絡的基礎上，通過引入跨層連接的思想，提出一個具有9層結構的跨連卷積神經網絡模型，目的是為了有效地融合低層次特征和高層次特征，以構造性能更好的分類器.

將跨連卷積神經網絡應用于人臉性別分類的優(yōu)點在于，在對人臉圖像進行分類時，既考慮了高層次特征，又考慮了低層次特征，從而可能獲得比傳統(tǒng)卷積神經網絡更高的準確率.在本文的跨連卷積神經網絡中，雖然跨層連接的思想借鑒了DeepID網絡［20］，但二者并不完全相同.在DeepID網絡中，跨層是將最后一個池化層與全連接層進行連接，跨層連接的權值是可以學習和調整的；而在本文的網絡中，跨層是將某一隱含層直接拷貝連接到全連接層的部分輸入，跨層連接的權值是固定的，無需調整和學習.

1　跨連卷積神經網絡

1.1卷積神經網絡

卷積神經網絡最初是受視覺神經機制的啟發(fā)針對二維形狀的識別而設計的一種多層感知器，在平移情況下具有高度不變性.1962年，Hubel等通過對貓視覺皮層細胞的研究，提出了感受野（Receptive field）的概念［21］，1983年，日本學者Fukushima等基于感受野概念提出的神經認知機（Neocognitron）模型［22］，被認為是第一個實現(xiàn)的卷積神經網絡.

實際上，傳統(tǒng)卷積神經網絡是一種特殊的深層前向神經網絡模型，其結構一般由輸入層、多個交替的卷積層和池化層、全連接層及輸出層組成［23］.輸入層通常是一個矩陣，比如一幅圖像.從前饋網絡的角度來看，卷積層和池化層可以看作是特殊的隱含層，而除輸出層外的全連接層都是普通的隱含層.

在卷積神經網絡中，有四種基本的運算，依次定義為：內卷積、外卷積、下采樣和上采樣.

假設A和B為矩陣，大小分別為M×N和m×n，且M ≥m，N≥n，則它們的內卷積的所有元素定義為：

式中，1≤i≤M-m+1,1≤j≤N-n+1.

它們的外卷積定義為：

如果對矩陣A進行不重疊的分塊，設每塊的大小恰為λ×τ，第ij塊用矩陣來表示，則其構造如下：

式中，（i-1）×λ+1≤s≤i×λ，（j-1）×τ+1≤ t≤j×τ.的下采樣定義為：

用大小為λ×τ的不重疊塊對矩陣A的下采樣定義為：

對矩陣A進行倍數(shù)為λ×τ的不重疊上采樣定義為：

式中1λ×τ是一個元素全為1的矩陣，?代表克羅內克積.

1.2跨連卷積神經網絡

傳統(tǒng)卷積神經網絡的一個缺點是難以有效地利用低層次特征與高層次特征進行融合去構造性能更好的分類器.針對該問題，本文通過引入跨層連接的思想，提出了一個跨連卷積神經網絡（Crossconnected convolutional neural network，CCNN），用于建立人臉性別分類模型.該模型包含1個輸入層x、3個卷積層（h1，h3，h5）、3個池化層（h2，h4，h6）、1個全連接層h7和1個輸出層o，如圖1所示.注意，該網絡首先以一幅圖像為輸入，然后使用3個交錯的卷積層和池化層提取圖像的特征，最后將2個池化層（h4和h6）提取的特征直接傳遞給全連接層進行融合處理并進行分類.輸出層有2個節(jié)點，代表輸入圖像所屬的類別.不難看出，在該網絡中，從池化層h4到全連接層h7之間的連接跨過了2層，稱為跨層連接.此時，全連接層的節(jié)點數(shù)是第4個隱含層和第6個隱含層節(jié)點數(shù)之和，即nh7=nh4+nh6，其中nh4、nh6和nh7分別表示第4、6、7個隱含層的節(jié)點數(shù).表1給出了CCNN模型具體描述，包含每層的類型（Type）、卷積核大?。≒atch size）、步長 （Stride）和每層輸出的大?。∣utput size）.

圖1　跨連卷積神經網絡結構示意圖Fig.1　The crossed-connected convolutional neural network

表1　CCNN的網絡描述Table 1　Description of the CCNN

1.3跨連卷積神經網絡的學習過程

對于第l個樣本xl，CCNN的計算過程為：

式中，函數(shù) σ（x）=1/（1+e-x），g（x）=x，downλ,τ（·）表示下采樣函數(shù)，滑動窗口的大小為λ×τ，同式（6）.W1,j和b1,j分別表示第1個隱含層的第j個卷積核和偏置，表示第1個隱含層的第j個卷積面（1≤j≤6）；表示第2個隱含層的第j個池化面（1≤j≤6）；W3,j和b3,j分別表示第3個隱含層的第j個卷積核和偏置，表示第3個隱含層的第j個卷積面（1≤j≤12）；表示第4個隱含層的第j個池化面（1≤j≤12）；W5,j和b5,j分別表示第5個隱含層的第j個卷積核和偏置，表示第5個隱含層的第j個卷積面（1≤j≤16）；表示第6個隱含層的第j個池化面（1≤j≤16）；表示第7個隱含層的輸出值；W8和 b8分別表示輸出層的權值和偏置，表示輸出層的輸出值.

參照CNN的學習過程，本文提出了訓練CCNN的反向傳播算法（Cross-connected convolutional neural network-Back propagation，CCNNBP）（詳見算法1），用于學習網絡參數(shù). 假設共有N 個訓練樣本（1≤l≤N），網絡的輸入是，期望輸出是，實際輸出是，優(yōu)化的目標函數(shù)是全部樣本的均方誤差：

CCNN-BP首先需要計算出網絡中每一層的反饋傳遞誤差δk（1≤k≤8）.這里需要特別注意的是第4個隱含層的反饋傳遞誤差δ4,j（1≤j≤12），因為該層同時與第5個隱含層h5和第7個隱含層h7相連，因此該層的反饋傳遞誤差為兩部分之和.其余各層的反饋傳遞誤差的計算方式與CNN的計算方式相同，因此，CCNN中每一層的反饋傳遞誤差矩陣為：

式中，符號?表示矩陣（或者向量）對應元素相乘，upλ×τ（·）表示上采樣函數(shù)，同式（7）.分別表示輸出層和第7個隱含層的反饋傳遞誤差，（1≤j≤16）表示第6個隱含層第j個池化面的反饋傳遞誤差，（1≤j≤16）表示第5個隱含層第j個卷積面的反饋傳遞誤差，δ41,j（1≤j≤12）表示第7個隱含層傳給第4個隱含層第j個池化面的反饋傳遞誤差，（1≤j≤12）表示第5個隱含層傳給第4個隱含層第j個池化面的反饋傳遞誤差，（1≤j≤12）表示第4個隱含層第j個池化面總的反饋傳遞誤差，（1≤j≤12）表示第3個隱含層第j個卷積面的反饋傳遞誤差，（1≤j≤6）表示第2個隱含層第j個池化面的反饋傳遞誤差，（1≤j≤6）表示第1個隱含層第j個卷積面的反饋傳遞誤差.

在獲得每一層的反饋傳遞誤差之后，CCNN-BP就可以計算關于權值和偏置的偏導數(shù)，如下：

最后，CCNN-BP利用梯度下降法更新網絡的權值和偏置.

算法1.CCNN-BP

Input：訓練集S=｛（xl，yl），1≤l≤N｝，網絡結構，最大迭代次數(shù).

1：隨機初始化所有的權值和偏置;

2：for epoch=1 to maxepoch do;

3：for l=1 to N do;

4：計算每個樣本的實際輸出;

6：計算網絡中權值和偏置的偏導數(shù);

7：使用梯度下降法更新所有權值和偏置;

8：End for

9：End for

Output：網絡的權值和偏置.

2　實驗結果與分析

為驗證CCNN的性能，本文將其與CNN的性別分類性能進行了比較.實驗共采用10個人臉數(shù)據集，分別為：UMIST（University of Manchester Institute of Science and Technology）數(shù)據集［24］、ORL（Olivetti Research Laboratory）數(shù)據集、Georgia Tech數(shù)據集［25］、FERET（Face recognition technology）數(shù)據集、Extended Yale B數(shù)據集［26］、AR（Aleix Martinez and Robort Benavente）數(shù)據集［27］、Faces94數(shù)據集、LFW（Labeled faces in the wild）數(shù)據集［28］、MORPH（Cranio faciallongitudinal morphological face）數(shù)據集和Celeb-Faces+ 數(shù)據集［29］.所有實驗均在 i7-3770 CPU 3.40GHz 8.00GB內存的Dell臺式機上使用Matlab R2010a運行完成.

CNN的層數(shù)及參數(shù)設置與CCNN相同，即，3個卷積層（h1，h3，h5）的卷積核的大小分別為5×5、5×5和2×2，池化因子的大小為2×2. CNN和CCNN的學習率都設置為0.1.此外，CNN 和CCNN在7個數(shù)據集（UMIST數(shù)據集、ORL數(shù)據集、Georgia Tech數(shù)據集、FERET數(shù)據集、Extended Yale B數(shù)據集、AR數(shù)據集、Faces94數(shù)據集）上的最大迭代次數(shù)為30，在3個數(shù)據集（LFW數(shù)據集、MORPH數(shù)據集、CelebFaces+數(shù)據集）上的最大迭代次數(shù)為200.

表2　實驗數(shù)據集的訓練集和測試集信息描述Table 2　Number of training samples and testing samples of the experiments

2.1實驗數(shù)據集簡介

在實驗采用的10個數(shù)據集中，UMIST數(shù)據集、ORL數(shù)據集、FERET數(shù)據集、Extended Yale B數(shù)據集和AR數(shù)據集的圖像為灰度圖像，F(xiàn)aces94數(shù)據集、Georgia Tech數(shù)據集、LFW數(shù)據集、MORPH數(shù)據集、CelebFaces+數(shù)據集的圖像為彩色圖像.為了便于處理，本文將彩色圖像均轉變?yōu)榛叶葓D像，并統(tǒng)一把圖像大小歸一化為32×32，把像素值歸一化到［0,1］.

圖2給出了各個數(shù)據集的示例圖像.表2給出了這些數(shù)據集的訓練集及測試集的情況，其中7個數(shù)據集（UMIST、ORL、Georgia Tech、Extended Yale B、AR、Faces94、MORPH）使用數(shù)據集中的全部圖片，3個數(shù)據集（FERET、LFW、CelebFaces+）使用數(shù)據集中的部分圖片.此外，本文在實驗中用到的訓練集和測試集都沒有交集，即同一個人的人臉圖像不能同時出現(xiàn)在訓練集和測試集中.

圖2　10個數(shù)據集中的示例人臉圖像Fig.2　Examples of face images in ten datasets

2.2CCNN與CNN的人臉性別分類比較

本文采用CCNN 與CNN 模型在10個人臉數(shù)據集上的性別分類實驗結果總結在表3中.從中不難看出：CCNN在UMIST、Georgia Tech、FERET、Extended Yale B、Faces94、LFW、MORPH和CeleFaces+這8個數(shù)據集上的分類準確率均高于CNN，而在ORL和AR上與CNN相同.與CNN相比，CCNN在UMIST和LFW數(shù)據集上的分類準確率分別提高了2.71%和0.86%.這可能是因為CCNN可以直接使用兩個池化層提取到的特征去分類，而CNN直接使用一個池化層提取到的特征去分類，導致CCNN在融合不同尺度的信息時能夠更加準確地反映圖像信息，從而獲得了更好的分類性能.

表3　CNN和CCNN在10個數(shù)據集上的分類準確率（%）Table 3　Classification accuracies of CNN and CCNN in ten datasets（%）

2.3CCNN與CNN在男性和女性圖像集合中的分類比較

為比較CCNN和CNN分別在男性和女性圖像集合中的分類效果，本文在 Georgia Tech、Extended Yale B、Faces94和LFW 這4個數(shù)據集上進行了實驗，結果如表4所示.從表4可以看出，CCNN對男性、女性和雙性混合的分類準確率均不低于CNN.CCNN在Faces94數(shù)據集上對男性、女性和雙性混合的分類準確率分別為100%、94.70%和97.5%，與CNN相比分別提高了1.52%、0.26%和0.89%.此外，CCNN和CNN對男性的分類準確率高于女性.在Georgia Tech數(shù)據集上，CNN和CCNN對男性的分類準確率都為99.49%，而對女性的分類準確率分別為95.71%和96.07%.這可能是因為在數(shù)據集中女性人臉圖像明顯少于男性人臉圖像，導致女性人臉圖像沒有得到充分的訓練造成的.

表4　CNN和CCNN在4個數(shù)據集上的分類準確率（%）Table 4　Classification accuracies of CNN and CCNN in four datasets（%）

2.4不同跨連方式對CCNN性能的影響

為探索不同的跨連方式對CCNN的性能產生的影響，本文在Georgia Tech、AR、Faces94、LFW 和MORPH五個數(shù)據集上進行了實驗，實驗結果如表5所示.其中，h2-h7表示使用第2個隱含層與全連接層連接時的分類準確率，h3-h7表示使用第3個隱含層與全連接層連接時的分類結果，h4-h7表示使用第4個隱含層與全連接層連接時的分類結果，h5-h7表示使用第5個隱含層與全連接層的連接時的分類結果.

表5　CCNN在不同跨連方式的分類準確率（%）Table 5　Classification accuracies of the CCNN with different cross-connections（%）

從表5可以看出，不同的跨連方式對CCNN的性能具有一定的影響.整體來看，使用低層的隱含層與全連接層連接時，CCNN的分類準確率不低于其之后的隱含層與全連接層連接時的分類準確率.例如，CCNN在Georgia Tech數(shù)據集上使用4種不同的跨連方式獲得的分類準確率分別為97.96%、97.84%、97.78%和97.33%，使用第2個隱含層（h2）與全連接層連接時的分類準確率（97.96%）不低于其之后的隱含層（h3,h4,h5）與全連接時的分類準確率（分別為97.84%，97.78%，97.33%）.

3　結論

本文在傳統(tǒng)卷積神經網絡的基礎上，提出了一個用于性別分類的跨連卷積網絡模型CCNN.該模型能夠通過跨層連接融合兩個隱含層的圖像特征，從而更加準確地反映圖像信息，并獲得更好的性別分類性能.實驗結果表明，其分類準確率在10個人臉數(shù)據集上的分類準確率不低于CNN.此外，不同的跨連方式對CCNN的性能具有一定的影響，通常使用低層的隱含層與全連接層跨層連接時，CCNN的分類準確率不低于其之后的隱含層與全連接層連接時的分類準確率.

References

1 Golomb B A，Lawrence D T，Sejnowksi T J.SEXNET：a neural network identifies sex from human faces.In：Proceedings of Advances in Neural Information Processing Systems （NIPS）.Colorado，USA：Morgan Kaufmann Publishers Inc.，1991.572-579

2 Brunelli R，Poggio T.HyberBF networks for gender classification.In：Proceedings of the 1992 DARPA Image Understanding Workshop.Detroit，USA，1992.311-314

3 Tamura S，Kawai H，Mitsumoto H.Male/female identification from 8×6 very low resolution face images by neural network.Pattern Recognition，1996，29（2）：331-335

4 Jiao Y B，Yang J C，F(xiàn)ang Z J，Xie S J，Park D S.Comparing studies of learning methods for human face gender recognition.In：Proceedings of the 7th Chinese Conference on Biometric Recognition（CCBR）.Guangzhou，China：Springer，2012.67-74

5 Verma A，Vig L.Using convolutional neural networks to discover cogntively validated features for gender classification.In：Proceedings of the 2014 International Conference on Soft Computing and Machine Intelligence（SCMI）.New Delhi，India：IEEE，2014.33-37

6 Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science，2006，313（5786）：504-507

7 Wei Wei-Bo，Hong Dan-Feng，Pan Zhen-Kuan，Wu Xin. Blurred palmprint recognition algorithm based on region feature map.Acta Automatica Sinica，2015，41（2）：386-395（魏偉波，洪丹楓，潘振寬，吳鑫.基于區(qū)域特征映射的模糊掌紋識別方法.自動化學報，2015，41（2）：386-395）

8 Tivive F H C，Bouzerdoum A.A gender recognition system using shunting inhibitory convolutional neural networks.In：Proceedings of the 2006 IEEE International Joint Conference on Neural Networks（IJCNN）.Vancouver，BC：IEEE，2006.5336-5341

9 Ciresan D C，Meier U，Gambardella L M，Schmidhuber J. Convolutional neural network committees for handwritten character classification.In：Proceedings of the 2011 International Conference on Document Analysis and Recognition. Beijing，China：IEEE，2011.1135-1139

10 Khalajzadeh H，Mansouri M，Teshnehlab M.Face recognition using convolutional neural network and simple logistic classifier.In：Proceedings of the 17th Online World Conference on Soft Computing in Industrial Applications.Switzerland：Springer International Publishing，2014.197-207

11 Fan J，Xu W，Wu Y，Gong Y H.Human tracking using convolutional neural networks.IEEE Transactions on Neural Networks，2010，21（10）：1610-1623

12 Jin J Q，F(xiàn)u K，Zhang C S.Traffic sign recognition with hinge loss trained convolutional neural networks.IEEE Transactions on Intelligent Transportation Systems，2014，15（5）：1991-2000

13 Xu C Y，Lu C Y，Liang X D，Gao J B，Zheng W，Wang T J，Yan S C.Multi-loss regularized deep neural network.IEEE Transactions on Circuits and Systems for Video Technology，DOI：10.1109/TCSVT.2015.2477937

14 Krizhevsky A，Sutshever I，Hinton G E.ImageNet classification with deep convolutional neural networks.In：Proceedings of Advances in Neural Information Processing Systems （NIPS）.Lake Tahoe，USA：Curran Associates，Inc.，2012. 4-13

15 Szegedy C，Liu W，Jia Y Q，Sermanet P，Reed S，Anguelov D，Erhan D，Vanhoucke V，Rabinovich A.Going deeper with convolutions.arXiv：1409.4842，2014.

16 He K M，Zhang X Y，Ren S Q，Sun J.Deep residual learning for image recognition.arXiv：1512.03385，2015.

17 Sui Ting-Ting，Wang Xiao-Feng.Convolutional neural network with candidate location and multi-feature fusion.Acta Automatica Sinica，2016，42（6）：875-882（隨婷婷，王曉峰.一種基于CLMF的深度卷積神經網絡模型.自動化學報，2016，42（6）：875-882）

18 Zhong S H，Liu Y，Ren F F，Zhang J H，Ren T W.Video saliency detection via dynamic consistent spatio-temporal attention modelling.In：Proceedings of the 2013 AAAI Conference on Artificial Intelligence.Bellevue，USA：AAAI，2013.1063-1069

19 Qi Mei-Bin，Tan Sheng-Shun，Wang Yun-Xia，Liu Hao，Jiang Jian-Guo.Multi-feature subspace and kernel learning for person re-identification.Acta Automatica Sinica，2016，42（2）：299-308（齊美彬，檀勝順，王運俠，劉皓，蔣建國.基于多特征子空間與核學習的行人再識別.自動化學報，2016，42（2）：299-308）

20 Sun Y，Wang X G，Tang X O.Deep learning face representation from predicting 10000 classes.In：Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Columbus，OH：IEEE.2014. 1891-1898

21 Hubel D H，Wiesel T N.Receptive fields，binocular interaction and functional architecture in the cat′s visual cortex. Journal of Physiology，1962，160（1）：106-154

22 Fukushima K，Miyake S，Ito T.Neocognitron：a neural network model for a mechanism of visual pattern recognition.IEEE Transactions on Systems，Man，and Cybernetics，1983，SMC-13（5）：826-834

23 LeCun Y，Bottou L，Bengio Y，Haffner P.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998，86（11）：2278-2324

24 GrahamDB，AllinsonNM.Characterisingvirtual eigensignatures for general purpose face recognition.Face Recognition：from Theory to Applications.Berlin Heidelberg：Springer-Verlag，1998.446-456

25 Chen L，Man H，Nefian A V.Face recognition based on multi-class mapping of Fisher scores.Pattern Recognition，2005，38（6）：799-811

26 Lee K C，Ho J，Kriegman D J.Acquiring linear subspaces for face recognition under variable lighting.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（5）：684-698

27 Maetinez A M，Kak A C.PCA versus LDA.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（2）：228-233

28 Huang G B，Ramesh M，Berg T，Learned-Miller E.Labeled Faces in the Wild：a Database for Studying Face Recognition in Unconstrained Environment，Technical Report 07-49，University of Massachusetts，Amherst，USA，2007.

29 Liu Z W，Luo P，Wang X G，Tang X O.Deep learning face attributes in the wild.In：Proceedings of the 2015 International Conference on Computer Vision（ICCV）.Santiago，Chile：IEEE，2015.3730-3738

張 婷北京工業(yè)大學計算機學院博士研究生.主要研究方向為模式識別，深度學習，大數(shù)據分析.本文通信作者.

E-mail：zhangting08@emails.bjut.edu. cn

（ZHANG TingPh.D.candidate at the Computer School，Beijing University of Technology.Her research interest covers pattern recognition，deep learning，and big data analysis.Corresponding author of this paper.）

李玉鑑北京工業(yè)大學計算機學院教授.主要研究方向為模式識別，圖像處理，機器學習，數(shù)據挖掘.

E-mail：liyujian@bjut.edu.cn

（LI Yu-JianProfessor at the ComputerSchool，BeijingUniversityof Technology.His research interest covers pattern recognition，image processing，machine learning，and data mining.）

胡海鶴北京工業(yè)大學計算機學院博士后.主要研究方向為模式識別，機器學習，紅外技術.

E-mail：huhaihe@bjut.edu.cn

（HUHai-HePostdoctor at the Computer School，Beijing University of Technology.Her research interest covers pattern recognition，machine learning，and infrared technology.）

張亞紅北京工業(yè)大學計算機學院博士研究生.主要研究方向為模式識別，數(shù)據挖掘，大數(shù)據分析.

E-mail：plahpu@163.com

（ZHANG Ya-HongPh.D.candidate at the Computer School，Beijing University of Technology.Her research interest covers pattern recognition，data mining，and big data analysis.）

A Gender Classification Model Based on Cross-connected Convolutional Neural Networks

ZHANG Ting1LI Yu-Jian1HU Hai-He1ZHANG Ya-Hong1

To improve gender classification accuracy，we propose a cross-connected convolutional neural network（CCNN）based on traditional convolutional neural networks（CNN）.The proposed model is a 9-layer structure composed of an input layer，six hidden layers（i.e.，three convolutional layers alternating with three pooling layers），a fully-connected layer and an output layer，where the second pooling layer is allowed to directly connect to the fully-connected layer across two layers.Experimental results in ten face datasets show that our model can achieve gender classification accuracies not lower than those of the convolutional neural networks.

Gender classification，convolutional neural network（CNN），cross-connected convolutional neural network （CCNN），cross-layer connection

10.16383/j.aas.2016.c150658

Zhang Ting，Li Yu-Jian，Hu Hai-He，Zhang Ya-Hong.A gender classification model based on cross-connected convolutional neural networks.Acta Automatica Sinica，2016，42（6）：858-865

2015-10-16錄用日期2016-04-01
Manuscript received October 16，2015；accepted April 1，2016
國家自然科學基金 （61175004），高等學校博士學科點專項科研基金（20121103110029），北京市博士后工作資助項目（2015ZZ-24：Q6007011201501）資助
Supported by National Natural Science Foundation of China （61175004），Specialized Research Fund for the Doctoral Program of Higher Education of China（20121103110029），and Project Funding of Postdoctor in Beijing（2015ZZ-24：Q6007011201501）
本文責任編委柯登峰
Recommended by Associate Editor KE Deng-Feng
1.北京工業(yè)大學計算機學院北京100124
1.Computer School，Beijing University of Technology，Beijing 100124