高述勇 周粉粉 符朝興 孟含

摘要： 針對訓(xùn)練樣本數(shù)量和迭代次數(shù)對卷積神經(jīng)網(wǎng)絡(luò)識別率的影響，本文以經(jīng)典LeNet卷積神經(jīng)網(wǎng)絡(luò)為研究對象，以Mnist樣本集為樣本，利用Matlab軟件研究了樣本數(shù)量和迭代次數(shù)與網(wǎng)絡(luò)識別率的關(guān)系。通過調(diào)整訓(xùn)練樣本數(shù)量和迭代次數(shù)，對比不同訓(xùn)練結(jié)果對網(wǎng)絡(luò)錯誤率的影響，得出在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，訓(xùn)練樣本數(shù)目對網(wǎng)絡(luò)識別錯誤率的影響存在閾值，當(dāng)訓(xùn)練樣本數(shù)目大于閾值時，樣本數(shù)目增加，錯誤率降低很??；在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，隨著迭代次數(shù)的逐漸增加，網(wǎng)絡(luò)識別的總體錯誤率呈現(xiàn)先緩慢下降后快速下降，之后又緩慢下降的趨勢，在迭代次數(shù)少的情況下，迭代次數(shù)和誤差率變化規(guī)律具有隨機(jī)性。該研究對中小樣本數(shù)量的卷積神經(jīng)網(wǎng)絡(luò)提供了理論參考。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò)； 識別率； 樣本數(shù)目； 迭代次數(shù)

中圖分類號： TP183； TP391.413文獻(xiàn)標(biāo)識碼： A

收稿日期： 20170523； 修回日期： 20170830

作者簡介： 高述勇（1992），男，碩士研究生，主要研究方向?yàn)橹悄茉O(shè)計(jì)。

通訊作者： 符朝興，男，博士，副教授，主要研究方向?yàn)檐囕v振動及控制。Email： cx_f@163.com隨著人工智能的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)[16]作為圖像識別的重要算法成為研究熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果依賴于樣本數(shù)量和迭代次數(shù)等因素，大樣本神經(jīng)網(wǎng)絡(luò)的訓(xùn)練已經(jīng)比較成熟，但多數(shù)實(shí)際工程領(lǐng)域不滿足大樣本的條件要求[711]，導(dǎo)致識別率較低。在樣本數(shù)量不足的情況下，楊世元等人[12]討論了一種基于支持向量機(jī)（support vecort machine，SVM）技術(shù)的FLANN構(gòu)造新方法，在實(shí)驗(yàn)數(shù)據(jù)較少的小樣本條件下仍然具有更高的魯棒性和修正精度；陳濤等人[13]提出一種動態(tài)灰神經(jīng)網(wǎng)絡(luò)智能趨勢預(yù)測方法，為小樣本高精度狀態(tài)趨勢預(yù)測提供一種新方法；馮國奇等人[14]針對正交實(shí)驗(yàn)設(shè)計(jì)的小樣本問題，采用基于限制擾動的虛擬樣本構(gòu)造方法擴(kuò)大訓(xùn)練樣本集，用于提高人工神經(jīng)網(wǎng)絡(luò)建模精度；K.Kavukcuoglu等人[1516]選用稀疏編碼提取輸入數(shù)據(jù)的基函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的初始濾波器，并利用獨(dú)立成分分析預(yù)訓(xùn)練，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，克服了樣本數(shù)量不足的條件。卷積神經(jīng)網(wǎng)絡(luò)的正確訓(xùn)練是圖像識別準(zhǔn)確的重要前提，而合理的確定樣本數(shù)量和迭代次數(shù)又是網(wǎng)絡(luò)正確訓(xùn)練的保證?；诖?，本文以經(jīng)典LeNet[1720]卷積神經(jīng)網(wǎng)絡(luò)為研究對象，以Mnist樣本集為樣本，通過調(diào)整訓(xùn)練樣本數(shù)量和迭代次數(shù)，對比不同訓(xùn)練結(jié)果對網(wǎng)絡(luò)錯誤率的影響，研究樣本數(shù)量和迭代次數(shù)與網(wǎng)絡(luò)識別率的關(guān)系。該研究為中、小樣本集的卷積神經(jīng)網(wǎng)絡(luò)節(jié)約了訓(xùn)練時間，提供了理論參考。

卷積神經(jīng)網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計(jì)的一個多層感知器，它類似生物視覺中的局部感知效應(yīng)，權(quán)重共享可以降低神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度，并減少網(wǎng)絡(luò)權(quán)重?cái)?shù)量，對圖像平移、縮放旋轉(zhuǎn)等變形具有高度適應(yīng)性。卷積神經(jīng)網(wǎng)絡(luò)由局部感受野（local receptive fileds）、權(quán)重共享（shared weights）、池化（pooling）3個重要思想構(gòu)成。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

卷積層進(jìn)行卷積的操作，每幅圖像用多個具有自學(xué)習(xí)能力的卷積核進(jìn)行卷積，從而提取每幅圖像的局部特征。一般選取激活函數(shù)為Sigmoid函數(shù)，卷積層計(jì)算公式和激活函數(shù)分別為

xlj=f（∑i∈MJxl-1i×klij+blj）（1）

Sx=11+e-x（2）

式中，l是網(wǎng)絡(luò)的層數(shù)；k是卷積核；Mi是輸入層的感受野；b是偏置；e是自然常數(shù)。

降采樣層在卷積層之后，主要功能是對特征圖降維，在一定程度上保持特征的尺度不變。降采樣層的一般形式為

xij=f（βijdown（xi-1j）+bij）（3）

式中，l是網(wǎng)絡(luò)的層數(shù)；β表示權(quán)值；down表示降維操作；b是偏置。

經(jīng)過多個卷積層和降采樣層的交替?zhèn)鬟f，針對提取的特征分類，卷積網(wǎng)絡(luò)依靠全連接網(wǎng)絡(luò)。因輸出層分10類，所以采用Softmax分類器，每幅圖像屬于0～9的概率為

圖2LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖d（i）j=exp（WTjx（i）+aj）∑10j=1exp（WTjx（i）+aj）（4）

式中，W為分類器的參數(shù)，W=[W1，W2，W3，W4，W5，W6，W7，W8，W9，W10]∈Rd×10；d（i）j是對x（i）屬于第j類的可能性預(yù)測。

2網(wǎng)絡(luò)識別率與樣本關(guān)系

2.1網(wǎng)絡(luò)結(jié)構(gòu)

LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)共6層，卷積核大小為5×5，其結(jié)構(gòu)圖如圖2所示。各層結(jié)構(gòu)如下：

第1層為輸入層I1，為28×28的灰度圖像。

第2層為卷積層C2，卷積核大小5×5，最終得到6個24×24的特征圖像。

第3層為降采樣層S3，用2×2的鄰域進(jìn)行降維采樣，得到6個12×12的特征圖像。

第4層為卷積層C4，卷積核大小5×5，最終得到12個8×8的特征圖像。

第5層為降采樣層S5，用2×2的鄰域進(jìn)行降維采樣，得到12個4×4的特征圖像。

LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)的激活函數(shù)選取Sigmoid函數(shù)。

2.2實(shí)驗(yàn)流程

在網(wǎng)絡(luò)學(xué)習(xí)率為05的情況下，本文主要研究當(dāng)?shù)螖?shù)不變時，訓(xùn)練樣本數(shù)量與網(wǎng)絡(luò)判斷誤差的關(guān)系，以及當(dāng)訓(xùn)練樣本的數(shù)量不變，迭代次數(shù)與網(wǎng)絡(luò)判斷誤差的關(guān)系。樣本數(shù)量與判斷誤差關(guān)系流程圖如圖3所示。

2.3實(shí)驗(yàn)過程

代價函數(shù)定義為

η=p/q（5）

式中，p為測試樣本中判斷錯誤的樣本個數(shù)；q為用來測試的樣本總數(shù)。

1）迭代次數(shù)選擇20次，保持不變；訓(xùn)練樣本數(shù)量最終選擇：70，100，170，200，…；測試樣本選擇Mnist樣本集的10 000個測試樣本進(jìn)行實(shí)驗(yàn)。

2）訓(xùn)練樣本選擇170個，保持不變；迭代次數(shù)最終選擇：3，10，13，15，18，…；測試樣本選擇Mnist樣本集的10 000個測試樣本進(jìn)行實(shí)驗(yàn)。

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用Mnist樣本集中的訓(xùn)練樣本進(jìn)行訓(xùn)練，使用其中的測試樣本進(jìn)行測試，最終得到訓(xùn)練樣本數(shù)目與錯誤率的關(guān)系如圖4所示，迭代次數(shù)與錯誤率的關(guān)系如圖5所示。

由圖4可以看出，在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，網(wǎng)絡(luò)的判斷誤差隨著訓(xùn)練樣本數(shù)目的增加開始迅速下降，之后趨于穩(wěn)定，雖然錯誤率有微小下降，但是變化不大；由圖5可以看出，在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，網(wǎng)絡(luò)的判斷誤差隨著訓(xùn)練迭代次數(shù)的增加，開始變化較小，之后迅速下降，然后趨于穩(wěn)定，雖然錯誤率有微小下降，但是變化不大。在迭代次數(shù)較少時，迭代次數(shù)與錯誤率的關(guān)系不明顯。

4結(jié)束語

本文研究了卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)目和迭代次數(shù)對網(wǎng)絡(luò)判斷錯誤率的影響。實(shí)驗(yàn)結(jié)果表明，訓(xùn)練樣本數(shù)目和迭代次數(shù)對網(wǎng)絡(luò)判斷錯誤率的影響具有較大的非線性。在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，訓(xùn)練樣本數(shù)目對網(wǎng)絡(luò)識別錯誤率的影響存在閾值，當(dāng)訓(xùn)練樣本數(shù)目大于閾值時，樣本數(shù)目增加對錯誤率降低很??；在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，隨著迭代次數(shù)逐漸增加，網(wǎng)絡(luò)識別的總體錯誤率呈先緩慢下降后快速下降之后又緩慢下降的趨勢，迭代次數(shù)少的情況下，迭代次數(shù)和錯誤率變化規(guī)律具有隨機(jī)性。由于樣本數(shù)據(jù)和計(jì)算機(jī)資源的有限性，在卷積網(wǎng)絡(luò)的訓(xùn)練和應(yīng)用中，要合理選擇網(wǎng)絡(luò)訓(xùn)練參數(shù)，提高網(wǎng)絡(luò)識別能力。

參考文獻(xiàn)：

[1]張婷， 李玉鑑， 胡海鶴， 等. 基于跨連卷積神經(jīng)網(wǎng)絡(luò)的性別分類模型[J]. 自動化學(xué)報(bào)， 2016， 42（6）： 858865.

[2]王偉凝， 王勵， 趙明權(quán)， 等. 基于并行深度卷積神經(jīng)網(wǎng)絡(luò)的圖像美感分類[J]. 自動化學(xué)報(bào)， 2016， 42（6）： 904914.

[3]姚家雄， 楊明輝， 朱玉琨， 等. 利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行毫米波圖像違禁物體定位[J]. 紅外與毫米波學(xué)報(bào)， 2017， 36（3）： 354360.

[4]李琳輝， 倫智梅， 連靜， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的道路車輛檢測方法[J]. 吉林大學(xué)學(xué)報(bào)： 工學(xué)版， 2017， 47（2）， 384391.

[5]李彥冬， 郝宗波， 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用， 2016， 36（9）： 25082515.

[6]劉萬軍， 梁雪劍， 曲海成. 基于雙重優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)圖像識別算法[J]. 模式識別與人工智能， 2016， 29（9）： 856864.

[7]左艷麗， 馬志強(qiáng)， 左憲禹. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人體檢測研究[J]. 現(xiàn)代電子技術(shù)， 2017， 40（4）： 1215.

[8]Fu L， Kara L B. Neural NetworkBased Symbol Recognition Using a Few Labeled Samples[J]. Computers & Graphics， 2011， 35（5）： 955966.

[9]樊養(yǎng)余， 李祖賀， 王鳳琴， 等. 基于跨領(lǐng)域卷積稀疏自動編碼器的抽象圖像情緒性分類[J]. 電子與信息學(xué)報(bào)， 2017， 39（1）： 167175.

[10]高建清. 基于卷積神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)變形驗(yàn)證碼識別[J]. 莆田學(xué)院學(xué)報(bào)， 2016， 23（2）： 6366.

[11]Lopes A T， Aguiar E D， Souza A F D， et al. Facial Expression Recognition with Convolutional Neural Networks： Coping with Few Data and the Training Sample Order[J]. Pattern Recognition， 2017， 61： 610628.

[12]楊世元， 董華， 吳德會. 基于SVM構(gòu)造的FLANN數(shù)據(jù)融合方法在CPS修正中的應(yīng)用[J]. 儀器儀表學(xué)報(bào)， 2007， 28（4）： 621625.

[13]陳濤， 徐小力. 基于動態(tài)灰神經(jīng)網(wǎng)絡(luò)的關(guān)鍵設(shè)備狀態(tài)趨勢預(yù)測[J]. 自動化與儀表， 2016， 31（6）： 14.

[14]馮國奇， 崔東亮， 張亞軍， 等. 樣本視角下面向復(fù)雜產(chǎn)品多目標(biāo)優(yōu)化設(shè)計(jì)的混合人工神經(jīng)網(wǎng)絡(luò)遺傳算法技術(shù)[J]. 計(jì)算機(jī)集成制造系統(tǒng)， 2016， 22（6）： 14031414.

[15]Kavukcuoglu K， Sermanet P， Boureau Y L， et al. Learning Convolutional Feature Hierarchies for Visual Recognition[C]// International Conference on Neural Information Processing Systems， Vancouver， British Columbia， Canada： DBLP， 2010： 10901098.

[16]Kavukcuoglu K， Ranzato M A， Fergus R， et al. Learning Invariant Features Through Topographic Filter Maps[C]// IEEE Conference on Computer Vision & Pattern Recognition， Miami， FL， USA： IEEE， 2009： 16051612.

[17]王曉鋒， 馬鐘. 基于卷積神經(jīng)網(wǎng)絡(luò)LeNet5的貨運(yùn)列車車號識別研究[J]. 現(xiàn)代電子技術(shù)， 2016， 39（13）： 6366.

[18]黨倩， 馬苗， 陳昱蒞. 基于二級改進(jìn)LeNet5的交通標(biāo)志識別算法[J]. 陜西師范大學(xué)學(xué)報(bào)： 自科版， 2017， 45（2）： 2428.

[19]馬苗， 陳芳， 郭敏， 等. 基于改進(jìn)LeNet5的街景門牌號碼識別方法[J]. 云南大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2016， 38（2）： 197203.

[20]鄒沖， 蔡敦波， 趙娜， 等. 基于SVMLeNet模型融合的行人檢測算法[J]. 計(jì)算機(jī)工程， 2017， 43（5）： 169173.