艾玲梅，葉雪娜

(陜西師范大學(xué) 計算機科學(xué)學(xué)院，陜西 西安 710119)

0 引 言

卷積神經(jīng)網(wǎng)絡(luò)識別二維圖像目標具有很好的檢測分類效果和穩(wěn)定性。近年來，卷積神經(jīng)網(wǎng)絡(luò)在一些圖像目標檢測分類中取得了一些突破性的進展[1]，ILSVRC2014比賽第一名GoogLeNet使用22層深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，錯誤率達到6.67%[2]。對于手寫數(shù)字字符和CIFAR-10圖像目標檢測與分類的方法，arXiv201的部分最大池化方法錯誤率分別下降到0.32%、3.47%[3]；2014ImageNet挑戰(zhàn)賽中取得不錯的分類檢測效果[4]；深度監(jiān)督網(wǎng)絡(luò)訓(xùn)練的結(jié)果錯誤率為0.53%、8.22%[5]；Zhang等結(jié)合貝葉斯分類器提出深度卷積神經(jīng)網(wǎng)絡(luò)，對圖像目標進行分類[6]；大部分卷積神經(jīng)網(wǎng)絡(luò)模型采用隨機梯度下降算法[7]。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型由卷積層、抽樣層和一個全連接層來實現(xiàn)圖像目標的檢測與分類，而深度卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)規(guī)模較大。對于提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和分類檢測準確率，目前主要有兩個方向：第一個是改進訓(xùn)練算法，Xavier Glorot使用Tanh激活函數(shù)[8]，Hinton使用棄權(quán)技術(shù)[9]，Bergstra利用網(wǎng)格參數(shù)優(yōu)化[10]逐層使用標簽信息預(yù)訓(xùn)練；第二個是簡化神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)，使得簡單的神經(jīng)網(wǎng)絡(luò)模型能夠達到目前復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型在圖像目標檢測與分類的準確率。Thomaxs采納異質(zhì)的神經(jīng)網(wǎng)絡(luò)模型使用步長為2的循環(huán)卷積層取代傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和池化層，利用批量隨機梯度下降算法進行訓(xùn)練，取得了當前復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)模型分類檢測的效果[11]。

為了提高神經(jīng)網(wǎng)絡(luò)模型在圖像數(shù)據(jù)集中檢測與分類的訓(xùn)練速度和準確率，文中分別利用進退法、黃金分割算法自適應(yīng)調(diào)整批量隨機梯度下降算法的規(guī)范化參數(shù)和學(xué)習(xí)率來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。深度復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程比較緩慢甚至出現(xiàn)過度擬合問題，結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的特點構(gòu)造簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練少量數(shù)據(jù)集的情況下達到與較復(fù)雜的深度卷積神經(jīng)網(wǎng)絡(luò)同等的效果。

1 深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 感知器單元

基于對生物學(xué)神經(jīng)系統(tǒng)中視覺神經(jīng)元工作機理的研究，提出了單個神經(jīng)元為基礎(chǔ)的“感知器”概念。這種模仿人類視覺機理的方法，在處理人類視覺和語音識別問題上表現(xiàn)出了明顯優(yōu)勢 。感知器模仿人類視覺神經(jīng)元工作機理，當神經(jīng)元受到刺激，相當于一個感知器從外界獲取信號，然后通過加權(quán)求和的方式構(gòu)成一個神經(jīng)信號，再將這個輸入信號通過非線性激活函數(shù)進行輸出。

y=sigmoid(w1x1+w2x2+w3x3)

(1)

1.2 交叉熵代價函數(shù)

神經(jīng)網(wǎng)絡(luò)由若干神經(jīng)元組成，在神經(jīng)網(wǎng)絡(luò)模型能夠達到很好的分類效果時，交叉熵代價函數(shù)的輸出值就會趨于0。神經(jīng)網(wǎng)絡(luò)模型使用批量隨機梯度下降算法，利用交叉熵代價函數(shù)可以避免神經(jīng)元飽和、學(xué)習(xí)速率緩慢等問題[12]，因此采用交叉熵代價函數(shù)作為神經(jīng)網(wǎng)絡(luò)在分類時的代價函數(shù)。

(2)

其中，n為訓(xùn)練數(shù)據(jù)的總數(shù)，求和是在所有訓(xùn)練輸入x上進行；y為對應(yīng)的目標輸出。如果對于所有的訓(xùn)練輸入x，神經(jīng)元實際的輸出值接近目標值，交叉熵接近于0。

1.3 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)

標準卷積神經(jīng)網(wǎng)絡(luò)通過卷積層提取輸入層圖像特征，然后輸出到池化層作進一步處理。循環(huán)卷積神經(jīng)網(wǎng)絡(luò)使用循環(huán)卷積層來代替卷積層，從輸入層提取圖像目標，與標準的卷積神經(jīng)網(wǎng)絡(luò)中的卷積層功能一致。不同的是，循環(huán)卷積層提取輸入層特征后并不輸出給池化層，而是用變化的循環(huán)神經(jīng)網(wǎng)絡(luò)進行處理，采用對特征層數(shù)據(jù)添加空數(shù)據(jù)的方法，進行特征的抽象抽取。實驗中限制的循環(huán)次數(shù)為2，通過2次從特征層二次抽取數(shù)據(jù)作為池化層的輸入。

循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖1所示。

圖1 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2 規(guī)范化參數(shù)

2.1 過度擬合

神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中訓(xùn)練數(shù)據(jù)集較少時，訓(xùn)練速度較快。雖然神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的模型適用于訓(xùn)練數(shù)據(jù)集，但是沒有學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征，神經(jīng)網(wǎng)絡(luò)模型泛化能力并不是很高。另一方面增加訓(xùn)練數(shù)據(jù)集學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征，然而在增加訓(xùn)練數(shù)據(jù)集的過程中使得神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度變得緩慢，且訓(xùn)練數(shù)據(jù)集在實際中很難獲取。選擇適量的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，隨著神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中迭代次數(shù)的不斷增加，神經(jīng)網(wǎng)絡(luò)模型在驗證數(shù)據(jù)集和測試數(shù)據(jù)集中都會表現(xiàn)出過度擬合問題。

選取MNIST數(shù)據(jù)集，使用批量的隨機梯度下降算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。如表1所示，分別用不同的隱藏層神經(jīng)元數(shù)目和學(xué)習(xí)率，用相同的訓(xùn)練數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，隨著迭代次數(shù)的增長，隱藏層神經(jīng)元數(shù)目越多,批量隨機梯度下降算法學(xué)習(xí)率越大，卷積神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)過度擬合時的迭代次數(shù)越小。當隱藏層神經(jīng)元數(shù)目相同，批量隨機梯度下降算法的學(xué)習(xí)率相同時，訓(xùn)練數(shù)據(jù)集越大，卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中不容易出現(xiàn)過度擬合問題，雖然增加了訓(xùn)練時間，但是訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型在測試數(shù)據(jù)集上表現(xiàn)出良好的分類檢測效果。

表1 訓(xùn)練過度擬合實驗數(shù)據(jù)表

圖2展示了在神經(jīng)元數(shù)目不同和批量隨機梯度下降算法學(xué)習(xí)率相同的情況下，使用相同的訓(xùn)練數(shù)據(jù)集進行卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程。卷積神經(jīng)網(wǎng)絡(luò)模型使用200個隱藏層神經(jīng)元的檢測分類效果不如使用100個隱藏神經(jīng)元的效果，因此當訓(xùn)練數(shù)據(jù)集較少而神經(jīng)元數(shù)目過多時，卷積神經(jīng)網(wǎng)絡(luò)模型的檢測分類效果并不是很好。訓(xùn)練數(shù)據(jù)集較少時，簡單的卷積神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)出良好的檢測分類效果，復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中出現(xiàn)過度擬合問題，檢測分類效果較差。

圖2 不同神經(jīng)元數(shù)目訓(xùn)練過程

2.2 參數(shù)規(guī)范化

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練特定的數(shù)據(jù)集，當?shù)螖?shù)逐漸增加時會出現(xiàn)過度擬合問題。增加訓(xùn)練樣本數(shù)量可以消除過擬合問題，然而訓(xùn)練樣本在現(xiàn)實生活中很難獲取，且會降低神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度。文中采取固定的網(wǎng)絡(luò)和固定的訓(xùn)練數(shù)據(jù)集，使用規(guī)范化權(quán)重衰減技術(shù)，在代價函數(shù)中增加一個額外的代價函數(shù)的規(guī)范化項。

(3)

代價函數(shù)在交叉熵代價函數(shù)的基礎(chǔ)上增加了規(guī)范化項，所用的規(guī)范化項為所有權(quán)重的平方和，其中l(wèi)ambda>0可以稱為規(guī)范化參數(shù)，而n就是訓(xùn)練集合的大小。增加了規(guī)范化項之后,權(quán)重的學(xué)習(xí)規(guī)則發(fā)生了微小的變化，這和通常的梯度下降學(xué)習(xí)規(guī)則相同，權(quán)重在原來學(xué)習(xí)的基礎(chǔ)上重新調(diào)整w，這種調(diào)整通常稱為權(quán)重衰減。

使用加入規(guī)范化項的交叉熵代價函數(shù)，隨著迭代次數(shù)的增加，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中在驗證數(shù)據(jù)集上的分類準確率不斷提高，降低了神經(jīng)網(wǎng)絡(luò)的過度擬合情況。對于固定的數(shù)據(jù)集和固定的網(wǎng)絡(luò)結(jié)構(gòu)，如何選擇規(guī)范化參數(shù)可以使得神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中能夠得到更好的神經(jīng)網(wǎng)絡(luò)模型。

2.3 學(xué)習(xí)率

批量隨機梯度下降算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)過程中，學(xué)習(xí)率和代價函數(shù)值比較大時,神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度較快;學(xué)習(xí)率和代價函數(shù)值較小時,神經(jīng)元會出現(xiàn)飽和，使神經(jīng)網(wǎng)絡(luò)模型在測試和驗證數(shù)據(jù)集中分類準確率提高得并不多，且學(xué)習(xí)速度緩慢，甚至很難找到最好的分類效果。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中,批量隨機梯度下降算法使用固定的學(xué)習(xí)率訓(xùn)練神經(jīng)網(wǎng)絡(luò)，當學(xué)習(xí)率設(shè)置過大時，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中能夠快速下降到全局最優(yōu)解附近。然而由于學(xué)習(xí)率過大，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程在全局最優(yōu)解附近徘徊。當學(xué)習(xí)率設(shè)置過小時，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中學(xué)習(xí)速度緩慢，并且容易陷入局部最優(yōu)解。

對于固定的網(wǎng)絡(luò)結(jié)構(gòu)和固定的訓(xùn)練數(shù)據(jù)集，使用批量隨機梯度下降算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，選取不同的學(xué)習(xí)率，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中表現(xiàn)出的分類效果和代價函數(shù)值區(qū)別比較大。

3 改進的批量梯度下降算法

3.1 進退法調(diào)整規(guī)范化參數(shù)

神經(jīng)網(wǎng)絡(luò)模型使用批量隨機梯度下降算法的學(xué)習(xí)過程中，使用包含交叉熵規(guī)范化項的代價函數(shù)，實驗證明加入規(guī)范化項可以降低神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的過度擬合問題。對于固定的網(wǎng)絡(luò)和固定的訓(xùn)練數(shù)據(jù)集，規(guī)范化項中的規(guī)范化參數(shù)的選擇對解決神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的過度擬合問題有很大幫助。選擇一個好的規(guī)范化參數(shù)，神經(jīng)網(wǎng)絡(luò)可以快速學(xué)習(xí)，因此使用進退法[13]來確定規(guī)范化參數(shù)，算法流程如下：

(1)給定規(guī)范化參數(shù)初始值lambda,a,b,初始化步長h，C1=C(lambda)；

(2)epoch=epochs+1，計算代價函數(shù)值；

(3)a=lambda+h,b=lambda-h計算；

(4)c2=c(a)、c3=c(b)；

(5)如果C1>C2，則lambda=a,h=2h；

(6)如果C1>C3，則lambda=b,h=-h；

(7)當epoch

3.2 黃金分割算法調(diào)整學(xué)習(xí)率

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)的過程中，初始化權(quán)重之后，在訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集上分類錯誤率較高，代價函數(shù)值較大。為了使神經(jīng)網(wǎng)絡(luò)模型能夠更快更好地學(xué)習(xí)參數(shù)模型，要不斷改進學(xué)習(xí)率來適應(yīng)隨機梯度下降算法在訓(xùn)練數(shù)據(jù)集中找到全局最優(yōu)解。黃金分割算法在給定初始值之后不斷減小搜索區(qū)間，符合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中學(xué)習(xí)率動態(tài)變化的需求，流程圖見圖3。

4 實驗結(jié)果

4.1 MNIST數(shù)據(jù)集

MNIST數(shù)據(jù)集包含70 000張圖像，60 000張訓(xùn)練圖像和10 000張測試圖像。每個MNIST圖像是一個單一的手寫數(shù)字字符化圖片，每個圖像像素大小28×28，像素值為0～255，0和255分別表示白色和黑色，中間像素值表示灰度級。文中選取MNIST數(shù)據(jù)集中的1 000張圖像作為訓(xùn)練集，10 000張圖像作為驗證集，10 000張圖像作為測試集。

圖3 黃金分割算法流程

4.2 CIFAR-10數(shù)據(jù)集

CIFAR-10是為圖像的目標檢測而設(shè)計的計算機視覺數(shù)據(jù)庫。CIFAR-10數(shù)據(jù)庫包含60 000張圖片，由10類圖像組成，每類圖像6 000張。文中選取CIFAR-10中的1 000張圖片作為訓(xùn)練集，10 000張圖片作為驗證集，10 000張圖片作為測試集。

4.3 深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果

結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的各自優(yōu)點，構(gòu)造出三層深度神經(jīng)網(wǎng)絡(luò)。第一層使用卷積層，從原始圖片中提取圖片目標的特征，第二層采用最大池化的方法從卷積層進一步獲取圖像的顯著特征，后面幾層循環(huán)卷積層和池化層交替出現(xiàn)，而池化層分別采用最大池化、平均池化、最大池化和平均池化的方法。

如表2所示，深度循環(huán)神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上目標檢測與分類的錯誤率為0.43%，相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)錯誤率減少了0.1%。改進的批量隨機梯度下降算法訓(xùn)練的循環(huán)卷積神經(jīng)網(wǎng)絡(luò)深度只有3層，然而在MNIST手寫數(shù)字字符數(shù)據(jù)集的圖像目標檢測與分類上比傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)性能更好。

表2 MNIST分類結(jié)果

如表3所示，當訓(xùn)練數(shù)據(jù)集為10 000時，深度循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練CIFAR-10數(shù)據(jù)集時，分類結(jié)果顯示錯誤率為2.82%。循環(huán)深度神經(jīng)網(wǎng)絡(luò)模型錯誤率比CNN模型減少2%左右，表明深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)在CIFAR-10圖像的目標檢測與分類上表現(xiàn)出良好的分類效果。

表3 CIFAR-10分類結(jié)果

循環(huán)卷積神經(jīng)網(wǎng)絡(luò)通過循環(huán)卷積層提取圖像目標的特征，空間采樣層實現(xiàn)圖像的位移、旋轉(zhuǎn)不變形。如圖4所示，選取CIFAR-10中的圖片10張，每類各取1張分別經(jīng)過循環(huán)卷積層和空間采樣層處理之后得到輸出效果。

圖4 循環(huán)卷積池化得到的可視化特征層(CIFAR-10)

將循環(huán)卷積和空間亞采樣學(xué)習(xí)到的特征輸出，選取卷積核數(shù)目為9的5×5循環(huán)卷積，通過循環(huán)卷積得到不同朝向不同頻率的邊緣特征，循環(huán)卷積池化層輸出對于位移、形變和旋轉(zhuǎn)不變性的特征。

作為比較，用隨機梯度下降算法和改進的批量隨機梯度下降算法來訓(xùn)練深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)。圖5顯示隨機梯度下降算法和改進的批量隨機梯度下降算法在訓(xùn)練CIFAR-10數(shù)據(jù)集時，測試集的準確度與訓(xùn)練步數(shù)之間的關(guān)系。由圖5可知，改進的批量隨機梯度下降算法在訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型時，比隨機梯度下降算法的性能更好，且在訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)過程中收斂速度快于傳統(tǒng)的隨機梯度下降算法。

圖6顯示了傳統(tǒng)隨機梯度下降算法和改進的批量隨機梯度下降算法在訓(xùn)練MNIST數(shù)據(jù)集構(gòu)建的循環(huán)神經(jīng)網(wǎng)絡(luò)模型上的不同。由圖可知，隨機梯度下降算法和改進的隨機梯度下降算法在訓(xùn)練網(wǎng)絡(luò)時，所表現(xiàn)出的性能基本相同，而改進的批量隨機梯度下降算法表現(xiàn)出良好的目標檢測分類效果和更快的收斂性。

圖5 CIFAR-10分類結(jié)果(CIFAR-10)

圖6 MNIST訓(xùn)練結(jié)果

實驗結(jié)果表明，通過改進的批量隨機梯度下降算法訓(xùn)練的深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，在應(yīng)用于CIFAR-10數(shù)據(jù)集和MNIST數(shù)據(jù)集的錯誤率比目前較好的CNN方法分別減少了2%和0.1%，表現(xiàn)出了較好的目標檢測分類效果，且在訓(xùn)練循環(huán)卷神經(jīng)網(wǎng)絡(luò)時收斂速度更快。

5 結(jié)束語

結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在圖像目標檢測與分類上的優(yōu)點，構(gòu)造深度為3層的深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)。針對隨機梯度下降算法在訓(xùn)練過程中出現(xiàn)的過度擬合和容易陷入局部最優(yōu)解等缺點，采用改進的批量隨機梯度下降算法。對需要靠經(jīng)驗設(shè)定梯度下降的學(xué)習(xí)率(learning rate)和規(guī)范化參數(shù)問題，分別用進退法和黃金分割算法自適應(yīng)地改變學(xué)習(xí)率和規(guī)范化參數(shù)。實驗結(jié)果表明，改進算法能較好地避免梯度下降緩慢和過擬合問題，在訓(xùn)練循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型時具有較好的目標檢測分類效果和更快的收斂性。

[1] LIANG M,HU X.Recurrent convolutional neural network for object recognition[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:3367-3375．

[2] SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2014:1-9.

[3] RAYMOND F E,RAYMOND B W．Fractional max-pooling[J]．Theoretical Economics Letters,2015,5(2):225-237．

[4] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.[s.l.]:[s.n.],2012:1097-1105．

[5] LEE C Y,XIE S,GALLAGHER P,et al.Deeply-supervised nets[C]//Artificial intelligence and statistics conference.[s.l.]:[s.n.],2014:562-570．

[6] ZHANG Y,SOHN K,VILLEGAS R,et al.Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:249-258．

[7] LECUN Y,JACKEL L D,BOTTOU L,et al．Comparison of learning algorithms for handwritten digit recognition[C]//International conference on artificial neural networks．[s.l.]:[s.n.],1995:53-60．

[8] GLOROT X, BENGIO Y． Understanding the difficulty of training deep feedforward neural networks[J]．Journal of Machine Learning Research,2010,9(2):249-256．

[9] HINTON G E,SRIVASTAVA N,KRIZHEVSKY A,et al．Improving neural networks by preventing co-adaptation of feature detectors[J]．Computer Science,2012,3(4):212-223．

[10] BERGSTRA J,BENGIO Y．Random search for hyper-parameter optimization[J]．Journal of Machine Learning Research,2012,13(2):281-305．

[11] SPRINGENBERG J T,DOSOVITSKIY A,BROX T,et al．Striving for simplicity:the all convolutional net[J].Pattern Recognition Letters,2014,3(2):251-263．

[12] 黃凱奇，任偉強，譚鐵牛．圖像物體分類與檢測算法綜述[J]．計算機學(xué)報，2014，37(6):1225-1240．

[13] 史清錄，孔祥瑩，康 ?。M退法在多維非線性有約束優(yōu)化問題中的應(yīng)用[J]．太原重型機械學(xué)院學(xué)報，2001，22(3):200-203．

[14] SPRINGENBERG J T, RIEDMILLER M．Improving deep neural networks with probabilistic maxout units[J].Computer Science,2013,12(3):495-505．

[15] CHENG D．Controllability of switched bilinear systems[J]．IEEE Transactions on Automatic Control,2005,50(4):511-515．

[16] JARRETT K,KAVUKCUOGLU K,RANZATO M,et al．What is the best multi-stage architecture for object recognition[C]//Proceedings of international conference on computer vision.[s.l.]:[s.n.],2009:2146-2153．