艾玲梅,葉雪娜
(陜西師范大學(xué) 計算機科學(xué)學(xué)院,陜西 西安 710119)
卷積神經(jīng)網(wǎng)絡(luò)識別二維圖像目標具有很好的檢測分類效果和穩(wěn)定性。近年來,卷積神經(jīng)網(wǎng)絡(luò)在一些圖像目標檢測分類中取得了一些突破性的進展[1],ILSVRC2014比賽第一名GoogLeNet使用22層深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),錯誤率達到6.67%[2]。對于手寫數(shù)字字符和CIFAR-10圖像目標檢測與分類的方法,arXiv201的部分最大池化方法錯誤率分別下降到0.32%、3.47%[3];2014ImageNet挑戰(zhàn)賽中取得不錯的分類檢測效果[4];深度監(jiān)督網(wǎng)絡(luò)訓(xùn)練的結(jié)果錯誤率為0.53%、8.22%[5];Zhang等結(jié)合貝葉斯分類器提出深度卷積神經(jīng)網(wǎng)絡(luò),對圖像目標進行分類[6];大部分卷積神經(jīng)網(wǎng)絡(luò)模型采用隨機梯度下降算法[7]。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型由卷積層、抽樣層和一個全連接層來實現(xiàn)圖像目標的檢測與分類,而深度卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)規(guī)模較大。對于提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和分類檢測準確率,目前主要有兩個方向:第一個是改進訓(xùn)練算法,Xavier Glorot使用Tanh激活函數(shù)[8],Hinton使用棄權(quán)技術(shù)[9],Bergstra利用網(wǎng)格參數(shù)優(yōu)化[10]逐層使用標簽信息預(yù)訓(xùn)練;第二個是簡化神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu),使得簡單的神經(jīng)網(wǎng)絡(luò)模型能夠達到目前復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型在圖像目標檢測與分類的準確率。Thomaxs采納異質(zhì)的神經(jīng)網(wǎng)絡(luò)模型使用步長為2的循環(huán)卷積層取代傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和池化層,利用批量隨機梯度下降算法進行訓(xùn)練,取得了當前復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)模型分類檢測的效果[11]。
為了提高神經(jīng)網(wǎng)絡(luò)模型在圖像數(shù)據(jù)集中檢測與分類的訓(xùn)練速度和準確率,文中分別利用進退法、黃金分割算法自適應(yīng)調(diào)整批量隨機梯度下降算法的規(guī)范化參數(shù)和學(xué)習(xí)率來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。深度復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程比較緩慢甚至出現(xiàn)過度擬合問題,結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的特點構(gòu)造簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)模型,在訓(xùn)練少量數(shù)據(jù)集的情況下達到與較復(fù)雜的深度卷積神經(jīng)網(wǎng)絡(luò)同等的效果。
基于對生物學(xué)神經(jīng)系統(tǒng)中視覺神經(jīng)元工作機理的研究,提出了單個神經(jīng)元為基礎(chǔ)的“感知器”概念。這種模仿人類視覺機理的方法,在處理人類視覺和語音識別問題上表現(xiàn)出了明顯優(yōu)勢 。感知器模仿人類視覺神經(jīng)元工作機理,當神經(jīng)元受到刺激,相當于一個感知器從外界獲取信號,然后通過加權(quán)求和的方式構(gòu)成一個神經(jīng)信號,再將這個輸入信號通過非線性激活函數(shù)進行輸出。
y=sigmoid(w1x1+w2x2+w3x3)
(1)
神經(jīng)網(wǎng)絡(luò)由若干神經(jīng)元組成,在神經(jīng)網(wǎng)絡(luò)模型能夠達到很好的分類效果時,交叉熵代價函數(shù)的輸出值就會趨于0。神經(jīng)網(wǎng)絡(luò)模型使用批量隨機梯度下降算法,利用交叉熵代價函數(shù)可以避免神經(jīng)元飽和、學(xué)習(xí)速率緩慢等問題[12],因此采用交叉熵代價函數(shù)作為神經(jīng)網(wǎng)絡(luò)在分類時的代價函數(shù)。
(2)
其中,n為訓(xùn)練數(shù)據(jù)的總數(shù),求和是在所有訓(xùn)練輸入x上進行;y為對應(yīng)的目標輸出。如果對于所有的訓(xùn)練輸入x,神經(jīng)元實際的輸出值接近目標值,交叉熵接近于0。
標準卷積神經(jīng)網(wǎng)絡(luò)通過卷積層提取輸入層圖像特征,然后輸出到池化層作進一步處理。循環(huán)卷積神經(jīng)網(wǎng)絡(luò)使用循環(huán)卷積層來代替卷積層,從輸入層提取圖像目標,與標準的卷積神經(jīng)網(wǎng)絡(luò)中的卷積層功能一致。不同的是,循環(huán)卷積層提取輸入層特征后并不輸出給池化層,而是用變化的循環(huán)神經(jīng)網(wǎng)絡(luò)進行處理,采用對特征層數(shù)據(jù)添加空數(shù)據(jù)的方法,進行特征的抽象抽取。實驗中限制的循環(huán)次數(shù)為2,通過2次從特征層二次抽取數(shù)據(jù)作為池化層的輸入。
循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖1所示。
圖1 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中訓(xùn)練數(shù)據(jù)集較少時,訓(xùn)練速度較快。雖然神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的模型適用于訓(xùn)練數(shù)據(jù)集,但是沒有學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征,神經(jīng)網(wǎng)絡(luò)模型泛化能力并不是很高。另一方面增加訓(xùn)練數(shù)據(jù)集學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征,然而在增加訓(xùn)練數(shù)據(jù)集的過程中使得神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度變得緩慢,且訓(xùn)練數(shù)據(jù)集在實際中很難獲取。選擇適量的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,隨著神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中迭代次數(shù)的不斷增加,神經(jīng)網(wǎng)絡(luò)模型在驗證數(shù)據(jù)集和測試數(shù)據(jù)集中都會表現(xiàn)出過度擬合問題。
選取MNIST數(shù)據(jù)集,使用批量的隨機梯度下降算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。如表1所示,分別用不同的隱藏層神經(jīng)元數(shù)目和學(xué)習(xí)率,用相同的訓(xùn)練數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò),隨著迭代次數(shù)的增長,隱藏層神經(jīng)元數(shù)目越多,批量隨機梯度下降算法學(xué)習(xí)率越大,卷積神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)過度擬合時的迭代次數(shù)越小。當隱藏層神經(jīng)元數(shù)目相同,批量隨機梯度下降算法的學(xué)習(xí)率相同時,訓(xùn)練數(shù)據(jù)集越大,卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中不容易出現(xiàn)過度擬合問題,雖然增加了訓(xùn)練時間,但是訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型在測試數(shù)據(jù)集上表現(xiàn)出良好的分類檢測效果。
表1 訓(xùn)練過度擬合實驗數(shù)據(jù)表
圖2展示了在神經(jīng)元數(shù)目不同和批量隨機梯度下降算法學(xué)習(xí)率相同的情況下,使用相同的訓(xùn)練數(shù)據(jù)集進行卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程。卷積神經(jīng)網(wǎng)絡(luò)模型使用200個隱藏層神經(jīng)元的檢測分類效果不如使用100個隱藏神經(jīng)元的效果,因此當訓(xùn)練數(shù)據(jù)集較少而神經(jīng)元數(shù)目過多時,卷積神經(jīng)網(wǎng)絡(luò)模型的檢測分類效果并不是很好。訓(xùn)練數(shù)據(jù)集較少時,簡單的卷積神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)出良好的檢測分類效果,復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中出現(xiàn)過度擬合問題,檢測分類效果較差。
圖2 不同神經(jīng)元數(shù)目訓(xùn)練過程
神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練特定的數(shù)據(jù)集,當?shù)螖?shù)逐漸增加時會出現(xiàn)過度擬合問題。增加訓(xùn)練樣本數(shù)量可以消除過擬合問題,然而訓(xùn)練樣本在現(xiàn)實生活中很難獲取,且會降低神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度。文中采取固定的網(wǎng)絡(luò)和固定的訓(xùn)練數(shù)據(jù)集,使用規(guī)范化權(quán)重衰減技術(shù),在代價函數(shù)中增加一個額外的代價函數(shù)的規(guī)范化項。
(3)
代價函數(shù)在交叉熵代價函數(shù)的基礎(chǔ)上增加了規(guī)范化項,所用的規(guī)范化項為所有權(quán)重的平方和,其中l(wèi)ambda>0可以稱為規(guī)范化參數(shù),而n就是訓(xùn)練集合的大小。增加了規(guī)范化項之后,權(quán)重的學(xué)習(xí)規(guī)則發(fā)生了微小的變化,這和通常的梯度下降學(xué)習(xí)規(guī)則相同,權(quán)重在原來學(xué)習(xí)的基礎(chǔ)上重新調(diào)整w,這種調(diào)整通常稱為權(quán)重衰減。
使用加入規(guī)范化項的交叉熵代價函數(shù),隨著迭代次數(shù)的增加,神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中在驗證數(shù)據(jù)集上的分類準確率不斷提高,降低了神經(jīng)網(wǎng)絡(luò)的過度擬合情況。對于固定的數(shù)據(jù)集和固定的網(wǎng)絡(luò)結(jié)構(gòu),如何選擇規(guī)范化參數(shù)可以使得神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中能夠得到更好的神經(jīng)網(wǎng)絡(luò)模型。
批量隨機梯度下降算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)過程中,學(xué)習(xí)率和代價函數(shù)值比較大時,神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度較快;學(xué)習(xí)率和代價函數(shù)值較小時,神經(jīng)元會出現(xiàn)飽和,使神經(jīng)網(wǎng)絡(luò)模型在測試和驗證數(shù)據(jù)集中分類準確率提高得并不多,且學(xué)習(xí)速度緩慢,甚至很難找到最好的分類效果。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中,批量隨機梯度下降算法使用固定的學(xué)習(xí)率訓(xùn)練神經(jīng)網(wǎng)絡(luò),當學(xué)習(xí)率設(shè)置過大時,神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中能夠快速下降到全局最優(yōu)解附近。然而由于學(xué)習(xí)率過大,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程在全局最優(yōu)解附近徘徊。當學(xué)習(xí)率設(shè)置過小時,神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中學(xué)習(xí)速度緩慢,并且容易陷入局部最優(yōu)解。
對于固定的網(wǎng)絡(luò)結(jié)構(gòu)和固定的訓(xùn)練數(shù)據(jù)集,使用批量隨機梯度下降算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時,選取不同的學(xué)習(xí)率,神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中表現(xiàn)出的分類效果和代價函數(shù)值區(qū)別比較大。
神經(jīng)網(wǎng)絡(luò)模型使用批量隨機梯度下降算法的學(xué)習(xí)過程中,使用包含交叉熵規(guī)范化項的代價函數(shù),實驗證明加入規(guī)范化項可以降低神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的過度擬合問題。對于固定的網(wǎng)絡(luò)和固定的訓(xùn)練數(shù)據(jù)集,規(guī)范化項中的規(guī)范化參數(shù)的選擇對解決神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的過度擬合問題有很大幫助。選擇一個好的規(guī)范化參數(shù),神經(jīng)網(wǎng)絡(luò)可以快速學(xué)習(xí),因此使用進退法[13]來確定規(guī)范化參數(shù),算法流程如下:
(1)給定規(guī)范化參數(shù)初始值lambda,a,b,初始化步長h,C1=C(lambda);
(2)epoch=epochs+1,計算代價函數(shù)值;
(3)a=lambda+h,b=lambda-h計算;
(4)c2=c(a)、c3=c(b);
(5)如果C1>C2,則lambda=a,h=2h;
(6)如果C1>C3,則lambda=b,h=-h;
(7)當epoch 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)的過程中,初始化權(quán)重之后,在訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集上分類錯誤率較高,代價函數(shù)值較大。為了使神經(jīng)網(wǎng)絡(luò)模型能夠更快更好地學(xué)習(xí)參數(shù)模型,要不斷改進學(xué)習(xí)率來適應(yīng)隨機梯度下降算法在訓(xùn)練數(shù)據(jù)集中找到全局最優(yōu)解。黃金分割算法在給定初始值之后不斷減小搜索區(qū)間,符合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中學(xué)習(xí)率動態(tài)變化的需求,流程圖見圖3。 MNIST數(shù)據(jù)集包含70 000張圖像,60 000張訓(xùn)練圖像和10 000張測試圖像。每個MNIST圖像是一個單一的手寫數(shù)字字符化圖片,每個圖像像素大小28×28,像素值為0~255,0和255分別表示白色和黑色,中間像素值表示灰度級。文中選取MNIST數(shù)據(jù)集中的1 000張圖像作為訓(xùn)練集,10 000張圖像作為驗證集,10 000張圖像作為測試集。 圖3 黃金分割算法流程 CIFAR-10是為圖像的目標檢測而設(shè)計的計算機視覺數(shù)據(jù)庫。CIFAR-10數(shù)據(jù)庫包含60 000張圖片,由10類圖像組成,每類圖像6 000張。文中選取CIFAR-10中的1 000張圖片作為訓(xùn)練集,10 000張圖片作為驗證集,10 000張圖片作為測試集。 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的各自優(yōu)點,構(gòu)造出三層深度神經(jīng)網(wǎng)絡(luò)。第一層使用卷積層,從原始圖片中提取圖片目標的特征,第二層采用最大池化的方法從卷積層進一步獲取圖像的顯著特征,后面幾層循環(huán)卷積層和池化層交替出現(xiàn),而池化層分別采用最大池化、平均池化、最大池化和平均池化的方法。 如表2所示,深度循環(huán)神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上目標檢測與分類的錯誤率為0.43%,相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)錯誤率減少了0.1%。改進的批量隨機梯度下降算法訓(xùn)練的循環(huán)卷積神經(jīng)網(wǎng)絡(luò)深度只有3層,然而在MNIST手寫數(shù)字字符數(shù)據(jù)集的圖像目標檢測與分類上比傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)性能更好。 表2 MNIST分類結(jié)果 如表3所示,當訓(xùn)練數(shù)據(jù)集為10 000時,深度循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練CIFAR-10數(shù)據(jù)集時,分類結(jié)果顯示錯誤率為2.82%。循環(huán)深度神經(jīng)網(wǎng)絡(luò)模型錯誤率比CNN模型減少2%左右,表明深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)在CIFAR-10圖像的目標檢測與分類上表現(xiàn)出良好的分類效果。 表3 CIFAR-10分類結(jié)果 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)通過循環(huán)卷積層提取圖像目標的特征,空間采樣層實現(xiàn)圖像的位移、旋轉(zhuǎn)不變形。如圖4所示,選取CIFAR-10中的圖片10張,每類各取1張分別經(jīng)過循環(huán)卷積層和空間采樣層處理之后得到輸出效果。 圖4 循環(huán)卷積池化得到的可視化特征層(CIFAR-10) 將循環(huán)卷積和空間亞采樣學(xué)習(xí)到的特征輸出,選取卷積核數(shù)目為9的5×5循環(huán)卷積,通過循環(huán)卷積得到不同朝向不同頻率的邊緣特征,循環(huán)卷積池化層輸出對于位移、形變和旋轉(zhuǎn)不變性的特征。 作為比較,用隨機梯度下降算法和改進的批量隨機梯度下降算法來訓(xùn)練深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)。圖5顯示隨機梯度下降算法和改進的批量隨機梯度下降算法在訓(xùn)練CIFAR-10數(shù)據(jù)集時,測試集的準確度與訓(xùn)練步數(shù)之間的關(guān)系。由圖5可知,改進的批量隨機梯度下降算法在訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型時,比隨機梯度下降算法的性能更好,且在訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)過程中收斂速度快于傳統(tǒng)的隨機梯度下降算法。 圖6顯示了傳統(tǒng)隨機梯度下降算法和改進的批量隨機梯度下降算法在訓(xùn)練MNIST數(shù)據(jù)集構(gòu)建的循環(huán)神經(jīng)網(wǎng)絡(luò)模型上的不同。由圖可知,隨機梯度下降算法和改進的隨機梯度下降算法在訓(xùn)練網(wǎng)絡(luò)時,所表現(xiàn)出的性能基本相同,而改進的批量隨機梯度下降算法表現(xiàn)出良好的目標檢測分類效果和更快的收斂性。 圖5 CIFAR-10分類結(jié)果(CIFAR-10) 圖6 MNIST訓(xùn)練結(jié)果 實驗結(jié)果表明,通過改進的批量隨機梯度下降算法訓(xùn)練的深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò),在應(yīng)用于CIFAR-10數(shù)據(jù)集和MNIST數(shù)據(jù)集的錯誤率比目前較好的CNN方法分別減少了2%和0.1%,表現(xiàn)出了較好的目標檢測分類效果,且在訓(xùn)練循環(huán)卷神經(jīng)網(wǎng)絡(luò)時收斂速度更快。 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在圖像目標檢測與分類上的優(yōu)點,構(gòu)造深度為3層的深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)。針對隨機梯度下降算法在訓(xùn)練過程中出現(xiàn)的過度擬合和容易陷入局部最優(yōu)解等缺點,采用改進的批量隨機梯度下降算法。對需要靠經(jīng)驗設(shè)定梯度下降的學(xué)習(xí)率(learning rate)和規(guī)范化參數(shù)問題,分別用進退法和黃金分割算法自適應(yīng)地改變學(xué)習(xí)率和規(guī)范化參數(shù)。實驗結(jié)果表明,改進算法能較好地避免梯度下降緩慢和過擬合問題,在訓(xùn)練循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型時具有較好的目標檢測分類效果和更快的收斂性。 [1] LIANG M,HU X.Recurrent convolutional neural network for object recognition[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:3367-3375. [2] SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2014:1-9. [3] RAYMOND F E,RAYMOND B W.Fractional max-pooling[J].Theoretical Economics Letters,2015,5(2):225-237. [4] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.[s.l.]:[s.n.],2012:1097-1105. [5] LEE C Y,XIE S,GALLAGHER P,et al.Deeply-supervised nets[C]//Artificial intelligence and statistics conference.[s.l.]:[s.n.],2014:562-570. [6] ZHANG Y,SOHN K,VILLEGAS R,et al.Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2015:249-258. [7] LECUN Y,JACKEL L D,BOTTOU L,et al.Comparison of learning algorithms for handwritten digit recognition[C]//International conference on artificial neural networks.[s.l.]:[s.n.],1995:53-60. [8] GLOROT X, BENGIO Y. Understanding the difficulty of training deep feedforward neural networks[J].Journal of Machine Learning Research,2010,9(2):249-256. [9] HINTON G E,SRIVASTAVA N,KRIZHEVSKY A,et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science,2012,3(4):212-223. [10] BERGSTRA J,BENGIO Y.Random search for hyper-parameter optimization[J].Journal of Machine Learning Research,2012,13(2):281-305. [11] SPRINGENBERG J T,DOSOVITSKIY A,BROX T,et al.Striving for simplicity:the all convolutional net[J].Pattern Recognition Letters,2014,3(2):251-263. [12] 黃凱奇,任偉強,譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學(xué)報,2014,37(6):1225-1240. [13] 史清錄,孔祥瑩,康 ?。M退法在多維非線性有約束優(yōu)化問題中的應(yīng)用[J].太原重型機械學(xué)院學(xué)報,2001,22(3):200-203. [14] SPRINGENBERG J T, RIEDMILLER M.Improving deep neural networks with probabilistic maxout units[J].Computer Science,2013,12(3):495-505. [15] CHENG D.Controllability of switched bilinear systems[J].IEEE Transactions on Automatic Control,2005,50(4):511-515. [16] JARRETT K,KAVUKCUOGLU K,RANZATO M,et al.What is the best multi-stage architecture for object recognition[C]//Proceedings of international conference on computer vision.[s.l.]:[s.n.],2009:2146-2153.3.2 黃金分割算法調(diào)整學(xué)習(xí)率
4 實驗結(jié)果
4.1 MNIST數(shù)據(jù)集
4.2 CIFAR-10數(shù)據(jù)集
4.3 深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果
5 結(jié)束語