陳倬

摘 要：我們?cè)谟?xùn)練樣本不多時(shí)，仍然可以提高卷積神經(jīng)網(wǎng)絡(luò)的泛化能力，人體行為的識(shí)別存在的問題，也可經(jīng)提高卷積神經(jīng)網(wǎng)絡(luò)的泛化能力在視頻中，得到廣泛較好的運(yùn)用。該文基于隨機(jī)Dropout應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)模型的分類器階段，這種方法能夠使一定數(shù)量的神經(jīng)網(wǎng)絡(luò)元，得到有效的凍結(jié)，并且能夠通過網(wǎng)絡(luò)訓(xùn)練過程中隨機(jī)選擇，更好地完成這一特性；這一方法的特性可以使神經(jīng)元的連接在網(wǎng)絡(luò)更新時(shí)次序得到改變。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò) 人體行為識(shí)別 Dropout

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）04（c）-0028-02

該文采用隨機(jī)Dropout卷積神經(jīng)網(wǎng)絡(luò)，筆者將此法的優(yōu)點(diǎn)大致概況為將繁瑣雜亂的前期圖像處理簡易化，原來的圖像不可以直接輸入，現(xiàn)在的原始圖像即可實(shí)現(xiàn)直輸功能，因其特性得到廣泛研究與應(yīng)用。另外，卷積神經(jīng)網(wǎng)絡(luò)在圖像的處理中能夠?qū)⒅付ǖ淖藙?shì)、陽光的照射反應(yīng)、遮避、平面移動(dòng)、縮小與放大等其他形式的扭曲達(dá)到魯棒性，從而達(dá)到良好的容錯(cuò)能力，進(jìn)而可以發(fā)現(xiàn)其在自適應(yīng)能力方面也非常強(qiáng)大。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)在之前建立網(wǎng)絡(luò)模型時(shí)，樣本庫為訓(xùn)練階段提供的樣本，數(shù)量有限，品質(zhì)上也很難滿足要求，致使網(wǎng)絡(luò)權(quán)值參數(shù)不能夠完成實(shí)時(shí)有效的調(diào)度與整理。

1 卷積神經(jīng)網(wǎng)絡(luò)

據(jù)調(diào)查卷積神經(jīng)網(wǎng)絡(luò)由K.Fukushima在80年代提出，那時(shí)候它被稱為神經(jīng)認(rèn)知機(jī)，這一認(rèn)知成為當(dāng)時(shí)的第一個(gè)網(wǎng)絡(luò)，后來網(wǎng)絡(luò)算法發(fā)生了規(guī)模性變革，由LeCun為代表提出了第一個(gè)手寫數(shù)字識(shí)別模型，并成功投入到商業(yè)用途中。LeNet被業(yè)界冠以卷積神經(jīng)網(wǎng)絡(luò)的代表模型，這類系統(tǒng)在很多方面都起到了不容小趨的作用，它多數(shù)應(yīng)用于各類不同的識(shí)別圖像及處理中，在這些層面上取得了重要成果。

筆者經(jīng)查閱資料發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)其實(shí)是由兩個(gè)種類組合而來，它們分別是特征提取、分類器，這種組成我們可以看到特征提取類可由一定數(shù)量的卷積層以及子采樣層相互重疊組合而成，全部都連接起來的1層或者2層神經(jīng)網(wǎng)絡(luò)，就是由分類器來進(jìn)行安排的。卷積神經(jīng)網(wǎng)絡(luò)中的局部區(qū)域得到的感覺、權(quán)值的參數(shù)及子采樣等可以說是重要網(wǎng)絡(luò)結(jié)構(gòu)特征。

1.1 基本CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖1中就是最為經(jīng)典的LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)圖。通過圖1中我們可以獲悉，該模型有輸入輸出層，除這兩層外還有6層，其中特征提取可在前4層中體現(xiàn)，后兩層體現(xiàn)的是分類器。

在特征提取部分，6個(gè)卷積核通過卷積，是圖像經(jīng)尺寸為32×32的輸入而得見表1，運(yùn)算過程如式（1）：

（1）

式中：卷積后的圖像與一個(gè)偏置組合起來，使函數(shù)得到激活，因此特征圖變誕生了，通過輸出得到了6個(gè)尺寸的特征圖，這6個(gè)尺寸均為28×28，近而得到了第一層的卷積，以下筆者把它簡要稱為c1；那么c1層中的6個(gè)同尺寸圖再經(jīng)由下面的子采樣2×2尺寸，再演變成特征圖，數(shù)量還是6個(gè)，尺寸卻變成了14×14，具體運(yùn)算如公式（2）：

通過表2我們可以使xi生成的和與采樣系數(shù)0.25相乘，那么采樣層的生成也就是由加上了一個(gè)偏置，從而使函數(shù)被激活形成了采樣層的第1個(gè)層次，以下我們簡要稱為s1；這種過程我們可反復(fù)運(yùn)用，從而呈現(xiàn)出卷積層中的第2層，可以簡要稱之為c2，第2層簡稱s2；到目前為止，我們對(duì)特征的提取告一段落。

神經(jīng)網(wǎng)絡(luò)的識(shí)別，我們可以看到它是由激活函數(shù)而形成的一個(gè)狀態(tài)，這一狀態(tài)是由每個(gè)單元的輸出而得；那么分類器在這里起到的作用是將卷積層全部連接起來，這種通過連接而使1層與上面1層所有特征圖進(jìn)行了串連，簡要稱之為c5；因而2層得到了退變與簡化效應(yīng)，從而使該神經(jīng)網(wǎng)絡(luò)成為經(jīng)典，簡要稱之為F6，向量及權(quán)值是由F6 輸送，然后由點(diǎn)積加上偏置得到結(jié)果的有效判定。

1.2 改進(jìn)的隨機(jī)DropoutCNN網(wǎng)絡(luò)

1.2.1 基本Dropout方法

神經(jīng)網(wǎng)絡(luò)泛化能力能夠得到提升，是基于Dropout方法的深入學(xué)習(xí)。固定關(guān)系中存在著節(jié)點(diǎn)的隱含，為使權(quán)值不再依附于這種關(guān)系，上述方法可隨機(jī)提取部分神經(jīng)元，這一特性是通過利用Dropout在網(wǎng)絡(luò)訓(xùn)練階段中隨機(jī)性而得，對(duì)于取值能夠有效的存儲(chǔ)及保護(hù)存留，這一特性在輸出設(shè)定方面一定要注重為0，這些被選擇的神經(jīng)元隨然這次被抽中應(yīng)用，但并不影響下次訓(xùn)練的過程，并具還可以恢復(fù)之前保留的取值，那么每兩個(gè)神經(jīng)元同時(shí)產(chǎn)生作用的規(guī)避，可以通過重復(fù)下次隨機(jī)選擇部分神經(jīng)元的過程來解決；我們通過這種方法，使網(wǎng)絡(luò)結(jié)構(gòu)在每次訓(xùn)練階段中都能呈現(xiàn)不同變化，使一些受限制的特征，不再受到干擾，使其真正能展現(xiàn)自身的優(yōu)點(diǎn)，在基于Dropout方法中，我們可以將一些神經(jīng)元的一半設(shè)為0來進(jìn)行輸出，隨機(jī)神經(jīng)元的百分比可控制在50%，有效的避免了特征的過度相似與穩(wěn)合。

1.2.2 隨機(jī)Dropout方法

Dropout方法就是隨機(jī)輸出為0的設(shè)定，它將一定比例神經(jīng)元作為決定的因素，其定義網(wǎng)絡(luò)在構(gòu)建模型時(shí)得到廣泛采用。神經(jīng)元基于隨機(jī)Dropout的方法是該文的重要網(wǎng)絡(luò)輸出途徑，通過設(shè)定輸出為0，使其在網(wǎng)絡(luò)中得到變。圖2是隨機(jī)Dropout的加入神經(jīng)元連接示意圖，其在圖中可知兩類神經(jīng)元：一類是分類器的神經(jīng)元，這一階段的神經(jīng)元可分為兩層；另一類神經(jīng)元是由輸出而形成的層次。模型在首次訓(xùn)練的階段會(huì)使神經(jīng)元隨機(jī)形成凍結(jié)狀態(tài)，這一狀態(tài)所占的百分比為40%、60%，我們還可以看到30%及50%的神經(jīng)元可能在網(wǎng)絡(luò)隨機(jī)被凍結(jié)，那么這次凍結(jié)可以發(fā)生在模型第二次訓(xùn)練，那么第三次神經(jīng)元的凍結(jié)可從圖示中得出70%及40%，還可以通過變化用人工設(shè)置，其范圍值宜為35%～65%，那么網(wǎng)絡(luò)神經(jīng)元連接次序的多樣化，也因此更為突出與精進(jìn)，網(wǎng)絡(luò)模型的泛化能力也得到了跨越勢(shì)的提高。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)方法

卷積神經(jīng)網(wǎng)絡(luò)通過實(shí)驗(yàn)，通過輸入層呈現(xiàn)一灰色圖像，該圖像尺寸被設(shè)定成28×28的PNG格式，這里我們以圖像框架圖得到雙線性差值，用來處理圖像及原視頻中的影像，將框架圖的卷積核設(shè)定為5×5的尺寸，子采樣系數(shù)控制值為0.25，采用SGD迭代200次，樣本數(shù)量50個(gè)進(jìn)行設(shè)定，一次誤差反向傳播實(shí)現(xiàn)批量處理，進(jìn)行權(quán)值調(diào)整。實(shí)驗(yàn)采用交叉驗(yàn)證留一法，前四層為特征提取層，C1-S1-C2-S2按順序排列，6-6-12-12個(gè)數(shù)是相應(yīng)特征，通過下階段加入隨機(jī)Dropout，這階段為雙層也就是兩層，進(jìn)行連接，連接層為全體，從而可知結(jié)果由分類得出，又從輸出層輸出。

2.2 實(shí)驗(yàn)結(jié)果分析

識(shí)別錯(cuò)誤率可通過卷積神經(jīng)網(wǎng)絡(luò)模型，及訓(xùn)練過程與檢測(cè)過程中可查看到的。在訓(xùn)練階段中，我們可以將Dropout的網(wǎng)絡(luò)中融入200次訓(xùn)練，在將沒有使用該方法的網(wǎng)絡(luò)進(jìn)行相互比較分析，我可以得知，后者訓(xùn)練時(shí)的識(shí)別錯(cuò)誤率稍高于前者，前者與后的相比較所得的差異不是很大，進(jìn)而我們可知使用Dropout方法，對(duì)卷積神經(jīng)網(wǎng)絡(luò)在泛化能力上得到有效的提升，從而有效的防止擬合。

3 結(jié)語

筆者基于Dropout卷積神經(jīng)網(wǎng)絡(luò)，人體行為識(shí)別在視頻中進(jìn)行， 通過Weizmann數(shù)據(jù)集檢測(cè)實(shí)驗(yàn)結(jié)果，隨機(jī)Dropout在分類器中加入。通過實(shí)驗(yàn)可以得知：隨機(jī)Dropout的加入，使卷積神經(jīng)構(gòu)建了完美網(wǎng)絡(luò)模型，并且使其在人體行為識(shí)別中的效率贏得了大幅度的提升，近而使泛化能力可以通過此類方法得到提高，可以防止擬合。

參考文獻(xiàn)

[1] 其它計(jì)算機(jī)理論與技術(shù)[J].電子科技文摘，2002（6）.

[2] 王繼成.基于神經(jīng)網(wǎng)絡(luò)的多目標(biāo)數(shù)據(jù)壓縮方法的研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2003（6）：1034-1036.

[3] 王濤，任全.基于神經(jīng)網(wǎng)絡(luò)多屬性決策方法的威脅判斷模型[J].彈箭與制導(dǎo)學(xué)報(bào)，2003（S4）：178-180.