杜海濤

基于剪枝算法的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化

杜海濤

無(wú)錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無(wú)錫 214063

傳統(tǒng)的圖像識(shí)別技術(shù)不能適應(yīng)現(xiàn)在的需求，卷積神經(jīng)網(wǎng)絡(luò)與圖像識(shí)別相結(jié)合，獲得極大突破。隨著人工智能技術(shù)快速發(fā)展，更深、更寬的卷積神經(jīng)網(wǎng)絡(luò)競(jìng)相出現(xiàn)，層數(shù)也不斷加深。圖像識(shí)別的精度也隨著大幅提高，但是過(guò)于復(fù)雜的網(wǎng)絡(luò)要消耗更多的資源和時(shí)間。提出用剪枝算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，修剪掉不重要的神經(jīng)元，從而將網(wǎng)絡(luò)模型稀疏化。這樣既能保證圖像識(shí)別的精度，又能達(dá)到網(wǎng)絡(luò)加速優(yōu)化的目的。

圖像識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；剪枝算法

引言

微電子技術(shù)和信息技術(shù)的快速發(fā)展，為圖像識(shí)別奠定了硬件和軟件基礎(chǔ)。圖像識(shí)別已被廣泛應(yīng)用在工業(yè)、農(nóng)業(yè)、醫(yī)學(xué)、交通、國(guó)防等各行各業(yè)，是以后發(fā)展的必然趨勢(shì)，對(duì)于提高圖像識(shí)別的速度、精度和廣度具有非常大的應(yīng)用價(jià)值。傳統(tǒng)的圖像識(shí)別技術(shù)應(yīng)用廣度不夠。一旦外界條件發(fā)生變化，識(shí)別的精度就會(huì)急劇下降，不能滿(mǎn)足日益復(fù)雜的需求。近年來(lái)，人工智能技術(shù)發(fā)展迅猛，將人工神經(jīng)網(wǎng)絡(luò)算法融入圖像識(shí)別技術(shù)獲得了突破。不僅提高了圖像識(shí)別的精度和廣度，而且具有自我學(xué)習(xí)的能力，可以隨著環(huán)境的變化而變化，同時(shí)提高了圖像信息處理的容錯(cuò)性，在出現(xiàn)噪聲干擾時(shí)，也能正常工作，輸出較為準(zhǔn)確的信息。

在人工智能的發(fā)展過(guò)程中，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了單層神經(jīng)網(wǎng)絡(luò)、兩層神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)。在多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展出卷積神經(jīng)網(wǎng)絡(luò)，是一種針對(duì)圖像分類(lèi)和識(shí)別的深度學(xué)習(xí)方法[1]。卷積神經(jīng)網(wǎng)絡(luò)是受人體視覺(jué)中感受野的機(jī)制影響而提出的，是一種前饋神經(jīng)網(wǎng)絡(luò)，比其他圖像的分類(lèi)算法使用較少的預(yù)處理，在大型圖像處理方面尤為出色。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)可以細(xì)分為五層，分別是輸入層、卷積層、池化層、全連接層和輸出層。卷積神經(jīng)網(wǎng)絡(luò)比普通的多層神經(jīng)網(wǎng)絡(luò)多了卷積層與池化層，其他層也略有變化。卷積神經(jīng)網(wǎng)絡(luò)常見(jiàn)的模型有Lenet模型、Alexnet模型、VGGNet模型、GooleNet模型和ReNet模型。Lenet模型有五層，Alexnet模型有八層，VGGNet模型有16層，GooleNet模型的層數(shù)也進(jìn)一步加深。ReNet模型出現(xiàn)后，層數(shù)可以突破1?000層。這些模型隨著層數(shù)和寬度逐步加大，網(wǎng)絡(luò)識(shí)別的準(zhǔn)確度也隨之提高，但是資源開(kāi)銷(xiāo)也隨之增大，實(shí)際項(xiàng)目中的模型都是百兆這個(gè)數(shù)量級(jí)，運(yùn)算的時(shí)間自然也更長(zhǎng)。因此優(yōu)化網(wǎng)絡(luò)模塊，既能保證準(zhǔn)確率，又能兼顧高效性，從而提高系統(tǒng)的實(shí)用性。

2 剪枝算法

決策樹(shù)是一種常用的分類(lèi)方法，是通過(guò)算法訓(xùn)練數(shù)據(jù)構(gòu)建的分類(lèi)器。剪枝算法剪去了決策樹(shù)中的某些枝條，從而簡(jiǎn)化決策樹(shù)模型，避免過(guò)擬合。在優(yōu)化決策樹(shù)時(shí)，要保證最優(yōu)解的部分枝條不能被剪掉，同時(shí)剪枝的判斷又不能以耗費(fèi)大量時(shí)間為代價(jià)，保證整個(gè)決策樹(shù)的高效性。

剪枝算法分為兩類(lèi)：前剪枝、后剪枝。前剪枝是指在決策樹(shù)的構(gòu)建過(guò)程，設(shè)置一個(gè)閾值，在當(dāng)前分裂節(jié)點(diǎn)中，分裂前和分裂后的誤差超過(guò)這個(gè)閾值就分裂，否則就不做分裂操作[2]；后剪枝是指先用訓(xùn)練集構(gòu)建好一個(gè)完整的決策樹(shù)，允許過(guò)度擬合，再用測(cè)試數(shù)據(jù)集去修正，決策樹(shù)中的每一個(gè)非葉子節(jié)點(diǎn)的子樹(shù)，我們嘗試著把它替換成一個(gè)葉子節(jié)點(diǎn)，該葉子節(jié)點(diǎn)的類(lèi)別我們用子樹(shù)所覆蓋訓(xùn)練樣本中存在最多的那個(gè)類(lèi)來(lái)代替。這樣就產(chǎn)生了一個(gè)簡(jiǎn)化決策樹(shù)，然后比較這兩個(gè)決策樹(shù)在測(cè)試數(shù)據(jù)集中的表現(xiàn)。如果簡(jiǎn)化決策樹(shù)在測(cè)試數(shù)據(jù)集中的錯(cuò)誤比較少，那么該子樹(shù)就可以替換成葉子節(jié)點(diǎn)，否則就不替換。前剪枝很難設(shè)定，稍微變動(dòng)就有可能引起整棵樹(shù)非常大的變動(dòng)，通常用后剪枝。

3 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化

多層卷積神經(jīng)網(wǎng)絡(luò)模型，在圖像識(shí)別時(shí)，相比原始模型功能是優(yōu)秀的，但是網(wǎng)絡(luò)規(guī)模和內(nèi)存消耗上，卻不能滿(mǎn)足輕量級(jí)網(wǎng)絡(luò)的要求。卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)中由于激活函數(shù)的負(fù)值處理，導(dǎo)致網(wǎng)絡(luò)中有很多“0”，有些網(wǎng)絡(luò)中的近零參數(shù)超過(guò)80%，這對(duì)整個(gè)決策樹(shù)是很大的冗余，而且這些“0”對(duì)于乘、加操作沒(méi)有任何意義，在整個(gè)網(wǎng)絡(luò)中占據(jù)了相當(dāng)大的空間，造成很大的資源浪費(fèi)。在卷積神經(jīng)網(wǎng)絡(luò)中，如果輸入為0，無(wú)論權(quán)重為多少，輸出均為0；當(dāng)輸入為0時(shí)，就可以認(rèn)為這個(gè)決策樹(shù)的枝條無(wú)用，那么就可以被修剪掉。在圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型中，剪枝算法的判斷依據(jù)有兩種。

（1）依據(jù)神經(jīng)元與神經(jīng)元之間的相關(guān)性的強(qiáng)度進(jìn)行判斷。較強(qiáng)的相關(guān)性表示上層神經(jīng)元的激活與當(dāng)前神經(jīng)元之間的激活有更大的決定性作用。（2）根據(jù)神經(jīng)元的權(quán)重大小連接判斷重要性。默認(rèn)權(quán)重大的對(duì)網(wǎng)絡(luò)的影響大，權(quán)重小的對(duì)網(wǎng)絡(luò)的影響小。因此保留權(quán)重大的參數(shù)，去除權(quán)重小的參數(shù)。

根據(jù)判斷依據(jù)提出兩種優(yōu)化方案：一種是基于相關(guān)性的剪枝算法；一種是基于權(quán)重參數(shù)的剪枝算法。

基于相關(guān)性的剪枝算法的核心就是查找隱層節(jié)點(diǎn)間的相關(guān)性，刪除相關(guān)小的節(jié)點(diǎn)，合并相關(guān)大的節(jié)點(diǎn)，并將去掉這些節(jié)點(diǎn)后引起的改變傳遞到下一層的權(quán)值連接以及輸出節(jié)點(diǎn)的偏置值中。實(shí)際應(yīng)用時(shí)，由于隱層節(jié)點(diǎn)的方差計(jì)算完之后會(huì)有很多的方差值接近0，選取這些接近0的方差，然后刪除對(duì)應(yīng)的隱層節(jié)點(diǎn)，就能夠優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)?？紤]到每次網(wǎng)絡(luò)結(jié)果可以允許存在一定的誤差，而且隱層的實(shí)際輸出在這個(gè)誤差允許范圍內(nèi)，就可以認(rèn)為是合理的值，那么以誤差傳遞作為基本思想，給出每個(gè)隱層節(jié)點(diǎn)的實(shí)際值與節(jié)點(diǎn)輸出的均值的差[3]。如果差值在一定的范圍內(nèi)則認(rèn)為是合理的、沒(méi)有誤差的，并在計(jì)算總結(jié)所有節(jié)點(diǎn)誤差后，刪除沒(méi)有誤差的隱層節(jié)點(diǎn)。

基于權(quán)重參數(shù)的剪枝算法完全是依據(jù)權(quán)重矩陣的大小。權(quán)重矩陣W可以唯一表示網(wǎng)絡(luò)的情況，依據(jù)權(quán)重矩陣進(jìn)行判斷網(wǎng)絡(luò)的冗余情況，然后執(zhí)行剪枝操作。權(quán)重矩陣大，對(duì)于網(wǎng)絡(luò)的影響大，應(yīng)保留；權(quán)重矩陣小，對(duì)于網(wǎng)絡(luò)的影響小，應(yīng)去除連接。網(wǎng)絡(luò)中的每一層的權(quán)重分布是不一樣的。網(wǎng)絡(luò)的剪枝不能采用全局操作，而應(yīng)單獨(dú)處理每一層；否則對(duì)于不同的層，由于其均值和方差在網(wǎng)絡(luò)計(jì)算中的偏移會(huì)使全局矩陣的不統(tǒng)一。對(duì)一個(gè)單獨(dú)的網(wǎng)絡(luò)層進(jìn)行剪枝，就是直接判斷權(quán)重參數(shù)是否大于某一個(gè)值，這一個(gè)值稱(chēng)為閾值。大于閾值的神經(jīng)元單元保留，小于閾值的神經(jīng)元單元丟棄[4]。由于直接判斷權(quán)重參數(shù)會(huì)導(dǎo)致一些負(fù)的大權(quán)重參數(shù)被修剪掉，而負(fù)的大權(quán)重對(duì)網(wǎng)絡(luò)也是重要的一部分。經(jīng)過(guò)上述分析可知，近零參數(shù)對(duì)于網(wǎng)絡(luò)操作是冗余的，負(fù)的大權(quán)重參數(shù)在網(wǎng)絡(luò)中卻占據(jù)著一部分重要的信息。因此，剪枝算法根據(jù)絕對(duì)值判斷或者根據(jù)正負(fù)情況判斷是必要的。

4 總結(jié)

本文提出了采用剪枝算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化的方案。此方案能夠快速而有效地對(duì)網(wǎng)絡(luò)進(jìn)行加速優(yōu)化。剪枝之后模型的精度與原來(lái)相差不到1%，但是模型的速度可以提高到原來(lái)的十倍甚至更多，而且模型大小降為不到原來(lái)的十分之一，能夠兼顧圖像識(shí)別的精度和速度。

[1]吳岸城．神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M]．北京：電子工業(yè)出版社，2016：9．

[2]宋清昆．基于改進(jìn)相關(guān)性剪枝算法的BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化[J]．控制理論與應(yīng)用，2006，25（12）：4-6．

[3]李小夏，李孝安．一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)相關(guān)性剪枝算法[J]．電子設(shè)計(jì)工程，2013，21（8）：65-67．

[4]張虹，王丹．一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)剪枝算法研究[J]．西南大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，38（3）：165-170．

Optimization of Convolutional Neural Networks Based on Pruning Algorithm

Du Haitao

Wuxi Vocational Institute of Commerce, Jiangsu Wuxi 214063

Traditional image recognition technology can not adapt to the current needs, and the combination of convolutional neural network and image recognition has achieved great breakthrough. With the rapid development of artificial intelligence technology, deeper and wider convolutional neural networks are competing, and the number of layers is also deepening. The accuracy of image recognition has also increased dramatically, but it takes more resources and time due to an overly complex network. It is proposed to use the pruning algorithm to optimize the convolutional neural network and trim out the unimportant neurons, thus thinning the network model. This can not only ensure the accuracy of image recognition, but also achieve the purpose of network acceleration optimization.

image recognition; convolutional neural network; pruning algorithm

TP183；TP391.4

A

杜海濤（1980—），男，河南民權(quán)人，研究生學(xué)歷，工學(xué)碩士，無(wú)錫商業(yè)職業(yè)技術(shù)學(xué)院講師，研究方向或?qū)I(yè)為軟件技術(shù)。