摘 要：利用灰色關(guān)聯(lián)分析方法，為BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)約簡提出了一種新的剪枝算法，該算法通過剪枝和并枝兩個(gè)階段實(shí)現(xiàn)BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，提高了網(wǎng)絡(luò)的數(shù)值效能。最后，通過數(shù)值實(shí)驗(yàn)驗(yàn)證了該算法的合理性和有效性。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化；灰色關(guān)聯(lián)度分析；剪枝算法

4 實(shí)例建模

4.1 分類實(shí)例——XOR問題

XOR問題就是如何用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)異或邏輯關(guān)系，即Y=A·XOR·B。對于這個(gè)問題用單個(gè)神經(jīng)元模型無法解決，因?yàn)樵搯栴}是線性不可分的，對于兩維輸入空間，神經(jīng)元的作用可以理解為對輸入空間進(jìn)行一條直線劃分。

多層神經(jīng)網(wǎng)絡(luò)可以解決這個(gè)問題，因?yàn)槎鄬泳W(wǎng)絡(luò)引入了中間隱含層，每個(gè)隱含神經(jīng)元可以按不同的方法來劃分輸入空間抽取輸入空間中包含的某些特征，從而形成更為復(fù)雜的分類區(qū)域。理論上已經(jīng)證明三層神經(jīng)網(wǎng)絡(luò)足以解決任意復(fù)雜分類問題。

我們考慮用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)XOR問題，初步建立一個(gè)隱含層為30個(gè)神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)，再運(yùn)用前文灰色關(guān)聯(lián)度分析的方法進(jìn)行網(wǎng)絡(luò)剪枝，以實(shí)現(xiàn)最簡網(wǎng)絡(luò)的XOR問題。

XOR問題的樣本有四個(gè)，即他們的輸入為x=■；對應(yīng)的輸出為：y=[0101]；輸入是2維向量，用2個(gè)神經(jīng)元作為輸入層，網(wǎng)絡(luò)輸出是1維向量，用1個(gè)神經(jīng)元作為輸出層，對于這個(gè)問題，在BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)個(gè)數(shù)未知的情況下，先取30個(gè)節(jié)點(diǎn)，經(jīng)過簡單的訓(xùn)練后得到網(wǎng)絡(luò)結(jié)構(gòu)，再利用灰色關(guān)聯(lián)分析優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。

初始結(jié)構(gòu)：2-30-1，神經(jīng)元的傳遞函數(shù)取tin sig函數(shù)，BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)取tan sig；設(shè)定網(wǎng)絡(luò)的訓(xùn)練參數(shù)如下：目標(biāo)誤差為1e-4； 最大迭代步數(shù)為5000步；其余為系統(tǒng)默認(rèn)值。

灰色關(guān)聯(lián)計(jì)算時(shí)選取的分辨系數(shù)為？籽=0.4；額定灰色關(guān)聯(lián)度為？著=0.55，最大剪枝次數(shù)為5，考慮到?jīng)]進(jìn)行一次剪枝和并枝操作，網(wǎng)絡(luò)訓(xùn)練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進(jìn)行一次剪枝和并枝過程，額定灰色關(guān)聯(lián)度累加一次即？著=？著+0.05；

由表1-3可知，在程序運(yùn)行過程中，原BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)首先調(diào)整為2-15-1，此時(shí)被刪除的節(jié)點(diǎn)是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15個(gè)，在此基礎(chǔ)上繼續(xù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，第二次刪除的節(jié)點(diǎn)是E=14，26，27，28，30共4個(gè)，此時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整為2-10-1，依次過程第五次網(wǎng)絡(luò)達(dá)到穩(wěn)定，得到BP網(wǎng)的最優(yōu)化結(jié)構(gòu)為2-3-1，具體每次調(diào)整過程對應(yīng)的縱向節(jié)點(diǎn)和橫向節(jié)點(diǎn)以及關(guān)聯(lián)度如表1-2所示（省略前兩次調(diào)整過程）。

每次剪枝完后網(wǎng)絡(luò)的輸出值是比較可觀的，誤差也是接近我們的目標(biāo)誤差，精度很高，足見雖然每次減少了隱含層神經(jīng)節(jié)的個(gè)數(shù)，但網(wǎng)絡(luò)訓(xùn)練不受影響，也證實(shí)了剪枝算法的合理性，如表3所示。

4.2 函數(shù)逼近實(shí)例——Y=sin（X）

我們考慮用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近問題，初步建立一個(gè)隱含層為30個(gè)神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行網(wǎng)絡(luò)剪枝運(yùn)用前文灰色關(guān)聯(lián)度分析的方法，以實(shí)現(xiàn)最簡網(wǎng)絡(luò)的Y=sin（X）函數(shù)逼近問題。

我們選取100個(gè)樣本，隱含層節(jié)點(diǎn)數(shù)為30，輸入和輸出都是一維的。選取Y=sin（X）為逼近函數(shù)，輸入從0.01？仔到0.02？仔，增長率為0.02？仔。最大訓(xùn)練次數(shù)為5000，學(xué)習(xí)速率為0.005，目標(biāo)誤差為1e-3。

灰色關(guān)聯(lián)計(jì)算時(shí)選取的分辨系數(shù)為？籽=0.5；額定灰色關(guān)聯(lián)度為？著=0.50，最大剪枝次數(shù)為5，考慮到?jīng)]進(jìn)行一次剪枝和并枝操作，網(wǎng)絡(luò)訓(xùn)練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進(jìn)行一次剪枝和并枝過程，額定灰色關(guān)聯(lián)度累加一次即？著=？著+0.05；

通過調(diào)節(jié)權(quán)值和閾值，網(wǎng)絡(luò)達(dá)到穩(wěn)定后，進(jìn)行剪枝操作，第一次剪枝節(jié)點(diǎn)為E=12，13，21，25，27第二次剪枝節(jié)點(diǎn)為E=2，5，6，7，11，

16，22，30第三次剪枝節(jié)點(diǎn)為E=10，14，26，28，最終隱層節(jié)點(diǎn)為7個(gè)。函數(shù)逼近結(jié)果如圖1所示。由圖可知，大體符合函數(shù)逼近的趨勢，逼近效果較好。

5 結(jié)束語

文章通過分析了幾類前饋神經(jīng)網(wǎng)絡(luò)縱向和橫向信息的傳輸特點(diǎn)，采用灰色關(guān)聯(lián)分析方法，通過剪枝和并枝過程來設(shè)計(jì)一種以BP算法為例的剪枝算法，數(shù)值試驗(yàn)結(jié)果表明這種方法非常有效，同時(shí)也對前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化提供了一種新的學(xué)習(xí)算法。

參考文獻(xiàn)

[1]馮知凡.基于圖像處理及BP神經(jīng)網(wǎng)絡(luò)的車牌識別技術(shù)的研究[D].武漢科技大學(xué)，2011.

[2]楊晟院，高協(xié)平.基于面向?qū)ο驜P算法的灰度位圖圖像處理[J].計(jì)算機(jī)工程與應(yīng)用，2003，33：103-105.

[3]周凌翱.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用及研究[D].南京理工大學(xué)，2010.

[4]張宇.基于BP神經(jīng)網(wǎng)絡(luò)匯率預(yù)測的智能交易系統(tǒng)[D].安徽大學(xué)，2011.

[5]李聰.基于BP神經(jīng)網(wǎng)絡(luò)的股票指數(shù)期貨價(jià)格預(yù)測[D].青島大學(xué)，2012.

[6]黃慶斌.BP算法的改進(jìn)及其應(yīng)用研究[D].西南交通大學(xué)，2010.

[7]李曉峰，徐玖平，王蔭清，賀昌政.BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法的建立及其應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2004，05：1-8.

[8]黃麗.BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D].重慶師范大學(xué)，2008.

[9]陳小前，羅世彬，王振國，陶玉靜.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用中的前后處理過程研究[J].系統(tǒng)工程理論與實(shí)踐，2002，1：65-70+88.

[10]熊焱，吳微，張超，亢喜岱.基于灰色關(guān)聯(lián)分析的高階神經(jīng)網(wǎng)絡(luò)剪枝算法[J].大連理工大學(xué)學(xué)報(bào)，2010，3：463-468.

[11]唐萬梅.BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問題的研究[J].系統(tǒng)工程理論與實(shí)踐，2005，10：95-100.

作者簡介：趙蓉（1992-），女，籍貫：湖南省岳陽市，學(xué)歷：本科，研究方向：算法優(yōu)化。