李志偉

摘要：BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。本文針對(duì)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率低、收斂速度慢的問(wèn)題進(jìn)行研究，介紹了標(biāo)準(zhǔn)的BP算法和提高收斂速度的動(dòng)量因子法和變步長(zhǎng)法，對(duì)比實(shí)驗(yàn)結(jié)果明顯，旨在為研究BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率提供參考。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 動(dòng)量因子法 變步長(zhǎng)法 學(xué)習(xí)速率

1.引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是通過(guò)對(duì)人腦神經(jīng)元建模、聯(lián)結(jié)模擬生物腦或世界系統(tǒng)的網(wǎng)絡(luò)模型，是一種具有學(xué)習(xí)、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。通常研究和使用的十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART網(wǎng)絡(luò)模型。其中的BP神經(jīng)網(wǎng)絡(luò)是基于反向傳播（BackPropagation）的網(wǎng)絡(luò)，也是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中研究最多、應(yīng)用最廣的網(wǎng)絡(luò)模型。它采用最小均方差的學(xué)習(xí)方式，可用于函數(shù)逼近及語(yǔ)言綜合、識(shí)別和自適應(yīng)控制等。

2.標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)算法

BP算法作為前饋網(wǎng)絡(luò)的主要學(xué)習(xí)算法，對(duì)神經(jīng)網(wǎng)絡(luò)的推廣應(yīng)用起了舉足輕重的促進(jìn)作用。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)，優(yōu)化計(jì)算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，主要是針對(duì)一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價(jià)函數(shù)達(dá)到最小。其簡(jiǎn)單的實(shí)現(xiàn)步驟為：（1）通過(guò)網(wǎng)絡(luò)輸入反向傳播；（2）通過(guò)網(wǎng)絡(luò)將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權(quán)值和偏置值。

標(biāo)準(zhǔn)的BP算法因具有簡(jiǎn)單、易行、計(jì)算量小及并行性強(qiáng)等優(yōu)點(diǎn)，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多、最成熟的訓(xùn)練算法。由于BP網(wǎng)絡(luò)中待尋優(yōu)的參數(shù)太多，往往導(dǎo)致算法收斂速度慢。對(duì)于復(fù)雜問(wèn)題，訓(xùn)練過(guò)程需迭代幾千、幾萬(wàn)次才能收斂到期望的精度。因此，標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)在很大程度上實(shí)用性不強(qiáng)，尤其對(duì)于實(shí)時(shí)性很強(qiáng)的系統(tǒng)而言。

3.BP算法的改進(jìn)

BP多層前饋網(wǎng)絡(luò)已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，但實(shí)際上的BP多層前饋網(wǎng)絡(luò)并不是利用標(biāo)準(zhǔn)的BP算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的，而是對(duì)BP算法進(jìn)行了啟發(fā)式改進(jìn)。

（1）增加動(dòng)量因子法

BP算法的神經(jīng)網(wǎng)絡(luò)的誤差曲面具有不同的區(qū)域有不同的誤差改變率的特點(diǎn)。假若開(kāi)始訓(xùn)練的學(xué)習(xí)速率較高，那么算法的收斂速度可能很快。但當(dāng)?shù)M(jìn)入的區(qū)域包含極小點(diǎn)時(shí)，此時(shí)算法發(fā)散，來(lái)回振蕩，收斂不到極小值點(diǎn)。如果用平均改變參數(shù)的方法進(jìn)行軌跡的過(guò)濾，就可以對(duì)震蕩進(jìn)行平滑并可產(chǎn)生穩(wěn)定的軌跡。當(dāng)動(dòng)量濾波器的參數(shù)得到了改變，獲取反向傳播的動(dòng)量，使用了動(dòng)量項(xiàng)，可以在保證算法較為穩(wěn)定的前提下，在網(wǎng)絡(luò)訓(xùn)練進(jìn)入局部最小值時(shí)產(chǎn)生一個(gè)繼續(xù)向前的正向斜率運(yùn)動(dòng)，使得搜索能夠跳出較淺的峰值；當(dāng)網(wǎng)絡(luò)搜索位于誤差曲面平坦區(qū)的區(qū)域時(shí)，該方法能夠較快地提高訓(xùn)練速度。

（2）變步長(zhǎng)法

變步長(zhǎng)法通過(guò)調(diào)整網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率，故也稱為可變學(xué)習(xí)速率的方法。BP算法中對(duì)連接權(quán)值的調(diào)整，取決于兩個(gè)因子，即學(xué)習(xí)速率和梯度。其中通過(guò)調(diào)整學(xué)習(xí)速率提高算法收斂收率的方法，是當(dāng)前認(rèn)為最簡(jiǎn)單、有效的方法。學(xué)習(xí)率不能隨意選取，選得太小，收斂會(huì)變慢；選得太大，可能調(diào)整過(guò)多，使得算法振蕩或發(fā)散。所以，在對(duì)學(xué)習(xí)率進(jìn)行調(diào)整時(shí)，一般遵循的準(zhǔn)則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學(xué)習(xí)率的值選取偏小，可以作為對(duì)學(xué)習(xí)率調(diào)整的參考；否則，學(xué)習(xí)率值調(diào)整過(guò)大，就應(yīng)該對(duì)該值進(jìn)行減小。增加可變速率參數(shù)后，得到改進(jìn)的BP算法如下：

①如果整個(gè)訓(xùn)練集上的均方誤差權(quán)值在更新后增加的，且該值超過(guò)了預(yù)設(shè)的某個(gè)百分?jǐn)?shù)，如：1%～5%，則不對(duì)權(quán)值進(jìn)行更新。學(xué)習(xí)速率被乘以一個(gè)大于零且小于1的因子，并且動(dòng)量系數(shù)被設(shè)置為0。

②如果均方誤差在權(quán)值更新后變小了，則接受權(quán)值更新。學(xué)習(xí)速度將被乘以一個(gè)大于1的因子。假若學(xué)習(xí)率被設(shè)置為0，則恢復(fù)之原來(lái)的值。

③如果均方誤差的增長(zhǎng)變小，則權(quán)值更新被接受，但學(xué)習(xí)速度保持不變。如果學(xué)習(xí)率過(guò)去被設(shè)置為0，則恢復(fù)到以前的值。

4.實(shí)驗(yàn)結(jié)果

分別對(duì)目標(biāo)誤差為0.001的網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)結(jié)果如下：

（1）采用標(biāo)準(zhǔn)BP網(wǎng)對(duì)樣本進(jìn)行訓(xùn)練，迭代次數(shù)近5000次尚未收斂。

（2）采用增加動(dòng)量法，迭代375次，學(xué)習(xí)過(guò)程收斂。

（3）采用變步長(zhǎng)法，迭代1728次收斂。

由此可見(jiàn)，未改進(jìn)的標(biāo)準(zhǔn)BP學(xué)習(xí)算法存在收斂速度慢的缺陷；改進(jìn)后的BP學(xué)習(xí)算法都從不同程度上提高了算法的收斂速度，訓(xùn)練的次數(shù)大大減小了。對(duì)BP算法采用啟發(fā)式改進(jìn)措施后，明顯提高了學(xué)習(xí)速度。

5.結(jié)語(yǔ)

BP神經(jīng)網(wǎng)絡(luò)最強(qiáng)大的應(yīng)用之一就是函數(shù)逼近，即從訓(xùn)練樣本出發(fā)，對(duì)未知函數(shù)進(jìn)行非線性逼近。由于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)直接影響網(wǎng)絡(luò)對(duì)函數(shù)的逼近能力和效果，因此，在實(shí)際應(yīng)用中，應(yīng)根據(jù)具體問(wèn)題，選擇一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的算法，具有較強(qiáng)的泛化能力，它的主要應(yīng)用問(wèn)題是隱層數(shù)及隱層節(jié)點(diǎn)個(gè)數(shù)的確定。這個(gè)問(wèn)題有待進(jìn)一步研究和討論。