周勇

（荊州學(xué)院信息工程學(xué)院，湖北 荊州 434020）

RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)是具有單隱層的一種三層前向神經(jīng)網(wǎng)絡(luò)，其具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)速度快、逼近能力強(qiáng)等特點(diǎn)，在系統(tǒng)辨識(shí)、函數(shù)逼近、模式識(shí)別等領(lǐng)域得到廣泛應(yīng)用。RBF神經(jīng)網(wǎng)絡(luò)具有模擬人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能以任意精度逼近任一連續(xù)函數(shù)[1]，一直是研究的熱點(diǎn)之一。RBF神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中，其性能主要取決于隱層神經(jīng)元基函數(shù)中心、寬度和隱層節(jié)點(diǎn)到輸出層之間的連接權(quán)值的整定。目前，RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)整定方法主要有K均值聚類(lèi)方法、梯度下降法、粒子群算[2]、進(jìn)化算法[3]等，其中，普通梯度下降法在訓(xùn)練過(guò)程中極易出現(xiàn)振蕩、不穩(wěn)定的情況，而且實(shí)時(shí)性和魯棒性較差[4]。其他方法如粒子群算法、進(jìn)化算法等，雖然有一定的全局收斂能力，但收斂速度慢，網(wǎng)絡(luò)計(jì)算代價(jià)大。遺傳算法（Genetic Algorithm，GA）是一種高度并行的隨機(jī)優(yōu)化方法，具有很好的全局搜索能力和魯棒性，然而，遺傳算法雖然應(yīng)用廣泛，但在解決復(fù)雜問(wèn)題時(shí)，由于其自身的隨機(jī)搜索特點(diǎn)也帶來(lái)了收斂速度慢和算法局部收斂（早熟）等問(wèn)題[5]。本文在前人研究的基礎(chǔ)上，結(jié)合改進(jìn)的遺傳算法提出一種改進(jìn)遺傳算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)控制器，通過(guò)系統(tǒng)辨識(shí)仿真分析，驗(yàn)證了其參數(shù)優(yōu)化效果。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)模擬人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種具有單隱層的三層全局逼近性能的前饋網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)具有從輸入層到隱含層的高斯非線性關(guān)系和隱含層到輸出層的權(quán)值線性關(guān)系，從而使網(wǎng)絡(luò)學(xué)習(xí)快速易行，避免了局部最優(yōu)的問(wèn)題。RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

RBF神經(jīng)網(wǎng)絡(luò)一般由3層構(gòu)成，即輸入層、隱含層和輸出層，其中輸入層節(jié)點(diǎn)主要負(fù)責(zé)傳遞輸入信號(hào)到隱含層，隱含層節(jié)點(diǎn)由高斯函數(shù)組成，對(duì)輸入的信號(hào)產(chǎn)生局部響應(yīng)，即當(dāng)輸入信號(hào)接近高斯函數(shù)的中央范圍時(shí)，隱含層節(jié)點(diǎn)產(chǎn)出較大輸出，輸出層節(jié)點(diǎn)為各隱含層的輸出加權(quán)和，隱含層到輸出層之間的權(quán)值可調(diào)。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)包括兩部分：一是高斯函數(shù)中心和寬度的確定，另一個(gè)是輸出層權(quán)值的確定。給定網(wǎng)絡(luò)輸入X=（x1，x2，…，xn）為n維向量，RBF神經(jīng)網(wǎng)絡(luò)的輸入層到隱含層實(shí)現(xiàn)x→h（x）的非線性映射，即隱含層的變換函數(shù)h（x）為一個(gè)徑向基函數(shù)，其徑向基函數(shù)最常采用高斯函數(shù)，則RBF神經(jīng)網(wǎng)絡(luò)隱含層第j個(gè)節(jié)點(diǎn)的輸出為：

式（1）中：cj和bj分別為第j個(gè)隱含層節(jié)點(diǎn)的高斯函數(shù)中心和基寬參數(shù)，bj為大于零的數(shù)，它決定了該基函數(shù)曲線圍繞中心點(diǎn)的寬度；l為隱含層節(jié)點(diǎn)的個(gè)數(shù)。

假設(shè)wj為第j個(gè)隱含層節(jié)點(diǎn)到輸出層的加權(quán)系數(shù)（權(quán)值），則RBF神經(jīng)網(wǎng)絡(luò)的隱含層到輸出層實(shí)現(xiàn)h（x）→yk的線性映射，即：

式（2）中：yk為第k個(gè)節(jié)點(diǎn)的輸出；m為輸出層的節(jié)點(diǎn)數(shù)。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是將采集到的數(shù)據(jù)樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，不斷調(diào)整基函數(shù)中心c、寬度b和權(quán)值w使網(wǎng)絡(luò)總均方誤差為最小，即對(duì)于N個(gè)訓(xùn)練樣本，RBF神經(jīng)網(wǎng)絡(luò)的希望輸出為d，則總均方誤差函數(shù)為：

式（3）中：N為樣本對(duì)數(shù)；m為網(wǎng)絡(luò)輸出節(jié)點(diǎn)數(shù)；dpk為第k個(gè)輸出節(jié)點(diǎn)在第l個(gè)樣本的希望輸出；ypk為第k個(gè)輸出節(jié)點(diǎn)在第p個(gè)樣本的實(shí)際輸出。

2 改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

遺傳算法（Genetic Algorithm，GA）是美國(guó)Holland教授于1975年首先提出來(lái)的一種借鑒生物進(jìn)化理論和門(mén)德?tīng)柣蜻z傳理論的高度并行、隨機(jī)的優(yōu)化方法[6]。在遺傳算法中，交叉和變異算子是算法進(jìn)化的核心，其交叉率Pc和變異率Pm是算法收斂和穩(wěn)定的關(guān)鍵參數(shù)。交叉算子是通過(guò)基因重組來(lái)獲取優(yōu)良個(gè)體，決定了遺傳算法的全局搜索能力[7]。變異算子是通過(guò)改變?nèi)后w個(gè)體基因，使群體具有較好的多樣性，克服早熟。遺傳算法的Pc和Pm反映了算法交叉和變異操作的概率，決定了算法的收斂性能。標(biāo)準(zhǔn)遺傳算法因?yàn)殡S機(jī)搜索的特點(diǎn)，在進(jìn)化過(guò)程中，其Pc和Pm恒定不變，收斂性能較差。結(jié)合文獻(xiàn)[8]，本文引入一種改進(jìn)的遺傳算法，使算法的Pc按Sigmoid函數(shù)變化，變異率Pm自適應(yīng)按進(jìn)化代數(shù)變化，提高算法的全局搜索能力和收斂速度。

改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)步驟如下。

第一步，編碼及初始化群體。選擇高斯函數(shù)中心c、基寬參數(shù)b和連接權(quán)值w為優(yōu)化參數(shù)，實(shí)數(shù)編碼，并根據(jù)種群規(guī)模產(chǎn)生初始群體為[0，1]之間的隨機(jī)數(shù)。

第二步，解碼，計(jì)算種群個(gè)體適應(yīng)度，確定適應(yīng)度函數(shù)F，評(píng)價(jià)是否滿(mǎn)足收斂條件。目標(biāo)函數(shù)求最大值，則F=f（x），否則，F(xiàn)=1/f（x）。同時(shí)，對(duì)個(gè)體適應(yīng)度按從小到大進(jìn)行排序，選出最大個(gè)體適應(yīng)度。改進(jìn)遺傳算法的適應(yīng)度函數(shù)為F=1/J，J為均方誤差函數(shù)E，即f=1/E。

第三步，如果滿(mǎn)足要求（精度1e-5或進(jìn)化代數(shù)T），輸出結(jié)果；否則繼續(xù)第四步。

第四步，設(shè)計(jì)遺傳算子。本設(shè)計(jì)采用輪盤(pán)賭的選擇方法，算術(shù)交叉和均勻變異的遺傳算子，為了防止遺傳算法的早熟和收斂較差的問(wèn)題出現(xiàn)，采用改進(jìn)的自適應(yīng)交叉概率和變異概率，將S曲線變化模式和進(jìn)化代數(shù)用于交叉概率和變異概率，使個(gè)體的變異和交叉分別受進(jìn)化代數(shù)和適應(yīng)度的約束。改進(jìn)的自適應(yīng)調(diào)節(jié)公式和自適應(yīng)變化曲線如式（4）（5）和圖2、圖3所示。

圖2 交叉率調(diào)節(jié)曲線

圖3 變異率調(diào)節(jié)曲線

式（4）（5）中：Pcmax、Pcmin分別為交叉率的最大值和最小值；f'為要交叉的2個(gè)個(gè)體中較大的適應(yīng)度值；k1為曲線平滑參數(shù)，用來(lái)調(diào)節(jié)曲線的光滑程度；favg為種群的平均個(gè)體適應(yīng)度值；fmax為種群中最大的個(gè)體適應(yīng)度值；Pm1、Pm2和Pm3都是正實(shí)數(shù)；Gmax為最大進(jìn)化代數(shù)；G為當(dāng)前進(jìn)化代數(shù)。

由圖2、圖3和改進(jìn)的公式（4）（5）可知，Pc按照個(gè)體適應(yīng)度在favg和fmax之間隨S曲線進(jìn)行非線性調(diào)整，Pm按進(jìn)化代數(shù)進(jìn)行非線性調(diào)整。在種群進(jìn)化初期，保證了當(dāng)前種群優(yōu)良個(gè)體Pc和Pm較小，使算法收斂速度變慢。同時(shí)，隨著進(jìn)化代數(shù)的增加，當(dāng)大多數(shù)個(gè)體適應(yīng)度與favg接近時(shí)，使個(gè)體Pc最大，進(jìn)化代數(shù)最大時(shí)Pm也趨近于最大，避免了算法停滯不前。在個(gè)體適應(yīng)度接近fmax時(shí)，盡可能緩慢地減小個(gè)體Pc，使Pc最小，最大限度地保留favg處的優(yōu)良個(gè)體，克服算法早熟和局部收斂。

第五步，根據(jù)favg、個(gè)體適應(yīng)度和進(jìn)化代數(shù)，結(jié)合自適應(yīng)調(diào)節(jié)公式進(jìn)行交叉和變異操作。

第六步，返回第二步，如達(dá)到指定要求，算法結(jié)束，否則繼續(xù)執(zhí)行操作。

改進(jìn)遺傳算法RBF參數(shù)優(yōu)化流程如圖4所示。

圖4 改進(jìn)遺傳算法RBF參數(shù)優(yōu)化流程圖

3 實(shí)驗(yàn)及結(jié)果分析

為了研究改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的性能，將該算法應(yīng)用于一個(gè)典型的非線性系統(tǒng)的辨識(shí)，通過(guò)函數(shù)逼近能力來(lái)說(shuō)明該方法的實(shí)用性和合理性。為了比較，同時(shí)采用梯度下降法來(lái)訓(xùn)練RBF網(wǎng)絡(luò)，所有算法程序均采用MATLAB語(yǔ)言編程，非線性系統(tǒng)模型為：

3.1 算法參數(shù)選擇

改進(jìn)遺傳算法參數(shù)如表1所示。

表1 改進(jìn)遺傳算法參數(shù)設(shè)置

其中，在遺傳算法優(yōu)化中，種群規(guī)模為30，最大進(jìn)化代數(shù)為250代。由式（6）可知，y（k）與歷史輸出y（k-1）和u（k）有關(guān)，因此RBF神經(jīng)網(wǎng)絡(luò)輸入x（k）定義為[y（k-1），u（k）]T，選擇隱含層個(gè)數(shù)為20，因此RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為2-20-1。

3.2 仿真結(jié)果分析

用于測(cè)試的RBF神經(jīng)網(wǎng)絡(luò)辨識(shí)中，取輸入信號(hào)為正弦信號(hào)：u（k）=sin（10πt），得到300個(gè)學(xué)習(xí)樣本（輸入輸出對(duì)），前100樣本個(gè)訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)模型，后200個(gè)樣本作為測(cè)試樣本。改進(jìn)遺傳算法優(yōu)化均方誤差曲線如圖5所示，當(dāng)輸入為u（k）=sin（10πt）時(shí)，采用改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)經(jīng)過(guò)120代后，均方誤差為0.013 4，不再發(fā)生變化，基本達(dá)到誤差要求，能較好地克服基本遺傳算法學(xué)習(xí)時(shí)間長(zhǎng)、收斂速度慢等缺點(diǎn)。曲線擬合分別如圖6、圖7所示，圖中虛線表示實(shí)際輸出有ym，實(shí)線表示目標(biāo)輸出y。

圖5 改進(jìn)遺傳算法優(yōu)化均方誤差曲線

圖6 改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的曲線擬合

圖7 梯度下降法的曲線擬合

由圖6和圖7可知，改進(jìn)遺傳算法優(yōu)化后的RBF神經(jīng)網(wǎng)絡(luò)實(shí)際輸出數(shù)據(jù)與目標(biāo)數(shù)據(jù)基本吻合，符合函數(shù)的總體趨勢(shì)，擬合效果優(yōu)良，而采用梯度下降法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時(shí)，在初始和結(jié)束擬合時(shí)有一些發(fā)散，且在中間的數(shù)據(jù)擬合偏差較大?？梢?jiàn)應(yīng)用改進(jìn)遺傳算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)控制器有著更強(qiáng)的優(yōu)化效果。

4 結(jié)語(yǔ)

針對(duì)常規(guī)RBF網(wǎng)絡(luò)學(xué)習(xí)算法的不足，提出一種改進(jìn)遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)，利用改進(jìn)遺傳算法實(shí)現(xiàn)高斯函數(shù)的中心c、基寬參數(shù)b和連接權(quán)值w的選擇。在改進(jìn)遺傳算法中，著重對(duì)交叉率和變異率的非線性自適應(yīng)調(diào)節(jié)進(jìn)行了設(shè)計(jì)。通過(guò)對(duì)典型非線性函數(shù)的仿真分析，本文提出的改進(jìn)遺傳算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)控制器有著較好的優(yōu)良性能，為實(shí)際工程應(yīng)用提供了理論支持和有效途徑。