王艷芹，王鳳嬪

(大慶師范學(xué)院 物理與電氣信息工程學(xué)院，黑龍江 大慶163712)

隨著控制過程復(fù)雜性的提高，控制理論的應(yīng)用日益廣泛。但是，控制理論的實(shí)際應(yīng)用不能脫離被控對象的數(shù)學(xué)模型。然而，在多數(shù)情況下，被控對象的數(shù)學(xué)模型是未知的，并且在正常運(yùn)行期間，模型的參數(shù)可能發(fā)生變化，因此，利用控制理論去解決實(shí)際問題時(shí)，首先必須建立被控對象的數(shù)學(xué)模型。這是控制理論能否成功地應(yīng)用于實(shí)際的關(guān)鍵之一。

對于復(fù)雜的非線性系統(tǒng)的辨識(shí)問題，一直未能很好解決。神經(jīng)網(wǎng)絡(luò)所具有的非線性特性和學(xué)習(xí)能力，為非線性系統(tǒng)辨識(shí)提供了新的方法。在動(dòng)態(tài)系統(tǒng)辨識(shí)等領(lǐng)域中，多層前向網(wǎng)絡(luò)的應(yīng)用極為廣泛。但是，大多數(shù)基于反向傳播學(xué)習(xí)算法的多層前向網(wǎng)絡(luò)與參數(shù)之間是高度非線性的，網(wǎng)絡(luò)的學(xué)習(xí)要基于某種非線性優(yōu)化技術(shù)，于是，都存在一個(gè)共同的缺點(diǎn)，即在學(xué)習(xí)階段參數(shù)估計(jì)可能會(huì)陷入目標(biāo)函數(shù)的某個(gè)局部極小點(diǎn)。雖然對學(xué)習(xí)算法的改進(jìn)能在一定程度上避免局部極小，但一般需要大量計(jì)算，這將限制多層前向網(wǎng)絡(luò)的實(shí)際應(yīng)用。徑向基函數(shù)(Radial Basis Function——RBF)神經(jīng)網(wǎng)絡(luò)理論為多層前向網(wǎng)絡(luò)的學(xué)習(xí)提供了一種新穎有效的手段[2]。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)如圖1所示，不失一般性，假設(shè)輸出層只有一個(gè)結(jié)點(diǎn)，這種結(jié)構(gòu)很容易擴(kuò)展到多輸出結(jié)點(diǎn)的情形。輸入層到隱層為權(quán)值1的固定連接。隱含層由一組徑向基函數(shù)構(gòu)成，其中對應(yīng)的中心向量和寬度是RBF的參數(shù)。一般隱含層各結(jié)點(diǎn)都采用相同的徑向基函數(shù)，徑向基函數(shù)有多種形式，通常取高斯函數(shù)。隱層的輸出在輸出層線性加權(quán)組合，形成神經(jīng)網(wǎng)絡(luò)的輸出。

圖1 RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

網(wǎng)絡(luò)輸入與輸出之間的映射關(guān)系為:f(x):Rn→R

(1)

式中m——隱含層結(jié)點(diǎn)數(shù);‖·‖——?dú)W幾里得泛數(shù);x,Ci∈Rn；W∈Rm，W∈Rm,W=(w1,…,wm)R；wi—第i個(gè)基函數(shù)與輸出結(jié)點(diǎn)的連接權(quán)值(i=1,…m)。構(gòu)造和訓(xùn)練一個(gè)RBF神經(jīng)網(wǎng)絡(luò)就是要使它通過學(xué)習(xí)，確定出每個(gè)隱層神經(jīng)元基函數(shù)的中心Ci,寬度σi以及隱層到輸出層的權(quán)值向W量這些參數(shù)的過程，從而可以建立所研究系統(tǒng)的輸入到輸出的映射。

2 RBF神經(jīng)網(wǎng)絡(luò)的基本學(xué)習(xí)算法

RBF神經(jīng)網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)有三個(gè)：隱含層基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。在RBF網(wǎng)絡(luò)中，輸出層和隱含層所完成的任務(wù)是不相同的，因而它們的學(xué)習(xí)策略也不相同。輸出層是對線性權(quán)進(jìn)行調(diào)整，采用的是線性優(yōu)化策略，因而學(xué)習(xí)速度較快。而隱含層是對作用函數(shù)的參數(shù)進(jìn)行調(diào)整，采用的是非線性優(yōu)化策略，因而學(xué)習(xí)速度較慢。下面闡述RBF網(wǎng)絡(luò)基本學(xué)習(xí)方法[4]。

2.1直接計(jì)算法

隱單元RBF的中心在輸入樣本中隨機(jī)選取，且中心固定。RBF的中心確定以后，隱單元的輸出是已知的，這樣，網(wǎng)絡(luò)的連接權(quán)就可通過求解線性方程組來確定。

當(dāng)RBF選用高斯函數(shù)時(shí)，它可表示為

(2)

W=G+d,λ=0

(3)

式中，G+是矩陣的偽逆，即

G+=(GTG)-1GT

(4)

其中，G由下式確定

(5)

對于給定問題，如果樣本數(shù)據(jù)的分布具有代表性，此方法就是一種很簡單可行的方法。

2.2自組織學(xué)習(xí)選取RBF中心

在這種方法中，RBF的中心是可以移動(dòng)的，并通過自組織學(xué)習(xí)確定其位置。而輸出層的線性權(quán)則可以通過有導(dǎo)師的學(xué)習(xí)規(guī)則計(jì)算。由此可見，這是一種混合式學(xué)習(xí)方法。自組織學(xué)習(xí)部分是在某種意義上對網(wǎng)絡(luò)的資源進(jìn)行分配，學(xué)習(xí)目的是使RBF的中心位于輸入空間的最重要的部位區(qū)域。

RBF的中心的選擇可以采用K均值聚類算法。這是一種無監(jiān)督的學(xué)習(xí)方法。具體步驟如下：

①初始化聚類中心ti(i=1,2,…M)。一般是從輸入樣本Xj(j=1,2,…N)中選擇M個(gè)樣本作為初始中心。

②將輸入樣本按最鄰近規(guī)則分組，即將Xj(j=l,2，…N)分配給與它距離最近的中心ti所在聚類集合θi(i=1,2,…M)。

③計(jì)算聚類集合θi(i=1,2,…M)中的樣本均值。得出新的中心ti(i=1,2,…M)。按上述步驟計(jì)算，直到中心不再變化為止，否則，轉(zhuǎn)②。

⑤計(jì)算矩陣G的各元素。

⑥用高斯消去法求解(3)可求出權(quán)陣W。

⑦計(jì)算網(wǎng)絡(luò)輸出Y=GW。

由于輸出層與隱層之間是線性映射，對輸出層權(quán)值的計(jì)算可以用最小二乘法或高斯消去法求解。

3 RBF神經(jīng)網(wǎng)絡(luò)的混合學(xué)習(xí)算法

RBF神經(jīng)網(wǎng)絡(luò)的非線性映射能力體現(xiàn)在隱含層的基函數(shù)上，基函數(shù)的中心值對RBF網(wǎng)絡(luò)的非線性逼近能力有很大影響。K均值聚類等方法對聚類的初始類數(shù)和位置非常敏感。為此，采用一種優(yōu)選聚類算法[5]，基于該算法對輸入樣本的聚類過程進(jìn)行優(yōu)化，然后取聚類的組數(shù)作為RBF神經(jīng)網(wǎng)絡(luò)隱層的單元個(gè)數(shù)，同時(shí)也計(jì)算出RBF參數(shù)的初始權(quán)值。這為進(jìn)一步精確辨識(shí)RBF的參數(shù)和網(wǎng)絡(luò)的權(quán)值提供了可靠的基礎(chǔ)。為了保證網(wǎng)絡(luò)具有很好的分類能力和泛化能力，通過調(diào)整函數(shù)F的閥值，在二者之間進(jìn)行有效折衷。RBF神經(jīng)網(wǎng)絡(luò)中的徑向基函數(shù)采用高斯函數(shù)，故輸入層至隱層是非線性映射，采用具有二階收斂速度的遞推學(xué)習(xí)算法，進(jìn)一步改善RBF神經(jīng)網(wǎng)絡(luò)參數(shù)以及權(quán)值辨識(shí)速度和精度。

3.1 優(yōu)選聚類算法

為了尋求輸入向量樣本集的合理聚類結(jié)果，給出如下一個(gè)控制聚類合理性函數(shù)：

(6)

當(dāng)用適當(dāng)方法確定規(guī)則數(shù)m及其中心ci(i=1,2,…m)后，可用上式定量估價(jià)聚類的合理性。函數(shù)F的意義為：若由聚類劃分所形成的同一類中的輸入樣本靠得越緊，不同聚類中心的距離越遠(yuǎn)，則聚類結(jié)果的合理性越好。聚類的合理性劃分就是使函數(shù)F越小越好。最鄰近聚類法是預(yù)先給定一個(gè)聚類半徑r，置初始聚類個(gè)數(shù)m=1，取第1個(gè)輸入樣本X1為聚類中心c1，即c1=X1；計(jì)算c1與Xp(p=2,3,…,N)的歐氏范數(shù)d1p；若d1p為最小者，即d1p=dmin，則作如下判斷：若dmin

在上述最鄰近聚類法中引入優(yōu)化策略，用一維尋優(yōu)方法優(yōu)選半徑r，使式(6)中的函數(shù)F達(dá)到最小。該算法由半徑的優(yōu)選算法(OA)和聚類算法(CA)兩部分組成。CA通過聚類確定類數(shù)m和每類的中心ci,i=1,2,…m，然后用式(6)計(jì)算函數(shù)F的值。OA為主算法，每次迭代均調(diào)用CA。OA的基本思路是，先用步長加速法尋求R的最優(yōu)值rop所在區(qū)間，然后用二次多項(xiàng)插值法求取rop。

3.2 RBF神經(jīng)網(wǎng)絡(luò)的新型二階學(xué)習(xí)算法

采用一種不需任何簡化的遞推Newton算法，它與Newton法等價(jià)，具有二階收斂速度。

Wm=Wm-1+△Wm

(7)

(8)

(9)

(10)

3.3 仿真實(shí)例

以如下非線性系統(tǒng)為例

u(t)=2sin(2πt/250)

進(jìn)行仿真。采集500組訓(xùn)練數(shù)據(jù)，首先用優(yōu)選聚類法得到聚類個(gè)數(shù)為16個(gè)，即RBF神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元個(gè)數(shù)為16，則網(wǎng)絡(luò)結(jié)構(gòu)為2-16-1，其中輸入層的輸入矢量為XT(t+1)=[y(t),u(t)]。

圖2仿真結(jié)果 圖3相對誤差曲線

應(yīng)用以上混合算法對系統(tǒng)進(jìn)行仿真。得到仿真結(jié)果如圖2，相對誤差曲線如圖3所示。平均相對誤差為9.6690E-004。對該非線性系統(tǒng)經(jīng)過98步訓(xùn)練相對誤差達(dá)到0.01，而對該系統(tǒng)用帶動(dòng)量項(xiàng)的BP算法達(dá)到同樣精度需要3845步。由此可見，該混合算法大大提高了收斂速度，節(jié)省了運(yùn)算時(shí)間。

4 結(jié)語

RBF神經(jīng)網(wǎng)絡(luò)為非線性系統(tǒng)建模提供了一條有效的途徑。目前用于RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，但算法的收斂性、收斂速度等方面的問題以及用于RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的新的算法還有待于進(jìn)一步探討研究。本文采用RBF神經(jīng)網(wǎng)絡(luò)的混合算法對非線性系統(tǒng)進(jìn)行仿真，結(jié)果表明其有效性。

[參考文獻(xiàn)]

[1] Jean-Jacques E.Slotine,Weiping Li.應(yīng)用非線性控制[M].北京：機(jī)械工業(yè)出版社,2006：1-3.

[2] 高雋.網(wǎng)絡(luò)原理及仿真實(shí)例[M].北京：機(jī)械工業(yè)出版社,2006：56-57.

[3] Binchini M ,Frasconi P,Gori. Learning Without Local Minama in Radial Basis Function Networks[J]. IEEE Trans. on Neural Networks, 1995,6(3):749-755.

[4] 王永驥，涂健.神經(jīng)元網(wǎng)絡(luò)控制[M].北京:機(jī)械工業(yè)出版社,1998.

[5] 劉鐵男. 帶優(yōu)選聚類算法的RBF網(wǎng)絡(luò)辨識(shí)器及應(yīng)用[J]. 控制與決策, 2003,18(2):233-236.