王改堂,趙金磊,王紅輝,葉錦函

(西安現(xiàn)代控制技術(shù)研究所,西安 710065)

0 引言

回聲狀態(tài)網(wǎng)絡(luò)(ESN)是一種新型的遞歸神經(jīng)網(wǎng)絡(luò),該算法的最大優(yōu)點(diǎn)就是訓(xùn)練簡(jiǎn)單,且在網(wǎng)絡(luò)訓(xùn)練過(guò)程中,具有唯一且全局最優(yōu)的輸出權(quán)值。ESN之所以有這樣的優(yōu)點(diǎn)是因?yàn)榫W(wǎng)絡(luò)在初始化之后,網(wǎng)絡(luò)的輸入連接權(quán)值、輸出反饋連接權(quán)值和儲(chǔ)備池內(nèi)部連接權(quán)值一經(jīng)產(chǎn)生就不再變化,唯一會(huì)在訓(xùn)練中發(fā)生變化的只有輸出連接的權(quán)值[1]。然而,在處理實(shí)際問題時(shí),ESN使用了線性回歸算法求解輸出權(quán)值,易導(dǎo)致病態(tài)解問題,為了克服這一問題,文獻(xiàn)[2]提出了ESN嶺回歸學(xué)習(xí)算法。為了提高ESN算法的性能,國(guó)內(nèi)外研究學(xué)者提出了很多改進(jìn)的算法,如泄漏積分型回聲狀態(tài)網(wǎng)絡(luò)[3],ABESN[4],多核回聲狀態(tài)網(wǎng)絡(luò)[5]等等。為了改進(jìn)ESN在訓(xùn)練過(guò)程中只能調(diào)整輸出連接權(quán)值的缺點(diǎn),文中提出了動(dòng)態(tài)回聲狀態(tài)網(wǎng)絡(luò)(DESN)研究方法。

1 回聲狀態(tài)網(wǎng)絡(luò)

ESN是基于儲(chǔ)備池計(jì)算的一種新型遞歸神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)是由輸入層、儲(chǔ)備池和輸出層等組成,其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

ESN網(wǎng)絡(luò)的基本方程描述為:

x(k+1)=f(Winu(k+1)+Wx(k)+Wbacky(k))

(1)

y(k+1)=fout(Wout(u(k+1),x(k+1),y(k)))

(2)

式中：x(k)為儲(chǔ)備池的狀態(tài)向量；u(k)為輸入向量；y(k)為輸出向量；f(·)為儲(chǔ)備池節(jié)點(diǎn)的激活函數(shù)；Win為輸入連接權(quán)值；Wback為輸出反饋連接權(quán)值；W為儲(chǔ)備池內(nèi)部連接的權(quán)值；Wout為輸出權(quán)值；fout(·)為

輸出層函數(shù),一般為線性函數(shù)。

2 動(dòng)態(tài)回聲狀態(tài)網(wǎng)絡(luò)

2.1 動(dòng)態(tài)激活函數(shù)

激活函數(shù)是ESN算法的核心,以Sigmoid激活函數(shù)為例,激活函數(shù)的陡度、位置是固定不變的,這兩個(gè)因素不僅制約了網(wǎng)絡(luò)的非線性映射能力,而且影響了網(wǎng)絡(luò)的學(xué)習(xí)精度。Sigmoid激活函數(shù)的動(dòng)態(tài)模型如下[6]:

(3)

式中:a為偏移參數(shù)；b為位置參數(shù)；λ為陡度因子。從表達(dá)形式上看,函數(shù)Sa,b,λ(x)比S(x)具有更為豐富的非線性表達(dá)能力,參數(shù)a和b決定函數(shù)的垂直和水平位置,λ決定函數(shù)的形狀。參數(shù)的取值不同代表不同的激活函數(shù)。

上述激活函數(shù)只是從位置和形狀上進(jìn)行調(diào)整,不能對(duì)映射區(qū)間范圍作出調(diào)整。為此,在上式的基礎(chǔ)上,文中將映射區(qū)間因子加入到激活函數(shù)中,其激活函數(shù)模型為:

(4)

式中,c為映射區(qū)間因子,c的大小改變映射區(qū)間的長(zhǎng)度與映射范圍。

當(dāng)a=b=0,c=λ=1時(shí),式(4)就是傳統(tǒng)的Sigmoid函數(shù)。

2.2 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證提出算法的有效性和可行性,實(shí)驗(yàn)使用Pole,Auto-Mpg,Housing,Diabetes,Triazines和Stock dataset等數(shù)據(jù)集對(duì)其進(jìn)行驗(yàn)證。表1給出了使用的數(shù)據(jù)集的說(shuō)明。

表1 數(shù)據(jù)集說(shuō)明

實(shí)驗(yàn)訓(xùn)練過(guò)程中,ESN算法和DESN算法的權(quán)值Win、W和Wback的初始化均為[-1,1]之間的均勻分布隨機(jī)數(shù),儲(chǔ)備池節(jié)點(diǎn)個(gè)數(shù)和DESN算法激活函數(shù)的參數(shù)設(shè)置如表2所示。表3給出了ESN和DESN算法建立上述數(shù)據(jù)集回歸模型的訓(xùn)練和測(cè)試的均方根誤差(RMSE)的比較。從表2和表3中可以看出DESN的訓(xùn)練和測(cè)試結(jié)果都比ESN算法好,可見文中算法建立的模型測(cè)試精度高,具有較強(qiáng)的泛化能力。

表2 參數(shù)設(shè)置

表3 兩種算法的性能比較(RMSE)

2.3 實(shí)際應(yīng)用

以地空導(dǎo)彈武器系統(tǒng)為例來(lái)驗(yàn)證該算法,地空導(dǎo)彈武器系統(tǒng)生存能力可表示為[7]:

y=f(x1,x2,x3,x4,x5,x6)

(5)

式中:y為導(dǎo)彈生存能力,x1為偽裝能力,x2為機(jī)動(dòng)能力,x3為干擾能力,x4為防護(hù)能力,x5為攔截能力,x6為修復(fù)能力。其中偽裝能力包括雷達(dá)反射特性、目標(biāo)特性和隱身特性,機(jī)動(dòng)能力包括機(jī)動(dòng)速度、越野能力和反應(yīng)能力,干擾能力包括干擾頻域有效性和干擾方式多樣性,防護(hù)能力包括抗干擾能力和抗殺傷能力,攔截能力包括預(yù)警能力和射擊能力,修復(fù)能力包括設(shè)備完好率、備件供應(yīng)能力和人員業(yè)務(wù)能力。

實(shí)驗(yàn)數(shù)據(jù)采用文獻(xiàn)[7]中的15組數(shù)據(jù)作為樣本數(shù)據(jù),其中10組數(shù)據(jù)作為訓(xùn)練樣本,5組數(shù)據(jù)作為測(cè)試樣本。在實(shí)驗(yàn)訓(xùn)練過(guò)程中,為了使ESN算法和提出的DESN算法具有可比性,權(quán)值Win、W和Wback的初始化均為[-1,1]之間的均勻分布隨機(jī)數(shù),儲(chǔ)備池節(jié)點(diǎn)個(gè)數(shù)為20,DESN算法中的激活函數(shù)參數(shù)選擇為a=2.1,b=0.7,c=1.2,λ=0.9。圖2和圖3分別給出了ESN和DESN算法的預(yù)測(cè)值與誤差。從圖2和圖3中可以得出,改進(jìn)算法的預(yù)測(cè)值幾乎與真實(shí)值重合,從而說(shuō)明文中提出的DESN算法預(yù)測(cè)精度高,泛化性能好。

圖2 ESN算法的導(dǎo)彈生存能力與誤差

圖3 DESN算法的導(dǎo)彈生存能力與誤差

3 結(jié)論

文中提出了一種新的動(dòng)態(tài)回聲狀態(tài)網(wǎng)絡(luò)研究方法。該方法采用了一種全新的動(dòng)態(tài)激活函數(shù)作為回聲狀態(tài)網(wǎng)絡(luò)儲(chǔ)備池的激活函數(shù),訓(xùn)練過(guò)程中,可以從位置、形狀和映射區(qū)間范圍對(duì)激活函數(shù)做出調(diào)整或改變。通過(guò)對(duì)數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證和對(duì)地空導(dǎo)彈生存能力的預(yù)測(cè),結(jié)果表明該方法具有較高的擬合精度和良好的泛化能力,且對(duì)地空導(dǎo)彈的設(shè)計(jì)和研制起著重要的指導(dǎo)作用。