劉妞　羅廣文　廖嘉嘉　張琪

(廣西科技大學(xué)　電氣與信息工程學(xué)院，廣西柳州　545006)

?

基于遺忘機(jī)制的神經(jīng)網(wǎng)絡(luò)非線性系統(tǒng)辨識(shí)

劉妞羅廣文廖嘉嘉張琪

(廣西科技大學(xué)電氣與信息工程學(xué)院，廣西柳州545006)

神經(jīng)網(wǎng)絡(luò)算法對(duì)于系統(tǒng)辨識(shí)具有很好的效果，但是對(duì)于大數(shù)據(jù)來(lái)說(shuō)，每一個(gè)數(shù)據(jù)是否都具有平等的等效性這個(gè)問(wèn)題上處理不妥。隨著時(shí)間推移數(shù)據(jù)的可靠性越高,采用基于遺忘機(jī)制的神經(jīng)網(wǎng)絡(luò)非線性系統(tǒng)辨識(shí)方法，首先分析了遺忘神經(jīng)網(wǎng)絡(luò)的適用條件并對(duì)遺忘神經(jīng)網(wǎng)絡(luò)進(jìn)行了理論分析與仿真，其次發(fā)現(xiàn)遺忘神經(jīng)網(wǎng)絡(luò)在準(zhǔn)度和進(jìn)度上面并不會(huì)有很大的誤差，所以結(jié)論表明遺忘神經(jīng)網(wǎng)絡(luò)對(duì)于數(shù)據(jù)的處理具有較強(qiáng)的時(shí)效性和跟蹤性。

神經(jīng)網(wǎng)絡(luò)；非線性系統(tǒng)；辨識(shí)；遺忘神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的思想最早于20世紀(jì)40年代被提出。50年代，感知機(jī)的成功應(yīng)用開(kāi)始受到人們的重視。60年代，由于發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)存在的異或難題等缺陷，因此對(duì)他的研究陷入低潮。1986年美國(guó)科學(xué)家Dvavid.Rumellhartt Hames L.Mocllandv發(fā)表了“Parallel Distributd Processing”論著后，神經(jīng)網(wǎng)絡(luò)掀起了新的研究熱潮。之后，德國(guó)心里學(xué)家艾賓浩斯[1](Hermann Ebbinghaus)研究發(fā)現(xiàn)，遺忘在學(xué)習(xí)之后立即開(kāi)始，他認(rèn)為“保持和遺忘是時(shí)間的函數(shù)”。為改善神經(jīng)網(wǎng)絡(luò)算法提供了依據(jù)。

網(wǎng)絡(luò)訓(xùn)練是神經(jīng)網(wǎng)絡(luò)能否成功應(yīng)用的一個(gè)關(guān)鍵環(huán)節(jié)。用于網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)的集合稱為訓(xùn)練數(shù)據(jù)集。一般是由數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等數(shù)據(jù)存儲(chǔ)中的基礎(chǔ)數(shù)據(jù)經(jīng)一定的選擇、轉(zhuǎn)化而形成的。于是在建立訓(xùn)練數(shù)據(jù)集的過(guò)程中，就存在新舊數(shù)據(jù)的取舍問(wèn)題[2]。由于現(xiàn)實(shí)的規(guī)律可能會(huì)具有時(shí)變性，當(dāng)所有的數(shù)據(jù)被同時(shí)地用于訓(xùn)練網(wǎng)絡(luò)時(shí)，該網(wǎng)絡(luò)對(duì)決策者所關(guān)心的系統(tǒng)當(dāng)前的表達(dá)能力會(huì)受到削弱[3]。如果僅選擇近期反映數(shù)據(jù)進(jìn)行訓(xùn)練會(huì)損失早期很多有用的信息。因此人們提出了一種新型的數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型即遺忘神經(jīng)網(wǎng)絡(luò)[4]。

1　原理

離散型反饋神經(jīng)網(wǎng)絡(luò)如圖1所示。

圖1　離散型反饋神經(jīng)網(wǎng)絡(luò)圖

離散型反饋神經(jīng)網(wǎng)絡(luò)由下列的差分方程描述：

(1)

(2)

如果已知系統(tǒng)的M組輸入、輸出矢量，則(2)式可寫為

(3)

利用最速下降法，我們可得計(jì)算連接權(quán)值短陣w={wij}的遞推公式：

(4)

式中：μ為步長(zhǎng)，而J(w)為：

(5)

相應(yīng)的有

(6)

(7)

式中：H為輸入u(k)的個(gè)數(shù)，當(dāng)輸入u(k)為H個(gè)(即i=1,2，…，H)時(shí), (2)式還可以寫成如下形式：

(8)

將式(7)和式(8)代入式(5)可得

(9)

遺忘神經(jīng)網(wǎng)絡(luò)在原理上與神經(jīng)網(wǎng)絡(luò)是一致的，只是在數(shù)據(jù)的處理上引進(jìn)了了遺忘機(jī)制，增加了遺忘函數(shù)y=(1-k)t0-tn，綜上所述，遺忘神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)的算法步驟如下：

第一步：選定初始權(quán)重值wij(0) (i= 1,2,…,N, j=1,2,…,N)，初始值的區(qū)間在(0,1)。

第二步：放入輸入I(n), 其中：I(n)=[I(n)1,…,I(n)pm,d(n)), d(n)]是系統(tǒng)的期望輸出。

(10)

第四步：權(quán)值更新

1)模型輸出的反傳信號(hào)δ

δ(l)=(1-k)t0-tny(n)[y(n)-dj][1-y(n)] .

(11)

誤差層的反傳信號(hào)

(12)

2)權(quán)值的更新

(13)

式中η為學(xué)習(xí)的步長(zhǎng)。

第五步：n=n+1返回到第二步進(jìn)行循環(huán)計(jì)算, 直到跟蹤誤差小于等于0.005 %或者計(jì)算100次后終止。

2　仿真

下面應(yīng)用神經(jīng)網(wǎng)絡(luò)和遺忘神經(jīng)網(wǎng)絡(luò)對(duì)具有隨機(jī)噪聲的二階系統(tǒng)進(jìn)行模型辨識(shí)的仿真。

假設(shè)具有隨機(jī)噪聲的二階系統(tǒng)參考模型的差分方程

(14)

式中：a1=0.336 6；a2=0.663 4；b=0.68；ξ(k)為隨機(jī)噪聲。神經(jīng)網(wǎng)絡(luò)和遺忘神經(jīng)網(wǎng)絡(luò)選用3-9-9-1型，即輸入層i，隱含層j(包括2級(jí))和輸出層k，各層的節(jié)點(diǎn)數(shù)分別為3、9、9、1個(gè)。

Matlab仿真結(jié)果如圖2所示。

圖2(a)是遺忘神經(jīng)網(wǎng)絡(luò)辨識(shí)跟蹤的模型誤差，基本上迭代15次左右就能很好的跟蹤目標(biāo)。從圖可以看出遺忘神經(jīng)網(wǎng)絡(luò)在跟蹤精度上雖然比不上神經(jīng)網(wǎng)絡(luò)，但是基本上控制在0.5 %以內(nèi)，這是在允許存在的誤差之內(nèi)。從(a)和(b)可知神經(jīng)網(wǎng)絡(luò)與遺忘神經(jīng)網(wǎng)絡(luò)都同時(shí)達(dá)到穩(wěn)定狀態(tài)，說(shuō)明跟蹤速度上遺忘神經(jīng)網(wǎng)絡(luò)并不會(huì)比神經(jīng)網(wǎng)絡(luò)差。但是在數(shù)據(jù)處理方面由于數(shù)據(jù)的有效性不等，遺忘神經(jīng)網(wǎng)絡(luò)雖然不能很好地跟蹤模型，但是可以逼近模型并且適用于該模型。從(c)和(d)可以看出神經(jīng)網(wǎng)絡(luò)逼近每一個(gè)數(shù)據(jù)都誤差很少，也就是說(shuō)數(shù)據(jù)的有效性是平均，從而達(dá)到完美仿真。但現(xiàn)實(shí)中并不存在。

根據(jù)以上的仿真分析可知：遺忘神經(jīng)網(wǎng)絡(luò)雖然在辨識(shí)精度上略次于神經(jīng)網(wǎng)絡(luò)，但是在辨識(shí)速度上完全與神經(jīng)網(wǎng)絡(luò)接近。由于遺忘神經(jīng)網(wǎng)絡(luò)特別具有對(duì)數(shù)據(jù)有效性的處理。在很多情況下，由于數(shù)據(jù)常年的積累，難免對(duì)于每一個(gè)數(shù)據(jù)的分量都不同，所以在特定的領(lǐng)域內(nèi)比神經(jīng)網(wǎng)絡(luò)具有更好的效果。

3　結(jié)語(yǔ)

借助于對(duì)一個(gè)非線性系統(tǒng)的辨識(shí)，本文對(duì)遺忘神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較。引入了遺忘神經(jīng)網(wǎng)絡(luò)算法，分析了遺忘神經(jīng)網(wǎng)絡(luò)的適用條件，并通過(guò)理論分析證明了遺忘神經(jīng)網(wǎng)絡(luò)可以進(jìn)行非線性系統(tǒng)的辨識(shí)。仿真實(shí)例說(shuō)明了遺忘神經(jīng)網(wǎng)絡(luò)相比于神經(jīng)網(wǎng)絡(luò),雖然在速度和精度上存在較大的誤差但是對(duì)于我們還是可以接受的范圍，但是在數(shù)據(jù)的有效性方面，具有較強(qiáng)的時(shí)效性和跟蹤性。適用于大數(shù)據(jù)庫(kù)和數(shù)據(jù)有效性不等的處理。

[1]張格偉，廖文和，劉長(zhǎng)毅，等. 知識(shí)的記憶-遺忘模型及其在知識(shí)管理的應(yīng)用 [J]. 南京航空航天大學(xué)學(xué)報(bào)，2008，40(2)：265-270.

[2]周曉正, 林小竹，陳星，等. 一種改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)模型[J]. 計(jì)算機(jī)工程與應(yīng)用，2008，44(9)：64-66.

[3]代小娟, 林小竹, 周曉正. 模式神經(jīng)元網(wǎng)絡(luò)的聚類方法研究[J]. 北京石油化工學(xué)院學(xué)報(bào)，2009，17(4)：13-16.

[4]葉強(qiáng)，盧濤，李一軍. 遺忘神經(jīng)網(wǎng)絡(luò)及其BP算法[J]. 計(jì)算機(jī)工程，2003，29(20)：135-136.

Nonlinear System Identification Based on Neural Network with Forgetting Mechanism

LIU NiuLUO GuangwenLIAO JiajiaZHANG Qi

(School of Electrical and Information Engineering, Guangxi University of Science and Technology, Liuzhou 545006, China)

Neural network algorithm has a good effect for system identification. But it can not tackle the same equivalence of every datum effectively for the big data. With the passage of time the reliability of the data increases. This paper uses a neural network with forgetting mechanism for nonlinear system identification. It analyzes the applicable conditions of the neural network with forgetting mechanism and simulation, and then finds this network has little deviation in terms of accuracy and progression. The result shows it has the advantages of timeliness and of tracking for data processing.

neural networks; nonlinear systems; identification; neural network with forgetting

2015-04-29

劉妞(1992—), 男, 江西吉安人, 碩士生, 主要從事汽車電子技術(shù)研究。

TP183

A

1009-0312(2016)03-0054-04