李立平　韓兵欣

摘 要： 針對靜態(tài)人工神經(jīng)網(wǎng)絡具有在反映系統(tǒng)動態(tài)行為時網(wǎng)絡結構復雜、不能很好地反映系統(tǒng)動態(tài)性能的缺點，提出一種由帶有積分器和可調反饋系數(shù)的神經(jīng)元構成的新型動力學神經(jīng)網(wǎng)絡模型。該網(wǎng)絡比以前的動態(tài)網(wǎng)絡即遞歸網(wǎng)絡或在此基礎上改進的網(wǎng)絡能更好地反映系統(tǒng)的動態(tài)性能，網(wǎng)絡的結構更加簡單，訓練過程加快，從而使系統(tǒng)能夠更好的運行。利用梯度下降法研究了該網(wǎng)絡的權值調整算法，并通過李雅普諾夫穩(wěn)定性判據(jù)討論了這種新型動力學神經(jīng)網(wǎng)絡的穩(wěn)定性條件。該網(wǎng)絡研究為反映系統(tǒng)的動力學行為提供了更好的模型結構和理論算法，為神經(jīng)網(wǎng)絡的發(fā)展提供了新的研究方向。

關鍵詞： 動力學神經(jīng)網(wǎng)絡； 梯度下降法； 李雅普諾夫穩(wěn)定性判據(jù)； 權值調整算法

中圖分類號： TN711?34 文獻標識碼： A 文章編號： 1004?373X（2017）03?0167?04

Construction of dynamics neural network model and its stability study

LI Liping1， HAN Bingxin2

（1. Shijiazhuang Tiedao University Sifang College， Shijiazhuang 051132， China； 2. Shijiazhuang Tiedao University， Shijiazhuang 050000， China）

Abstract： Since the static artificial neural network has the complicated network structure while reflecting on the system dynamic behavior， and can′t reflect on the system dynamic performance better， a new dynamics neural network model composed of the neuron with adjustable feedback coefficient and integrator is proposed. The new neural network can better reflect on the system dynamic performance than the previous dynamic network （recursion network） or the network improved on the basis of it， has simpler network structure and faster training process to make the system run better. The gradient descent method is used to study the weight adjustment algorithm of the network. The stability condition of the new dynamics neural network is discussed according to the Lyapunov stability criteria. The study of the network provides a better model structure and theory algorithm for reflecting on the system dynamics behavior， and a new research direction for the development of the neural network.

Keywords： dynamics neural network； gradient descent method； Lyapunov stability criteria； weight adjustment algorithm

鑒于傳統(tǒng)神經(jīng)網(wǎng)絡處理動態(tài)問題能力的不足，本文提出一種由帶有積分器和可調反饋系數(shù)的神經(jīng)元構成的動力學神經(jīng)網(wǎng)絡，并研究了其穩(wěn)定性。此網(wǎng)絡能更好地處理時變輸入或輸出通過時延環(huán)節(jié)反饋到輸入的問題，可以不需要像靜態(tài)網(wǎng)絡那樣通過外時延環(huán)節(jié)反饋來描述動態(tài)系統(tǒng)，可以大大地簡化網(wǎng)絡模型。新型網(wǎng)絡中的積分環(huán)節(jié)可以時刻反應輸出狀態(tài)以便于更好地實時檢測系統(tǒng)，而可調的反饋系數(shù)使網(wǎng)絡得到更好的訓練。

1 動力學神經(jīng)網(wǎng)絡模型的建立

1.1 動力學神經(jīng)元模型

當系統(tǒng)從一個穩(wěn)態(tài)向另一個穩(wěn)態(tài)轉變，尤其是在工況條件發(fā)生較大變化時，得到的穩(wěn)態(tài)模型將無法準確地反映輸入與輸出之間的關系，而動態(tài)模型可以完成這一任務。

傳統(tǒng)動態(tài)網(wǎng)絡如遞歸網(wǎng)絡[1～5] 是通過在靜態(tài)網(wǎng)絡中加入延時單元，把以前的狀態(tài)存儲在延時單元中。此時可以看作是把時間信號轉變?yōu)榭臻g表示后再送給靜態(tài)的前饋網(wǎng)絡，將動態(tài)時間建模問題變?yōu)橐粋€靜態(tài)空間建模問題，可是這樣會增加網(wǎng)絡結構的復雜程度。

本設計引入反饋使網(wǎng)絡成為一個動態(tài)系統(tǒng)，故提出了一種新的動力學神經(jīng)元模型，結構圖如圖1所示。它本身帶有積分器和反饋環(huán)，使得神經(jīng)網(wǎng)絡能夠用微分方程來描述，微分方程能夠描述真正意義上的動力學行為，從而使動態(tài)神經(jīng)元構成的動力學神經(jīng)網(wǎng)絡包含更多的信息，更接近于人腦的思維活動。

其中：

得到如下模型方程：

式中：[ui（t）]為[t]時刻神經(jīng)元[j]接收的來自神經(jīng)元[i]的信息輸入；[wji（t）]為神經(jīng)元的突觸連接系數(shù)或權重值；[fvt]為神經(jīng)元轉移函數(shù)；[xt]為輸出量。

1.2 動力學神經(jīng)網(wǎng)絡模型的構建

由動態(tài)神經(jīng)元構成的動力學神經(jīng)網(wǎng)絡如圖2所示。

2 動力學神經(jīng)網(wǎng)絡的理論算法推導研究

2.1 動力學神經(jīng)網(wǎng)絡的學習

確定動力學神經(jīng)網(wǎng)絡結構后，要通過輸入和輸出樣本集對網(wǎng)絡進行訓練，即對網(wǎng)絡的閾值和權值進行學習和修正，使網(wǎng)絡實現(xiàn)給定的輸入輸出映射關系。

動力學網(wǎng)絡的學習過程[6～8]為：

（1） 輸入一組學習樣本，通過設置網(wǎng)絡結構和前一次迭代的權值和閾值，從網(wǎng)絡的第一層向后計算神經(jīng)元的輸出。

（2） 對權值和閾值進行修改，從最后一層向前計算各權值和閾值對總誤差的影響梯度，據(jù)此對各權值和閾值進行修改。

（3） 步驟（1），（2）反復交替，直到網(wǎng)絡收斂為止。

一般反饋網(wǎng)絡的權值每次調整的規(guī)律是相同的，不是經(jīng)過反復學習獲得的，而是按一定規(guī)則進行設計，網(wǎng)絡權值一旦確定就不再改變，沒有權值調整的訓練過程。而動力學神經(jīng)網(wǎng)絡的權值在調整時反饋系數(shù)是不斷變化的，權值的調整規(guī)律也是不斷變化的。

2.2 動力學神經(jīng)網(wǎng)絡的理論算法推導

目前對非線性動力學神經(jīng)網(wǎng)絡的研究已經(jīng)開始，對于不同的神經(jīng)網(wǎng)絡結構模型采取的算法也是不同的[9～10]。

帶有積分環(huán)節(jié)和反饋環(huán)節(jié)的動力學神經(jīng)網(wǎng)絡同BP網(wǎng)絡基本相近，當帶有積分環(huán)節(jié)和反饋環(huán)節(jié)的動力學神經(jīng)網(wǎng)絡的關聯(lián)節(jié)點為0時，這時的動力學神經(jīng)網(wǎng)絡就是BP網(wǎng)絡，所以在考慮動力學神經(jīng)網(wǎng)絡的權值調整規(guī)則時可以借用BP算法。

動力學神經(jīng)網(wǎng)絡學習按照神經(jīng)元的[δ]學習規(guī)則即梯度下降法學習。學習由動態(tài)地改變網(wǎng)絡單元連接的權值來實現(xiàn)，當權值達到特定要求后就轉到網(wǎng)絡的狀態(tài)動力學過程。

將動力學神經(jīng)網(wǎng)絡的誤差定義為：

3 動力學神經(jīng)網(wǎng)絡穩(wěn)定性的研究

一個控制系統(tǒng)最重要的特性要求莫過于它的穩(wěn)定性。系統(tǒng)是否穩(wěn)定以及怎樣改善其穩(wěn)定性是系統(tǒng)分析與設計的首要問題。

神經(jīng)網(wǎng)絡控制系統(tǒng)也必須滿足穩(wěn)定性要求。早在1892年，俄國數(shù)學家李雅普諾夫 （Lyapunov）就提出了判定系統(tǒng)穩(wěn)定性的方法[11?12]。李雅普諾夫第二法是借助于一個李雅普諾夫函數(shù)或直接對系統(tǒng)平衡狀態(tài)的穩(wěn)定性做出判斷，是從能量的觀點進行穩(wěn)定性分析的。

應用此種方法判定動力學神經(jīng)網(wǎng)絡的穩(wěn)定性，最重要的是尋找一個李雅普諾夫函數(shù)[V（x），]然后根據(jù)[V（x）=dV（x）dt]的符號特征判別系統(tǒng)的穩(wěn)定性。對于動力學神經(jīng)網(wǎng)絡，若能找到一個正定的標量函數(shù)[V（x），][V（x）]是小于零的，則網(wǎng)絡是漸近穩(wěn)定的。

證明：首先定義一個李雅普諾夫（Lyapunov）函數(shù)[V（n）=12e2（n）=12E]

若要判定網(wǎng)絡是否穩(wěn)定，需要判斷[V]的變化是不是小于零的，即[ΔV（n）<0]是否成立。

現(xiàn)在來分析滿足什么條件時，[ΔV（n）<0]。因為：

學習算法的穩(wěn)定性取決于學習速率因子[η]。當[η]取較大值時，可以加快網(wǎng)絡的訓練速度，但是如果[η]的值太大，會導致網(wǎng)絡的穩(wěn)定性降低和訓練誤差增加。當[η]較小時，算法自適應過程較慢，算法記憶更多的過去數(shù)據(jù)，結果就更加精確。也就是說，算法的運行時間和學習速率因子成反比或者說學習速率因子的倒數(shù)就表示了算法的記憶容量。所以學習速率因子[η]應在滿足式（26）的條件下取較大的值，保證收斂速率，隨著迭代次數(shù)的增加，[η]的值也應該減小，以保證精度。

4 結 論

本文總結現(xiàn)存網(wǎng)絡的優(yōu)缺點，在此基礎上提出了一種新型的動力學神經(jīng)網(wǎng)絡模型，并進行了建模；利用梯度下降法研究了該網(wǎng)絡的權值調整算法，并通過李雅普諾夫穩(wěn)定性判據(jù)討論了這種新型動力學神經(jīng)網(wǎng)絡穩(wěn)定性的條件。此網(wǎng)絡結構更加簡單，訓練過程加快，從而使系統(tǒng)能夠更好的運行。本網(wǎng)絡研究為反映系統(tǒng)的動力學行為提供了更好的模型結構和理論算法，為神經(jīng)網(wǎng)絡的發(fā)展提供了新的研究方向。

參考文獻

[1] MAO Z H， MASSAQUOI S G. Dynamics of winner?take?all competition in recurrent neural networks with lateral inhibition [J]. IEEE transactions on neural networks， 2007， 18（1）： 55?69.

[2] HOU Z G， GUPTA M M， NIKIFORUK P N， et al. A recurrent neural network for hierarchical control of interconnected dynamic systems [J]. IEEE transactions on neural networks， 2007， 18（2）： 466?481.

[3] TASSA Y， EREZ T. Least squares solutions of the HJB equation with neural network value?function approximators [J]. IEEE transactions on neural networks， 2007， 18（4）： 1031?1041.

[4] KIERIER R J. Design and implementation of multi?pattern ge?nerators in analog VLSI [J]. IEEE transactions on neural networks， 2006， 17（4）： 1025?1038.

[5] LIU P Z， HAN Q L. Discrete?time analogs for a class of conti?nuous?time recurrent neural networks [J]. IEEE transactions on neural networks， 2007， 18（5）： 1343?1355.

[6] 胡伍生.神經(jīng)網(wǎng)絡理論及其工程應用[M].北京：測繪出版社，2006：30?38.

[7] 朱大奇.人工神經(jīng)網(wǎng)絡原理及應用[M].北京：科學出版社，2006：7?20.

[8] 胡德文.神經(jīng)網(wǎng)絡自適應控制[M].長沙：國防科技大學出版社，2006.

[9] 何燕玲.幾類神經(jīng)網(wǎng)絡模型的動力學行為研究[D].長沙：湖南大學，2006.

[10] YAN Keyu， ZHONG Shouming， YANG Jinxiang. Asymptotic properties of a dynamic neural system with asymmetric connection weights [J]. Journal of electronic science and technology of China， 2005， 3（1）： 78?86.

[11] 劉豹.現(xiàn)代控制理論[M].北京：機械工業(yè)出版社，2000：141?146.

[12] ZENG Zhigang， WANG Jun. Improved conditions for global exponential stability of recurrent neural networks with time?varying delays [J]. IEEE transactions on neural networks， 2006， 17（3）： 623?635.