肖紅，李盼池

東北石油大學(xué)計算機與信息技術(shù)學(xué)院，黑龍江大慶 163318

基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型算法及應(yīng)用

肖紅，李盼池

東北石油大學(xué)計算機與信息技術(shù)學(xué)院，黑龍江大慶 163318

為提高神經(jīng)網(wǎng)絡(luò)的逼近能力，提出一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型及算法。模型隱層為序列神經(jīng)元，輸出層為普通神經(jīng)元。輸入為多維離散序列，輸出為普通實值向量。先將各維離散輸入序列值按序逐點加權(quán)映射，再將這些映射結(jié)果加權(quán)聚合之后映射為隱層序列神經(jīng)元的輸出，最后計算網(wǎng)絡(luò)輸出。采用Levenberg-Marquardt算法設(shè)計了該模型學(xué)習(xí)算法。仿真結(jié)果表明，當(dāng)輸入節(jié)點和序列長度比較接近時，模型的逼近能力明顯優(yōu)于普通神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)；序列神經(jīng)元；序列神經(jīng)網(wǎng)絡(luò)；算法設(shè)計

1 引言

在實際生物神經(jīng)系統(tǒng)的信息處理過程中，記憶和輸出不僅依賴于每種輸入信息的空間聚合，而且也依賴于輸入在時間上的累積效果[1]。傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）較好地模擬了生物神經(jīng)元的空間聚合、激勵、閾值等特性，但缺乏對時間延遲以及時間累積效果的描述。反映在實際應(yīng)用中，ANN一次只能接收一個幾何點式的向量輸入，而不能直接接收體現(xiàn)時間累積效果的矩陣式輸入。對于一個矩陣式的序列樣本，ANN通常將其中每個列向量看作單個樣本分多次接收，這種方法由于不能充分利用序列的整體特征，因此逼近能力受到影響。

在很多實際問題中，系統(tǒng)的輸入通常為一個多維的離散序列，在數(shù)學(xué)上可用一個矩陣表示，例如股票的波動過程、化學(xué)反應(yīng)中溶液濃度的變化過程等。用神經(jīng)網(wǎng)絡(luò)方法研究離散序列輸入系統(tǒng)的建模和仿真逐漸成為智能計算領(lǐng)域的研究熱點。目前的處理方法主要集中在與其他方法的融合和對網(wǎng)絡(luò)模型的改進方面。例如，文獻(xiàn)[2-3]利用濾波器能夠消除數(shù)據(jù)噪聲的優(yōu)點，將前饋神經(jīng)網(wǎng)絡(luò)與非線性濾波方法相結(jié)合，分別采用擴展卡爾曼濾波和無跡卡爾曼濾波訓(xùn)練網(wǎng)絡(luò)，并比較了二者的性能。文獻(xiàn)[4]提出了改進的小波神經(jīng)網(wǎng)絡(luò)模型，通過在隱含層使用不同類型的小波函數(shù)作為激勵函數(shù)，較大程度地提高了網(wǎng)絡(luò)的預(yù)測能力。文獻(xiàn)[5]通過在標(biāo)準(zhǔn)小波神經(jīng)網(wǎng)絡(luò)中增加一個中間層，并使該層輸出作為輸出層權(quán)值，來提高普通小波神經(jīng)網(wǎng)的預(yù)測性能。針對自回歸整合滑動平均（autoregressive integrated moving average，ARIMA）技術(shù)只能處理線性問題，而神經(jīng)網(wǎng)絡(luò)具有較強的非線性逼近能力，文獻(xiàn)[6]提出了一種融合ARIMA的混合神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用效果表明混合模型明顯優(yōu)于原模型。文獻(xiàn)[7]采用非線性時變進化的粒子群優(yōu)化算法動態(tài)優(yōu)化徑向基函數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)，結(jié)果表明該方法使預(yù)測精度有明顯的提高。文獻(xiàn)[8]提出一種基于五層神經(jīng)網(wǎng)絡(luò)的遞歸預(yù)測方法，其中三個隱含層均采用雙曲正切函數(shù)作為激勵函數(shù)，為提高收斂速度，采用L-M （Levenberg-M arquardt）方法訓(xùn)練網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)訓(xùn)練之后，通過將輸出反饋到輸入端，可以實現(xiàn)遞歸式的連續(xù)預(yù)測。文獻(xiàn)[9-12]提出了過程神經(jīng)網(wǎng)絡(luò)（Process Neural Networks，PNN）模型，文獻(xiàn)[13-15]提出了基于正交基展開的PNN算法，目前PNN模型在連續(xù)逼近及預(yù)測方面已經(jīng)獲得一些成功應(yīng)用，但由于該模型各維輸入均為連續(xù)函數(shù)，因此不便于直接處理離散逼近及預(yù)測問題。

為了充分模擬生物神經(jīng)元的時間累積效果，以便提高傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的逼近能力，本文提出一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型（Sequence Input-based Neural Networks，SINN），該模型的每個輸入樣本為多維離散序列，可表述為一個矩陣?；贚-M算法設(shè)計了該模型的學(xué)習(xí)算法。以太陽黑子數(shù)年均值預(yù)測為例，仿真結(jié)果表明，當(dāng)輸入節(jié)點數(shù)和序列長度比較接近時，該模型的逼近和預(yù)測能力明顯優(yōu)于普通神經(jīng)網(wǎng)絡(luò)。

2 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

2.1 基于序列輸入的神經(jīng)元模型

對于n×q矩陣式樣本，普通神經(jīng)元將每一列視為單個樣本，而將整個矩陣視為q個n維樣本。為實現(xiàn)對矩陣式樣本的整體映射，本文提出序列神經(jīng)元模型，如圖1所示。

圖1 序列神經(jīng)元實際模型

圖中{xi(tr)}=[xi(t1)，xi(t2)，…，xi(tq)]，{wi(tr)}=[wi(t1)，wi(t2)，…，wi(tq)]，i=1，2，…，n。f為sigmoid函數(shù)。該模型可簡化為圖2。

根據(jù)圖1，序列神經(jīng)元模型輸入輸出關(guān)系可按下式計算。

圖2 序列神經(jīng)元簡化模型

2.2 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

本文提出的序列輸入神經(jīng)網(wǎng)絡(luò)模型為三層結(jié)構(gòu)，隱層為序列神經(jīng)元，輸出層為普通神經(jīng)元，如圖3所示，圖中g(shù)為sigmoid函數(shù)。

圖3 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

3 基于序列輸入的神經(jīng)網(wǎng)絡(luò)算法

3.1 算法原理

令輸入層n個節(jié)點，隱層p個節(jié)點，輸出層m個節(jié)點。給定L個學(xué)習(xí)樣本，其中第l(l=1，2，…，L)個樣本可表示為：

對應(yīng)輸出樣本為dl1，dl2，…，dlm。

根據(jù)序列神經(jīng)元的輸出式（2），第l個樣本的隱層輸出計算式為：

輸出層輸出計算式為：

令elk=dlk-ylk，根據(jù)梯度下降法，網(wǎng)絡(luò)權(quán)值調(diào)整的梯度計算式為：

令權(quán)值向量為：

誤差向量為：

構(gòu)成的雅可比矩陣為：

根據(jù)L-M算法，網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則為：

其中t為迭代步數(shù)，I為單位矩陣，μt為一小正數(shù)，以使JT(xt)J(xt)+μtI可逆。

為便于描述算法終止條件，稱下式定義的Emax為網(wǎng)絡(luò)的逼近誤差。

其中m為輸出維數(shù)，L為樣本總數(shù)。

若逼近誤差小于等于預(yù)先設(shè)定的限定誤差，或迭代步數(shù)帶到預(yù)先設(shè)定的最大步數(shù)，則算法終止。

3.2 實施方案

步驟1模型初始化。包括：序列長度、各層節(jié)點數(shù)，各層權(quán)值的迭代初值，限定誤差E，限定步數(shù)G。置當(dāng)前代數(shù)g=1。

步驟2按式（5）計算各層輸出，按式（15）調(diào)整網(wǎng)絡(luò)權(quán)值。

步驟3按式（16）計算逼近誤差Emax，若Emax＞E或g＜G，則g=g+1轉(zhuǎn)步驟2，否則轉(zhuǎn)步驟4。

步驟4保存各層權(quán)值，停機。

4 仿真對比

4.1 M ackey-G lass時間序列逼近

本節(jié)以M ackey-G lass數(shù)據(jù)逼近作為仿真對象，并與普通三層ANN對比，驗證SINN的優(yōu)越性。M ackey-Glass序列樣本可由下式產(chǎn)生。

其中t是整數(shù)，x(0)∈(0，1)，a=0.2，b=0.1，τ=17。

為使對比公平，兩種算法采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，且均采用L-M算法調(diào)整權(quán)值。由上式生成序列，仿真方案為用前面的m個數(shù)據(jù)，預(yù)測緊鄰其后的1個（即第m+1個）數(shù)據(jù)。因此兩種模型的輸出層均只有一個節(jié)點。為使對比充分，兩種模型隱層均取5，10，…，20個節(jié)點。樣本歸一化后的限定誤差取0.05，限定步數(shù)取100。兩種模型的初始權(quán)值均在(-1，1)中隨機選取，L-M算法的控制參數(shù)μt=0.05。ANN隱層和輸出層采用Sigmoid函數(shù)。

根據(jù)仿真方案，取預(yù)測長度m=24。令SINN輸入節(jié)點為n，序列長度為q，顯然，q反映在時間上的積累。為考察SINN的性能，即考察當(dāng)n和q滿足什么關(guān)系時，SINN的性能最佳，將SINN輸入節(jié)點n和序列長度q分別取為表1所示的8種情況，顯然ANN的輸入節(jié)點只有m=24一種情形。

表1 兩種模型的輸入節(jié)點和序列長度設(shè)置

為便于對比，首先定義收斂的概念。算法終止后，若逼近誤差小于限定誤差，稱算法收斂。

對于輸入節(jié)點和隱層節(jié)點的每種組合，分別用兩種模型仿真10次，并記錄每種模型的平均逼近誤差、平均迭代步數(shù)、平均收斂次數(shù)作為評價指標(biāo)。仿真結(jié)果表明，SINN3_8、SIQNN4_6、SIQNN6_4、SIQNN8_3這四種SINN的逼近能力明顯優(yōu)于ANN。兩種模型的訓(xùn)練結(jié)果對比如圖4～6所示。

圖4 平均逼近誤差對比

圖5 平均迭代步數(shù)對比

圖6 收斂次數(shù)對比

4.2 太陽黑子數(shù)年均值預(yù)測

太陽黑子是太陽活動中最基本、最明顯的活動現(xiàn)象。太陽黑子產(chǎn)生的帶電離子，可以破壞地球高空的電離層，使大氣發(fā)生異常，還會干擾地球磁場，從而使電訊中斷，因此研究太陽黑子的變換規(guī)律有著重要的現(xiàn)實意義。本節(jié)利用觀測數(shù)據(jù)，采用SINN建立太陽黑子的預(yù)測模型，并通過與ANN和PNN對比，驗證SINN的優(yōu)越性。

4.2.1 構(gòu)造樣本數(shù)據(jù)

實驗采用太陽黑子的年度平均值序列作為仿真對象，從1749年至2007年，共計259個數(shù)據(jù)。該數(shù)據(jù)呈現(xiàn)高度非線性，致使常規(guī)預(yù)測模型很難湊效。其分布特征如圖7所示。

圖7 1749—2007年太陽黑子數(shù)據(jù)

樣本數(shù)據(jù)的構(gòu)造方法是：用連續(xù)24年的數(shù)據(jù)預(yù)測其后1年的太陽黑子數(shù)。例如用1749—1773年數(shù)據(jù)預(yù)測1774年的太陽黑子數(shù)，以此類推。用1749—1948年共200年的數(shù)據(jù)構(gòu)造訓(xùn)練樣本集，完成模型訓(xùn)練。用余下的59個樣本作為測試集，以檢驗?zāi)Ｐ偷念A(yù)測能力。

4.2.2 模型參數(shù)設(shè)置

本仿真將SINN與采用L-M算法的ANN和PNN對比。隱層均分別取10，11，…，25個節(jié)點。根據(jù)上節(jié)結(jié)果，僅考察SINN3_8、SINN4_6、SINN6_4、SINN8_3四種模型。限定誤差取0.05，限定步數(shù)取1 000。PNN輸入輸出均為一個節(jié)點，正交基采用24個Fourier基函數(shù)。

4.2.3 訓(xùn)練結(jié)果對比

對于隱層節(jié)點的每種取值，分別用ANN、PNN和四種SINN訓(xùn)練10次，并統(tǒng)計平均逼近誤差、平均迭代步數(shù)、收斂次數(shù)，作為評價指標(biāo)。訓(xùn)練結(jié)果對比如圖8～10所示。

圖8 平均逼近誤差對比

圖9 平均迭代步數(shù)對比

圖10 收斂次數(shù)對比

4.2.4 預(yù)測結(jié)果對比

下面考察SINN和PNN、ANN的預(yù)測性能對比。以隱層20個節(jié)點為例，將ANN、PNN和4種SINN分別用訓(xùn)練集訓(xùn)練10次，每次訓(xùn)練之后，不論是否收斂，立即用測試集預(yù)測，然后統(tǒng)計最大誤差Emax、誤差均值Eavg、誤差方差Evar這三項指標(biāo)的10次預(yù)測平均值，對比結(jié)果如表2所示，以SINN 4_6為例，對比曲線如圖11所示。

表2 預(yù)測指標(biāo)對比

圖11 SINN4_6和PNN、ANN的預(yù)測結(jié)果對比

4.3 仿真結(jié)果分析

綜合以上兩個仿真結(jié)果可知，當(dāng)輸入節(jié)點n和序列長q比較接近時，SINN的逼近及預(yù)測能力明顯好于PNN和ANN。對此可作如下分析。SINN直接接收離散序列，通過兩次映射將輸入序列循環(huán)地映射為隱層序列神經(jīng)元的輸出，由于序列神經(jīng)元采用了更多可調(diào)的權(quán)值，所以SINN有更強的逼近能力。從SINN算法可以看出，輸入節(jié)點可以視為模式記憶的寬度，而序列長度可以視為模式記憶的深度，當(dāng)寬度和深度適當(dāng)匹配時，SINN呈現(xiàn)出明顯優(yōu)于PNN和ANN的性能。對于PNN由于只能以深度方式獲取樣本信息，加之正交基展開帶來的截斷誤差，必然導(dǎo)致逼近能力下降。對于ANN，由于只能接收幾何點式的向量輸入，即只能以寬度方式而不能以深度方式獲取樣本信息，因此在ANN的信息處理過程中，不可避免地存在樣本信息的丟失，從而使逼近能力受到影響。

5 結(jié)論

本文提出了一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型及算法。仿真結(jié)果揭示出，該模型可以使SINN從寬度和深度兩方面高效地獲取樣本信息，當(dāng)輸入節(jié)點和序列長度比較接近時可明顯提高其逼近和泛化能力。

[1]Tsoi A C.Locally recurrent globally feed forward networks：a critical review of architectures[J].IEEE Transactions on Neural Networks，1994，7（5）：229-239.

[2]Wu X D，Wang Y N.Extended and Unscented Kalman filtering based feed-forward neural networks for time series prediction[J].Applied Mathematical Modelling，2012，36：1123-1131.

[3]Sven F C，Nikolaos K.Feature selection for time series prediction-A combined filter and wrapper approach for neural networks[J].Neurocomputing，2010，73：1923-1936.

[4]Zarita Z，Pauline O.Modified wavelet neural network in function approximation and its application in prediction of time-series pollution data[J].Applied Soft Computing，2011，11：4866-4874.

[5]Garba I，Peng H，Wu J.Nonlinear time series modeling and prediction using functional w eights wavelet neural network-based state-dependent AR model[J].Neurocomputing，2012，86：59-74.

[6]Durdu O F.A hybrid neural network and ARIMA model for water quality time series prediction[J].Engineering Applications of Artificial Intelligence，2010，23：586-594.

[7]Lee C M，Ko C N.Time series prediction using RBF neural networks with a nonlinear time-varying evolution PSO algorithm[J].Neurocomputing，2009，73：449-460.

[8]Hossein M.Long-term prediction of chaotic time series with multi-step prediction horizons by a neural network with Levenberg-Marquardt learning algorithm[J].Chaos，Solitons and Fractals，2009，41：1975-1979.

[9]何新貴，梁久禎，許少華.過程神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練及其應(yīng)用[J].中國工程科學(xué)，2001，3（4）：31-35.

[10]He X G，Liang J Z.Procedure Neural Networks[C]//Proceedings of Conference on Intelligent Information Proceeding.Beijing：Publishing House of Electronic Industry，2000：143-146.

[11]何新貴，梁久禎.過程神經(jīng)元網(wǎng)絡(luò)的若干理論問題[J].中國工程科學(xué)，2000，2（12）：40-44.

[12]Ye T，Zhu X F.The bridge relating process neural networks and traditional neural networks[J].Neurocomputing，2011，74：906-915.

[13]許少華，何新貴，李盼池.自組織過程神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J].計算機研究與發(fā)展，2003，40（11）：1612-1615.

[14]許少華，何新貴.徑向基過程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用研究[J].北京航空航天大學(xué)學(xué)報，2004，30（1）：14-17.

[15]許少華，何新貴.一種級聯(lián)過程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用研究[J].模式識別與人工智能，2004，17（2）：201-211.

XIAO Hong,LI Panchi

School of Computer&Information Technology,Northeast Petroleum University,Daqing,Heilongjiang 163318,China

To enhance the approximation capability of neural networks,a sequence input-based neural networks model, whose input of each dimension is a discrete sequence,is proposed.This model concludes three layers,in which the hidden layer consists of sequence neurons,and the output layer consists of common neurons.The inputs are multi-dimensional discrete sequences,and the outputs are common real value vectors.The discrete values in input sequence are in turn weighted and mapped,and then these mapping results are weighted and mapped for the output of sequence neurons in hidden layer,the networks outputs are obtained.The learning algorithm is designed by employing the Levenberg-Marquardt algorithm.The simulation results show that,when the number of the input nodes is relatively close to the length of the sequence, the proposed model is obviously superior to the common artificial neural networks.

neural networks;sequence neuron;sequence neural networks;algorithm design

A

TP18

10.3778/j.issn.1002-8331.1209-0260

XIAO Hong,LI Panchi.Algorithm and application of sequence input-based neural network model.Computer Engineering and Applications,2014,50（16）：62-66.

國家自然科學(xué)基金（No.61170132）；黑龍江省教育廳基金（No.11551015，No.11551017，No.12511009，No.12511012）。

肖紅（1979—），女，講師，研究領(lǐng)域為神經(jīng)網(wǎng)絡(luò)和優(yōu)化算法；李盼池（1969—），男，博士后，教授，研究領(lǐng)域為量子神經(jīng)網(wǎng)絡(luò)和量子優(yōu)化算法。E-mail：lipanchi@vip.sina.com

2012-09-23

2012-12-06

1002-8331（2014）16-0062-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2012-12-20,http://www.cnki.net/kcms/detail/11.2127.TP.20121220.1652.002.htm l