李 彬，李貽斌

(1. 山東大學(xué)控制科學(xué)與工程學(xué)院，濟南 250061；2. 山東輕工業(yè)學(xué)院數(shù)理學(xué)院，濟南 250353)

混沌系統(tǒng)是一個確定的非線性動態(tài)系統(tǒng)，由這種系統(tǒng)產(chǎn)生的混沌信號對初始條件比較敏感，難以長期預(yù)測．混沌理論和混沌信號的處理是現(xiàn)階段的一個熱點研究問題，混沌時間序列(混沌信號)是對一個混沌系統(tǒng)采樣得到的單變量時間序列．為了更好地研究混沌系統(tǒng)，如何對這種高度復(fù)雜，強非線性的混沌信號進行建模和預(yù)測，是當(dāng)前的一個難點和熱點問題．

神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)驅(qū)動的結(jié)構(gòu)和算法，具有逼近任意非線性函數(shù)的能力，可以映射出數(shù)據(jù)之間的非線性關(guān)系．從而使得神經(jīng)網(wǎng)絡(luò)成為混沌時間序列預(yù)測的一個強有力的工具．文獻[1-3]中，分別探討了徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)、BP(back propagation)神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)等對混沌時間序列問題的預(yù)測．現(xiàn)存的這些方法存在很多缺點，一般算法比較復(fù)雜，均為批處理學(xué)習(xí)算法，不能進行實時的在線學(xué)習(xí)，很多參數(shù)需要人工調(diào)整，預(yù)測精度不高，收斂速度慢或容易陷入局部極小點，算法運行的時間較長等．

2006 年，Huang 等[4]提出了一類性能優(yōu)良的單隱層前向神經(jīng)網(wǎng)絡(luò)(single-hidden layer feed forward neural networks，SLFNs)學(xué)習(xí)算法，稱為極端學(xué)習(xí)機(extreme learning machine，ELM)學(xué)習(xí)算法，與一般的BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)相比，性能較好．該算法可以隨機地選擇網(wǎng)絡(luò)中隱層神經(jīng)元個數(shù)和類型，構(gòu)造不同的學(xué)習(xí)算法，且在隨機選擇輸入層權(quán)值和隱層神經(jīng)元偏差(閾值)前提下，可以解析獲得隱層輸出權(quán)值，該方法具有許多優(yōu)良的特性，如學(xué)習(xí)速度快，泛化能力好等．ELM 學(xué)習(xí)算法和理論[4-6]經(jīng)過許多學(xué)者的努力，已在函數(shù)逼近、模式分類、系統(tǒng)辨識等方面得到廣泛應(yīng)用．本文將ELM 學(xué)習(xí)算法用于混沌時間序列預(yù)測，擴展了這種算法的應(yīng)用范圍．仿真結(jié)果表明，ELM 學(xué)習(xí)算法所處理的混沌時間序列，預(yù)測精度較高，學(xué)習(xí)速度較快．并且針對同一問題，在網(wǎng)絡(luò)復(fù)雜度相同的前提下，選擇不同的激活函數(shù)，ELM 學(xué)習(xí)算法性能差異較大，即ELM 學(xué)習(xí)算法激活函數(shù)的選擇具有問題依賴性．

1 ELM學(xué)習(xí)算法簡介

式中：G(w i,bi,x)為與輸入x對應(yīng)的第i個隱層神經(jīng)元的輸出；βi=[βi1,βi2,···,βim]T為第i個隱層神經(jīng)元與輸出神經(jīng)元之間的連接權(quán)向量．

當(dāng)激活函數(shù)g(x)為加性神經(jīng)元時，第i 個隱層神經(jīng)元的輸出為

當(dāng)激活函數(shù)g(x)為RBF 神經(jīng)元時，其相應(yīng)的輸出為

式中：wi和bi分別為第i 個徑向基函數(shù)的中心和影響因子(寬度)；R+是一個正實數(shù)集合．

對于 N 個任意輸入樣本(xj,tj)，其中，給定個隱層神經(jīng)元和激活函數(shù)G(wi,bi,x)，則存在βi，wi和bi，使得SLFNs 能夠以零誤差逼近這N 個樣本點，即

式(4)可以寫成矩陣形式為

式中：H是該神經(jīng)網(wǎng)絡(luò)的隱層輸出矩陣，H的第i列是關(guān)于輸入x1,x2,…,xN的第i 個隱層神經(jīng)元的輸出．

對于單隱層前向神經(jīng)網(wǎng)絡(luò)，ELM 學(xué)習(xí)算法對于任意無限可微的激活函數(shù)都是可用的[4-5]，從而拓展了前向神經(jīng)網(wǎng)絡(luò)激活函數(shù)的選擇空間．與傳統(tǒng)的函數(shù)逼近理論不同，ELM 學(xué)習(xí)算法的輸入層權(quán)值w i和隱層的偏差bi可以隨機選擇[4]．從而，對于前向神經(jīng)網(wǎng)絡(luò)來說，在網(wǎng)絡(luò)的訓(xùn)練過程中，無需對輸入層權(quán)值和隱層偏差進行調(diào)整，一旦這些參數(shù)隨機確定以后，隱層輸出矩陣H在網(wǎng)絡(luò)開始訓(xùn)練時，保持不變．從而，SLFNs 的訓(xùn)練過程，等價于尋找線性系統(tǒng)H β=T的最小二乘解，如果隱層神經(jīng)元的個數(shù)和網(wǎng)絡(luò)的輸入樣本個數(shù)N 相同，即=N，當(dāng)輸入層權(quán)值和隱層偏差隨機確定以后，矩陣H是可逆方陣，則該SLFNs 能夠以零誤差逼近訓(xùn)練樣本．但是，在大多數(shù)情況下?N，矩陣H不是方陣，從而不存在使得=Hβ=T．但是可以求這個線性系統(tǒng)的最小范數(shù)最小二乘解：=H+T，其中H +為矩陣H的Moore-Penrose 廣義逆．

步驟1隨機設(shè)定輸入層權(quán)值wi和偏差bi，i=1,…，,．

步驟 2計算隱層輸出矩陣H．

步驟3計算輸出層權(quán)值β：=H +T，其中T=

2 計算機仿真與結(jié)果分析

本文用Box and Jenkins gas furnace data[7]和Mackey-Glass[8]混沌時間序列預(yù)測問題來進行計算機仿真．ELM 學(xué)習(xí)算法的隱層神經(jīng)元個數(shù)和激活函數(shù)類型，根據(jù)所處理的問題進行選取，以期得到較好的逼近誤差和泛化能力．本文所有結(jié)果都是在Matlab 7.0 環(huán)境下，CPU 為1.7,GHz 的奔騰Ⅳ機器上運行得到的，為了使算法更有說服力，表中的結(jié)果為10 次仿真結(jié)果的平均值，算法性能用均方根誤差衡量．

在Box and Jenkins gas furnace data 基準(zhǔn)問題中，原始數(shù)據(jù)點個數(shù)為296 個，其中u(t)為輸入氣體流速，y (t )為輸出CO2濃度，用{y(t? 1),y (t? 2),y(t?3),y(t? 4),u(t? 1)，u(t? 2)，u(t? 3)，u(t? 4)，u(t?5),u(t? 6)}時刻的值來預(yù)測 y (t )時刻的值．這里取的有效數(shù)據(jù)點個數(shù)為290 個，前200 個為訓(xùn)練樣本，后90個作為測試樣本．

Mackey-Glass 微分延遲方程被認為是一個混沌時間序列基準(zhǔn)問題．它由下面的微分延遲方程產(chǎn)生，

式中：a= 0.2；b= 0.1；τ= 17．用微分延遲方程生成的Mackey-Glass 時間序列個數(shù)為4,500，其中的前4,000 數(shù)據(jù)用來訓(xùn)練網(wǎng)絡(luò)，后500 個作為網(wǎng)絡(luò)的測試數(shù)據(jù)，來測試網(wǎng)絡(luò)的泛化能力．

在同一激活函數(shù)下，神經(jīng)網(wǎng)絡(luò)中隱層激活函數(shù)個數(shù)越多，逼近能力越好，但是有可能出現(xiàn)過擬合現(xiàn)象，使得神經(jīng)網(wǎng)絡(luò)的泛化能力降低．因此，為了獲得較好的網(wǎng)絡(luò)性能，必須適當(dāng)?shù)剡x擇合適的隱層神經(jīng)元個數(shù)．為了使得ELM 學(xué)習(xí)算法有比較好的性能，在Box and Jenkins gas furnace data 和Mackey-Glass 混沌時間序列預(yù)測中，隱層神經(jīng)元個數(shù)分別為15和200．

如表1 所示，對于Box and Jenkins gas furnace data 基準(zhǔn)問題，在相同的網(wǎng)絡(luò)復(fù)雜度(隱層神經(jīng)元個數(shù)相同)前提下，線性(linear)激活函數(shù)性能表現(xiàn)良好，和其他激活函數(shù)相比，其訓(xùn)練誤差和測試誤差都較小，2 種誤差的標(biāo)準(zhǔn)偏差為0，網(wǎng)絡(luò)的穩(wěn)定性較好．而對于Mackey-Glass 混沌時間序列問題來說，當(dāng)激活函數(shù)為sigmoid時，網(wǎng)絡(luò)的性能表現(xiàn)較好．仿真結(jié)果表明對于相同的網(wǎng)絡(luò)復(fù)雜度，選擇不同的激活函數(shù)，同樣的問題性能表現(xiàn)有很大的不同，即ELM 學(xué)習(xí)算法中激活函數(shù)的選擇具有問題依賴性．因此，在同樣網(wǎng)絡(luò)復(fù)雜度前提下，根據(jù)實際問題選擇不同的激活函數(shù)對設(shè)計高性能的ELM 前向神經(jīng)網(wǎng)絡(luò)是重要的．

表1 不同激活函數(shù)條件下ELM學(xué)習(xí)算法關(guān)于混沌時間序列預(yù)測問題的性能比較Tab.1 Performance comparison of ELM learning algorithm with different activation functions for chaotic time series prediction problems

圖1和圖2 分別為2個混沌時間序列問題的預(yù)測曲線，從圖上可以看出，在適當(dāng)?shù)倪x擇激活函數(shù)類型和隱層神經(jīng)元個數(shù)前提下，ELM 學(xué)習(xí)算法比較適合處理復(fù)雜的混沌時間序列預(yù)測問題，能嚴(yán)格地跟蹤擬合這些高度復(fù)雜、強非線性曲線．

圖1 ELM 學(xué)習(xí)算法關(guān)于Box and Jenkins 煤氣爐混沌時間序列預(yù)測問題的預(yù)測曲線(線性激活函數(shù))Fig.1 Prediction curve of ELM learning algorithm for Fig.1 Box and Jenkins gas furnace chaotic time series Fig.1 prediction problems (linear activation function)

圖2 ELM學(xué)習(xí)算法關(guān)于Mackey-Glass混沌時間序列預(yù)測問題的預(yù)測曲線(sigmoid 激活函數(shù))Fig.2 Prediction curve of ELM learning algorithm for Fig.2 Mackey-Glass chaotic time series prediction pro-Fig.2 blems(sigmoid activation function)

為了更好地體現(xiàn)ELM 學(xué)習(xí)算法的優(yōu)良性能，本文比較了ELM 和資源分配網(wǎng)絡(luò)(resource allocating network，RAN)[9]徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．除期望輸出誤差取值為0.001 之外，RAN 學(xué)習(xí)算法的其他參數(shù)選取和文獻[8]一樣．從表2 可以看出，在相同的網(wǎng)絡(luò)復(fù)雜度前提下，和RAN 學(xué)習(xí)算法相比，ELM 學(xué)習(xí)算法的訓(xùn)練時間、訓(xùn)練誤差和測試誤差都較小，更適合于混沌時間序列問題的預(yù)測．

表2 ELM和RAN學(xué)習(xí)算法在混沌時間序列預(yù)測問題的性能比較Tab.2 Performance comparison of ELM and RAN learning algorithms for chaotic time series prediction problems

3 結(jié) 語

本文將ELM 學(xué)習(xí)算法應(yīng)用于混沌時間序列預(yù)測，與其他方法不同，ELM 學(xué)習(xí)方法在隨機選擇輸入層權(quán)值和隱層偏差的前提下，可以解析獲得隱層輸出權(quán)值，算法簡單，執(zhí)行速度很快．與RAN 學(xué)習(xí)算法相比，仿真表明對于混沌時間序列預(yù)測問題，ELM 學(xué)習(xí)算法具有較好的性能．同時也說明了對于同樣的問題，ELM 學(xué)習(xí)算法中，選擇不同激活函數(shù)，性能表現(xiàn)差異明顯，即ELM 激活函數(shù)的選擇具有問題依賴性．針對不同問題，激活函數(shù)的選擇一般有2 種方式：一種是把從所處理問題中提取的先驗知識耦合進神經(jīng)網(wǎng)絡(luò)算法當(dāng)中[10]；另一種是選擇激活函數(shù)自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．因此，根據(jù)實際問題選擇不同的神經(jīng)網(wǎng)絡(luò)激活函數(shù)對設(shè)計高性能的極端學(xué)習(xí)機前向神經(jīng)網(wǎng)絡(luò)是重要的，也為將來設(shè)計激活函數(shù)自適應(yīng)可調(diào)的ELM學(xué)習(xí)算法提供了一定的理論基礎(chǔ)．

［1］李冬梅，王正歐. 基于RBF 神經(jīng)網(wǎng)絡(luò)的混沌時間序列預(yù)測[J]. 模式識別與人工智能，2001，14(2)：231-234.Li Dongmei，Wang Zheng’ou. Prediction of chaotic time series based on RBF neural networks[J].Pattern Recognition and Artificial Intelligence，2001，14(2)：231-234(in Chinese).

［2］郁俊莉. 基于混沌時間序列的非線性動態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)建模與預(yù)測[J]. 武漢大學(xué)學(xué)報：理學(xué)版，2005，51(3)：286-290.Yu Junli. Modeling and forecasting of the nonlinear dynamic system neural network based on the chaotic time series[J].Journal of Wuhan University：Natural Science Edition，2005，51(3)：286-290(in Chinese).

［3］Maguire L P，Roche B，McGinnity T M，et al. Predicting a chaotic time series using a fuzzy neural network[J].Information Sciences，1998，112(1/2/3/4)：125-136.

［4］Huang G B，Zhu Q Y，Siew C K. Extreme learning machine ： Theory and applications[J].Neurocomputing，2006，70(1/2/3)：489-501.

［5］Huang G B，Siew C K. Extreme learning machine with randomly assigned RBF kernels[J].International Journal of Information Technology，2005，11(1)：16-24.

［6］Li M B，Er M J. Nonlinear system identification using extreme learning machine[C]//Ninth International Conference on Control，Automation，Robotics and Visio.Singapore，2006：1-4.

［7］Rojas I，Gonzalez J，Canas A，et al. Short-term prediction of chaotic time series by using RBF network with regression weights[J].International Journal of Neural Systems，2000，10(5)：353-364.

［8］李 彬，賴曉平. 改進的GGAP-RBF 算法及其在函數(shù)逼近中的應(yīng)用[J]. 模式識別與人工智能，2007，20(2)：230-235.Li Bin，Lai Xiaoping. An improved GGAP-RBF algorithm and its application to function approximation[J].Pattern Recognition and Artificial Intelligence，2007，20(2)：230-235(in Chinese).

［9］Platt J. A resource-allocating network for function interpolation neural computation[J].Neural Computation，1991，3(2)：213-225.

［10］韓 飛. 基于先驗信息編碼的約束學(xué)習(xí)算法研究[D].合肥：中國科學(xué)技術(shù)大學(xué)自動化系，2006.Han Fei. A Study of Constrained Learning Algorithms Encoding the a Priori Information of Problem[D].Hefei：Department of Automation，University of Science and Technology of China，2006(in Chinese).