雷 苗 彭 宇彭喜元

(哈爾濱工業(yè)大學(xué)電氣工程及自動(dòng)化學(xué)院 哈爾濱 150080)

1 引言

電力、水利，自動(dòng)化等實(shí)際工程領(lǐng)域里，例如風(fēng)電功率時(shí)間序列[1]，河流徑流量[2]，以及間歇式反應(yīng)釜釜溫[3]等時(shí)間序列都具有混沌特性。混沌時(shí)間序列預(yù)測(cè)研究包括兩個(gè)方面：一是改進(jìn)預(yù)測(cè)模型；另一個(gè)是改進(jìn)前端的特征提取算法。在模型改進(jìn)方面，文獻(xiàn)[4]采用Jaeger提出的回聲狀態(tài)機(jī)制，改進(jìn)了貝葉斯框架。文獻(xiàn)[5]在遞歸最小二乘支持向量機(jī)算法上，引入了局部模糊推理機(jī)制。文獻(xiàn)[6]采用合作微分進(jìn)化算法(cooperative coevolution)，改進(jìn)了Elman遞歸神經(jīng)網(wǎng)絡(luò)。然而模型改進(jìn)后，一般都訓(xùn)練繁瑣，算法復(fù)雜度增加。在特征提取改進(jìn)方面，文獻(xiàn)[7]采用誤差補(bǔ)償?shù)姆绞?，把殘差視為一種廣義的特征。文獻(xiàn)[1]采用集成經(jīng)驗(yàn)?zāi)B(tài)分解算法和近似熵分析，將風(fēng)電功率時(shí)間序列提取出一系列復(fù)雜度差異明顯的風(fēng)電子特征。文獻(xiàn)[8]采用ARIMA模型，從混沌時(shí)間序列中提取出近似線性特征。然而，文獻(xiàn)[9]也指出文獻(xiàn)[8]的這類提取算法里，有兩個(gè)假設(shè)前提存在問(wèn)題：一是線性部分和非線性部分被默認(rèn)為是加和關(guān)系未必合理；二是線性模型未必能將線性部分從原始序列中提取徹底。

本文針對(duì)文獻(xiàn)[9]指出的線性與非線性特征算法存在的問(wèn)題，利用平移不變小波算法，把線性部分與非線性部分的加和關(guān)系推廣到函數(shù)關(guān)系，并在解析意義下，給出一種新穎的虛擬特征表達(dá)。

本文剩余部分結(jié)構(gòu)安排如下：第2節(jié)介紹混沌序列預(yù)測(cè)基礎(chǔ)知識(shí)；第3節(jié)介紹面向混沌時(shí)間序列預(yù)測(cè)的虛擬特征提取算法；第4節(jié)介紹仿真和實(shí)驗(yàn)；第5節(jié)總結(jié)全文。

2 面向混沌預(yù)測(cè)的特征提取相關(guān)知識(shí)

2.1 面向混沌預(yù)測(cè)的虛擬特征提取算法框架

下面先給出面向混沌預(yù)測(cè)的虛擬特征提取算法框架，如圖1所示。

圖1 面向混沌預(yù)測(cè)的虛擬特征提取框架

圖1所示的框架分為3個(gè)部分。第1部分是混沌相空間重構(gòu)理論。虛線框中的第2部分是本文提出的虛擬特征提取算法。第3部分，采用Elman預(yù)測(cè)實(shí)驗(yàn)來(lái)評(píng)估本文特征提取算法的有效性。

2.2 混沌相空間重構(gòu)與直接多步預(yù)測(cè)

對(duì)于混沌時(shí)間序列Y，根據(jù)文獻(xiàn)[10]的推導(dǎo)可得，存在一個(gè)映射滿足：

后文實(shí)驗(yàn)部分將采用Elman網(wǎng)絡(luò)直接多步預(yù)測(cè)的結(jié)果，驗(yàn)證本文提出的虛擬特征提取算法。

2.3 Elman遞歸神經(jīng)網(wǎng)絡(luò)

Elman網(wǎng)絡(luò)是一種典型的遞歸神經(jīng)網(wǎng)絡(luò)，由于較為常見(jiàn)和自身良好的動(dòng)態(tài)特性，已被廣泛用于混沌時(shí)間序列的預(yù)測(cè)。具體Elman網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練過(guò)程等詳見(jiàn)文獻(xiàn)[11]。

3 面向混沌序列預(yù)測(cè)的虛擬特征提取算法

3.1 算法基本思想

文獻(xiàn)[8]假設(shè)時(shí)間序列Y由線性特征L和非線性特征N兩部分以加和關(guān)系構(gòu)成，即

精確的線性特征Lt無(wú)法獲得，文獻(xiàn)[8]等采用ARIMA模型的預(yù)測(cè)值來(lái)近似線性特征，從而et即為ARIMA的剩余部分。文獻(xiàn)[8]又采用神經(jīng)網(wǎng)絡(luò)模型對(duì)et進(jìn)行預(yù)測(cè)，理想的映射關(guān)系如下：

但文獻(xiàn)[9]指出，此線性與非線性特征提取算法里，有兩個(gè)假設(shè)前提存在問(wèn)題：一是線性部分和非線性部分被默認(rèn)為是加和關(guān)系未必合理；二是線性模型未必能將線性部分從原始序列中提取徹底。

針對(duì)以上兩個(gè)問(wèn)題，本文首先將線性、非線性特征與原時(shí)間序列Y的關(guān)系推廣到函數(shù)關(guān)系，即

而后，對(duì)于線性和非線性特征，本文并不試圖在預(yù)測(cè)過(guò)程中給出Lt和Nt顯式的數(shù)值結(jié)果；而只保留它們與預(yù)測(cè)輸出之間的映射關(guān)系，僅僅是把Lt和Nt視為用于預(yù)測(cè)時(shí)間序列Y的過(guò)渡特征。本文把這樣的Lt和Nt定義為虛擬過(guò)渡特征，后文簡(jiǎn)記為虛擬特征(virtual feature)。事實(shí)上，虛擬特征本質(zhì)就是可移植于神經(jīng)網(wǎng)絡(luò)非線性輸入端的過(guò)渡特征向量。

3.2 虛擬特征提取兩子部分

3.2.1 平移不變小波變換 小波分析以其良好的時(shí)頻局部化特性和多分辨分析能力，被廣泛應(yīng)用于各種信號(hào)及圖像處理研究中。

平移不變小波變換(shift invariant wavelet transform)被成功應(yīng)用于各類時(shí)間序列預(yù)測(cè)問(wèn)題[12]。文獻(xiàn)[13]驗(yàn)證了不同形式的平移不變小波變換的等價(jià)性，文獻(xiàn)[14]將它們統(tǒng)一命名為平移不變小波。

文獻(xiàn)[15]給出了平移不變小波正、逆變換，以實(shí)現(xiàn)序列Y的多分辨分析， 得到Y(jié)的重構(gòu)公式為

3.2.2 虛擬線性與非線性特征表達(dá) 如前所述，由原混沌序列Y經(jīng)平移不變小波分解后得到若干光滑和細(xì)節(jié)子層。

聯(lián)合式(2)可得

其中，g為非線性映射函數(shù)。本文采用Elman神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，假設(shè)Elman神經(jīng)網(wǎng)絡(luò)實(shí)際的預(yù)測(cè)值為?ty，則總的預(yù)測(cè)結(jié)果為

3.3 面向預(yù)測(cè)的虛擬特征提取算法步驟

下面給出面向預(yù)測(cè)的虛擬特征提取算法步驟。

步驟 1 確定混沌時(shí)間序列Y的嵌入維數(shù)m和嵌入延遲τ，進(jìn)行相空間重構(gòu)；

步驟 2 采用式(3)進(jìn)行平移不變小波變換，獲取若干個(gè)光滑和細(xì)節(jié)子層；

步驟 3 根據(jù)式(7)，采用Elman神經(jīng)網(wǎng)絡(luò)，對(duì)特征提取后的信息進(jìn)行直接多步預(yù)測(cè)。

4 仿真實(shí)驗(yàn)和結(jié)果分析

本文采用兩類典型的混沌數(shù)據(jù)，仿真和實(shí)測(cè)混沌數(shù)據(jù)，驗(yàn)證本文提出的虛擬特征提取算法的有效性。具體為Mackey-Glass系統(tǒng)仿真數(shù)據(jù)，以及美國(guó)密西西比河某監(jiān)測(cè)站實(shí)測(cè)徑流流量數(shù)據(jù)。

選取均方誤差MSE (Mean Square Error)和規(guī)范化均方誤差 NMSE (Normalized Mean Square Error)作為預(yù)測(cè)精度評(píng)價(jià)標(biāo)準(zhǔn)，將本文提出的虛擬特征提取算法用于預(yù)測(cè)實(shí)驗(yàn)，與Elman直接預(yù)測(cè)等其它4種預(yù)測(cè)方法進(jìn)行對(duì)比。為預(yù)測(cè)值，為其對(duì)應(yīng)真值，，其中M為測(cè)試數(shù)據(jù)點(diǎn)對(duì)數(shù)。定義：

5種預(yù)測(cè)方法均采用直接多步預(yù)測(cè)的結(jié)果進(jìn)行比對(duì)。實(shí)驗(yàn)中，取直接多步預(yù)測(cè)的步數(shù)k =6。

4.1 仿真數(shù)據(jù)結(jié)果

Mackey-Glass預(yù)測(cè)是研究混沌時(shí)間序列預(yù)測(cè)的標(biāo)桿問(wèn)題。Mackey-Glass序列由式(10)微分方程產(chǎn)生：

實(shí)驗(yàn)中，取微分方程參數(shù)a=0.2, b=0.1, c=10,，同時(shí)取定初值，采樣間隔，用四階Runge-Kutta法解微分方程，可得混沌時(shí)間序列Y，如圖2所示。

Mackey-Glass虛擬特征提取和預(yù)測(cè)實(shí)驗(yàn)中，取嵌入維數(shù)m=4，嵌入延遲5τ=。同時(shí)從Y中取500點(diǎn)對(duì)訓(xùn)練，500點(diǎn)對(duì)預(yù)測(cè)。

圖2 Mackey-Glass混沌時(shí)間序列

圖3給出Mackey-Glass的各個(gè)平移不變小波光滑和細(xì)節(jié)子層。選取Haar小波基，分解層數(shù)為2層。其中Y為原混沌時(shí)間序列，D1～D2為第1至第2個(gè)細(xì)節(jié)子層，S2為光滑子層。

圖4給出本文算法應(yīng)用于直接多步預(yù)測(cè)實(shí)驗(yàn)，預(yù)測(cè)值和真實(shí)值的對(duì)比圖。

表1給出本文算法以及Elman直接預(yù)測(cè)等5種方法的預(yù)測(cè)精度指標(biāo)。由表1可知，本文算法在Mackey-Glass混沌時(shí)間序列預(yù)測(cè)上，相對(duì)于其它4種方法中表現(xiàn)最好的Elman直接預(yù)測(cè)算法，MSE,NMSE分別降低50%和50%。

圖3 Mackey-Glass序列平移不變小波光滑和細(xì)節(jié)子層

4.2 實(shí)測(cè)數(shù)據(jù)結(jié)果

為了進(jìn)一步驗(yàn)證本文算法的有效性，下面選取2008年1月1日至2012年9月30日，美國(guó)密西西比河某監(jiān)測(cè)站實(shí)測(cè)徑流流量數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證。文獻(xiàn)[2]引證了密西西比河實(shí)測(cè)流量數(shù)據(jù)具有混沌特征。本文選取500點(diǎn)對(duì)用于訓(xùn)練，500點(diǎn)對(duì)用于預(yù)測(cè)。實(shí)驗(yàn)中取嵌入維數(shù)m=2, 嵌入延遲1τ=。

Elman直接預(yù)測(cè)以及本文算法兩種不同方法預(yù)測(cè)的誤差結(jié)果如圖5所示。

由圖5可知，虛線加號(hào)代表的Elman直接預(yù)測(cè)誤差較大；實(shí)線圓圈代表的本文方法誤差較小。

表1 Mackey-Glass預(yù)測(cè)誤差對(duì)比

圖4 Mackey-Glass虛擬特征提取多步預(yù)測(cè)結(jié)果

圖5 Mississippi混沌時(shí)間序列預(yù)測(cè)誤差對(duì)比

由表2可知，本文算法在美國(guó)密西西比河某監(jiān)測(cè)站實(shí)測(cè)徑流流量數(shù)據(jù)預(yù)測(cè)上，相對(duì)于其它4種方法中表現(xiàn)最好的小波分解加Elman模型，MSE, NMSE也分別降低36%和35%。從而也驗(yàn)證了本文算法在實(shí)測(cè)Mississippi混沌數(shù)據(jù)上的有效性。

表2 Mississippi預(yù)測(cè)誤差對(duì)比

5 結(jié)束語(yǔ)

針對(duì)混沌時(shí)間序列預(yù)測(cè)需求，本文把線性部分與非線性部分的加和關(guān)系推廣到函數(shù)關(guān)系。然后，利用平移不變小波細(xì)節(jié)和光滑子層信息，給出了一種新穎的虛擬特征表達(dá)。

采用經(jīng)典的Mackey-Glass仿真數(shù)據(jù)，以及美國(guó)密西西比河實(shí)測(cè)徑流流量數(shù)據(jù)實(shí)驗(yàn)表明，本文提出的虛擬特征提取算法較Elman直接預(yù)測(cè)等其它4種方法，預(yù)測(cè)誤差降低，預(yù)測(cè)精度提高。

然而，本文方法主要是利用了平移不變小波的多分辨特性和解相關(guān)特性，提取出初始子層信息。整個(gè)特征提取過(guò)程，對(duì)混沌時(shí)間序列的背景信息和先驗(yàn)知識(shí)考慮較少。如何利用電力、水利、自動(dòng)化等實(shí)際工程領(lǐng)域?qū)崪y(cè)混沌時(shí)間序列的背景信息反饋回小波基函數(shù)的設(shè)計(jì)，提高特征提取的針對(duì)性，是本文需要深入研究的問(wèn)題。

[1] 張學(xué)清, 梁軍. 基于EEMD-近似熵和儲(chǔ)備池的風(fēng)電功率混沌時(shí)間序列預(yù)測(cè)模型[J]. 物理學(xué)報(bào), 2013, 62(5):050505-1-050505-10.Zhang Xue-qing and Liang Jun. Chaotic time series prediction model of wind power based on ensemble empirical mode decomposition-approximate entropy and reservoir[J].Acta Physica Sinica, 2013, 62(5): 050505-1-050505-10.

[2] Kourafalou V H and Androulidakis Y S. Influence of mississippi river induced circulation on the deepwater horizon oil spill transport[J]. Journal of Geophysical Research: Oceans,2013, 118(8): 3823-3842.

[3] 宋彤, 李菡. 基于小波回聲狀態(tài)網(wǎng)絡(luò)的混沌時(shí)間序列預(yù)測(cè)[J].物理學(xué)報(bào), 2012, 61(8): 90-96.Song Tong and Li Han. Chaotic time series prediction based on wavelet echo state network[J]. Acta Physica Sinica, 2012,61(8): 90-96.

[4] Li D, Han M, and Wang J. Chaotic time series prediction based on a novel robust echo state network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012,23(5): 787-799.

[5] Miranian A and Abdollahzade M. Developing a local least-squares support vector machines-based neuro-fuzzy model for nonlinear and chaotic time series prediction[J].IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(2): 207-218.

[6] Rohitash C and Zhang M J. Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J]. Neurocomputing, 2012, 86(1): 116-123.

[7] 韓敏, 許美玲. 一種基于誤差補(bǔ)償?shù)亩嘣煦鐣r(shí)間序列混合預(yù)測(cè)模型[J]. 物理學(xué)報(bào), 2013, 62(12): 120510-1-120510-7.Han Min and Xu Mei-ling. A hybrid prediction model of multivariate chaotic time series based on error correction[J].Acta Physica Sinica, 2013, 62(12): 120510-1-120510-7.

[8] Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model[J]. Neurocomputing, 2003, 50(1):159-175.

[9] Taskaya T and Casey M C. A comparative study of autoregressive neural network hybrids[J]. Neural Networks,2005, 18(5): 781-789.

[10] Han M, Xi J H, Xu S G, et al.. Prediction of chaotic time series based on the recurrent predictor neural network[J].IEEE Transactions on Signal Processing, 2004, 52(12):3409-3416.

[11] Muhammad A F and Saeed Z. Chaotic time series prediction with residual analysis method using hybrid Elman NARX neural networks[J]. Neurocomputing, 2010, 73(13):2540-2553.

[12] Peng Yu and Lei Miao. Multiresolution analysis and forecasting of mobile communication traffic[J]. Chinese Journal of Electronics, 2013, 22(2): 373-376.

[13] 潘泉, 孟晉麗, 張磊, 等. 小波濾波方法及應(yīng)用[J]. 電子與信息學(xué)報(bào), 2007, 29(1): 236-242.Pan Quan, Meng Jin-li, Zhang Lei, et al.. Wavelet filtering method and its application[J]. Journal of Electronics ＆amp;Information Technology, 2007, 29(1): 236-242.

[14] Berkner K and Wells R O. Smoothness estimates for soft-threshold denoising via translation-invariant wavelet transforms[J]. Applied and Computational Harmonic Analysis,2002, 12(1): 1-24.

[15] Mondal D and Percival D B. Wavelet variance analysis for random fields on a regular lattice[J]. IEEE Transactions on Image Processing, 2012, 21(2): 537-549.