朱毅 楊慧穎 賈善杰 李勇 郭光

摘要：回聲狀態(tài)網(wǎng)絡(luò)（ESN）由于自身的回聲記憶能力以及高效的神經(jīng)元連接模式，在數(shù)據(jù)非線性預(yù)測問題上獲得了良好的實驗效果。為了進一步推廣ESN算法的應(yīng)用范圍，將其應(yīng)用在電力網(wǎng)絡(luò)流量數(shù)據(jù)預(yù)測方面，并根據(jù)電網(wǎng)對數(shù)據(jù)分析結(jié)果的精益要求，在ESN網(wǎng)絡(luò)的輸入、存儲池和輸出模塊中利用去噪、平穩(wěn)計算等方法，增強了算法的魯棒性，并通過實驗平臺驗證了算法的有效性及可靠性，將指導(dǎo)電網(wǎng)數(shù)據(jù)預(yù)測軟件的設(shè)計與開發(fā)。

關(guān)鍵詞：回聲狀態(tài)；數(shù)據(jù)預(yù)測；流量預(yù)測模型

中圖分類號：TP183文獻標(biāo)志碼：A文章編號：1008-1739（2018）17-66-4

Research on Data Prediction Algorithm Based on Improved Echo State Network

ZHU Yi1， YANG Huiying2， JIA Shanjie1， LI Yong2， GUO Guang3（1. Economic and Technological Research Institute， State Grid Shandong Electric Power Company， Ji爺nan Shandong 250022， China； 2. State Grid Shandong Electric Power Company， Jinan Shandong 250022， China； 3. Beijing Zhongke Chuangyi Technology Co.， Ltd， Beijing 100198， China）

0引言

隨著通信網(wǎng)絡(luò)的環(huán)境越來越復(fù)雜，網(wǎng)絡(luò)變化方式也由單一的線性向非線性變化，傳統(tǒng)的網(wǎng)絡(luò)預(yù)測手段已經(jīng)無法準(zhǔn)確獲知網(wǎng)絡(luò)變化的軌跡，需通過智能型且復(fù)雜度較高的網(wǎng)絡(luò)自學(xué)方法來輔助分析網(wǎng)絡(luò)性能。

目前，較成熟的網(wǎng)絡(luò)學(xué)習(xí)方法有貝葉斯、小波分析、支持向量機機器學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)等方式，但經(jīng)過不斷實驗及應(yīng)用驗證發(fā)現(xiàn)，大部分算法還存在預(yù)測精準(zhǔn)度不夠的問題，甚至有的算法因應(yīng)用范圍限制，僅限于一個固定的應(yīng)用場景，在其他領(lǐng)域則無法訓(xùn)練學(xué)習(xí)。針對預(yù)測精度的問題，德國Jaeger教授于2001年提出回聲狀態(tài)網(wǎng)絡(luò)，預(yù)測精度比傳統(tǒng)網(wǎng)絡(luò)提高了2 400倍，因此本文將從傳統(tǒng)的ESN算法入手，從輸入、網(wǎng)絡(luò)訓(xùn)練池和輸出3個部分綜合優(yōu)化算法性能，提出了改進的ESN算法，提升網(wǎng)絡(luò)的噪聲干擾性及平穩(wěn)性等，使算法在網(wǎng)絡(luò)流量數(shù)據(jù)預(yù)測應(yīng)用方面有更好的應(yīng)用。

1回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)

ESN是一種新型的遞歸神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)有輸入、隱含和輸出3層，其優(yōu)越性主要表現(xiàn)在隱含層處，隱含層中存儲的是數(shù)量及訓(xùn)練權(quán)值可變化的稀疏神經(jīng)元，并且輸出反饋權(quán)值會進一步優(yōu)化隱含層網(wǎng)元訓(xùn)練的程度。網(wǎng)絡(luò)具體結(jié)構(gòu)如圖1所示。

ESN網(wǎng)絡(luò)中的輸入值、訓(xùn)練權(quán)值和輸出值都在一個維度的緊湊數(shù)集，相互間具有強關(guān)聯(lián)性。圖1中的是存儲了大量隨機產(chǎn)生的神經(jīng)元的集合，定義為存儲池，神經(jīng)元之間的連接關(guān)系在某一時刻是不變的。當(dāng)換到下一個時刻會自適應(yīng)變化，因此ESN存儲池內(nèi)的權(quán)值是變化的，相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)固定的權(quán)值而言，更不容易出現(xiàn)長時間訓(xùn)練局部收斂或不收斂問題，ESN會根據(jù)輸出值反饋連接back值作用于存儲池內(nèi)，隨時調(diào)整網(wǎng)絡(luò)連接方向，使遞歸網(wǎng)絡(luò)逼近復(fù)雜映射的能力，這就屬于網(wǎng)絡(luò)回聲狀態(tài)屬性。

從公式上就能看出，ESN的構(gòu)造方法簡單且靈活，網(wǎng)絡(luò)可經(jīng)驗性選擇初始值，并自適應(yīng)調(diào)整存儲池連接權(quán)值，使得整個訓(xùn)練過程能快速完成。網(wǎng)絡(luò)中幾個關(guān)鍵參數(shù)會影響網(wǎng)絡(luò)訓(xùn)練性能，例如輸入連接的權(quán)值大小以及內(nèi)部連接矩陣的譜半徑等直接影響網(wǎng)絡(luò)記憶能力。通過Jaeger教授的試驗結(jié)果可知，

in越小，譜半徑越接近1，網(wǎng)絡(luò)短期記憶性能越好，但是，記憶能力提升的同時也會造成訓(xùn)練收斂性能下降，因此對存儲池神經(jīng)元個數(shù)及連接矩陣的初始化值選擇上需要精心部署。

2回聲狀態(tài)網(wǎng)絡(luò)算法的改進分析

電網(wǎng)對于網(wǎng)絡(luò)運行安全性的要求是精益求精的，分點預(yù)測誤差很可能造成電網(wǎng)癱瘓，損失是無法預(yù)估的，ESN網(wǎng)絡(luò)性能的優(yōu)化是改善預(yù)測結(jié)果的唯一方法，針對傳統(tǒng)ESN網(wǎng)絡(luò)發(fā)展缺陷進行歸納統(tǒng)計，提出建設(shè)性改進意見。

（1）輸入和輸出網(wǎng)絡(luò)的優(yōu)化

輸入和輸出作為網(wǎng)絡(luò)的起末端，屬于網(wǎng)絡(luò)邊緣，很容易造成噪聲的干擾。輸入端的數(shù)據(jù)一般由電網(wǎng)網(wǎng)管數(shù)據(jù)讀出，其中會存在其他系統(tǒng)數(shù)據(jù)的干擾或設(shè)備間的雜散噪聲；而輸出端數(shù)據(jù)由于經(jīng)過存儲池內(nèi)部不斷的計算訓(xùn)練，偶爾會有增益神經(jīng)元加入，會增加輸出矩陣的維度，因此輸入和輸出端數(shù)據(jù)都會存在很多冗余，需要采用降噪和平穩(wěn)的算法對數(shù)據(jù)進行預(yù)處理。使用PVC算法，相對于其濾波、傅里葉變換等算法方面有很強的特征提取能力，保障數(shù)據(jù)的純凈度，便于快速計算。

（2）存儲網(wǎng)絡(luò)的優(yōu)化

在ESN的3部分中，存儲池是其核心部分，也是最復(fù)雜的部分，越復(fù)雜的地方就會引出越復(fù)雜的問題。存儲池構(gòu)建的3個關(guān)鍵部分就是神經(jīng)元個數(shù)、初始連接權(quán)值矩陣和訓(xùn)練算法的選取。

①神經(jīng)元的個數(shù)一般是根據(jù)輸入矩陣的維度適當(dāng)選擇，一般會大于等于輸入矩陣維度，神經(jīng)元個數(shù)如果選擇過大會造成后期重復(fù)冗余計算弊端，應(yīng)盡量選擇恰當(dāng)?shù)臄?shù)值減少網(wǎng)絡(luò)規(guī)模來節(jié)省后期的計算資源。

②儲備池連接權(quán)值矩陣是隨機產(chǎn)生的，容易造成一些重要的、不可人為控制的參數(shù)。儲備池的控制程度與儲備池產(chǎn)生的方式密切相關(guān)。存儲池內(nèi)部鏈接權(quán)值的選擇是一個難度很高的過程，由于ESN內(nèi)部節(jié)點數(shù)量一般比較龐大，存儲池控制性能是否良好關(guān)鍵在于初始值的選擇。為了確保算法整體的收斂性，連接權(quán)值譜半徑的經(jīng)驗值小于1，并且ESN的神經(jīng)元為稀疏連接，初始值必須滿足這2個先驗條件。

從初始值特點可以看出，存儲池的稀疏性會影響訓(xùn)練的收斂性，由于訓(xùn)練的數(shù)量龐大，缺乏聚集性就導(dǎo)致收斂耗時過長，根據(jù)輸入端數(shù)據(jù)的特征進行功能性分類，把對應(yīng)的存儲池連接矩陣子模塊劃分，多個存儲子圈同步訓(xùn)練，減少了數(shù)據(jù)的維度，優(yōu)化了收斂性能。

③矩陣訓(xùn)練是一個動態(tài)的過程，在訓(xùn)練的次數(shù)中會產(chǎn)生不同的訓(xùn)練誤差，預(yù)測誤差是伴隨著儲備池連接權(quán)值矩陣譜半徑的變化而變化的，譜半徑超出一定范圍，則無法收斂，因此要選擇合適的訓(xùn)練算法來根據(jù)訓(xùn)練過程中產(chǎn)生的誤差，依次調(diào)整存儲池譜半徑和稀疏程度，從而達到相對最優(yōu)的儲備池參數(shù)，避免陷入局部最優(yōu)的困境。

3改進回聲狀態(tài)網(wǎng)絡(luò)的流量數(shù)據(jù)預(yù)測模型構(gòu)建

由于神經(jīng)元訓(xùn)練屬于動態(tài)過程，在矩陣變換的過程中，會出現(xiàn)數(shù)據(jù)的冗余，因此最后再輸出測同樣利用PVC算法進行去噪去冗余，推導(dǎo)出（ +1）=（ +1）。

4仿真驗證及分析

利用Matlab7.0仿真工具對以上算法進行系統(tǒng)驗證。從電力通信網(wǎng)管系統(tǒng)TMS上采集一段0～100 s的數(shù)據(jù)，采樣頻率為0.1，采集1 000個數(shù)據(jù)，在Matlab中編譯加載算法代碼，選擇訓(xùn)練不同的訓(xùn)練次數(shù)，最終獲得最佳的算法收斂效果，仿真圖形如圖3所示。

圖中黑色實線為實際值，綠色虛線為傳統(tǒng)ESN算法預(yù)測曲線，紅色虛線為改進ESN算法預(yù)測曲線，從圖上可以直觀地看出改進的預(yù)測曲線更加貼近實際預(yù)測值，選取誤差最小閾值為e-0.0003，傳統(tǒng)的ESN訓(xùn)練了524次才收斂，改進的ESN訓(xùn)練了465次就收斂了，證明改進的算法不僅在收斂次數(shù)有所減少且預(yù)測精度更加準(zhǔn)確，驗證了設(shè)計算法的有效性及可靠性。

5結(jié)束語

ESN作為新生代遞歸神經(jīng)網(wǎng)絡(luò)的研究代表，因其結(jié)構(gòu)的靈活性及穩(wěn)定性而越來越受到研究學(xué)者的青睞。目前ESN算法處于研究應(yīng)用的起步階段，本文針對ESN的存儲池性能、權(quán)值設(shè)置等方面做了相關(guān)的研究和實驗驗證，后期還需要進一步工程性驗證，并且目前ESN算法的研究領(lǐng)域較狹窄，應(yīng)深入拓寬研究思路，提升算法的預(yù)測精度及適應(yīng)范圍，使其能夠解決更多實際的應(yīng)用問題。

參考文獻

[1]韓敏.源濁時間序列預(yù)測理論與方法[M].北京：中國水利水電出版社，2007，155-185.

[2]范劍青，埼姚偉.非線性時間序列建模、預(yù)報及應(yīng)用[M].北京：高等教育出版社，2005.

[3]張軍峰，胡壽松.基于一種新型聚類算法的RBF神經(jīng)網(wǎng)絡(luò)源濁時間序列預(yù)測電子學(xué)報，2007，56（2）：713-719.

[4]張平，潘學(xué)萍，薛文超.基于小波分解模糊灰色聚類和BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測[J].電力自動化設(shè)備，2012，32（11）： 121-125，141.

[5]韓敏，許美玲，王新迎.多元時間序列的子空間回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型[J].計算機學(xué)報，2014，37（11）：2268-2275

[6]韓敏，史志偉，郭偉.儲備池狀態(tài)空間重構(gòu)與混沌時間序列預(yù)測[J].物理學(xué)報，2007，56（1）：43-50.

[7]嵇靈，牛東曉，吳煥苗.基于貝葉斯框架和回聲狀態(tài)網(wǎng)絡(luò)的日最大負(fù)荷預(yù)測研究[J].電網(wǎng)技術(shù)，2012，36（11）：82-86.

[8]何洋，鄒波，李文啟，等.基于混沌理論的電力系統(tǒng)短期負(fù)荷預(yù)測的局域模型[J].華北電力大學(xué)學(xué)報：自然科學(xué)版，2013.40（4）：43-50.

[9]宋青松，馮祖仁，李人厚.回響狀態(tài)網(wǎng)絡(luò)輸出連接權(quán)重的一個穩(wěn)定訓(xùn)練方法[J].控制與決策，2011，26（1）：22-26.

[10]喬俊飛，薄迎春，韓廣.基于ESN的多指標(biāo)DHP控制策略在污水處理過程中的應(yīng)用[J].自動化學(xué)報，2013，39（7）： 1146-1151.