孫雪瑩，胡靜濤，王 卓，張吉龍

(1.中科院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049)

基于自適應遺忘因子極限學習機的高爐煤氣預測

孫雪瑩1,2，胡靜濤1,2，王 卓1,2，張吉龍1

(1.中科院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049)

高爐煤氣是鋼鐵企業(yè)重要的二次能源，其產生量和消耗量的實時準確預測對高爐煤氣系統(tǒng)的平衡調度具有重要作用；但由于高爐煤氣系統(tǒng)工況多變、產消量數(shù)據(jù)波動較大，給高爐煤氣產消量的準確預測帶來了很大的挑戰(zhàn)；為此，通過對煤氣產消量數(shù)據(jù)特征的深入分析，提出了一種基于自適應遺忘因子極限學習機(AF-ELM)的在線預測算法；在序貫極限學習機的基礎上，引入遺忘因子逐步遺忘舊樣本，通過預測誤差反饋機制，自適應的調節(jié)遺忘因子，從而提高預測方法對系統(tǒng)工況的動態(tài)變化的適應能力，提高預測精度；將該算法應用于鋼鐵企業(yè)的高爐煤氣產消量在線預測，實驗結果表明與序貫極限學習機相比，該預測方法在系統(tǒng)工況變化的情況下能保持較高的預測精度，更適合于高爐煤氣產消量的在線預測。

高爐煤氣；在線預測；極限學習機；遺忘因子

0 引言

鋼鐵企業(yè)中，副產煤氣是一種重要的二次能源，主要包括焦爐煤氣、高爐煤氣和轉爐煤氣，其中高爐煤氣(Blast furnace gas, BFG)產量最大，其有效的回收與利用對鋼鐵企業(yè)的節(jié)能減排具有重要的意義。高爐煤氣產生量和消耗量預測的準確度直接影響高爐煤氣調度的決策方案，從而影響煤氣系統(tǒng)的平衡和穩(wěn)定。實際生產中，高爐煤氣的產消量受到生產設備工況的影響，當工況發(fā)生改變時，會發(fā)生大幅度的波動，表現(xiàn)出很強的時變性，給高爐煤氣產消量的準確預測帶來很大的挑戰(zhàn)。

目前國內外對鋼鐵企業(yè)副產煤氣產消量預測方法的研究取得了一些研究成果[1-9]。張琦等[1]通過分析影響煤氣發(fā)生量的主要因素，采用關聯(lián)度較大的因素作為輸入，并建立了神經網絡預測模型。肖冬峰等[2]提出了一種改進BP網絡高爐煤氣發(fā)生量預測模型，采用機理與現(xiàn)場實際數(shù)據(jù)結合的方法確定煤氣發(fā)生量的影響因素。由于影響煤氣產消量的因素眾多，部分數(shù)據(jù)難以實時獲取，因此以上方法在實際中應用中受到一定的限制。近年來，基于數(shù)據(jù)的時間序列建模方法受到很多研究人員的關注。劉穎等[3]采用改進的回聲狀態(tài)網絡建立了煤氣產生量預測模型。岳有軍等[4]將小波分析與ARIMA和LSSVM結合，建立高爐煤氣組合預測模型。張顏顏等[5]提出了一種基于數(shù)據(jù)驅動的子空間方法，用于預測鋼鐵企業(yè)各生產工序的能耗，并采用粒子群算法對模型參數(shù)進行了優(yōu)化。以上方法在平穩(wěn)工況時預測精度高，但由于模型結構復雜，模型參數(shù)在預測過程中難以及時更新，因此在高爐煤氣系統(tǒng)發(fā)生狀態(tài)漂移時，預測精度會有所降低。

極限學習機(Extreme learning machine, ELM)是一種新型的神經網絡[10]，與BP網絡和SVM相比，具有結構簡單、參數(shù)少、訓練速度快等優(yōu)點。目前，ELM已經應用于許多在線回歸和預測問題[11-13]。序貫極限學習機[14](Online sequential extreme learning machine ,OS-ELM)是極限學習機的遞推模式，隨著樣本的到達在線更新輸出權值。相比于極限學習機，OS-ELM能更好地適應系統(tǒng)的動態(tài)變化，減少樣本更新時的模型訓練時間。因此，可以考慮將 OS-ELM引入到煤氣預測領域。但是由于OS-ELM只是將新樣本加入到原有的模型中，沒有考慮新舊樣本對模型的不同影響。對于高爐煤氣系統(tǒng)而言，工況變化時系統(tǒng)狀態(tài)的改變會導致舊樣本失效，從而影響預測精度。

針對目前高爐煤氣產消量在線預測方法所存在的問題，結合基于數(shù)據(jù)的時間序列預測方法，本文提出一種基于自適應遺忘因子極限學習機(Adaptive forgetting factor extreme learning machine, AF-ELM)的高爐煤氣產消量在線預測方法。在 OS-ELM的基礎上，引入了遺忘因子方法對樣本進行加權，通過誤差反饋機制自適應調節(jié)遺忘因子，使預測方法能夠適應高爐煤氣系統(tǒng)工況的動態(tài)變化。本文利用現(xiàn)場采集的高爐煤氣產生量和熱軋工序高爐煤氣消耗量數(shù)據(jù)對提出的預測方法進行了實驗驗證，實驗結果表明了該方法的有效性。

1 序貫極限學習機

1.1 極限學習機

極限學習機具有典型的三層神經網絡結構，即輸入層、輸出層和隱含層，如圖1所示。給定具有T個不同樣本的訓練集(Xt,yt)，t=1,…,T，Xt∈Rm，yt∈R。假設ELM模型具有L個隱含層節(jié)點，其激活函數(shù)為g(x),則其數(shù)學表達式為:

(1)

圖1 極限學習機基本原理示意圖

其中:ai=[ai1,ai2, ...,aim]T表示連接輸入節(jié)點和第i個隱含層節(jié)點的權值向量，bi表示第i個隱含層節(jié)點偏置值，βi表示連接第i個隱含層節(jié)點和輸出層節(jié)點之間的權值，i=1,…,L。其中ai和bi隨機生成，且在整個訓練過程中保持不變，僅有輸出權值βi是需要確定的參數(shù)。由上述分析，(1)式可以簡寫為:

Y=Hβ

(2)

其中:

β=[β1,…,βL]

Y=[y1,…,yT] 根據(jù)Moore-Penrose廣義逆理論可以得到β最小二乘意義下的最優(yōu)估計值:

β=(HTH)-1HTY

(3)

由(3)式可以看出當樣本出現(xiàn)共線性的時候，由于難以保證HTH的非奇異性，造成模型的泛化性能降低。為了增強模型的泛化性能，文獻[15]綜合考慮系統(tǒng)的經驗風險和結構風險，將(2)式轉化為如下優(yōu)化問題:

‖Hβ-T‖2+λ‖β‖2}

(4)

由此得到:

β=(HTH+λI)-1HTY

(5)

1.2 序貫極限學習機

序貫極限學習機是極限學習機的遞推形式。該算法分為離線和在線兩個階段。

離線訓練階段：隨機給定模型的輸入權值ai和偏置bi，i=1,…,L，計算初始隱含層節(jié)點輸出矩陣H0。由(5)式可得到:

(6)

(7)

在線預測階段：在k+1時刻，根據(jù)新增樣本，計算隱含層輸出矩陣hk+1=[g(a1,b1,xk+1)…g(aL,bL,xk+1)]。遞推計算:

(8)

(9)

2 基于AF-ELM的高爐煤氣預測方法

2.1 自適應遺忘因子極限學習機

在線預測過程中，隨著新樣本的不斷加入，舊樣本的時效性不斷降低。然而，OS-ELM賦予新舊樣本以同樣的權值，不能充分的利用新樣本包含的信息，從而難以適應系統(tǒng)的動態(tài)變化。因此為了改善OS-ELM對系統(tǒng)動態(tài)變化的適應性，本文在序貫極限學習機的基礎上提出了自適應遺忘因子極限學習機，并給出了一種自適應遺忘因子計算方法。

在初始階段，假設初始樣本集為:

(10)

(11)

對歷史數(shù)據(jù)加入遺忘因子

(12)

(13)

(14)

由此可以遞推得到

(15)

(16)

進一步，考慮到高爐煤氣系統(tǒng)在不同的時間段工況的變化情況不同，為了加強模型對系統(tǒng)變化的適應性，我們采用變遺忘因子代替固定的遺忘因子。根據(jù)系統(tǒng)的動態(tài)變化，自適應地調整遺忘因子。預測誤差可以反映當前系統(tǒng)狀態(tài)的變化，當誤差較小時，說明當前系統(tǒng)比較平穩(wěn)，此時應該增大α，增加舊樣本的權值；當誤差較大時，說明當前系統(tǒng)不平穩(wěn)，此時應該減小α，減少舊樣本的權值。據(jù)此，本文根據(jù)預測誤差，給出了遺忘因子的計算方法

αk=e-ηMSEk-1

(17)

其中，MSEk-1表示前一時刻的均方誤差，η是遺忘速率的調節(jié)參數(shù)，對不同的系統(tǒng)可以設置不同的遺忘速率。公式(17)可以保證α∈(0,1]，使α的選取符合之前的假設，即新的樣本比舊樣本包含更多的當前系統(tǒng)的信息。同時，在預測誤差增大時，α減小，即當系統(tǒng)狀態(tài)發(fā)生變化時，減小舊樣本的權值。

2.2 高爐煤氣在線預測模型

本文采用基于數(shù)據(jù)的時間序列建模方法建立高爐煤氣產消量的預測模型。時間序列預測的基本思想是通過系統(tǒng)本身的發(fā)展狀態(tài)去構造系統(tǒng)的模型，基本方法是采用相空間重構的方法。高爐煤氣產消量的時間序列可以表示為{x(1),x(2),…,x(t)}。根據(jù)相空間重構理論，假設其延遲時間為τ，嵌入維數(shù)為m，可以得到訓練樣本集S:{(X1,y1),(X2,y2),…,(Xt,yt)}, 其中Xt=[x(t),x(t-τ),…,x(t-(m-1)τ)]T，yt=x(t+τ)。Xt為預測模型的輸入，yt為模型的輸出。

結合上文提出的在線預測算法，給出基于AF-ELM的高爐煤氣產生量和消耗量在線預測的具體的步驟如下：

1)構造樣本集：讀入高爐煤氣產生量(或消耗量)的歷史數(shù)據(jù)，采用時間序列預測的思想，利用相空間重構理論，構造樣本集，將樣本集分為訓練樣本集Dtrain和測試樣本集Dtest；

2)參數(shù)初始化：給定ELM模型的隱含層的權值以及遺忘速率η；

3)利用訓練樣本集Dtrain得到初始模型f0，并令t=m+1；

4)在線預測：While t≤T do:

a)利用當前樣本計算預測誤差MSE；

b)更新遺忘因子α以及各子模型的輸出權值β；

d)令t=t+1;

End while

3 實驗結果與分析

3.1 實驗數(shù)據(jù)及預處理

為了驗證文中提出的方法的有效性，本文采用來自某大型鋼鐵企業(yè)高爐煤氣系統(tǒng)2015年5月的現(xiàn)場數(shù)據(jù)作為實驗數(shù)據(jù)。高爐煤氣的產生單元主要是高爐煉鐵，高爐煤氣的消耗單元主要有焦化、燒結、冷軋、熱軋、棒線等生產工序。文中選取了一座5 800 m3高爐的煤氣產生量作為高爐煤氣發(fā)生量預測的實驗數(shù)據(jù)，選取熱軋工序的煤氣消耗量作為高爐煤氣消耗量預測的實驗數(shù)據(jù)。煤氣產消量的數(shù)據(jù)采樣周期為5 min，選取144個(即12小時)連續(xù)的樣本點作為訓練數(shù)據(jù)集，預測之后96個點(即8小時)的高爐煤氣的產消量。根據(jù)自相關分析法[17]，選擇延遲時間為1，嵌入維數(shù)為6，即樣本的特征值為x(t),x(t-1),…,x(t-6)。由于在實際煤氣管理系統(tǒng)中，煤氣的調度周期為15min，因此本文進行超前三步預測，即令輸出值為y=x(t+3)。

圖2 高爐煤氣產生量預測結果

圖3 熱軋工序高爐煤氣消耗量預測結果

由于文中的實驗數(shù)據(jù)由工業(yè)現(xiàn)場采集，數(shù)據(jù)中存在異常值和噪聲，因此需要對數(shù)據(jù)進行預處理。首先，剔除異常點，采用插值法進行數(shù)據(jù)補齊。其次，由于數(shù)據(jù)中的噪聲會對預測結果產生影響，因此本文采用小波閾值去噪方法[16]進行濾波處理，在消除噪聲的同時較好的保留了數(shù)據(jù)的有效信息。最后，對處理后的數(shù)據(jù)進行歸一化。

表1 不同模型對多組高爐煤氣產生量預測性能比較

表2 不同模型對多組熱軋工序高爐煤氣消耗量預測性能比較

3.2 實驗結果比較與分析

為了評價模型的預測性能，采用平均絕對百分誤差(MAPE)和均方誤差(RMSE)作為評價指標。MAPE指標的定義如式(18)所示，該指標可以對預測誤差的平均值進行評價。

(18)

RMSE指標的定義如式(19)所示，該指標可以用來評價預測誤差的分散程度。

(19)

本實驗采用交叉驗證的方法選擇極限學習機的隱含層節(jié)點數(shù)為30，激活函數(shù)為Sigmoid函數(shù)，正則化參數(shù)λ=10-4。為了驗證所建立模型的有效性，設計了如下實驗，并與OS-ELM方法進行比較，OS-ELM 的模型參數(shù)與本文模型相同。以5800 m3高爐煤氣產生量和熱軋工序煤氣消耗量為研究對象分別取選取9組樣本，以其中一組為訓練集，其余8組為測試集，驗證所提出方法的在線預測性能。實驗結果如表1和表2所示。本文采用MAPE和RMSE作為預測精度的評價指標，并比較了兩種算法的時間開銷。從實驗結果可以看出，在所有算例中，AF-ELM的預測精度均要高于OS-ELM。本文提出的AF-ELM算法在高爐煤氣產生量預測中，與OS-ELM相比，MAPE平均性能提升了0.1%，RMSE平均精度提升1.3；在熱軋工序的高爐煤氣消耗量預測中，本文算法與OS-ELM相比，MAPE平均性能提升了3.7%，RMSE平均精度提升1.5。由于加入了自適應遺忘因子的計算AF-ELM方法時間開銷要略大于OS-ELM方法。雖然如此，由于AF-ELM方法每次在線預測的時間要遠小于1 s，因此仍然能夠滿足工業(yè)現(xiàn)場對在線預測時間的要求。

在其中分別隨機選取一組測試集，預測結果如圖2和圖3所示。由圖2和圖3可以看出，在工況穩(wěn)定的情況下，兩種算法精度差異不大；當工況發(fā)生變化時，如圖2中45～80點和圖3中50～70點，煤氣的產消量波動比較大，OS-ELM 的預測精度下降，AF-ELM由于采用自適應遺忘因子提高了算法的動態(tài)適應能力，因而其預測精度高于OS-ELM。

4 結論

1)本文提出了一種基于自適應遺忘因子極限學習機的高爐煤氣產消量在線預測模型。針對OS-ELM在應用于在線預測時精度不高的問題，引入遺忘因子方法，并通過預測誤差反饋機制自適應調節(jié)遺忘因子，使其更加適應系統(tǒng)的動態(tài)變化。

2)本文選取了來自實際生產現(xiàn)場的高爐煤氣發(fā)生量以及熱軋工序的煤氣消耗量作為實驗數(shù)據(jù)，與OS-ELM方法進行對比實驗。實驗表明與OS-ELM方法相比，本文提出的預測方法能夠跟蹤系統(tǒng)的動態(tài)變化，預測精度更高。

[1] 張 琦, 谷延良, 提 威, 等. 鋼鐵企業(yè)高爐煤氣供需預測模型及應用[J]. 東北大學學報: 自然科學版, 2010, 31(12): 1737-1740.

[2] 肖冬峰, 楊春節(jié), 宋執(zhí)環(huán). 基于改進BP網絡的高爐煤氣發(fā)生量預測模型[J]. 浙江大學學報(工學版), 2012, 46(11): 2103-2108.

[3] Liu Y, Zhao J, Wang W. A time series based prediction method for a coke oven gas system in steel industry [J]. ICIC Express Letters, 2010, 4(4): 1373-1378

[4] 劉 穎, 趙 珺, 王 偉, 等. 基于數(shù)據(jù)的改進回聲狀態(tài)網絡在高爐煤氣發(fā)生量預測中的應用[J]. 自動化學報, 2009, 35(6): 731-738.

[5] 岳有軍, 戶彥飛, 趙 輝,等. 基于小波分析的ARIMA與LSSVM組合的高爐煤氣預測[J]. 計算機測量與控制, 2015, 23(6): 2128-2131.

[6] 張顏顏, 唐立新. 改進的數(shù)據(jù)驅動子空間算法求解鋼鐵企業(yè)能源預測問題[J]. 控制理論與應用, 2012, 29(12): 1616-1622.

[7] 張曉平, 湯振興, 趙 瑨. 鋼鐵企業(yè)高爐煤氣發(fā)生量的在線預測建模[J]. 信息與控制, 2010, 39(6): 774-782.

[8] 李紅娟, 王建軍, 王 華, 等. 鋼鐵企業(yè)高爐煤氣發(fā)生量預測建模及應用[J]. 系統(tǒng)仿真學報, 2014,26(6): 1308-1314.

[9] 李紅娟, 王建軍, 王 華,等. 建立PNN-HP-ENN-LSSVM模型預測鋼鐵企業(yè)高爐煤氣發(fā)生量[J]. 過程工程學報, 2013, 13(3): 451-457.

[10] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications [J]. Neurocomputing, 2006, 70(1-3): 489-501.

[11] Zhang H, Yin Y, Zhang S. An improved ELM algorithm for the measurement of hot metal temperature in blast furnace [J]. Neurocomputing, 2016, 174(Part A): 232-237.

[12] Liu H, Tian H, Li Y. Four wind speed multi-step forecasting models using extreme learning machines and signal decomposing algorithms [J]. Energy Conversion and Management, 2015, 100: 16-22.

[13] Junior J J M S, Backes A R. ELM based signature for texture classification [J]. Pattern Recognition, 2016, 51: 395-401.

[14] Liang N Y, Huang G B, Saratchandran P, et al. A fast and accurate online sequential learning algorithm for feedforward networks [J]. Neural Networks, IEEE Transactions on, 2006, 17(6): 1411-1423.

[15] Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2012, 42(2): 513-529.

[16] 王拴中, 朱玉田. 改進小波閾值去噪法的對比性仿真實驗與分析[J]. 噪聲與振動控制, 2012, 32(1): 128-132.

[17] 張淑清, 賈 健, 高 敏, 等. 混沌時間序列重構相空間參數(shù)選取研究[J]. 物理學報, 2010, 59(3): 1576-1582.

Online Prediction Method for Generation and Consumption of Blast Furnace Gas Based on Adaptive Forgetting Factor Extreme Learning Machine

Sun Xueying1,2, Hu Jingtao1,2, Wang Zhuo1,2, Zhang Jilong1

(1.Shenyang Institute of Automation， Chinese Academy of Sciences, Shenyang 110016，China;2.University of Chinese Academy of Sciences, Beijing 100049, China)

Blast furnace gas is an important byproduct in iron and steel plants, and prediction of its generation and consumption has a great effect on balance and scheduling of gas system. However, the accurate prediction poses a significant challenge because of the unstable conditions of the blast furnace gas system and the fluctuation of data. To solve this problem, an online prediction method based on adaptive forgetting factor extreme learning machine (AF-ELM)is proposed. Dynamic adaptability of online sequential extreme learning machine is improved by introducing forgetting factor to gradually forget of the old samples. And the forgetting factor is adaptively updated by prediction error, which improves the prediction accuracy. The case study on the online prediction in iron and steel plants shows that compared with online sequential extreme learning machine, the proposed method achieve higher prediction accuracy in changing conditions, and more suitable for online prediction of generation and consumption of blast furnace gas.

blast furnace gas；online prediction；extreme learning machine(ELM)；forgetting factor

2017-01-13；

2017-02-21。

中國科學院重點部署項目(KGZD-EW-302)；中國科學院科技服務網絡計劃(KTJ-SW-STS-159)；遼寧省科學技術計劃項目(2015020140)。

孫雪瑩(1988-)，女，山東德州人，博士研究生，主要從事能源預測與調度，人工智能算法方向的研究。

1671-4598(2017)07-0235-04

10.16526/j.cnki.11-4762/tp.2017.07.058

TP181

A