謝 謙,董立紅，吳雪菲,3

(1.中煤科工西安研究院(集團(tuán))有限公司，陜西 西安 710077;2.西安科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710054；3.西安科技大學(xué) 能源學(xué)院，陜西 西安 710054)

0 引言

瓦斯災(zāi)害制約著高瓦斯礦井的安全生產(chǎn)[1-2]。預(yù)防和控制煤礦瓦斯災(zāi)害的發(fā)生成為當(dāng)前煤礦安全生產(chǎn)亟需解決的問題。因此，瓦斯?jié)舛阮A(yù)測技術(shù)成為煤礦安全生產(chǎn)領(lǐng)域的研究重點(diǎn)，有效的瓦斯?jié)舛阮A(yù)測可為煤礦安全管理人員提供一定的參考依據(jù)。

目前，適用于瓦斯?jié)舛鹊念A(yù)測方法有傳統(tǒng)方法和智能方法。傳統(tǒng)方法圍繞移動平均法進(jìn)行瓦斯?jié)舛阮A(yù)測，王鵬等[3]采用自回歸差分移動平均(ARIMA)模型對煤礦井下瓦斯?jié)舛冗M(jìn)行預(yù)測；趙美成等[4]使用ARIMA和GARCH組合模型對煤礦井下瓦斯數(shù)據(jù)進(jìn)行預(yù)測。智能方法以SVM，BP神經(jīng)網(wǎng)絡(luò)為主展開研究；錢建生等[5]利用粒子群算法優(yōu)化支持向量機(jī)進(jìn)行瓦斯?jié)舛阮A(yù)測；李棟等[6]使用改進(jìn)的混沌粒子群算法優(yōu)化最小二乘支持向量機(jī)進(jìn)行預(yù)測；郭思雯等[7]使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測；劉弈君等[8]使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。綜上，均是在原有的基礎(chǔ)上對算法的參數(shù)進(jìn)行優(yōu)化，并沒有解決時序數(shù)據(jù)在時間上的關(guān)聯(lián)關(guān)系。深度學(xué)習(xí)中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的出現(xiàn)有效解決了時序數(shù)據(jù)不能關(guān)聯(lián)的缺陷[9]。李樹剛等[10]采用RNN對瓦斯?jié)舛冗M(jìn)行了預(yù)測。但RNN存在“梯度消失”的問題。針對此問題，長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)通過控制數(shù)據(jù)的流入問題，解決了RNN中由于tanh函數(shù)的控制出現(xiàn)在序列較長時候預(yù)測出現(xiàn)的“梯度消失”問題。因此，本文采用LSTM進(jìn)行瓦斯?jié)舛阮A(yù)測。

由于多數(shù)文獻(xiàn)對瓦斯預(yù)測時候考慮的只有瓦斯?jié)舛茸陨?，并沒有考慮周圍環(huán)境對瓦斯?jié)舛鹊挠绊?，這并不能反映具體工作面空間中瓦斯?jié)舛鹊恼鎸?shí)情況，進(jìn)而將對瓦斯?jié)舛阮A(yù)測造成一定影響。本文將上隅角瓦斯?jié)舛?、采煤機(jī)速度、噸煤瓦斯涌出量、工作面風(fēng)速、工作面CO濃度作為影響因素考慮進(jìn)模型的輸入。為了驗(yàn)證不同影響因素與瓦斯?jié)舛鹊南嚓P(guān)程度，使用互信息方法進(jìn)行驗(yàn)證。為了突出各個影響因素在預(yù)測中關(guān)鍵作用，使用注意力機(jī)制(Attention Mechanism)為輸入的影響因素分配權(quán)重，突出模型中更關(guān)鍵的影響因素[11]。因此，本文提出1種基于多源數(shù)據(jù)融合的工作面瓦斯?jié)舛阮A(yù)測模型。

1 Attention-aLSTM模型

1.1 模型輸入層

當(dāng)前使用數(shù)據(jù)的采集傳輸大多通過網(wǎng)絡(luò)，而網(wǎng)絡(luò)傳輸受外界因素、傳輸速度等影響，易出現(xiàn)較小范圍內(nèi)的尖峰與谷底數(shù)據(jù)，尖峰數(shù)據(jù)與谷底數(shù)據(jù)會大幅度影響預(yù)測的精度，因此在預(yù)測前需要對采集的數(shù)據(jù)進(jìn)行尖峰與谷地?cái)?shù)據(jù)的處理，即異常值處理，處理步驟如下：

1)使用拉伊達(dá)準(zhǔn)則[12]進(jìn)行異常值確定，并將異常值置為NULL或0；

2)使用Lagrange插值法[13]對NULL或0位置的數(shù)據(jù)進(jìn)行插值，使其前后數(shù)據(jù)連接平滑。

由于LSTM網(wǎng)絡(luò)中sigmoid的特性，對[-1，1]內(nèi)的數(shù)據(jù)敏感，因此對輸入數(shù)據(jù)進(jìn)行歸一化處理。如式(1)所示：

(1)

式中：x′為歸一化變量；x為樣本數(shù)據(jù)；max(x)和min(x)分別為模型輸入的最大值和最小值。

工作面瓦斯?jié)舛纫资芄ぷ髅鍯O濃度、工作面風(fēng)速、上隅角瓦斯?jié)舛?、采煤機(jī)速度、噸煤瓦斯涌出量等因素影響。為了提高工作面瓦斯?jié)舛鹊念A(yù)測精度，將同時刻內(nèi)的相關(guān)數(shù)據(jù)進(jìn)行整合，如圖1所示，進(jìn)而形成1個新的時間序列。

為了驗(yàn)證新數(shù)據(jù)中t時刻的工作面瓦斯?jié)舛葦?shù)據(jù)和其他時刻數(shù)據(jù)是否存在相關(guān)性，使用互信息進(jìn)行相關(guān)性驗(yàn)證，互信息公式如式(2)所示：

(2)

式中：p(x,y)是工作面瓦斯?jié)舛扰c某一影響因素的聯(lián)合概率密度函數(shù)；p(x)和p(y)分別是是工作面瓦斯?jié)舛群湍骋挥绊懸蛩氐倪呺H概率密度函數(shù)。

使用互信息(Mutual Information, MI)值對比工作面瓦斯?jié)舛葦?shù)據(jù)與上述影響因素之間的相關(guān)程度，計(jì)算結(jié)果如表1所示。

表1 互信息計(jì)算結(jié)果Table 1 Mutual information calculation results

由表1可知，工作面CO濃度、上隅角瓦斯?jié)舛?、噸煤瓦斯涌出量、采煤機(jī)速度4種影響因素為主要影響因素，可做為模型的輸入。

1.2 LSTM網(wǎng)絡(luò)層

RNN使用較長序列進(jìn)行預(yù)測時會出現(xiàn)“梯度消失”的問題[14]。LSTM使用存儲單元來存儲和輸出信息，解決了RNN存在的缺陷[15-16]。如圖2所示，為LSTM單元結(jié)構(gòu)。

圖2 LSTM單元結(jié)構(gòu)Fig.2 LSTM cell structure

LSTM的細(xì)胞單元具有3個門，分別為遺忘門(Forget Gate)、輸入門(Input Gate)、輸出門(Output Gate)[17]。σ表示sigmoid激活函數(shù)，將處理后的數(shù)據(jù)輸入至LSTM細(xì)胞單元參數(shù)更新步驟如式(3)～(8)所示：

ft=σ(Wf·[ht-1,xt]+bf)

(3)

it=σ(Wi·[ht-1,xt]+bi)

(4)

(5)

(6)

ot=σ(Wo·[ht-1,xt]+bo)

(7)

ht=ot·tanh(Ct)

(8)

1.3 Attention機(jī)制層

Attention機(jī)制將LSTM模型的輸出作為Attention機(jī)制層的輸入特征，計(jì)算各輸入特征權(quán)重，根據(jù)權(quán)重突出輸入特征中的關(guān)鍵特征，降低對非關(guān)鍵特征的關(guān)注，幫助模型做出更加精準(zhǔn)的特征選擇[18-19]。Attention結(jié)構(gòu)如圖3所示。

圖3 Attention單元結(jié)構(gòu)Fig.3 Attention cell structure

圖3中，x1，x2，…，xt表示多源融合數(shù)據(jù)的輸入；h1，h2，…，ht表示輸入對應(yīng)的LSTM隱藏層輸出的狀態(tài)值；ati表示LSTM隱藏層輸出值對應(yīng)當(dāng)前的注意力權(quán)重值；st表示Attention機(jī)制層輸出的狀態(tài)值。

具體計(jì)算步驟如式(9)～(12)所示：

et,i=VT·tanh(Wht+Uhi),i=1,2,…,t-1

(9)

(10)

(11)

st=f(C,ht)

(12)

式中：et,i為h1,h2,…,ht-1分別與ht的相關(guān)性；at,i為各et,i占總體的概率；C為注意力權(quán)重；V，W，U為訓(xùn)練參數(shù)，隨迭代不斷進(jìn)行調(diào)整。

1.4 Adam優(yōu)化算法

Adam優(yōu)化算法融合了AdaGrad算法和RMSProp算法的優(yōu)點(diǎn)[20]，該算法基于低階矩陣的自適應(yīng)估計(jì)，其中模型梯度的一階矩估計(jì)和二階矩估計(jì)計(jì)算公式如式(13)～(14)所示：

mt=β1mt-1+(1-β1)gt

(13)

(14)

式中：mt為梯度的一階矩估計(jì)；vt為梯度的二階矩估計(jì)；β1，β2為系數(shù)(β1=0.9,β2=0.999)；gt為梯度值。

由于在初始化時賦予mt和vt初始向量值為0，衰減率將偏向零向量，因此需對mt和vt進(jìn)行偏差校正。一階矩估計(jì)偏差校正和二階矩估計(jì)偏差校正公式如式(15)～(16)所示：

(15)

(16)

經(jīng)過偏差校正后的Adam算法公式如式(17)所示：

(17)

1.5 Attention-aLSTM模型

預(yù)測步驟如下：

1)將多源融合數(shù)據(jù)作為模型的輸入，根據(jù)LSTM對輸入格式的要求，將輸入量轉(zhuǎn)換為樣本數(shù)×步長×特征數(shù)，即N×1×4；

2)將轉(zhuǎn)換后適應(yīng)LSTM網(wǎng)絡(luò)的數(shù)據(jù)分為訓(xùn)練集、測試集，并進(jìn)行歸一化；

3)將歸一化后的訓(xùn)練數(shù)據(jù)輸入至LSTM網(wǎng)絡(luò)層，訓(xùn)練后將隱藏層的輸出輸入至Attention機(jī)制層，最終得到賦權(quán)后的狀態(tài)值；

4)將Attention機(jī)制層的輸出通過全連接層得到該次訓(xùn)練下的預(yù)測結(jié)果；

5)使用Adam作為Attention-aLSTM模型的優(yōu)化器，通過迭代訓(xùn)練該數(shù)據(jù)集下最優(yōu)的Attention-aLSTM預(yù)測模型；

6)將測試集數(shù)據(jù)輸入至訓(xùn)練好的Attention-aLSTM模型中，獲取未來時刻范圍內(nèi)的預(yù)測結(jié)果。

Attention-aLSTM模型如圖4所示。

圖4 Attention-aLSTM預(yù)測模型Fig.4 Attention-aLSTM prediction model

2 實(shí)例分析

2.1 實(shí)驗(yàn)工具及數(shù)據(jù)集

本文采用深度學(xué)習(xí)中的Keras庫搭建LSTM模型。使用Python中modbus_tk庫通過TCP/IP通信協(xié)議讀取某礦1008工作面的實(shí)時數(shù)據(jù)并存入MySQL數(shù)據(jù)庫中。

本文采用考慮影響因素和不考慮影響因素2種形式進(jìn)行實(shí)驗(yàn)。共采用5 000條數(shù)據(jù)，選取前4 880條數(shù)據(jù)作訓(xùn)練集，后120條數(shù)據(jù)作測試集。

2.2 參數(shù)設(shè)置

首先，采用Relu來提高運(yùn)行深度并減少梯度下降；其次，對比不同層數(shù)下的預(yù)測效果，確定隱藏層層數(shù)；再次，選取合適的隱藏層節(jié)點(diǎn)個數(shù)，確定學(xué)習(xí)率；最終確定合適的步長。最后，得到LSTM模型的參數(shù)：節(jié)點(diǎn)數(shù)32，層數(shù)2，學(xué)習(xí)率0.001，優(yōu)化器Adam。

為了有效對比預(yù)測效果，本文使用支持向量機(jī)(SVM)、BP神經(jīng)網(wǎng)絡(luò)、LSTM神經(jīng)網(wǎng)絡(luò)與Attention-aLSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行對比，其中Attention-aLSTM神經(jīng)網(wǎng)絡(luò)LSTM層參數(shù)與LSTM神經(jīng)網(wǎng)絡(luò)參數(shù)選取保持一致，參數(shù)設(shè)置如表2所示。

2.3 評價指標(biāo)

評價指標(biāo)采用平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)，如式(18)～(19)所示：

(18)

(19)

式中：Ytrue,i為待預(yù)測真實(shí)對比值；Ypre,i為模型預(yù)測值。

2.4 瓦斯?jié)舛阮A(yù)測結(jié)果分析

為對比預(yù)測效果，將驗(yàn)證實(shí)驗(yàn)分為輸入模型考慮影響因素和不考慮影響因素2種。

表2 對比模型參數(shù)設(shè)置Table 2 Parameters setting of comparative models

不考慮影響因素下各模型的效果對比如圖5所示。

圖5 不考慮影響因素下真實(shí)與預(yù)測結(jié)果對比Fig.5 Comparison of real and predicted results without considering influence factors

由圖5可知，Attention-aLSTM的整體預(yù)測結(jié)果優(yōu)于其他模型的預(yù)測效果。預(yù)測誤差對比如表3所示。

由表3可知，Attention-aLSTM在測試集上的測試精度優(yōu)于其他模型的預(yù)測精度，單變量下的Attention-aLSTM預(yù)測效果相比LSTM提升了14.2%。

表3 預(yù)測誤差對比Table 3 Prediction error comparison

考慮和不考慮影響因素下Attention-aLSTM預(yù)測與真實(shí)值如表4和圖6所示。

表4 考慮和不考慮影響因素預(yù)測誤差對比Table 4 Comparison of prediction errors considering and not considering influencing factors

由圖6可知，考慮影響因素條件下的預(yù)測精度較好。

圖6 考慮和不考慮影響因素下真實(shí)與預(yù)測結(jié)果對比Fig.6 Comparison of real predicted results considering and not considering influencing factors

3 結(jié)論

1)將多源數(shù)據(jù)作為預(yù)測模型的輸入比單一使用瓦斯?jié)舛冗M(jìn)行預(yù)測的精度要高。

2)注意力機(jī)制突出影響因素中的關(guān)鍵信息，將其引入LSTM網(wǎng)絡(luò)中，提升瓦斯?jié)舛鹊念A(yù)測精度。

3)LSTM預(yù)測模型具有時序性特征，當(dāng)前時刻的輸入與上一時刻的輸入有關(guān)，可以針對瓦斯?jié)舛葧r序性數(shù)據(jù)的特性進(jìn)行預(yù)測。經(jīng)過實(shí)驗(yàn)驗(yàn)證，LSTM可以有效地預(yù)測下一時刻瓦斯?jié)舛龋蔀槊旱V安全生產(chǎn)管理提供一定的參考意見。