黃堅(jiān)強(qiáng)，秦亮曦

(1.廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院, 廣西 南寧 530004;2.廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室, 廣西 南寧 530004)

0 引言

天氣變化極大地影響著人類(lèi)的日常生活。為了準(zhǔn)確地把握未來(lái)的天氣狀況，人類(lèi)從未停止過(guò)對(duì)天氣預(yù)測(cè)的研究。各種氣象觀測(cè)儀器、觀測(cè)和分析技術(shù)等都在迅速發(fā)展。短時(shí)天氣預(yù)測(cè)(如降雨和溫度)一直是天氣預(yù)報(bào)領(lǐng)域的一個(gè)重要問(wèn)題，其目標(biāo)是預(yù)測(cè)0～6 h內(nèi)的天氣狀況。準(zhǔn)確的短時(shí)降雨和溫度預(yù)測(cè)可以針對(duì)可能出現(xiàn)的極端天氣情況做出及時(shí)的預(yù)警。

在過(guò)去的十幾年中，通過(guò)雷達(dá)影像進(jìn)行短期降雨預(yù)測(cè)已經(jīng)研究開(kāi)發(fā)了許多技術(shù)手段，但是這些方法都比較依賴于所預(yù)測(cè)區(qū)域的天氣條件，不是十分穩(wěn)定。另外也有利用氣象觀測(cè)衛(wèi)星數(shù)據(jù)進(jìn)行預(yù)測(cè)氣溫的相關(guān)研究，但由于衛(wèi)星同時(shí)觀察的地面范圍較寬(東西寬度2 800 km)，對(duì)某一地區(qū)每天只能進(jìn)行兩次觀測(cè)，間隔時(shí)間為12 h，因此該方法在空間分辨率和時(shí)間頻率方面都難以滿足要求。近些年來(lái)，也出現(xiàn)了利用神經(jīng)網(wǎng)絡(luò)對(duì)歷史數(shù)據(jù)進(jìn)行學(xué)習(xí)，并對(duì)未來(lái)天氣情況進(jìn)行預(yù)測(cè)的研究。由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的學(xué)習(xí)能力和擬合高度非線性函數(shù)的能力[1]，因而取得了較好的效果。但由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)大都屬于淺層神經(jīng)網(wǎng)絡(luò)，在其學(xué)習(xí)過(guò)程中，難以獲得歷史數(shù)據(jù)中的深層特征信息。因此，若能提取數(shù)據(jù)的深層特征，則預(yù)測(cè)精度將得到提高，而近年來(lái)出現(xiàn)的深度學(xué)習(xí)方法恰好能較好地提取數(shù)據(jù)的深層特征[2]，如卷積網(wǎng)絡(luò)[3]、多隱層神經(jīng)網(wǎng)絡(luò)[4]和深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)等。

由于短時(shí)天氣有時(shí)變化非?？?，需要一種能更好地提取短時(shí)天氣特征的方法，因此筆者提出了一種Attention和LSTM組合模型(attention and long short-term memory combined model, ALSTM)預(yù)測(cè)算法。其特點(diǎn)主要包括：① 區(qū)別于傳統(tǒng)方法及淺層神經(jīng)網(wǎng)絡(luò)方法，該算法采用遞歸神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)短期記憶模型(long short-term memory, LSTM)形成深度循環(huán)神經(jīng)網(wǎng)絡(luò)，可從歷史天氣數(shù)據(jù)中，提取其深層特征，對(duì)未來(lái)的降雨和溫度進(jìn)行預(yù)測(cè)，取得了更好的預(yù)測(cè)結(jié)果；②將LSTM模型與Attention機(jī)制結(jié)合，使之更注重?cái)?shù)據(jù)中的一些重要特征，從而提高了預(yù)測(cè)多目標(biāo)數(shù)值的穩(wěn)定性和正確率；③將兩個(gè)或多個(gè)LSTM模型進(jìn)行堆疊組合，將前一個(gè)模型的輸出作為下一個(gè)模型的輸入，這樣可在同一模型中同時(shí)預(yù)測(cè)兩個(gè)或多個(gè)關(guān)聯(lián)值，這樣更滿足短時(shí)天氣預(yù)測(cè)的需求。

1 相關(guān)工作

短時(shí)降雨預(yù)測(cè)方法因?yàn)榉椒ǖ牟煌?，大致可以分為長(zhǎng)期數(shù)值天氣預(yù)報(bào)(numerical weather prediction, NWP)模型方法、雷達(dá)回波外推方法以及神經(jīng)網(wǎng)絡(luò)方法等，這些方法因?yàn)樵聿煌?，也具有不一樣的?yīng)用場(chǎng)景以及不同的使用頻率。如NWP方法需要較復(fù)雜的物理過(guò)程，同時(shí)也需要進(jìn)行細(xì)微的模擬。因此，更快、更準(zhǔn)確的雷達(dá)回波外推方法目前被廣泛運(yùn)用于天氣預(yù)報(bào)系統(tǒng)中。

雷達(dá)回波外推方法的原理是利用天氣雷達(dá)所探測(cè)到的回波數(shù)據(jù)，確定回波體的移動(dòng)方向和速度以及回波的強(qiáng)度分布，通過(guò)對(duì)回波體進(jìn)行線性或者非線性的外推，預(yù)報(bào)下一段時(shí)間段后的雷達(dá)回波狀態(tài)。雷達(dá)回波外推方法如質(zhì)心跟蹤法和交叉相關(guān)法。近些年來(lái)，一種基于光流的方法也被用于短時(shí)降雨預(yù)測(cè)問(wèn)題中[5]。此外光流也可以用于觀察物體各部分的運(yùn)動(dòng)信息。香港天文臺(tái)(HKO)提出的算法[6]對(duì)雷達(dá)回波圖像中的實(shí)時(shí)光流采用變分方法進(jìn)行處理，該算法被用于局域強(qiáng)降雨的短臨預(yù)警系統(tǒng)(short-range warning of intense rainstorms in localized systems, SWIRLS)。然而，這些基于光流的方法由于分離了流量估計(jì)步長(zhǎng)和雷達(dá)回波前濾波步長(zhǎng)，難以確定合適的模型參數(shù)來(lái)獲得良好的預(yù)測(cè)性能，因而其成功與否受到限制。

溫度預(yù)測(cè)常用的方法是氣象衛(wèi)星以及統(tǒng)計(jì)學(xué)方法。從機(jī)器學(xué)習(xí)的角度來(lái)看，可以把降水和平均氣溫的預(yù)測(cè)臨近預(yù)報(bào)看作是一個(gè)時(shí)間序列預(yù)報(bào)問(wèn)題，針對(duì)短時(shí)天氣預(yù)測(cè)的研究如雨后春筍般涌現(xiàn)。如賀佳佳等[7]通過(guò)建立一種多時(shí)間尺度SVM來(lái)進(jìn)行局部短時(shí)臨近降雨預(yù)測(cè)，充分考慮了不同站點(diǎn)、不同時(shí)刻的氣象要素差異，從而提高了短時(shí)降雨預(yù)報(bào)的準(zhǔn)確率；YANG等[8]提出一種可拓分類(lèi)預(yù)測(cè)方法，用于預(yù)測(cè)城市月平均氣溫，通過(guò)可拓聚類(lèi)，將城市每月的平均氣溫聚類(lèi)，進(jìn)而預(yù)測(cè)城市其他月份的平均氣溫；海濤等[9]利用基于RBF的神經(jīng)網(wǎng)絡(luò)模型對(duì)太陽(yáng)光輻照度預(yù)測(cè)，并采用GP-RBF算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果表明該模型預(yù)測(cè)精度較高，且具有一定的實(shí)用性；CHEN等[10]基于BP神經(jīng)網(wǎng)絡(luò)對(duì)礦井巷道空氣、溫度進(jìn)行預(yù)測(cè)，保障了礦井工作人員的安全；WANG等[11]使用自適應(yīng)神經(jīng)模糊推理系統(tǒng)進(jìn)行平均溫度的預(yù)測(cè)；HIMIKA等[12]利用機(jī)器學(xué)習(xí)組合方法預(yù)測(cè)全球地表氣溫，通過(guò)集成三個(gè)模型并進(jìn)行預(yù)測(cè)，取得了良好的預(yù)測(cè)結(jié)果，也體現(xiàn)了組合預(yù)測(cè)方法相比于傳統(tǒng)的預(yù)測(cè)方法具有更好的模型健壯性。

目前，由于神經(jīng)網(wǎng)絡(luò)具有良好的自適應(yīng)能力、較強(qiáng)的容錯(cuò)力以及可組合性，因此被廣泛運(yùn)用于天氣預(yù)測(cè)研究中。深度學(xué)習(xí)，特別是遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)和LSTM模型的研究進(jìn)展[13]為解決降雨和溫度預(yù)測(cè)這一問(wèn)題提供了一種有用的方法。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支，采用更多層的網(wǎng)絡(luò)，并通過(guò)逐層學(xué)習(xí)的方法使數(shù)據(jù)的深層特征更好地被模型學(xué)習(xí)，如孔震等[3]使用基于時(shí)域卷積的多尺度雙線性天氣預(yù)測(cè)模型，更深入挖掘天氣數(shù)據(jù)中潛在關(guān)聯(lián)信息；劉洋等[4]將多種氣象參數(shù)通過(guò)多隱含層神經(jīng)網(wǎng)絡(luò)，對(duì)降雨進(jìn)行預(yù)測(cè)，較現(xiàn)有的臨降雨預(yù)測(cè)理論正確率提高近10%；XU等[14]利用誤差修正后的深度LSTM模型對(duì)室內(nèi)空氣溫度進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)了在定向預(yù)測(cè)精度上優(yōu)于原始LSTM模型；陳立華等[15]提出基于Archimedean copula函數(shù)構(gòu)造的風(fēng)雨聯(lián)合分布模型，并將其應(yīng)用在欽州市的降雨預(yù)測(cè)研究中，實(shí)驗(yàn)結(jié)果表明，該風(fēng)雨聯(lián)合模型結(jié)果可靠。根據(jù)深度學(xué)習(xí)方法背后的哲學(xué)以及多模型組合預(yù)測(cè)的可行性，筆者提出了ALSTM模型并取得了較好的預(yù)測(cè)效果。

2 ALSTM模型設(shè)計(jì)

2.1 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

RNN是一系列能夠處理順序數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的總稱。一般RNN包含以下特性：

① 每個(gè)隱單元間循環(huán)鏈接，且能在下個(gè)時(shí)間節(jié)點(diǎn)T產(chǎn)生輸入；

② 當(dāng)前時(shí)間節(jié)點(diǎn)僅與下一時(shí)間節(jié)點(diǎn)的隱單元循環(huán)鏈接；

③ 所有隱單元排列成的循環(huán)鏈接結(jié)構(gòu)能夠處理輸入的數(shù)據(jù)，并產(chǎn)生單一的輸出預(yù)測(cè)。

LSTM是RNN的一種特殊形式，所以它也是一種特定的循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM一般而言有輸入門(mén)、遺忘門(mén)和輸出門(mén)，其單元結(jié)構(gòu)如圖1所示。

圖1 LSTM單元結(jié)構(gòu)

LSTM對(duì)輸入信息進(jìn)行篩選，把符合條件的信息留下，不符合的過(guò)濾掉，可以實(shí)現(xiàn)選擇性地讓信息通過(guò)，是因?yàn)長(zhǎng)STM網(wǎng)絡(luò)默認(rèn)的激活函數(shù)是sigmoid函數(shù)。LSTM可以通過(guò)門(mén)控單元對(duì)神經(jīng)元添加和刪除信息，并選擇性決定信息是否通過(guò)，它由一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)成對(duì)乘法操作組成。sigmoid層輸出的每個(gè)元素都是在[0,1]的實(shí)數(shù)，表示讓對(duì)應(yīng)信息通過(guò)的權(quán)重。LSTM神經(jīng)網(wǎng)絡(luò)的內(nèi)部含有tanh激活函數(shù)的層，該層是為了更新神經(jīng)元的狀態(tài)。上述功能的實(shí)現(xiàn)需要用到的公式如下：

(1)

(2)

LSTM神經(jīng)網(wǎng)絡(luò)的遺忘門(mén)決定需要丟棄什么信息，該門(mén)會(huì)讀取ht-1和xt，給神經(jīng)元Ct-1一個(gè)0到1的數(shù)值。遺忘門(mén)的計(jì)算公式如下：

ft=σ(Wf·[ht-1,xt]+bf)，

(3)

式中，ht-1表示上個(gè)神經(jīng)元的輸出；xt是當(dāng)前神經(jīng)元的輸入；Wf是連接權(quán)重矩陣；bf表示偏置；σ是sigmoid函數(shù)。

(4)

it=σ(Wi·[hi-1,xt]+bi)，

(5)

(6)

式中，Wi、Wc是連接權(quán)重矩陣;bi、bc表示偏置；tanh表示激活函數(shù)。輸出門(mén)的作用是控制當(dāng)前神經(jīng)單元狀態(tài)以及單元狀態(tài)被過(guò)濾的程度，其計(jì)算公式如下：

Ot=σ(Wo·[hi-1,xt]+bo)，

(7)

ht=Ot×tanh(Ct),

(8)

式中，Wo是連接權(quán)重矩陣；bo表示偏置；ht表示當(dāng)前神經(jīng)元輸出。

2.2 Attention模型

Attention模型最初被用于機(jī)器翻譯，現(xiàn)在已被廣泛運(yùn)用于機(jī)器學(xué)習(xí)以及和許多神經(jīng)網(wǎng)絡(luò)模型相結(jié)合中。

簡(jiǎn)單的說(shuō)，注意力機(jī)制類(lèi)似于人去看一個(gè)圖畫(huà)，注意力往往會(huì)根據(jù)個(gè)人喜好的不同而對(duì)圖畫(huà)中某一區(qū)域，注入更多的注意力，即更傾向于關(guān)注圖像中的部分重要信息[16]。在RNN中，結(jié)合注意力機(jī)制可以使某些重要的因素更容易被捕獲，數(shù)據(jù)內(nèi)部邏輯結(jié)構(gòu)的相關(guān)性也更容易被建模起來(lái)，這解決了因?yàn)樘幚黹L(zhǎng)序列輸入而導(dǎo)致等待時(shí)間過(guò)久，權(quán)重分配不當(dāng)?shù)膯?wèn)題，從而提高預(yù)測(cè)性能。

傳統(tǒng)編碼器-解碼器結(jié)構(gòu)[17]如圖2所示。輸入序列(x1,x2,…,xt)，被RNN編碼器編碼為固定長(zhǎng)度的向量(h1,h2,…,ht)，其中t表示輸入序列長(zhǎng)度。解碼器通過(guò)已經(jīng)編碼過(guò)后的序列結(jié)合狀態(tài)(s1,s2,…,stt)生成一個(gè)輸出序列(y1,y2,…,ytt)，其中tt表示輸出序列長(zhǎng)度。在此編碼過(guò)程中的ht以及解碼過(guò)程中的st都表示不同解碼器的隱狀態(tài)。

圖2 傳統(tǒng)編碼器-解碼器結(jié)構(gòu)

注意力機(jī)制的相應(yīng)編碼器-解碼器體系結(jié)構(gòu)如圖3所示。注意力權(quán)重αij在編碼過(guò)程中自動(dòng)學(xué)習(xí)，并自動(dòng)捕獲hi和sj，其隱狀態(tài)的相關(guān)性也在此過(guò)程中被發(fā)現(xiàn)，此后，注意力機(jī)制構(gòu)建內(nèi)容向量c，即分配更精準(zhǔn)的注意力權(quán)重。該權(quán)重用于構(gòu)建解碼過(guò)程中的sj和編碼過(guò)程中的hi更合理的轉(zhuǎn)換，其中內(nèi)容向量cj是編碼器所有隱狀態(tài)及其相應(yīng)注意力權(quán)重相乘的加權(quán)和，其計(jì)算公式如下：

圖3 帶注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)

(9)

注意力機(jī)制的加入類(lèi)似于前饋神經(jīng)網(wǎng)絡(luò)。而與前饋網(wǎng)絡(luò)不同的是，注意力機(jī)制在學(xué)習(xí)過(guò)程中學(xué)習(xí)一個(gè)特殊的注意力權(quán)重αij，以此構(gòu)建hi和sj-1的轉(zhuǎn)換函數(shù)。

2.3 ALSTM模型

在氣象研究問(wèn)題中，氣溫和降雨存在著相關(guān)性，但是現(xiàn)存的神經(jīng)網(wǎng)絡(luò)模型往往只能預(yù)測(cè)某一短期天氣數(shù)值。為了預(yù)測(cè)多個(gè)天氣數(shù)值，將LSTM神經(jīng)網(wǎng)絡(luò)堆疊形成深度關(guān)聯(lián)循環(huán)神經(jīng)網(wǎng)絡(luò)，將第一個(gè)輸出值作為第二個(gè)預(yù)測(cè)值的輸入；并在此基礎(chǔ)上加入Attention機(jī)制，因而得到了基于Attention和LSTM組合的多值預(yù)測(cè)模型(ALSTM)。ALSTM模型結(jié)構(gòu)如圖4所示。

圖4 ALSTM模型結(jié)構(gòu)

ALSTM模型的數(shù)據(jù)流程如圖5所示。在訓(xùn)練開(kāi)始時(shí)，天氣數(shù)據(jù)通過(guò)輸入層同時(shí)進(jìn)入兩個(gè)分支，這兩個(gè)分支分別預(yù)測(cè)空氣溫度和降雨，模型在預(yù)測(cè)空氣溫度后將其作為預(yù)測(cè)降雨的輸入?yún)?shù)，以此產(chǎn)生多值關(guān)聯(lián)預(yù)測(cè)。

圖5 ALSTM的數(shù)據(jù)流程

在模型的訓(xùn)練階段中，總誤差Ltotle用來(lái)作為模型預(yù)測(cè)結(jié)果的評(píng)估，訓(xùn)練階段的目標(biāo)是獲取最小的總誤差，總誤差的計(jì)算公式如下：

(10)

式中，Li表示子誤差。

3 參數(shù)設(shè)計(jì)和算法設(shè)計(jì)

3.1參數(shù)設(shè)計(jì)

在傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡(luò)輸入中有一個(gè)步長(zhǎng)參數(shù)，表示預(yù)測(cè)值與多少歷史數(shù)據(jù)有關(guān)。為了在ALSTM模型的實(shí)驗(yàn)中使用較好的步長(zhǎng)，采用10 000個(gè)樣本數(shù)據(jù)，步長(zhǎng)分別為3、5、10、20，迭代次數(shù)為50次進(jìn)行對(duì)比實(shí)驗(yàn),平均誤差變化分別如圖6至圖9所示。

圖6 步長(zhǎng)為3的ALSTM平均誤差變化

圖7 步長(zhǎng)為5的ALSTM平均誤差變化

圖8 步長(zhǎng)為10的ALSTM平均誤差變化

圖9 步長(zhǎng)為20的ALSTM平均誤差變化

如圖6至圖9所示，選定不同步長(zhǎng)時(shí)，收斂速度相差不大，但在選定步長(zhǎng)為10時(shí)，下降曲線較為平緩。故選取步長(zhǎng)10作為ALSTM模型的步長(zhǎng)。

3.2 算法設(shè)計(jì)

本文所采用的算法建立在深度學(xué)習(xí)的基礎(chǔ)上，將Adam算法作為梯度下降的算法，ALSTM的步長(zhǎng)設(shè)置為10，神經(jīng)元個(gè)數(shù)設(shè)置為300，模型學(xué)習(xí)率為0.000 6，dropout層定義為0.99的損失比。深度學(xué)習(xí)通常需要大量的時(shí)間和計(jì)算資源來(lái)訓(xùn)練。因此需要找到一種資源少、收斂速度快的優(yōu)化算法，而Adam優(yōu)化算法在求解非凸優(yōu)化問(wèn)題上具有很大的優(yōu)勢(shì)，它的本質(zhì)是對(duì)隨機(jī)梯度下降算法的擴(kuò)展。

算法在訓(xùn)練階段，將Ltotle做為算法的評(píng)價(jià)函數(shù)，算法包含兩個(gè)關(guān)聯(lián)的DRNN網(wǎng)絡(luò)。具體的算法步驟如下：

Step 1:接受輸入，通過(guò)正則化函數(shù)將數(shù)據(jù)歸一化，溫度和累計(jì)雨量作為第一個(gè)預(yù)測(cè)輸出和第二個(gè)預(yù)測(cè)輸出。

Step 2:設(shè)置每輪訓(xùn)練數(shù)量為500個(gè)，訓(xùn)練次數(shù)為100次，建立LSTM接收輸入，激活函數(shù)為relu函數(shù)，加入Attention機(jī)制，為其分配權(quán)重，最后的輸出變成了注入Attention機(jī)制的加權(quán)求和溫度值，得到第一個(gè)溫度誤差M以及第一個(gè)預(yù)測(cè)的空氣溫度值T。

Step 3:根據(jù)已經(jīng)正則化的輸入以及預(yù)測(cè)的空氣溫度值，再次利用ALSTM模型去預(yù)測(cè)降雨值，得到第二個(gè)降雨誤差值R和預(yù)測(cè)降雨量P。

Step 4:根據(jù)兩個(gè)誤差值相加得到總誤差值Ltotle，然后利用Adam算法對(duì)總誤差之進(jìn)行優(yōu)化，將總誤差值降低，如果總誤差值沒(méi)有變化或者當(dāng)達(dá)到訓(xùn)練迭代次數(shù)時(shí)，算法結(jié)束。

ALSTM算法流程如圖10所示。

圖10 ALSTM的算法流程

4 實(shí)驗(yàn)結(jié)果和分析

在本文算法實(shí)驗(yàn)中，采用均方誤差(mean absolute error, MSE)作為訓(xùn)練階段計(jì)算訓(xùn)練偏差程度的評(píng)價(jià)指標(biāo)，因MSE是參數(shù)的估計(jì)值與參數(shù)的真值之差的平方的期望值，能更好地反應(yīng)模型對(duì)數(shù)據(jù)的擬合情況，其值用字母E表示，計(jì)算公式如下：

(11)

式中，yi表示參數(shù)真實(shí)值；yi′表示參數(shù)估計(jì)值。如果E越小則說(shuō)明該模型的訓(xùn)練效果越優(yōu)。

4.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)是從網(wǎng)上下載的北京2010—2015年的PM2.5天氣數(shù)據(jù)集，時(shí)間間隔為1 h，共有43 825組數(shù)據(jù)。數(shù)據(jù)集按時(shí)間順序按3∶1劃分為訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集。每組數(shù)據(jù)有8個(gè)參數(shù)。以這些參數(shù)作為基本輸入屬性，以下一小時(shí)的溫度、降雨作為模型的輸出值。相關(guān)的參數(shù)標(biāo)識(shí)符如表1所示。

表1 參數(shù)及標(biāo)識(shí)符

由于不同天氣要素?cái)?shù)據(jù)的值域不同，為了避免在訓(xùn)練過(guò)程中受到值大小的影響，將所有屬性數(shù)據(jù)做歸一化處理，使其變換到同一范圍內(nèi)。采用最小-最大歸一化方法，其歸一化函數(shù)如下：

(12)

通過(guò)歸一化處理，將每個(gè)屬性值均變換到[0,1]，這樣避免在訓(xùn)練過(guò)程中受到較大值的影響而發(fā)生偏置。

4.2 訓(xùn)練階段的實(shí)驗(yàn)分析

利用2010—2015年的北京PM2.5天氣數(shù)據(jù)集，分別對(duì)LSTM、BP、基于LSTM的深度循環(huán)神經(jīng)網(wǎng)絡(luò)(DRNN)和ALSTM模型進(jìn)行訓(xùn)練。

為了對(duì)比模型，在4種神經(jīng)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，并對(duì)下一小時(shí)的溫度和降雨預(yù)測(cè)。根據(jù)實(shí)驗(yàn)，得出各模型的平均總誤差變化對(duì)比如圖11所示。從圖11可見(jiàn)，發(fā)現(xiàn)各模型的平均總誤差都是逐漸減少的。LSTM和BP模型在訓(xùn)練過(guò)程中快速擬合完畢，DRNN和ALSTM的平均總誤差則非常穩(wěn)定地下降，最終4種模型都擬合完畢。

圖11 各模型的平均總誤差變化對(duì)比

ALSTM的溫度和降雨訓(xùn)練誤差變化情況如圖12所示。在迭代次數(shù)較少時(shí)，得到的模型效果比較差，但隨著迭代次數(shù)的不斷增加，訓(xùn)練的誤差也越來(lái)越小。其中溫度訓(xùn)練誤差的下降較為平滑，而降雨誤差略微波動(dòng)，但最終兩個(gè)誤差都趨向于零。究其原因，大致因?yàn)槿粘囟鹊淖兓^為平緩，而降雨從無(wú)到有的變化較為突然所致。

圖12 ALSTM的溫度和降雨訓(xùn)練變化情況誤差

不同模型的溫度訓(xùn)練誤差對(duì)比見(jiàn)表2。從表2可以看出，在迭代次數(shù)高于50次之后，ALSTM的溫度誤差就小于LSTM、BP和DRNN的誤差。不同模型的降雨訓(xùn)練誤差對(duì)比和平均總誤差對(duì)比見(jiàn)表3和表4。從表3、表4可以看出，ALSTM在迭代分別達(dá)到200和100次后，其降雨誤差和平均總誤差均低于其他3種模型。隨著訓(xùn)練次數(shù)的增加，在相同訓(xùn)練次數(shù)下，ALSTM的優(yōu)勢(shì)越來(lái)越明顯。從表2至表4可以看出，DRNN的溫度誤差、降雨誤差，平均總誤差都在降低，并隨著迭代次數(shù)的增加，三個(gè)誤差均低于LSTM和BP，但比ALSTM高。之所以ALSTM需要達(dá)到一定迭代次數(shù)后，才優(yōu)于LSTM和BP兩種模型，是因?yàn)锳LSTM模型更復(fù)雜，需要較多次數(shù)的迭代才能顯示出其效果。而ALSTM因?yàn)榧尤肓薃ttention機(jī)制，模型訓(xùn)練效果更優(yōu)于DRNN。

表2 不同模型的溫度訓(xùn)練誤差對(duì)比

表3 不同模型的降雨訓(xùn)練誤差對(duì)比

表4 不同模型的平均總誤差對(duì)比

4.3 測(cè)試階段的實(shí)驗(yàn)分析

為了驗(yàn)證模型的預(yù)測(cè)效果，采用測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行了驗(yàn)證，測(cè)試數(shù)據(jù)按照時(shí)間順序排列。在本實(shí)驗(yàn)中，采用絕對(duì)誤差(mean absolute error, MAE)作為計(jì)算偏差程度的評(píng)價(jià)指標(biāo)，能更好地反映預(yù)測(cè)值與真實(shí)值存在的誤差的真實(shí)情況，并用1 - MAE的結(jié)果作為模型的精度評(píng)價(jià)指標(biāo)。用字母A表示MAE的大小，計(jì)算公式如下：

(13)

式中，fi表示真實(shí)值;yi表示估計(jì)值。

4種不同模型的平均精度(預(yù)測(cè)降雨精度與預(yù)測(cè)溫度精度的算術(shù)平均)見(jiàn)表5。從表5中可以看出，LSTM的預(yù)測(cè)精度最差，BP模型的預(yù)測(cè)精度好一些，DRNN模型優(yōu)于LSTM和BP模型，ALSTM優(yōu)于其他3種模型。LSTM的預(yù)測(cè)精度差可能是由于LSTM模型在訓(xùn)練過(guò)程中產(chǎn)生了對(duì)例外情況的過(guò)擬合。

表5 4種不同模型的平均精度

圖13至圖20分別展示了使用建立好的LSTM、BP、DRNN和ALSTM模型后，在進(jìn)行溫度和降雨預(yù)測(cè)時(shí)，實(shí)際值和預(yù)測(cè)值的誤差對(duì)比情況。從圖13、圖15、圖17和圖19可以看出，LSTM預(yù)測(cè)的溫度與實(shí)際值的誤差較大，在0～16的范圍內(nèi)；BP略好一些，預(yù)測(cè)誤差在0～2.7；DRNN預(yù)測(cè)誤差在0～1.7；而ALSTM的預(yù)測(cè)誤差在0～1.4，較為穩(wěn)定且接近真實(shí)值，優(yōu)于LSTM、BP和DRNN模型。從圖14、圖16、圖18和圖20可以看出，LSTM、BP、DRNN和ALSTM 4種模型的降雨預(yù)測(cè)誤差分別在0～4.8，0～1.5，0～1.2和0～1.1，相對(duì)于溫度預(yù)測(cè)誤差的數(shù)值都更小一些，同樣的ALSTM在預(yù)測(cè)降雨誤差方面也優(yōu)于LSTM、BP和DRNN模型。結(jié)果表明，ALSTM的預(yù)測(cè)精度高于其他3種模型。這一結(jié)果證實(shí)了下一小時(shí)的降雨不僅與歷史數(shù)據(jù)有關(guān)，也與前一小時(shí)的溫度有關(guān)。因此，ALSTM可以較好地處理這類(lèi)問(wèn)題，其性能優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。由此可以看出，ALSTM對(duì)北京PM2.5的測(cè)試集中的溫度值和降雨值都能做到較好的擬合和預(yù)測(cè)。

圖13 LSTM的溫度預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖14 LSTM的降雨預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖15 BP的溫度預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖16 BP的降雨預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖17 DRNN的溫度預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖18 DRNN的降雨預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖19 ALSTM的溫度預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

圖20 ALSTM的降雨預(yù)測(cè)值與實(shí)際值的誤差對(duì)比情況

5 結(jié)論

本文提出了ALSTM預(yù)測(cè)算法。給出了ALSTM的模型結(jié)構(gòu)、算法框架設(shè)計(jì)，并將ALSTM算法與LSTM、BP和DRNN網(wǎng)絡(luò)算法進(jìn)行了性能對(duì)比實(shí)驗(yàn)。通過(guò)4種算法在溫度和降雨方面的預(yù)測(cè)結(jié)果對(duì)比，驗(yàn)證了ALSTM模型的準(zhǔn)確性及可行性。實(shí)驗(yàn)結(jié)果表明，ALSTM模型不僅優(yōu)于其他3種神經(jīng)網(wǎng)絡(luò)模型，并且還能同時(shí)預(yù)測(cè)兩個(gè)天氣數(shù)值，且平均精度在97%以上。這也說(shuō)明了天氣數(shù)據(jù)相互之間存在關(guān)聯(lián)性。但ALSTM仍存在一些有待改進(jìn)的地方，例如在訓(xùn)練階段使用簡(jiǎn)單的算術(shù)平均算法來(lái)計(jì)算總誤差，目標(biāo)是通過(guò)減少總誤差來(lái)優(yōu)化模型。這種誤差計(jì)算方法沒(méi)有考慮各個(gè)誤差之間的關(guān)系，也沒(méi)有考慮總誤差最小時(shí)的一些細(xì)節(jié)，如各子誤差的極端情況和誤差減少過(guò)程中的振蕩。下一步，我們將研究輸入?yún)?shù)的優(yōu)化，以及輸入?yún)?shù)之間的關(guān)系，以提高模型的平均精度。相信在不久的將來(lái)，更準(zhǔn)確的天氣數(shù)據(jù)將能被人們所預(yù)測(cè)。