諶東海，王 偉，趙昊裔，明新淼

(1.長江勘測規(guī)劃設(shè)計研究有限責(zé)任公司 城市規(guī)劃與建筑設(shè)計院，湖北 武漢 430010； 2.武漢科技大學(xué) 機械自動化學(xué)院，湖北 武漢 430080)

0 引 言

隨著科技產(chǎn)品的廣泛應(yīng)用，對電力的需求目前正在全球范圍內(nèi)逐漸增大，需要對電網(wǎng)進行控制[1]從而實現(xiàn)電力的可持續(xù)發(fā)展[2]。商業(yè)和住宅建筑占智能樓宇能耗總量的30%～40%[3]。所以對于家庭建筑和企業(yè)建筑[4]，通過能耗的預(yù)測[5]提高能耗的使用效率[6]，降低能耗[7]具有很大的現(xiàn)實意義。

鑒于此，研究人員開發(fā)了許多預(yù)測方法來改善電網(wǎng)質(zhì)量并優(yōu)化能源的使用[8]。能源消耗預(yù)測已經(jīng)被許多先進的模型所研究，這些模型通常可以分為傳統(tǒng)模型[9]和基于人工智能(AI)的模型[10]。目前研究人員常常將歷史數(shù)據(jù)與AI算法[11]結(jié)合使用。比如，Jia等[12]針對大型商業(yè)建筑客戶密度較高、隨機性強的特點，采用多元線性反饋回歸模型來精確預(yù)測空調(diào)能耗，該方法在能耗預(yù)測中具有好的仿真效果，但是特征的數(shù)量是不確定的，特征的選擇是根據(jù)變量之間的顯式條件進行選擇的。Yang等[13]提出了一種利用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)估算建筑能耗的方法，該方法只使用兩層及以下的小型循環(huán)網(wǎng)絡(luò)，沒有深入探索兩層以上的深層網(wǎng)絡(luò)是否會在建筑能耗預(yù)測中表現(xiàn)更好的問題。Luo等[14]采用遺傳算法GA確定LSTM架構(gòu)的超參數(shù)包括LSTM層數(shù)、每個LSTM層中的神經(jīng)元數(shù)、每個LSTM層的丟包率和網(wǎng)絡(luò)學(xué)習(xí)率，使得LSTM的網(wǎng)絡(luò)結(jié)構(gòu)達到最優(yōu)以提高其預(yù)測精度和魯棒性。

在總結(jié)借鑒前人的研究，提出了MI+PSO-LSTM模型，首先在對數(shù)據(jù)進行預(yù)處理時，使用互信息法(MI)[15]對原始數(shù)據(jù)的特征進行選擇，然后采用粒子群優(yōu)化算法(PSO)[16]對長短時神經(jīng)記憶網(wǎng)絡(luò)(LSTM)[17]的網(wǎng)絡(luò)結(jié)構(gòu)進行尋優(yōu)，以求得到最佳的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，最后將某建筑的歷史用電量作為時間序列進行短期單步1 h的用電量預(yù)測。

1 相關(guān)理論和方法

1.1 LSTM長短時神經(jīng)記憶網(wǎng)絡(luò)

遺忘門：根據(jù)xt和ht-1的大小控制上一單元狀態(tài)Ct-1被遺忘的程度

ft=σ(Wf·[ht-1,xt]+bf)

(1)

輸入門：根據(jù)xt和ht-1的大小控制哪些信息被加入到本單元Ct中

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

單元狀態(tài)更新：根據(jù)ft將新信息有選擇的記錄到Ct中

(4)

輸出門：將Ct激活，并控制Ct被過濾的程度

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot°tanh(Ct)

(6)

σ(x)=1/(1+e-x)

(7)

tanh(x)=(ex-e-x)/(ex+e-x)

(8)

輸出層依據(jù)式(9)將ht經(jīng)過一個全連接層(dense)得到最終預(yù)測值yt

yt=σ(Wy·ht+by)

(9)

其中，Wy，by分別為權(quán)重矩陣和偏置項。

LSTM通過遺忘門，控制歷史信息的傳遞，通過輸入門決定當(dāng)前信息的保留程度，然后將經(jīng)過遺忘門的舊狀態(tài)與經(jīng)過輸入門的新狀態(tài)進行疊加，得到當(dāng)前單元狀態(tài)更新后的狀態(tài)，將更新后的狀態(tài)通過輸出門輸出。

1.2 MI互信息法

在對數(shù)據(jù)進行預(yù)處理時，其中原始數(shù)據(jù)的選擇在一定程度上決定了模型的準(zhǔn)確性。如果可以通過選擇最有效和有用的輸入來減少輸入數(shù)據(jù)特征的數(shù)量，則預(yù)測模型會得到更好的增強。特征選擇方法的方法包括相關(guān)性分析[18]和數(shù)值靈敏度分析[19]等，但是這些方法都是線性的輸入選擇方法，而能耗數(shù)據(jù)則是非線性的。因此，互信息特征選擇方法將更加有效[20]，此方法計算輸入和輸出數(shù)據(jù)相關(guān)性的效率是很高的[21]。

互信息(mutual information，MI)，表示兩個變量X與Y之間的相互依賴性。

X，Y之間的互信息I(X;Y) 定義為

(10)

其中，p(x,y) 是聯(lián)合概率密度函數(shù)，p(x),p(y) 分別為x,y的邊緣概率密度函數(shù)。MI是用來評價一個事件的出現(xiàn)對于另一個事件的出現(xiàn)所貢獻的信息量[22]。MI互信息法通過計算所有特征與目標(biāo)特征的互信息度量，然后進行排序，選取K個MI最高的特征，從而達到特征選擇的目的。

2 系統(tǒng)模型設(shè)計

LSTM是一種深度學(xué)習(xí)模型，可以有效地處理較長的時間序列并自動學(xué)習(xí)數(shù)據(jù)并挖掘更深層次的功能。但是與其它神經(jīng)網(wǎng)絡(luò)模型類似，LSTM神經(jīng)網(wǎng)絡(luò)模型中部分超參數(shù)的設(shè)置，往往依賴研究者的經(jīng)驗，這樣的模型缺乏科學(xué)嚴謹性。為了使LSTM模型的預(yù)測效果達到最優(yōu)，采用粒子群優(yōu)化(PSO)算法對LSTM模型進行優(yōu)化。PSO的優(yōu)勢在于簡單容易實現(xiàn)，PSO解決方案提供了更快的收斂速度，并且沒有許多參數(shù)需要調(diào)整。遺傳算法和蟻群算法等不具備這種引導(dǎo)機制。

2.1 PSO粒子群優(yōu)化算法

粒子群算法的基本思想：一群鳥在一定的區(qū)域內(nèi)隨機飛往某處搜索食物，所有的鳥僅知道自己與食物的距離和其它鳥的位置信息。每一只鳥在離開當(dāng)前所在位置飛往其它位置時，會依賴于下列信息：目前離食物最近的鳥的周圍區(qū)域、根據(jù)自己飛行的經(jīng)驗判斷食物的所在。

PSO初始化的狀態(tài)為一群隨機生成的粒子。然后通過迭代改變粒子的位置從而找到最優(yōu)解。在每一次的迭代中，粒子通過比較當(dāng)前粒子與兩個“極值”(局部最優(yōu)解pbest，全局最優(yōu)解gbest)來改變粒子的速度和位置，從而達到更新粒子的目的。在找到這兩個最優(yōu)值后，粒子通過下面的公式來更新自己的速度和位置

vi=vi+c1×rand()×(pbesti-xi)+c2×rand()×(gbesti-xi)

(11)

xi=xi+vi

(12)

其中，i=1，2，…，N，N是粒子群的粒子總數(shù)。vi為i粒子的當(dāng)前速度；rand()為介于(0，1)之間的隨機數(shù)；xi為i粒子的當(dāng)前位置；c1和c2為學(xué)習(xí)因子；pbesti和gbesti分別是當(dāng)前粒子群局部最優(yōu)位置和全局最優(yōu)位置。

2.2 LSTM的超參數(shù)

網(wǎng)絡(luò)層數(shù)并不是越多越好，如果設(shè)計的淺層(3層到5層)網(wǎng)絡(luò)沒有學(xué)習(xí)任何特征，那么設(shè)計的超深(如100層)網(wǎng)絡(luò)也會沒有效果，甚至更加糟糕。隱藏單元太多或者太少，都會導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練。LSTM隱藏層神經(jīng)元個數(shù)units是非常重要的，若units過小，LSTM網(wǎng)絡(luò)性能會很差甚至LSTM可能根本不能訓(xùn)練。增加units的大小在降低模型預(yù)測的誤差的同時，也會增加網(wǎng)絡(luò)的復(fù)雜度，從而增加網(wǎng)絡(luò)的訓(xùn)練時間。若units過大，會導(dǎo)致網(wǎng)絡(luò)緩慢、難以訓(xùn)練，殘留噪聲難以消除，從而導(dǎo)致LSTM訓(xùn)練容易陷入局部極小值點甚至出現(xiàn)“過擬合”。

權(quán)重正則化可以減少LSTM“過擬合”訓(xùn)練的風(fēng)險。當(dāng)dropout很小時，懲罰項值不大，還是會出現(xiàn)過擬合現(xiàn)象，當(dāng)dropout的值逐漸調(diào)大時，會逐漸抑制過擬合現(xiàn)象的發(fā)生，但是當(dāng)dropout的值超過一個閾值時，就會出現(xiàn)欠擬合現(xiàn)象，因為其懲罰項太大，導(dǎo)致丟失太多的特征。dropout選擇合適的大小，權(quán)重衰減會抑制靜態(tài)噪聲對目標(biāo)的某些影響。所以選擇的dropout值至關(guān)重要。

除了上述兩個參數(shù)對LSTM模型影響很大之外，批處理大小batchsize的選擇不可或缺。批處理大小為batchsize意味著在更新模型權(quán)重之前，將使用訓(xùn)練數(shù)據(jù)集中的batchsize個樣本來估計誤差梯度。小批量通常會導(dǎo)致快速學(xué)習(xí)，但學(xué)習(xí)過程不穩(wěn)定，并且分類精度差異較大。較大的批次大小會減慢學(xué)習(xí)過程。若LSTM網(wǎng)絡(luò)中存在批歸一化，batchsize過小則更難以收斂，甚至垮掉。這是因為數(shù)據(jù)樣本越少，統(tǒng)計量越不具有代表性，噪聲也相應(yīng)的增加。而過大的batchsize，會使得梯度方向基本穩(wěn)定，容易陷入局部最優(yōu)解，降低精度。

所以將units、dropout、batchsize作為LSTM的超參數(shù)優(yōu)化目標(biāo)，使用PSO算法得到最優(yōu)解，使得LSTM模型在短期能耗預(yù)測中達到最優(yōu)的預(yù)測精度。

2.3 MI+PSO-LSTM模型結(jié)構(gòu)

用電量作為時間序列，其具有復(fù)雜的不確定性。為了準(zhǔn)確地預(yù)測建筑的用電量，將在時間序列分析預(yù)測中有良好表現(xiàn)的LSTM模型作為基礎(chǔ)模型，構(gòu)建建筑用電量預(yù)測模型。由于時間序列的復(fù)雜性，如果分析的特性不足，會無法達到預(yù)期的預(yù)測效果，但如果分析所有特征，毫無疑問將會大幅度提升模型搭建的難度和模型的運行時間，造成模型性能大幅度下降。MI互信息法能盡可能地保留有用的信息，在保證模型預(yù)測精度的同時能減少模型搭建的復(fù)雜度。PSO優(yōu)化算法能夠科學(xué)處理全局優(yōu)化問題，有效地解決LSTM因參數(shù)設(shè)置不當(dāng)導(dǎo)致模型效果不佳的問題。

基于MI互信息法和PSO優(yōu)化算法與LSTM結(jié)合，提出了一種建筑能耗短期預(yù)測組合模型MI+PSO-LSTM，模型結(jié)構(gòu)如圖2所示。

組合模型算法流程如下：

步驟1 對原始數(shù)據(jù)進行預(yù)處理，然后進行平滑處理形成480個特征分量。

步驟2 計算步驟1中480個特征分量與預(yù)測分量的MI值，選取MI權(quán)重前60個的特征分量構(gòu)成新的數(shù)據(jù)集。

步驟3 將步驟2中80%的數(shù)據(jù)集作為訓(xùn)練集，剩下的數(shù)據(jù)作為測試集。

步驟4 初始化相關(guān)參數(shù)，設(shè)置以下參數(shù)的范圍，units∈[20,300]，dropout∈[0,1]，batchsize∈[20,300]。

步驟5 在初始范圍內(nèi)，對粒子群(20個粒子)隨機初始化，根據(jù)fitness function(LSTM模型擬合結(jié)果)，計算每個粒子的適應(yīng)值(平均絕對誤差MAE)，根據(jù)當(dāng)前每個粒子的MAE確定這次迭代的粒子群的最優(yōu)位置(pbest)以及歷史粒子種群的最佳方位(gbest)。

步驟6 根據(jù)最優(yōu)粒子的位置和速度以及式(11)和式(12)，對當(dāng)前粒子的位置和速度進行更新，將更新后的粒子通過LSTM模型擬合后，計算每個粒子的MAE，根據(jù)MAE更新pbest和gbest；

步驟7 當(dāng)最優(yōu)粒子的適應(yīng)度值不再變化或者迭代次數(shù)達到上限值即認為此時算法已經(jīng)達到收斂；若粒子未收斂，則返回步驟3。

步驟8 將得到的最優(yōu)粒子參數(shù)代入到LSTM模型中，對步驟3中的數(shù)據(jù)進行預(yù)測分析，得到最終的結(jié)果。

3 實驗結(jié)果及結(jié)論

3.1 實驗數(shù)據(jù)集

實驗所用數(shù)據(jù)集為某建筑2019年10月15日至2019年6月4日的用電量，該數(shù)據(jù)集一共20個特征。這些特征的描述見表1。

表1 數(shù)據(jù)集說明

本文使用前24小時的數(shù)據(jù)預(yù)測下一小時Gi的值，故使用滑動窗口將24小時的20個特征的數(shù)據(jù)形成480個特征分量。然后使用MI互信息法選擇使用滑動窗口法形成的480個特征分量中MI值最大的前60維特征。選擇結(jié)果見表2。

其中，選擇的特征例如Gi(t-1) 表示，以當(dāng)前時間為基準(zhǔn)前一小時從工業(yè)廠房公共電網(wǎng)中輸入。MI值為當(dāng)前特征分量X與以當(dāng)前時間為基準(zhǔn)的Gi分量(即I(X;Gi(t)) 的互信息值大小。由表2可知前4小時的大部分特征與當(dāng)前時刻的Gi特征的互信息值較大，Gi、Ao、Co、A2前24個小時的特征與當(dāng)前時刻的Gi特征的互信息值也相對較大。MI減少了87.5%的多余特征，對提高模型算法效率起到了很好的作用。

3.2 評價指標(biāo)

使用4種評價指標(biāo)來評判模型的好壞程度。

均方根誤差：RMSE，數(shù)值越小，表示模型擬合效果越好

(13)

平均絕對誤差：MAE，數(shù)值越小，表示模型擬合效果越好

(14)

對稱平均絕對百分比誤差：SMAPE，數(shù)值越小，表示模型擬合效果越好

(15)

可決系數(shù)：R2，數(shù)值越大，表示模型擬合效果越好

(16)

3.3 模型參數(shù)設(shè)置

為了驗證提出MI+PSO-LSTM組合模型的預(yù)測效果，本節(jié)采用表3中的兩組5個實驗?zāi)Ｐ妥鰧嶒瀸Ρ?，模型的主要參?shù)見表4、表5。

3.4 模型實驗數(shù)據(jù)分析

3.4.1 基礎(chǔ)模型實驗結(jié)果分析

本節(jié)表3的基礎(chǔ)模型M1～M3，通過特征1～20對公共電網(wǎng)輸入總電量Gi，進行單步預(yù)測實驗對比。

實驗對比結(jié)果(表6)中，從可決系數(shù)、均方根誤差、對稱平均絕對百分比誤差這3個模型預(yù)測評價指標(biāo)中均可看出LSTM模型預(yù)測結(jié)果最好。

ARMA、K近鄰和LSTM預(yù)測1 h用電量的預(yù)測結(jié)果與真實值的比對如圖3和圖4所示。由圖3和圖4可以看出LSTM模型預(yù)測的趨勢與真實值最接近，且僅有LSTM

表2 MI選擇的特征

表3 實驗對比基準(zhǔn)模型

表4 對比模型主要參數(shù)1

表5 對比模型主要參數(shù)2

表6 基礎(chǔ)模型實驗對比

模型在原始值的置信區(qū)間里。ARIMA與K近鄰模型預(yù)測的結(jié)果曲線既不在真實值的置信區(qū)間內(nèi)，又存在預(yù)測滯后問題。綜上對比于ARMA、K近鄰回歸模型，LSTM模型的預(yù)測效果是最佳的。所以選擇LSTM作為實驗基礎(chǔ)模型。

3.4.2 LSTM組合模型實驗結(jié)果分析

本節(jié)采用表3的組合模型M3～M5，通過特征1～20對公共電網(wǎng)輸入總電量Gi，進行了20組單步預(yù)測對比實驗。

3種模型預(yù)測1 h用電量Gi的預(yù)測結(jié)果與真實值的比對如圖5和圖6所示。由圖5和圖6可以看出3個模型的預(yù)測值基本處于真實值的置信區(qū)間內(nèi)，而且MI+PSO-LSTM模型預(yù)測的趨勢與真實值最接近。從圖7可以看出，MI+PSO-LSTM模型的各項評價指標(biāo)均為最優(yōu)。

表7給出了3種組合模型20組實驗結(jié)果的平均值，前4列為預(yù)測模型的4種評價指標(biāo)，第五列為預(yù)測模型的訓(xùn)練時間。從表7中可以看出，對比于LSTM和MI+LSTM模型，MI+PSO-LSTM模型在R2上提高并不明顯，但是在MAE、SMAPE上性能分別提高了20%和10%左右。對比于LSTM模型，MI+LSTM的性能并沒有顯著提升，但是通過MI選擇特征之后，輸入數(shù)據(jù)的維數(shù)減少了87.5%，使模型訓(xùn)練時間減少了約63%。

表7 組合模型評價指標(biāo)對比

圖7是M3～M5的20組實驗4項評價指標(biāo)的箱線圖。圖中不在箱子形狀內(nèi)的“+”符號為異常值(可以忽略不計)。從圖7中可以看出，MI+PSO-LSTM模型的4項評價指標(biāo)明顯優(yōu)于其它兩種模型，且MI+PSO-LSTM模型每次的MAE和SMAPE均優(yōu)于其它模型的所有結(jié)果，而MI+PSO-LSTM模型每次的R2和RMSE也有95%左右的數(shù)據(jù)優(yōu)于其它模型。而MI+LSTM的4項評價指標(biāo)與LSTM雖然有部分重合，但是MI+LSTM總體趨勢上是優(yōu)于LSTM模型的。從圖7中可以看出，對比于LSTM模型與MI+LSTM模型，MI+PSO-LSTM模型的箱線圖形狀(上下四分位數(shù)差值)最小，這說明MI+PSO-LSTM模型比其它模型更為穩(wěn)定。

綜上所述，MI+PSO-LSTM模型所有評價指標(biāo)均為最優(yōu)。

4 結(jié)束語

本文提出了一種基于MI、PSO、LSTM的短期能耗組合預(yù)測模型。首先，在數(shù)據(jù)預(yù)處理階段，使用互信息法對原始數(shù)據(jù)進行特征選擇，刪除冗余特征。然后使用PSO對LSTM的網(wǎng)絡(luò)架構(gòu)進行匹配化尋優(yōu)，使得LSTM的拓撲結(jié)構(gòu)與當(dāng)前輸入數(shù)據(jù)適配性達到最好，最后將特征選擇后的數(shù)據(jù)輸入到優(yōu)化好的LSTM中，對能耗數(shù)據(jù)進行短期預(yù)測。為了驗證MI+PSO-LSTM模型在短期能耗預(yù)測上的效果，對某建筑的能耗時間序列數(shù)據(jù)集進行了多維單步預(yù)測對比實驗。綜合上述實驗的結(jié)果表明，MI+PSO-LSTM組合模型的4種評價指標(biāo)均為最優(yōu)，即說明MI+PSO-LSTM模型具有更高的預(yù)測精度和魯棒性以及更為穩(wěn)定的預(yù)測性能。MI+PSO-LSTM組合模型可以為利用深度學(xué)習(xí)探索時間序列的預(yù)測分析方面提供一個有益的研究思路。然而，MI+PSO-LSTM組合模型仍有很大的優(yōu)化空間，例如研究時間序列的噪聲過濾問題和特征動態(tài)智能選擇問題，從而進一步優(yōu)化模型預(yù)測精度。