曹赟，姚方，張功勛

(山西大學(xué) 電力與建筑學(xué)院，山西 太原 030013)

0 引 言

短期負(fù)荷預(yù)測(cè)一般指預(yù)測(cè)未來(lái)幾小時(shí)的電力負(fù)荷或未來(lái)幾日的電力負(fù)荷，可為電力規(guī)劃調(diào)度提供重要的理論依據(jù)，關(guān)乎生產(chǎn)管理的合理性。目前，短期負(fù)荷預(yù)測(cè)主要通過(guò)分析歷史負(fù)荷數(shù)據(jù)建立負(fù)荷預(yù)測(cè)模型，對(duì)將來(lái)短期負(fù)荷進(jìn)行預(yù)測(cè)，主要方法為數(shù)學(xué)分析方法和機(jī)器學(xué)習(xí)方法。傳統(tǒng)的負(fù)荷預(yù)測(cè)方法主要為數(shù)學(xué)分析方法，包括時(shí)間序列模型和回歸分析模型等。這些模型相對(duì)簡(jiǎn)單，當(dāng)負(fù)載序列穩(wěn)定性高時(shí)，性能良好，但僅使用歷史負(fù)荷值，在應(yīng)對(duì)短期電力負(fù)荷復(fù)雜快速變化趨勢(shì)時(shí)，難以實(shí)現(xiàn)較高的預(yù)測(cè)精度[1]?；跈C(jī)器學(xué)習(xí)預(yù)測(cè)包括支持向量機(jī)[2]、深度學(xué)習(xí)[3-5]和提升算法等。深度學(xué)習(xí)在處理非線性、高維數(shù)據(jù)上有顯著優(yōu)勢(shì)，有卓越的自動(dòng)特征提取能力。因此近年來(lái)長(zhǎng)短期記憶網(wǎng)絡(luò)普遍應(yīng)用到負(fù)荷預(yù)測(cè)中，文獻(xiàn)[4]對(duì)長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)改進(jìn)，使其對(duì)時(shí)變性、耦合性和多元性冷熱電負(fù)荷預(yù)測(cè)達(dá)到較好的預(yù)測(cè)結(jié)果，表明了LSTM網(wǎng)絡(luò)在負(fù)荷預(yù)測(cè)中的優(yōu)勢(shì)。文獻(xiàn)[6]中，負(fù)荷預(yù)測(cè)模型基于極限提升算法(XGboost) 運(yùn)用在真實(shí)電網(wǎng)數(shù)據(jù)試驗(yàn)中，證明提升算法模型在負(fù)荷預(yù)測(cè)方面具有有效性和優(yōu)越性。文獻(xiàn)[7]運(yùn)用一種基于梯度提升決策樹(shù)的機(jī)器學(xué)習(xí)方法(Catboost算法)，可以有效處理回歸預(yù)測(cè)問(wèn)題，極度簡(jiǎn)化了前期數(shù)據(jù)處理和特編碼方式轉(zhuǎn)化為數(shù)值型特征的步驟，并在負(fù)荷預(yù)測(cè)試驗(yàn)中表現(xiàn)優(yōu)良，證明了該算法在負(fù)荷預(yù)測(cè)中的可行性。

單一的提升算法對(duì)時(shí)間序列負(fù)荷預(yù)測(cè)仍有局限性，為此本文將結(jié)合LSTM算法在處理時(shí)間序列負(fù)荷上的優(yōu)勢(shì)與Catboost算法的魯棒性結(jié)合，構(gòu)建了LSTM-Catboost組合模型。本文將某商業(yè)園區(qū)負(fù)荷數(shù)據(jù)、天氣數(shù)據(jù)和時(shí)刻數(shù)據(jù)分別輸入到LSTM網(wǎng)絡(luò)和Catboost模型，然后通過(guò)均方誤差倒數(shù)方法計(jì)算各方法的權(quán)重，得出最終預(yù)測(cè)結(jié)果，通過(guò)算例表明LSTM-Catboost組合模型比其他模型預(yù)測(cè)更準(zhǔn)確。

1 LSTM網(wǎng)絡(luò)與Catboost算法

1.1 LSTM網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)是一種具有內(nèi)存的網(wǎng)絡(luò)，在預(yù)測(cè)時(shí)間序列方面的工作效率很高。在RNN中，信息從每個(gè)神經(jīng)元流到其圖層中的其他神經(jīng)元。LSTM是RNN單元的一個(gè)擴(kuò)展，它克服了RNN單元在對(duì)大型時(shí)間序列處理時(shí)所存在的梯度消失和梯度爆炸的缺點(diǎn)。

1.2 Catboost算法

Catboost算法是集成學(xué)習(xí)領(lǐng)域中Boosting分支的代表，屬于梯度提升框架的一個(gè)高效實(shí)現(xiàn)形式。Catboost比傳統(tǒng)的梯度下降樹(shù)有更高預(yù)測(cè)精度、更低的過(guò)擬合和更短的訓(xùn)練時(shí)間。Catboost提出了排序提升策略以解決標(biāo)準(zhǔn)梯度下降樹(shù)模型存在的梯度偏差和預(yù)測(cè)偏移問(wèn)題，同時(shí)采用了完全對(duì)稱決策樹(shù)來(lái)提高模型的泛化能力與預(yù)測(cè)速度。CatBoost使用對(duì)稱二叉決策樹(shù)作為基本預(yù)測(cè)器，在選擇樹(shù)結(jié)構(gòu)時(shí)對(duì)樹(shù)葉值進(jìn)行隨機(jī)排列估計(jì)，每次分裂節(jié)點(diǎn)均使用相同的策略，使其有較強(qiáng)的魯棒性。

2 LSTM-Catboost組合模型

2.1 數(shù)據(jù)預(yù)處理

負(fù)荷預(yù)測(cè)主要依據(jù)歷史數(shù)據(jù)，首先對(duì)歷史數(shù)據(jù)進(jìn)行選擇和填補(bǔ)。本文利用垂直數(shù)據(jù)的平均值來(lái)填補(bǔ)空缺數(shù)據(jù)，而對(duì)于某列元素NAN值較多的情況，對(duì)列進(jìn)行刪除，例如降雨量多數(shù)情況為0便不考慮本列對(duì)負(fù)荷的影響。

為提升損失函數(shù)的收斂速度，0均值標(biāo)準(zhǔn)化方法被采用。樣本歸一化后的值計(jì)算如式(1)所示。

(1)

2.2 組合模型

1) 權(quán)重系數(shù)

組合預(yù)測(cè)模型是提升預(yù)測(cè)精度方法之一，其中最重要的一部分是確定權(quán)重系數(shù)。本文以LSTM、Catboost模型作為單個(gè)預(yù)測(cè)模型，并采用均方誤差倒數(shù)方法確定權(quán)重系數(shù)，計(jì)算公式如式(2)所示。

(2)

式中：eMSEi為第i個(gè)模型的樣本均方誤差值。通過(guò)與其他參數(shù)倒數(shù)方法比較，此方法獲得的權(quán)重組合模型訓(xùn)練精度最好。通過(guò)式(3)計(jì)算最終值。

(3)

2) 組合模型

LSTM-Catboost組合模型流程如圖1所示。

第一步，將負(fù)荷數(shù)據(jù)、溫度數(shù)據(jù)和時(shí)刻數(shù)據(jù)等進(jìn)行預(yù)處理，對(duì)處理好的數(shù)據(jù)進(jìn)行劃分，分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

第二步，將訓(xùn)練集輸入LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和手動(dòng)調(diào)節(jié)超參數(shù)。將驗(yàn)證集輸入到網(wǎng)絡(luò)，當(dāng)訓(xùn)練次數(shù)達(dá)到最大或者損失值達(dá)到最小時(shí)保存模型，確保LSTM模型達(dá)到良好的預(yù)測(cè)效果。因Catboost算法在超參數(shù)調(diào)優(yōu)方面具有優(yōu)勢(shì)，可將訓(xùn)練集和驗(yàn)證集同時(shí)輸入到算法中，保存訓(xùn)練模型。

第三步，將測(cè)試集同時(shí)輸入兩模型中，得出結(jié)果，運(yùn)用均方誤差倒數(shù)方法確定權(quán)重，將兩單一模型組合，獲得最終的預(yù)測(cè)結(jié)果。

圖1 LSTM-Catboost組合模型流程

3 算例分析

3.1 樣本數(shù)據(jù)和操作平臺(tái)

樣本數(shù)據(jù)集為某商業(yè)園區(qū)每小時(shí)的負(fù)荷數(shù)據(jù)、對(duì)應(yīng)的溫度數(shù)據(jù)和時(shí)刻數(shù)據(jù)。從2014年1月1日零時(shí)到2018年1月1日零時(shí)的負(fù)荷數(shù)據(jù)，按照6.3∶2.7∶1 的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

3.2 誤差指標(biāo)

本文負(fù)荷預(yù)測(cè)誤差比較運(yùn)用平均絕對(duì)百分誤差(eMAPE)、均方誤差(eMSE)和均方根誤差(eRMSE)，如式(4)～式(6)所示。

(4)

(5)

(6)

3.3 模型參數(shù)設(shè)置

LSTM網(wǎng)絡(luò)通過(guò)一系列試驗(yàn)和測(cè)試最終選取。LSTM堆疊層數(shù)兩層，隱藏層大小為128，損失值選取0.2，學(xué)習(xí)率為0.001，對(duì)整個(gè)訓(xùn)練集訓(xùn)練10次。Catboost算法的參數(shù)最終確定迭代次數(shù)為700，學(xué)習(xí)率為0.015，選取葉子數(shù)為4，深度為6。

然后對(duì)權(quán)重參數(shù)進(jìn)行對(duì)比學(xué)習(xí)，采取三種方法進(jìn)行對(duì)比，對(duì)比試驗(yàn)結(jié)果如表1所示。

從表1可看出，均方誤差倒數(shù)法所得模型最優(yōu)，因此使用均方誤差倒數(shù)法來(lái)計(jì)算最終預(yù)測(cè)結(jié)果。

表1 三種權(quán)重算法的結(jié)果比較

3.4 試驗(yàn)結(jié)果及分析

預(yù)測(cè)2017年12月29日24時(shí)至12月30日24時(shí)的負(fù)荷。將差分整合移動(dòng)平均自回歸模型(autoregressive integratedm moving average model,ARIMA)時(shí)間序列預(yù)測(cè)結(jié)果和反向傳播算法(BP算法)的測(cè)試結(jié)果與本文模型的測(cè)試結(jié)果進(jìn)行比較。可以看出本文模型較傳統(tǒng)的負(fù)荷預(yù)測(cè)方法和單一深度學(xué)習(xí)算法預(yù)測(cè)精度明顯提升，如圖2所示。

圖2 本文算法預(yù)測(cè)結(jié)果與ARIMA算法和BP算法預(yù)測(cè)結(jié)果比較

將XGboost和梯度提升決策樹(shù)的測(cè)試結(jié)果與本文模型的測(cè)試結(jié)果進(jìn)行比較,證明了本文模型的優(yōu)越性，本文模型較提升算法預(yù)測(cè)精度明顯提升，如圖3所示。

本文算法誤差指標(biāo)與提升算法誤差指標(biāo)對(duì)比如表2所示，可知本文算法預(yù)測(cè)精度高。

4 結(jié)束語(yǔ)

在對(duì)負(fù)荷預(yù)測(cè)要求不斷提升的前提下，為提高負(fù)荷預(yù)測(cè)精度，本文提出了一種基于LSTM 網(wǎng)絡(luò)和 Catboost 模型的雙模型組合預(yù)測(cè)方法，該方法結(jié)合了LSTM網(wǎng)絡(luò)的時(shí)序性和Catboost模型的魯棒性和通用性。與單一模型比較，本文方法具有更好的預(yù)測(cè)精度。本文方法可以對(duì)商業(yè)園區(qū)日負(fù)荷進(jìn)行準(zhǔn)確預(yù)測(cè)，從而對(duì)電力分配調(diào)度和電網(wǎng)布局進(jìn)行有效指導(dǎo)。

圖3 本文算法預(yù)測(cè)結(jié)果與提升算法預(yù)測(cè)結(jié)果

表2 本文算法誤差指標(biāo)與提升算法誤差指標(biāo)對(duì)比