王玉林， 戚樂(lè)樂(lè)

（遼寧工程技術(shù)大學(xué)電氣與控制工程學(xué)院， 遼寧 葫蘆島 125105）

0 引言

負(fù)荷預(yù)測(cè)的準(zhǔn)確性是電力調(diào)度計(jì)劃制定的重要依據(jù)，關(guān)系到電力供應(yīng)的穩(wěn)定性和可靠性[1]。如何對(duì)電力系統(tǒng)短期負(fù)荷進(jìn)行精準(zhǔn)預(yù)測(cè)，降低能源損耗并提升經(jīng)濟(jì)效益，是目前研究領(lǐng)域的重點(diǎn)[2]。

目前，國(guó)內(nèi)外負(fù)荷預(yù)測(cè)方法主要分為三類(lèi)：傳統(tǒng)預(yù)測(cè)方法、基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的負(fù)荷預(yù)測(cè)方法主要有指數(shù)平滑、回歸分析和灰色預(yù)測(cè)等多種模型方法[3]?；跈C(jī)器學(xué)習(xí)的方法以支持向量機(jī)[4]（SVM）、BP 神經(jīng)網(wǎng)絡(luò)[5]等為代表，這些方法在處理和學(xué)習(xí)高維、數(shù)據(jù)量大的負(fù)荷數(shù)據(jù)時(shí)效果較差，預(yù)測(cè)耗時(shí)且精度較低。

近年來(lái)，深度學(xué)習(xí)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其變體[6]，卷積神經(jīng)網(wǎng)絡(luò)[7]（CNN）在高維特征學(xué)習(xí)、時(shí)序處理、大規(guī)模并行計(jì)算以及強(qiáng)大的泛化能力等方面具有明顯優(yōu)勢(shì)，在電力系統(tǒng)負(fù)荷預(yù)測(cè)領(lǐng)域得到廣泛應(yīng)用。其中，CNN 是一種較為熱門(mén)的模型，具有優(yōu)秀的數(shù)據(jù)特征挖掘能力。長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和門(mén)控循環(huán)單元（GRU）是RNN 的變體，LSTM能夠較好地捕捉長(zhǎng)期依賴(lài)性關(guān)系。GRU 模型構(gòu)造更簡(jiǎn)單、參數(shù)更少，在資源受限的情況下更受歡迎。

目前，尚未有將CNN、GRU 和LSTM 算法結(jié)合應(yīng)用于短期電力負(fù)荷預(yù)測(cè)的研究。對(duì)此，本文提出一種基于CNN-GRU-LSTM的混合預(yù)測(cè)模型，并引入注意力機(jī)制[8]，以增強(qiáng)模型對(duì)關(guān)鍵特征的關(guān)注度。

1 研究方法

本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的卷積層和池化層，對(duì)天氣數(shù)據(jù)和歷史負(fù)荷數(shù)據(jù)進(jìn)行局部特征的提取。然后，利用GRU 元和LSTM對(duì)特征序列進(jìn)行建模，學(xué)習(xí)和捕捉特征序列中的長(zhǎng)期依賴(lài)關(guān)系。同時(shí)，鑒于GRU 和LSTM在處理長(zhǎng)序列時(shí)易受長(zhǎng)期記憶損失和信息遺忘的影響，本文提出引入注意機(jī)制，以增強(qiáng)二者在序列數(shù)據(jù)中建模長(zhǎng)期依賴(lài)關(guān)系的能力，解決捕捉關(guān)鍵長(zhǎng)期依賴(lài)信息時(shí)精度下降的問(wèn)題。

1.1 CNN-GRU-LSTM模型原理

該模型首先利用卷積神經(jīng)網(wǎng)絡(luò)的卷積層和池化層對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行層級(jí)性特征提取。經(jīng)卷積、池化操作的數(shù)據(jù)，通過(guò)全連接層整合特征，輸入到注意力機(jī)制層。第一個(gè)注意力機(jī)制層用于將全局特征進(jìn)行調(diào)整，增強(qiáng)重要通道的權(quán)重。其輸出端設(shè)置第二層注意力機(jī)制（點(diǎn)乘注意力機(jī)制），對(duì)序列的每個(gè)位置與全連接層輸出權(quán)重進(jìn)行點(diǎn)乘操作，調(diào)整不同位置的權(quán)重，使模型可以自適應(yīng)地關(guān)注序列中不同位置的重要信息。經(jīng)過(guò)權(quán)重調(diào)整的數(shù)據(jù)進(jìn)行序列反折疊平鋪，輸入到GRU、LSTM層建模。之后，通過(guò)全連接層輸出預(yù)測(cè)結(jié)果。模型構(gòu)造如圖1 所示。

圖1 CNN-GRU-LSTM-Attention 預(yù)測(cè)模型

1.2 優(yōu)化選型

本文選用引入兩種注意機(jī)制，增強(qiáng)GRU 和LSTM在序列數(shù)據(jù)處理中對(duì)長(zhǎng)期依賴(lài)關(guān)系的建模能力。SE注意力機(jī)制（Squeeze-and-Excitation Networks）的核心是在通道維度增加注意力機(jī)制，關(guān)鍵操作是Squeeze和Excitation。首先，通過(guò)全局平均池化層進(jìn)行Squeeze操作，將輸入特征的通道維度求平均值，得到一個(gè)全局的通道權(quán)重向量。接著，通過(guò)兩個(gè)全連接層和激活層實(shí)現(xiàn)Excitation 操作，學(xué)習(xí)到通道的重要性權(quán)重。通過(guò)Sigmoid 層將這些權(quán)重歸一化到［0，1］的范圍。之后，再引入點(diǎn)乘注意力機(jī)制，作用于全連接層的輸出與序列反折疊層的輸入之間，將全連接層的輸出和序列反折疊層的輸入進(jìn)行點(diǎn)乘操作，從而增強(qiáng)模型對(duì)序列中不同位置的信息的關(guān)注。SE 注意力機(jī)制的原理圖如圖2 所示。

圖2 SE 注意力機(jī)制原理

1.3 數(shù)據(jù)集的選取和預(yù)處理方法

本文選取福建省泉州市某地區(qū)2016 年1 月1日—3 月25 日的電力負(fù)荷數(shù)據(jù)作為樣本，共8 105 組數(shù)據(jù)，采樣周期為15 min，每天包含96 個(gè)采樣點(diǎn)，包括歷史負(fù)荷數(shù)據(jù)、溫度、濕度和降雨量。

對(duì)于數(shù)據(jù)中出現(xiàn)的缺失值，選用相鄰時(shí)間段的平均值來(lái)填充。針對(duì)電力負(fù)荷數(shù)據(jù)集中，不同的特征向量存在量綱的差異。本文采用mapminmax 函數(shù)對(duì)原始數(shù)據(jù)進(jìn)行歸一化[9]，將數(shù)據(jù)映射到［0，1］區(qū)間內(nèi)，去除量綱影響。計(jì)算過(guò)程如下：

式中：x為原始數(shù)據(jù)；xn為歸一化后的數(shù)據(jù)；xmax為原始數(shù)據(jù)最大值；xmin為原始數(shù)據(jù)最小值。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

本文選取的8 105 組，訓(xùn)練集占比95%，即7 700組負(fù)荷數(shù)據(jù)作為訓(xùn)練集，其余為測(cè)試集。實(shí)驗(yàn)平臺(tái)為Windows11 X64 操作系統(tǒng)、Inter i5-11400 CPU，提出的預(yù)測(cè)模型使用Matlab 語(yǔ)言編程實(shí)現(xiàn)。

CNN 網(wǎng)絡(luò)中設(shè)置有2 層卷積層與1 層池化層，其中，第一層卷積層中設(shè)置10 個(gè)卷積核，第二層卷積層中設(shè)置64 個(gè)卷積核，第一層LSTM層包含100 個(gè)隱藏單元，第二層LSTM層包含64 個(gè)隱藏單元，GRU層也包含100 個(gè)隱藏單元。初始學(xué)習(xí)率設(shè)置為0.005，學(xué)習(xí)率衰減周期為25，學(xué)習(xí)率下降因子為0.2，正則化系數(shù)為0.01，迭代次數(shù)為50。

2.2 預(yù)測(cè)模型對(duì)比

為檢驗(yàn)最終效果，采用LSTM、CNN-LSTM、CNN-GRU-LSTM網(wǎng)絡(luò)模型和本文所用方法分別進(jìn)行負(fù)荷預(yù)測(cè)，最終預(yù)測(cè)曲線如圖3 所示。不難看出，本文模型預(yù)測(cè)精度最高。

圖3 預(yù)測(cè)結(jié)果對(duì)比

為了直觀展現(xiàn)CNN-GRU-LSTM-attention 模型的性能，選用線性回歸對(duì)模型在預(yù)測(cè)任務(wù)中的性能表現(xiàn)進(jìn)行可視化。

由圖4 可知，CNN-GRU-LSTM-attention 模型擬合程度最高，其相關(guān)系數(shù)為0.985 64。CNN-LSTM 以及CNN-GRU-LSTM模型在后期預(yù)測(cè)效果變差，可能是由于數(shù)據(jù)在后期階段存在更復(fù)雜的模式或變化，兩種模型未能有效捕獲這些特征。而本文模型通過(guò)引入attention 機(jī)制，提高了模型在預(yù)測(cè)過(guò)程中對(duì)重要關(guān)系序列的關(guān)注度，整體的預(yù)測(cè)精度都有了較大提升。

圖4 線性回歸圖

為了進(jìn)一步驗(yàn)證模型的性能，本文選用均百分比誤差（MAPE）、均方根誤差（RMSE）和平均絕對(duì)誤差（MAE）等誤差評(píng)價(jià)指標(biāo)[10]對(duì)各個(gè)模型進(jìn)行對(duì)比。三種誤差評(píng)價(jià)指標(biāo)的表達(dá)式為：

式中：n為數(shù)據(jù)集個(gè)數(shù)；yi和分別為第i個(gè)數(shù)據(jù)的真實(shí)值和預(yù)測(cè)值。其中MAPE、RMSE 和MAE 的值越小，則說(shuō)明模型預(yù)測(cè)精度越高。所有預(yù)測(cè)模型均輸入相同負(fù)荷序列數(shù)據(jù)，保證對(duì)比試驗(yàn)的有效性。本文方法與其他3 種模型分別進(jìn)行時(shí)間序列負(fù)荷預(yù)測(cè)，預(yù)測(cè)誤差結(jié)果如表1 所示。

表1 預(yù)測(cè)誤差對(duì)比

由表1 可知，CNN-GRU-LSTM-attention、CNNGRU-LSTM和CNN-LSTM均提高了預(yù)測(cè)精度，其中，CNN-GRU-LSTM-attention 的預(yù)測(cè)精度最高，驗(yàn)證了本文提出的模型的有效性。

2.3 實(shí)驗(yàn)結(jié)果分析

CNN-GRU-LSTM-attention 模型綜合了多個(gè)模型的優(yōu)勢(shì)，能夠很好地捕捉電力系統(tǒng)非線性關(guān)系和復(fù)雜的負(fù)荷變化趨勢(shì)，預(yù)測(cè)精度較高。但需要注意的是，該模型也存在一些局限性。例如，注意力機(jī)制的引入會(huì)增加模型的計(jì)算復(fù)雜性和訓(xùn)練時(shí)間，并且參數(shù)的增加使模型存在過(guò)擬合風(fēng)險(xiǎn)。此外，模型有多個(gè)超參數(shù)，過(guò)高或過(guò)低的超參數(shù)值都可能導(dǎo)致模型性能下降，這增加了模型調(diào)整難度。

3 結(jié)語(yǔ)

本文針對(duì)傳統(tǒng)單一電力負(fù)荷預(yù)測(cè)模型無(wú)法完全捕捉復(fù)雜電力系統(tǒng)中的變化和非線性關(guān)系，導(dǎo)致預(yù)測(cè)精度較低的問(wèn)題，提出了CNN-GRU-LSTM-attention混合模型。通過(guò)對(duì)比分析實(shí)驗(yàn)驗(yàn)證，表明本文提出的模型能夠有效處理復(fù)雜非線性電力負(fù)荷數(shù)據(jù)，具有較高的預(yù)測(cè)精度，可為復(fù)雜電力系統(tǒng)提供準(zhǔn)確的負(fù)荷預(yù)測(cè)數(shù)據(jù)，為電力系統(tǒng)的安全穩(wěn)定運(yùn)行提供有力支持。