雷 俊 吳 婷

電能能耗預(yù)測是電力需求預(yù)測的重要組成部分，是智能電網(wǎng)建設(shè)的重點關(guān)注領(lǐng)域。智能電網(wǎng)效率高、調(diào)度靈活、供應(yīng)穩(wěn)定[1]，是落實國家節(jié)能減排政策的行動體現(xiàn)。而能耗預(yù)測更是重中之重，能耗預(yù)測的準(zhǔn)確于公司有利于電力公司合理地安排經(jīng)營計劃，降低成本、提高效益；于社會有利于社會電能得到更加合理的調(diào)度，進一步穩(wěn)定社會的電能供應(yīng)，從而協(xié)調(diào)社會的供電需求和供電的關(guān)系。傳統(tǒng)的短期電能能耗預(yù)測方法包括人工神經(jīng)網(wǎng)絡(luò)[2～3]、極限學(xué)習(xí)機[4]和支持向量回歸[5]等，這些方法大多以機器學(xué)習(xí)和人工智能算法為核心，在處理非線性問題方面展現(xiàn)出較大優(yōu)勢，但仍有很多問題，比如很難處理時序相關(guān)性、不同數(shù)據(jù)集預(yù)測的穩(wěn)定性較差、無法適應(yīng)大規(guī)模數(shù)據(jù)處理等。隨著機器學(xué)習(xí)的進一步發(fā)展，深度學(xué)習(xí)的方法也慢慢被引入能耗預(yù)測領(lǐng)域。對比之前的機器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)的方法雖然在精度上有所提升，但仍存在一些不足，比如仍然需要人提取時序特征，忽略了電能能耗數(shù)據(jù)的超長序列時序性，人工提取特征也可能導(dǎo)致部分?jǐn)?shù)據(jù)的連續(xù)性被破壞的后果。

一、電能能耗預(yù)測模型

(一)RNN神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)通過使用帶自反饋的神經(jīng)元很適合用來處理時序數(shù)據(jù)，因為它的每一個單元在處理數(shù)據(jù)的時候，既能獲取當(dāng)下數(shù)據(jù)的特征，又能獲取前置數(shù)據(jù)的特征，具有內(nèi)部記憶性。循環(huán)神經(jīng)網(wǎng)絡(luò)有很好的可擴展性，由于它是無數(shù)小單元的for循環(huán)，所以它可以向外擴展到更長的序列數(shù)據(jù)，而且大多數(shù)的RNN可以處理序列長度不同的數(shù)據(jù)。它可以看作是自循環(huán)的一個網(wǎng)絡(luò)結(jié)構(gòu)。

(二)LSTM神經(jīng)網(wǎng)絡(luò)。LSTM網(wǎng)絡(luò)對比RNN引入一個新的內(nèi)部狀態(tài)專門來進行線性的循環(huán)信息傳遞，同時引入門機制來控制信息傳遞的路徑。這些門使LSTM在進行反向傳播時能夠保持一個更穩(wěn)定的誤差，使神經(jīng)網(wǎng)絡(luò)可以在多個時間步上繼續(xù)學(xué)習(xí)。

LSTM時刻t的計算過程為：(1)首先利用上一時刻的外部狀態(tài)和當(dāng)前時刻的輸入xt，計算出三個門，以及候選狀態(tài)

(三)attention機制。attention機制和人腦有點類似，比如人在看一個句子的時候，一定會有側(cè)重點，即會格外注意句子里的某一些單詞或字，人對這個詞或字的attention就會“更高”，類比到網(wǎng)絡(luò)里，也就是網(wǎng)絡(luò)對于這個詞或字的權(quán)重更高，權(quán)重參數(shù)是它最核心的操作。attention機制會使模型學(xué)習(xí)到從序列中各個元素的重要性權(quán)重，然后將元素根據(jù)重要性權(quán)重合并起來。attention機制可以表示為在輸出的部分里，把query、key和對應(yīng)的value以權(quán)重的方式反映出來。

將attention機制引入電能能耗預(yù)測模型中，可以選擇性地關(guān)注不同時間步的輸入對預(yù)測結(jié)果的影響，從而提升能耗預(yù)測的效果。在t時刻，得到LSTM層的隱層狀態(tài)為[ht,1,ht,2,…,ht,i,…,ht,T]T；計算αt，i，即在t時刻，隱層狀態(tài)hi對當(dāng)前輸出的注意力權(quán)重。

(四)Informer模型。

1.模型提出背景。Informer是一個基于transformer的長序列預(yù)測(Long Sequence Time-series Forecasting,LSTF)模型。Informer模型主要解決了transformer的三個主要問題：一是Self-attention機制會導(dǎo)致模型的時間復(fù)雜度為O(L2)，L在這里表示序列長度；二是長序列的encoding輸入會占用大量內(nèi)存，而編碼-解碼層的堆棧會導(dǎo)致總內(nèi)存使用量為O(J*L2)，所以transformer的內(nèi)存使用率較高，從而對長序列輸入時的伸縮性有一定的限制；三是encoder-decoder結(jié)構(gòu)在解碼時step-by-step，動態(tài)的decoding會導(dǎo)致step-by-step的預(yù)測非常慢，在預(yù)測長序列時輸出的速度很慢。

2.模型結(jié)構(gòu)。關(guān)于Informer模型的結(jié)構(gòu)，先將長序列輸入進左側(cè)encoder部分。傳統(tǒng)的transformer的結(jié)構(gòu)是自注意力機制，informer提出了ProbSparse self-attention的改進方案來提取主要影響最后結(jié)果的注意力部分，從而達到減輕模型規(guī)格的效果。而相同層的復(fù)制堆疊疊加則增加了模型的魯棒性。右測的decoder同樣是輸入，也接受長序列，但是它會將待預(yù)測的目標(biāo)部分填充為零，根據(jù)模型的注意力權(quán)重，一步輸出預(yù)測部分，也就是直接生成預(yù)測的輸出序列。

3.模型創(chuàng)新點。Informer模型的創(chuàng)新點貢獻主要有三點。

(1)提出了ProbSparse self-attention機制，時間復(fù)雜度為O(L*log L)。

(2)提出了self-attention蒸餾機制來縮短每一層的輸入序列長度，序列長度的減小直接導(dǎo)致計算量和儲存量的減小，進一步提高了計算速度和性能。

(3)提出了生成式的decoder機制，在預(yù)測序列(也包括inference階段)的時候一步直接得到結(jié)果，而不是之前的step-by-step，從而將預(yù)測的時間復(fù)雜度從O(N)降低至O(1)。

①ProbSparse self-attention。現(xiàn)有很多研究是針對Self-attention的O(L2)二次復(fù)雜度問題的研究，但是他們?nèi)鄙倮碚摲治?，而且對于multi-head self-attention中的每個head都采取相同的優(yōu)化策略。而self-attention中的點積實際上是服從長尾分布的，也就是少數(shù)的幾個query和key的點積計算結(jié)果主導(dǎo)了softmax后的分布。這種稀疏性分布是有現(xiàn)實含義的：因為序列中的某個元素一般只會和少數(shù)幾個元素具有較高的相似性和關(guān)聯(lián)性。ProbSparse self-attention的核心思想就是找到這些重要的或者稀疏的query，從而只計算這些query的attention值，來優(yōu)化計算效率。算法流程如表1所示。

表1

②編碼層Self-attention Distilling。隨著Encoder層數(shù)的加深，由于序列中每個位置的輸出已經(jīng)包含了序列中其他元素的信息，所以輸入的序列的長度一定會變短。由于之前的encoder部分采用了ProbSparse Self-attention，這種方法會帶來一些特征，表現(xiàn)出來就是V值的冗余組合，利用蒸餾技術(shù)對具有決定序列的某些特征進行特權(quán)化處理，并在后一層生成更專注的自注意力特征映射。它大大減少了輸入的時間維度。

而且編碼部分通過每次都刪除一層來逐步減少self-attention提取層的數(shù)量，從而使它們的輸出維度對齊。最后將所有的重復(fù)堆疊部分輸出結(jié)合起來，從而得到編碼部分的最終隱藏表示。所以這種矩形的編碼器結(jié)構(gòu)其實更像沒有頂端的金字塔形。

③Inference里的decoder。Decoder的輸入序列包括兩部分，一部分是將帶預(yù)測時間點前的一段已知序列作為Decoder的輸入，另一部分是占位符序列，而且它包含了預(yù)測序列。將遮蓋多注意力頭的方法應(yīng)用于提取主要注意力的部分，然后把負(fù)無窮大設(shè)置為mask的點積。這樣可以限制前置位置上對于后置位置的關(guān)注，從而有效避免自回歸。其次，除了將時間序列和位置向量作為輸入，還加入了每個時間點的時間信息。經(jīng)過Decoder后，每個placeholder(待預(yù)測位置)都有一個向量，然后輸入到全連接層FC得到預(yù)測結(jié)果。

二、實驗過程

(一)實驗環(huán)境。本文實驗研究的環(huán)境包括Geforce RTX 3090，操作系統(tǒng)：ubuntu20.04，編譯平臺：Python3.6，框架：TensorFlow2.1，Keras2.3.1，Pytorch1.8.1.

(二)數(shù)據(jù)集。本文采用Duquesne Light Company電能能耗數(shù)據(jù)集作為實驗數(shù)據(jù)。DUQ數(shù)據(jù)集包括了2005年12月31日至2018年01月02日該電力公司真實消耗的電能。能耗數(shù)據(jù)格式為一天采集24個點，時間間隔為1h。本文將實驗任務(wù)設(shè)置為根據(jù)前seq_len天的日總負(fù)荷量(seq_len為encoder輸入長度)，預(yù)測第pred_len天的日總負(fù)荷量(pred_len為encoder輸入長度)，一次生成所有預(yù)測數(shù)據(jù)。訓(xùn)練集、驗證集、測試集的數(shù)據(jù)劃分如表2所示。

表2 訓(xùn)練集、驗證集數(shù)據(jù)

將數(shù)據(jù)集進行歸一化處理后的整體分布情況如圖1所示。從數(shù)據(jù)分布可以看出，電能消耗負(fù)荷數(shù)據(jù)在以年為單位時呈現(xiàn)周期性，但在以天為單位時表現(xiàn)出劇烈的波動。

圖1 電能能耗數(shù)據(jù)分布(歸一化后)

三、實驗結(jié)果

進行四組對比實驗，分別為RNN、LSTM、LSTM+attention和informer(圖2)。

圖2 RNN、LSTM、LSTM+attention、informer預(yù)測結(jié)果圖

從對比圖中可以看出，四個模型在該數(shù)據(jù)集上的預(yù)測值和真實值的變化趨勢總體上十分相似，預(yù)測序列曲線和真實序列曲線相似度較高，各個模型的預(yù)測效果都不錯。

運用2.4提出的預(yù)測結(jié)果評價指標(biāo)對四種模型進行定量評價，結(jié)果如表3所示。

表3

綜合來看，針對模擬和實際電能消耗預(yù)測，Informer模型預(yù)測的結(jié)果的R2值是最高的，MSE和RMSE均是最低，預(yù)測精確度較RNN和單LSTM有明顯提升，能很好地預(yù)測電能能耗。同時可以發(fā)現(xiàn)LSTM+attention的效果和informer十分接近，但是都比RNN和LSTM有顯著的提升。

四、結(jié)論

本文將informer模型運用于電能能耗預(yù)測，根據(jù)現(xiàn)有的能耗數(shù)據(jù)建立模型進行能耗預(yù)測。為驗證該網(wǎng)絡(luò)的優(yōu)勢，采用了RNN、LSTM和引入attention的LSTM模型進行對比實驗。從表3可以看出informer模型在三個評價指標(biāo)上都優(yōu)于其他三個模型，效果最好。

但是informer對比LSTM+attention在該單變量預(yù)測單變量的序列預(yù)測任務(wù)的提升并不顯著，一方面是由于單變量時間序列預(yù)測難度較低，四個模型本身的效果都不錯，導(dǎo)致informer的效果提升沒有非常明顯；其次由于是單變量的序列預(yù)測任務(wù)，所以引入attention機制的LSTM也能很好地學(xué)習(xí)到序列的特征，效果相對于RNN和LSTM同樣也有不錯的提升，而informer理論上最適用于多特征的長序列預(yù)測，其優(yōu)勢在該預(yù)測任務(wù)下沒有得到很好的體現(xiàn)。但是在現(xiàn)實中電能消耗并不僅僅和時間有關(guān)，溫度、電費價格等特征都是導(dǎo)致用電量發(fā)生變化的原因，后續(xù)可以繼續(xù)探究在多變量多特征情況下informer模型在電能能耗預(yù)測方面的效果。

總的來說，本文使用的informer模型在各項評價指標(biāo)上對比RNN和LSTM都有明顯增強，具有明顯優(yōu)勢和更高的準(zhǔn)確度，能更精確地完成電能能耗預(yù)測任務(wù)；LSTM+attention也有不錯的效果，但是它的局限性在于無法很好地處理多特征預(yù)測問題，不能應(yīng)用到現(xiàn)實中的多特征電能能耗預(yù)測中。Informer模型作為transformer的改良，適合進行長序列數(shù)據(jù)、多特征數(shù)據(jù)預(yù)測，而且也有很好效果和不錯的計算性能，更加適合于電能能耗的預(yù)測。