余 珊 溫 蜜 顧春華 陳禹帆

1(上海電力大學計算機科學與技術學院 上海 201306) 2(上海理工大學光電信息與計算機工程學院 上海 200093)

0 引 言

短期電力負荷預測對于電力系統(tǒng)的能源管理、可靠性分析、安全風險評估和降低用電成本等方面都具有重要的意義[1]。隨著電力系統(tǒng)的不斷發(fā)展和日益精細化的管理需求,準確的短期負荷預測已經(jīng)變得越來越重要和具有技術挑戰(zhàn)性。電力負荷的變化主要受社會、經(jīng)濟及環(huán)境等多方面的影響,因此,基于電力負荷復雜的變化特性,研究新的短期負荷預測方法以提取數(shù)據(jù)中的潛在特征,對于進一步提升預測精度有著重要的意義。

短期負荷預測的研究方法主要包括時間序列模型和機器學習方法等。時間序列模型主要以線性模型為基礎,考慮了數(shù)據(jù)的時序性關系,但對于溫度、天氣類型等非線性特征難以捕捉[2]。機器學習方法主要有支持向量機[3](Support Vector Machines,SVM)和神經(jīng)網(wǎng)絡[4]算法等。SVM方法在處理小樣本和高維數(shù)據(jù)集上具有優(yōu)勢,但在大規(guī)模樣本下訓練效率較低。

隨著深度學習的迅速發(fā)展,許多研究者將神經(jīng)網(wǎng)絡算法運用于時間序列預測領域[5-6]。文獻[7]基于深度神經(jīng)網(wǎng)絡(Deep Neural Networks,DNN)對工業(yè)園區(qū)負荷進行預測,很好地捕捉了輸入數(shù)據(jù)的非線性特征,但當網(wǎng)絡層數(shù)較多時,模型易導致參數(shù)數(shù)量膨脹和產(chǎn)生梯度消失問題。文獻[8]建立了電力市場中基于長短期記憶網(wǎng)絡(Long Short-Term Memory,LSTM)的短期負荷進行預測模型,很好地捕捉輸入數(shù)據(jù)長期和短期的相關特征。然而,當輸入序列較長時,LSTM會出現(xiàn)丟失歷史關鍵信息的問題,且其不能進行并行計算,影響了模型的準確率和效率。卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)具有提取數(shù)據(jù)細節(jié)特征的優(yōu)勢,因此逐步運用于負荷預測領域[10-11]。為加強CNN的表達能力,一些改進模型如Inception、ResNet和密集連接卷積網(wǎng)絡[9](Densely Connected Convolutional Network,DenseNet)被提出,在計算機視覺領域表現(xiàn)出卓越的性能,但較少運用于負荷預測領域。DenseNet采用獨特的密集連接方式以更好地實現(xiàn)特征重用,有效解決深層神經(jīng)網(wǎng)絡易產(chǎn)生的梯度消失問題,提升模型的準確性。文獻[12]通過構建二維輸入特征圖,將DenseNet運用于日前光伏出力預測,取得了較為理想的效果。

由于信號的非平穩(wěn)性,單一預測模型通常不能取得令人滿意的預測結果,因此基于信號分解和數(shù)據(jù)挖掘等方法與預測模型相結合的組合預測模型得到廣泛地運用[13]。一些實驗結果表明,信號分解技術如小波分解[14]和經(jīng)驗模式分解[15](Empirical Mode Decomposition,EMD),給模型的預測精度帶來了顯著的改進。相比于小波分解,EMD不受小波基函數(shù)的選擇、分解層數(shù)等影響,它可以用于分析非線性、非平穩(wěn)的信號序列,具有良好的時頻聚焦性。但EMD存在模態(tài)混疊現(xiàn)象,且不能自主選擇分解的模態(tài)函數(shù)個數(shù),因此建模復雜度較高。

為提升短期電力負荷的預測精度,本文針對上述文獻中存在的問題,提出了一種基于VMD-DenseNet的短期電力負荷預測方法。為了減少預測模型的訓練難度并使模型順利收斂,利用變分模態(tài)分解(Variational Mode Decomposition,VMD)方法分解原始負荷,通過VMD識別輸入負荷序列中的潛在特征,將數(shù)據(jù)分解為三個頻率各異的分量:趨勢分量、細節(jié)分量和隨機分量。對各分量和特征變量進行最大信息系數(shù)(Maximal Information Coefficient,MIC)相關性分析,選取影響較大的特征變量作為輸入變量。采用一維DenseNet網(wǎng)絡模型對各分量輸入序列進行建模,以加強特征重用,更加充分地提取數(shù)據(jù)中隱藏的豐富特征。以歐洲某電網(wǎng)的負荷數(shù)據(jù)集為算例進行實驗,對負荷進行提前1 h和提前6 h預測,所提出的模型相比其他模型具有更高的預測精度。

1 相關原理

1.1 最大信息系數(shù)

MIC[16]是2011年提出的一種變量相關性分析方法,常被用于輸入變量的選擇。該方法能較好地衡量兩個變量之間線性或非線性的關聯(lián)程度。具體描述如下:

設X,Y為數(shù)據(jù)集D中的兩個隨機變量,其中X={xi,i=1,2,…,n},Y={yi,i=1,2,…,n},n為樣本數(shù)。定義X與Y之間的互信息為:

式中:p(x,y)為X和Y的聯(lián)合概率密度;p(x)和p(y)分別為X和Y的邊緣概率密度。

將數(shù)據(jù)集D中兩個隨機變量X和Y離散在二維空間中,并把二維空間沿x和y方向劃分,形成一個網(wǎng)格G=(a,b),a、b分別為在x、y方向上劃分的網(wǎng)格數(shù),然后查看兩個變量組成的散點在網(wǎng)格中的分布情況,則最大互信息可定義為:

式中:D|G為數(shù)據(jù)集D在網(wǎng)格G下的劃分。X與Y的最大信息系數(shù)為:

式中:n為樣本集的數(shù)量,B為變量,通常情況下,B=n0.6。MIC將不同劃分下得到的最大互信息值歸一化,取值范圍為[0,1]。若某兩個變量具有較高的MIC值,表明兩個變量之間的相關性較強,相反,較低的MIC值則表明兩者相關性較弱。

1.2 變分模態(tài)分解

VMD是一種新的信號分解方法,它可以有效地識別非線性和非平穩(wěn)信號中的周期性特征,并且能夠避免產(chǎn)生EMD存在的端點效應和模態(tài)混疊問題,對于噪聲具有較強的魯棒性,因此可獲得較為理想的信號分析結果,在信號分解中表現(xiàn)出良好的性能[17]。該方法可以人為設置本征模態(tài)函數(shù)的個數(shù)k,通過合理地設置k值,可以降低模型的建模復雜度。

VMD方法主要通過獲取最優(yōu)解的方式來自適應地將輸入序列f(t)分解為k個不同頻率的模態(tài)函數(shù)uk,并且通過不斷地確定每個模態(tài)函數(shù)的中心頻率和帶寬,以使估計帶寬的總和達到最小值,從而獲得最優(yōu)的分解結果。具體步驟如下:

1) 通過Hilbert變換可以獲得每個模態(tài)函數(shù)uk的有限邊際譜,預估每個模態(tài)函數(shù)相應的中心頻率,調制其頻譜到模態(tài)函數(shù)相應的基頻帶,然后通過H1高斯平滑法估計每個模態(tài)函數(shù)的帶寬。帶約束條件的變分問題的目標函數(shù)如下:

式中:{uk}={u1,u2,…,uk}和{ωk}={ω1,ω2,…,ωk}是模態(tài)函數(shù)集和中心頻率集;δ(t)是單位脈沖函數(shù)。

2) 通過引入二次懲罰因子α和拉格朗日算子λ(t)這兩個參數(shù),以消除約束變分問題的約束條件,使其變?yōu)榉羌s束性變分問題,擴展的Lagrange函數(shù)表達式如下:

3) 通過采用交替方向乘子法(ADMM)更新uk和ωk,尋求式(5)的鞍點,以解決原始最小化問題。最終,求解得到uk和ωk的表達式如式(6)和式(7)所示。

4) 依據(jù)式(8)更新Lagrange懲罰算子:

式中:τ為更新參數(shù)。

5) 判斷是否滿足迭代結束條件,若滿足,則根據(jù)模態(tài)函數(shù)個數(shù)k得到相應的分解子序列。

1.3 密集連接卷積網(wǎng)絡

一般來說,更深的網(wǎng)絡可以帶來更高的預測精度,但對于深度神經(jīng)網(wǎng)絡而言,隨著網(wǎng)絡深度的進一步加深,梯度消失問題會愈加明顯[18]。

DenseNet提出了一個密集連接機制:通過添加多個跳躍連接,將每個層與之前所有層的輸入進行拼接,作為其額外的輸入,從而將所有層都相互連接起來。一個密集塊的結構圖如圖1所示。

圖1 密集塊結構圖

對于一個l層的網(wǎng)絡,傳統(tǒng)的CNN每層僅有1個輸入,連接個數(shù)共l個。而DenseNet第l層網(wǎng)絡有l(wèi)個輸入,連接個數(shù)共l(l+1)/2個,網(wǎng)絡在l層的輸出為:

xl=Hl([x0,x1,…,xl-1])

(9)

式中:[x0,x1,…,xl-1]表示第0,1,…,l-1層的輸出在特征維度上的拼接,Hl(·)代表第l層包含卷積在內的非線性轉化復合函數(shù)。拼接操作將卷積層提取的特征信息進行融合,使得網(wǎng)絡中每一層的輸入均為該層前面所有層輸出特征圖的并集,且當前層的特征圖也直接傳遞給之后的所有層作為輸入,從而增加數(shù)據(jù)訓練時的原始特征。

DenseNet網(wǎng)絡可以由n個密集塊和n-1個過渡層組成,其密集塊獨特的密集連接機制,最大程度地增加了網(wǎng)絡中各層之間的信息流,從而有助于神經(jīng)網(wǎng)絡模型訓練過程中梯度的反向傳播,使得訓練深層網(wǎng)絡變得更加容易;過渡層位于兩個密集塊之間,用以減少特征輸出的維度。相比于其他深層神經(jīng)網(wǎng)絡,DenseNet不僅緩解了梯度消失問題,還增強了神經(jīng)網(wǎng)絡中各層之間特征的傳遞,通過特征的連接來實現(xiàn)特征重用,更有效地利用了特征,使模型在參數(shù)和計算成本更少的情形下,達到更優(yōu)的性能。

2 模型構建

本文主要關注對未來某時刻的電力負荷進行預測,通過獲取負荷序列中蘊含的豐富特征,利用深層神經(jīng)網(wǎng)絡模型加強對數(shù)據(jù)中的特征的提取,以獲得較高的預測精度。因此,提出一種基于VMD-DenseNet的短期負荷預測模型(以下簡稱VDSN),模型結構如圖2所示。首先采用VMD分解方法將原始負荷序列分解為3個分量,并為各分量選擇合適的特征變量;其次,采用一維DenseNet預測模型預測各分量負荷;最后,重構各分量預測結果得到最終的負荷預測值。

圖2 VDSN短期負荷預測模型

2.1 VMD分解原始負荷序列及各分量變量選擇

通過VMD分解方法可以將原始輸入負荷序列分解k個特征互異的模態(tài)函數(shù),但過多的模態(tài)函數(shù)個數(shù)會增加預測模型的復雜度和訓練時間,因此本文選取k=3,得到3個頻率互不相同的分量。

以歐洲某電網(wǎng)的負荷數(shù)據(jù)為例,原始負荷及其分解得到的三個分量曲線圖如圖3所示。根據(jù)各分量曲線圖和電力負荷數(shù)據(jù)的趨勢性、周期性和隨機性等特點,定義三個分量分別為趨勢分量、細節(jié)分量和隨機分量。其中,趨勢分量代表負荷數(shù)據(jù)整體變化的趨勢性,細節(jié)分量具有一定的周期性,幅度受節(jié)假日、時間類型等因素的影響,隨機分量由經(jīng)濟因素、用戶的用電行為等變化而引起,具有較大的波動性和不確定性。通過使用VMD,識別了隱藏在原始負荷序列中的潛在特征,并獲得分解后的各分量序列,與原始信號相比,這三個分量清晰地體現(xiàn)了電力負荷的變化性特點。

圖3 VMD分解原始負荷序列結果圖

輸入變量是影響短期負荷的重要因素,由于影響因素的差異性,通常會選擇與負荷序列相關性較強的因素作為特征變量,構建輸入變量集合。因此對由VMD分解出的各分量進行影響因素相關性分析,針對歷史負荷、溫度、天氣類型(晴、多云和雨)、時間類型(小時、星期、月份、季節(jié)和節(jié)假日)等數(shù)據(jù),通過MIC相關性分析方法篩選出與各分量具有較強相關性的影響因素,作為各變量的輸入特征變量集合,具體參數(shù)見表1。

表1 各分量輸入變量選擇結果

2.2 一維DenseNet預測模型結構

二維CNN善于處理較為復雜的信息和結構數(shù)據(jù),因此多用于計算機視覺、圖像處理等領域。而一維CNN能夠較好地用于序列類數(shù)據(jù)的分析處理,比如電力負荷時間序列數(shù)據(jù)。為了更加充分地利用一維時間序列中的特征,以及準確地預測未來某時刻的負荷,文中采用一維DenseNet進行負荷預測。

對各分量的輸入序列,利用DenseNet模型有效地提取數(shù)據(jù)中蘊含的趨勢性、周期性和隨機性等特征,最大限度地保留這些特征對負荷序列的影響,學習這些特征與負荷之間的關系,提升預測精度。模型采用三維數(shù)據(jù)進行輸入,且模型中的卷積層均采用一維卷積,具體層結構如圖4所示。

圖4 一維DenseNet模型結構圖

(1) 輸入層。采用滑動窗口方式輸入數(shù)據(jù),設置窗口大小為24,時間步長為1,假設當前分量的輸入變量個數(shù)為n,則模型輸入為24×n,其中n維特征向量分別代表當前時刻的負荷值及由MIC篩選出的歷史負荷、天氣數(shù)據(jù)和時間類型數(shù)據(jù)。

(2) 卷積層。對輸入數(shù)據(jù)進行一維卷積化操作以初步提取數(shù)據(jù)中隱藏的細節(jié)特征,卷積核個數(shù)為128。

(3) 密集塊。首先,將密集塊中的復合函數(shù)Hl(·)設計為一個組合操作,包括批標準化、ReLU激活函數(shù)、一維卷積層及Dropout正則化。其中,批標準化用于降低樣本間的差異,對每一層的輸入作標準化處理,激活函數(shù)用于提升神經(jīng)網(wǎng)絡模型的非線性表達能力,卷積層用于提取數(shù)據(jù)中蘊含的豐富特征。另外,在Hl(·)中添加Dropout層,以防止模型過擬合,并且增強模型的抗噪能力。

將卷積后的數(shù)據(jù)輸入到密集塊中,模型中共包含n個密集塊,每個密集塊均采用密集連接,并且包含4個卷積層。其中第一個卷積層選擇大小為1的卷積核,以減少輸入特征的數(shù)量,提升計算效率。其余卷積層均選擇大小為3的卷積核,以對數(shù)據(jù)中的特征進行提取,所有卷積層的卷積核數(shù)目均為8。

(4) 過渡層。為連接兩個相鄰的密集塊并減少特征數(shù)量,在每兩個密集塊之間加入一個大小為1,卷積核數(shù)為64的卷積層。

(5) 池化層。對密集連接后的特征進行尺寸為5的最大池化操作,以降低網(wǎng)絡復雜度,減小輸出維度大小。

(6) Flatten層。將二維向量數(shù)組進行切片,形成一維向量數(shù)組,作為全局特征提取。

(7) 輸出層。通過全連接層對數(shù)據(jù)進行回歸輸出,得到預測后的負荷數(shù)據(jù)。

2.3 各分量預測結果重構

將由趨勢分量、細節(jié)分量和隨機分量三個分量預測得到的預測分量Pi(i=1,2,3)進行疊加式重構,如式(10)所示,P為最終的負荷預測結果,然后將其與真實負荷值進行對比。

3 算例分析

3.1 實驗數(shù)據(jù)集

采用歐洲某電網(wǎng)2016年的負荷數(shù)據(jù)集作為研究對象,數(shù)據(jù)來源于歐洲互聯(lián)電網(wǎng)(ENTSO-E)。選取2016年1月至2016年11月的數(shù)據(jù)作為訓練集,2016年12月的數(shù)據(jù)作為測試集,數(shù)據(jù)時間間隔為1小時。同時收集當?shù)貧庀笳静杉臏囟取⑻鞖忸愋蛿?shù)據(jù)及當?shù)毓?jié)假日等數(shù)據(jù)。

圖5為某一周的負荷數(shù)據(jù)曲線圖,起始時刻為周一的零點?？梢钥闯?日負荷值在白天達到峰值,在夜間達到低谷,且用電高峰期具有一定的波動性。在一周時間內,負荷具有較強的周期性,并且幅值會根據(jù)日期類型等特點而發(fā)生不同程度的變化。在工作日,負荷幅值較大;在非工作日,負荷幅值相比于工作日明顯減小。

圖5 某一周的負荷曲線圖

3.2 數(shù)據(jù)預處理及評價指標

為便于模型的訓練,首先對所有數(shù)據(jù)集進行數(shù)據(jù)預處理,將標志性數(shù)據(jù)進行編碼處理,并對選擇的歷史輸入數(shù)據(jù)進行歸一化處理,將數(shù)據(jù)映射到[0,1]范圍內。公式如下:

式中:xmin、xmax是各輸入變量的最小值和最大值,xi是當前變量的輸入值。

為較好地評估模型的性能,使用平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)和均方根誤差(Root Mean Square Error,RMSE)兩種性能評價指標對預測結果進行分析。MAPE和RMSE的計算公式分別為:

3.3 實驗對比分析

為驗證文中所提出的VDSN模型的性能,本文分別與基于DNN、LSTM、DenseNet、VMD-DNN和EMD-LSTM的五種預測模型進行實驗對比。模型均可以在不同的時間范圍內對未來負荷進行點預測,包括提前1 h和提前6 h。實驗均在裝有GeForce RTX 2080Ti GPU的服務器上進行,模型開發(fā)基于Python和Keras框架。

實驗中DenseNet采用3個密集塊,相對應的,DNN和LSTM分別設置為效果較好的3層結構,隱藏層神經(jīng)元個數(shù)分別設置為128、64、64,并且在每個隱藏層中加入0.2的Dropout率以防止過擬合,所有模型采用早停法進行實驗。

表2為6種不同模型對負荷進行提前1 h預測和提前6 h預測的連續(xù)一周(12月12日—12月18日)的預測結果對比。可以看出,無論是工作日(12月12日—12月16日)還是非工作日12月17日—12月18日),VDSN模型的每日預測誤差MAPE和RMSE值相對于其他模型基本都較小,表明該模型的預測精度較為理想,預測精度較高。

表2 12月12日—12月18日提前1 h負荷預測的結果比較

為探究模型的通用性,本文對提前1 h預測和提前6 h預測兩種不同尺度的預測結果進行了分析。圖6為提前1 h預測的某日結果對比圖,圖7為提前6 h預測的某日結果對比圖。

圖6 提前1 h預測的某日結果對比

圖7 提前6 h預測的某日結果對比

由圖6和圖7可以看出,VDSN模型的預測結果更加接近真實值,因此預測精度最高,其他模型預測結果均次于該模型。對于單個模型,DNN和LSTM的預測效果相比DenseNet模型預測精度要差,對于組合模型,VMD-DNN和EMD-LSTM模型的預測誤差相比于VDSN模型都較大。特別地,對于提前6 h預測,單個模型的預測精度明顯低于組合模型的預測精度,模型穩(wěn)定性相比提前1 h預測較差。

表3為兩種不同時間尺度的12月份整體情況對比。由表3的分析結果可知,提前1 h的預測精度整體優(yōu)于提前6 h的預測精度。從模型預測角度來說,加入VMD或EMD的組合模型預測效果比單一預測模型得到明顯提升。另外,LSTM和DNN模型在預測不同時間尺度的負荷數(shù)據(jù)時各有優(yōu)缺點,但兩者預測精度都次于DenseNet模型。在兩種不同的預測時間尺度下,本文提出的組合模型VDSN都具有更高的預測精度。對于提前1 h預測,VDSN模型相比于VMD-DNN、EMD-LSTM模型MAPE值分別提升了17.82%和15.31%,RMSE值分別提升了15.37%和21.90%;對于提前6 h預測,VDSN模型相比于VMD-DNN、EMD-LSTM模型MAPE值分別提升了13.49%和29.55%,RMSE值分別提升了13.23%和34.25%。綜上,基于VMD和DenseNet的混合模型VDSN提高了特征的利用率,能夠獲得更好的預測效果,提升了預測精度。

表3 兩種不同時間尺度的12月份預測精度比較

4 結 語

本文結合人工智能領域熱點研究方向,提出了一種基于VMD-DenseNet的方法對短期電力負荷進行預測。VMD方法能夠避免發(fā)生模態(tài)混疊問題,獲得較好的負荷序列分解效果,掌握負荷的趨勢性、周期性和隨機性等特點。利用MIC對每個分量的輸入變量(歷史負荷、環(huán)境和時間特性等)進行相關性分析,加強了重要特征對模型的影響并降低了數(shù)據(jù)冗余。借助DenseNet復雜的網(wǎng)絡結構進行深度負荷預測,既有效地避免了梯度消失問題,也加強了對各分量數(shù)據(jù)的特征提取。實驗結果表明所提出的模型,能夠獲得更高的預測精度,具有更優(yōu)的性能。

未來的研究中,我們考慮進一步將DenseNet網(wǎng)絡運用于負荷預測領域,比如概率預測、多尺度預測等,并且通過優(yōu)化其連接方式,加強其特征提取能力,提升模型的普適性。