許言路， 武志鍇， 朱赫炎， 王斌斌， 鄧卓夫

(1. 國網(wǎng)遼寧省電力有限公司 經(jīng)濟(jì)技術(shù)研究院， 沈陽 110015； 2. 東北大學(xué) 軟件學(xué)院， 沈陽 110819)

當(dāng)前電力行業(yè)在開放售電環(huán)境下需要精確的短期負(fù)荷預(yù)測(cè)(STLF)，以實(shí)現(xiàn)電力負(fù)荷的規(guī)劃和管理策略的實(shí)施.為了提高預(yù)測(cè)精度，在過去的幾十年中已經(jīng)提出了各種新的電力負(fù)荷預(yù)測(cè)技術(shù).由于電力負(fù)荷及其影響因素的非線性和隨機(jī)性，電力負(fù)荷預(yù)測(cè)已成為電力市場(chǎng)實(shí)體面臨的最具挑戰(zhàn)性的任務(wù)之一.用于電力負(fù)荷預(yù)測(cè)的模型大致可以分為：統(tǒng)計(jì)模型、基于知識(shí)的專家系統(tǒng)模型、混合模型及基于人工智能的模型.

傳統(tǒng)統(tǒng)計(jì)模型[1](如自回歸模型)研究了電力負(fù)荷及其影響因素之間的定性關(guān)系，并且易于實(shí)現(xiàn).然而，這些統(tǒng)計(jì)模型在很大程度上依賴于當(dāng)前負(fù)荷與歷史負(fù)荷之間的相關(guān)性，在選擇適當(dāng)?shù)姆蔷€性函數(shù)時(shí)面臨很大困難并且計(jì)算成本高.

在所有可用的預(yù)測(cè)模型中，基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的模型在解決STLF問題方面吸引力最大.文獻(xiàn)[2]使用多層感知機(jī)(MLP)結(jié)合氣候數(shù)據(jù)進(jìn)行每日負(fù)荷預(yù)測(cè)；文獻(xiàn)[3]對(duì)影響電力負(fù)荷的因素進(jìn)行PCA及ICA分析，降低數(shù)據(jù)維度和BP神經(jīng)網(wǎng)絡(luò)的搜索空間；文獻(xiàn)[4]廣泛討論了神經(jīng)網(wǎng)絡(luò)的應(yīng)用，并深入分析了其短期負(fù)荷預(yù)測(cè)的性能.傳統(tǒng)ANN算法需要搜索龐大的函數(shù)空間，且函數(shù)空間中有很多代價(jià)很大的局部極小值，這使得模型的求解速度和精度都受到影響.

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是可以適應(yīng)連續(xù)時(shí)間步驟之間依賴性的一類算法，然而，普通RNN易產(chǎn)生梯度消失/爆炸的問題，這使得學(xué)習(xí)長期依賴性變得困難.具有長期短期記憶單元(LSTM)的循環(huán)神經(jīng)網(wǎng)絡(luò)作為梯度消失問題的解決方案，能夠模擬時(shí)間序列數(shù)據(jù)中的短期和長期時(shí)間相關(guān)性，使其在序列處理方面表現(xiàn)出良好的效果[5]；文獻(xiàn)[6]基于設(shè)備級(jí)電量數(shù)據(jù)，使用LSTM模型來預(yù)測(cè)建筑電力負(fù)荷；文獻(xiàn)[7]展示了基于序列到序列的LSTM模型在預(yù)測(cè)短期電力負(fù)荷方面的性能；文獻(xiàn)[8]提出了一種聚合LSTM和CNN的模型，用于小時(shí)級(jí)的電力負(fù)荷預(yù)測(cè).LSTM的缺點(diǎn)是它的復(fù)雜性，2014年首次提出的門控循環(huán)單元(GRU)是最成功的LSTM變體之一，然而，即使經(jīng)過優(yōu)化，LSTM和GRU模型在面對(duì)很長的(如長度超過100)輸入序列時(shí)，依然會(huì)丟失長期數(shù)據(jù)中的關(guān)鍵信息，從而限制了精度的提升.

最近的研究結(jié)果表明，具有卷積架構(gòu)的神經(jīng)網(wǎng)絡(luò)在語音合成、語言建模及機(jī)器翻譯等序列任務(wù)中表現(xiàn)良好，進(jìn)而提出了一個(gè)課題：基于卷積的網(wǎng)絡(luò)能否解決上述問題，并在具有時(shí)間序列特征的電力負(fù)荷預(yù)測(cè)方面也有更佳的表現(xiàn)?本文首先將電力負(fù)荷數(shù)據(jù)及相關(guān)影響因素建模為時(shí)間序列問題，隨后提出一種多尺度信息融合卷積神經(jīng)網(wǎng)絡(luò)(MS-ConvNet)來預(yù)測(cè)6 h電力負(fù)荷.MS-ConvNet引入因果邏輯約束增強(qiáng)時(shí)間序列特征表達(dá)，利用多尺度卷積描述不同長度時(shí)域數(shù)據(jù)相互關(guān)系，并設(shè)計(jì)殘差網(wǎng)絡(luò)結(jié)構(gòu)提升了網(wǎng)絡(luò)深度和預(yù)測(cè)精度，實(shí)驗(yàn)結(jié)果表明，MS-ConvNet模型的精度優(yōu)于MLP、LSTM和GRU等模型.

1 問題定義

電力負(fù)荷預(yù)測(cè)根據(jù)預(yù)測(cè)時(shí)間長短分為4類：1)非常短期的負(fù)荷預(yù)測(cè)，用于預(yù)測(cè)1 h內(nèi)的負(fù)荷需求；2)短期負(fù)荷預(yù)測(cè)，預(yù)測(cè)一天至一周的負(fù)荷需求；3)中期負(fù)荷預(yù)測(cè)，預(yù)測(cè)一周至幾個(gè)月的負(fù)荷需求；4)長期負(fù)荷預(yù)測(cè)，預(yù)測(cè)的時(shí)間段在幾個(gè)月至幾年之間[9].其中，STLF為電力系統(tǒng)的控制和調(diào)度提供精確的負(fù)載需求，同時(shí)要求較高的實(shí)時(shí)性.本文關(guān)注于STLF，目標(biāo)是通過對(duì)電力負(fù)荷數(shù)據(jù)及相關(guān)影響因素進(jìn)行時(shí)間序列建模，再通過提出的網(wǎng)絡(luò)模型預(yù)測(cè)未來6 h的電力負(fù)荷.

假設(shè)xt是包含時(shí)刻t數(shù)據(jù)的一個(gè)向量(包含電量負(fù)荷、最高溫度、最低溫度及節(jié)假日等)，用一個(gè)輸入序列(x0，x1，…，xT)來預(yù)測(cè)相應(yīng)的輸出(y0，y1，…，yT).

(1)

代入后得到的待優(yōu)化代價(jià)函數(shù)為

(2)

2 多尺度信息融合卷積神經(jīng)網(wǎng)絡(luò)

2.1 具有因果關(guān)系的卷積

如問題定義中所述，模型基于兩個(gè)原則：一是網(wǎng)絡(luò)的輸入與輸出長度相等；二是網(wǎng)絡(luò)中任意時(shí)刻t對(duì)應(yīng)的節(jié)點(diǎn)只接受t時(shí)刻之前的信息.針對(duì)第一點(diǎn)，本文使用了一個(gè)一維的全卷積網(wǎng)絡(luò)(FCN)；為了實(shí)現(xiàn)第二點(diǎn)，使用了具有因果關(guān)系的卷積保證任何時(shí)刻網(wǎng)絡(luò)中某一節(jié)點(diǎn)都只獲取了過去時(shí)刻的信息.這個(gè)設(shè)計(jì)的主要缺點(diǎn)是：為了實(shí)現(xiàn)對(duì)較長歷史規(guī)模的有效性，需要一個(gè)非常深的網(wǎng)絡(luò)或者非常大的過濾器，而這兩種方法都需要占用大量的計(jì)算資源，因此，提出了多尺度信息融合優(yōu)化技術(shù)，使得模型可以在較小的過濾器下覆蓋更大的范圍.

2.2 多尺度信息融合卷積

一個(gè)簡單的因果卷積只能回顧線性尺度的網(wǎng)絡(luò)寬度，因此本文使用了多尺度信息融合的因果卷積，可以融合指數(shù)級(jí)大小的接受域.普通一維卷積的定義為：設(shè)F∶Z→R是一個(gè)離散函數(shù)，若Ωr=[0，r]∩Z，且k∶Ωr→R是一個(gè)尺寸大小為r的過濾器，則卷積操作可以被定義為

(3)

設(shè)l是一個(gè)尺度因子，則多尺度信息融合的一維卷積操作被定義為

(4)

式中：s為卷積的起始位置；p為過濾器中位置值，lp為向前跨越的尺度.因此，尺度卷積相當(dāng)于在過濾器相鄰的點(diǎn)之間引入了固定的間隔，當(dāng)l=1時(shí)，多尺度的卷積就變成了一個(gè)常規(guī)的卷積，使用更大的尺度因子可以使上層節(jié)點(diǎn)融合更大范圍的輸入，能夠有效地提取更大范圍的信息.

本文提出了兩種方式來擴(kuò)大接受域：選擇更大的過濾器尺寸r或者增大尺度因子l，其中一層的有效范圍是(r-1)l+1.增加深度也會(huì)給尺度的大小帶來指數(shù)級(jí)的增長，這確保了在有效的輸入長度中，模型總是能夠提取每一個(gè)輸入的信息.圖1為帶有因果卷積的多尺度信息融合示意圖.

圖1 多尺度信息融合示意圖Fig.1 Schematic diagram of multi-scale information fusion

2.3 殘差學(xué)習(xí)

殘差網(wǎng)絡(luò)(ResNet)的提出使神經(jīng)網(wǎng)絡(luò)模型開始向深度發(fā)展.在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，如果單純地增加網(wǎng)絡(luò)的深度會(huì)引起梯度消失、爆炸或準(zhǔn)確率退化的問題.

對(duì)于梯度消失、爆炸問題，ResNet通過標(biāo)準(zhǔn)化得以解決；對(duì)于準(zhǔn)確率問題，ResNet通過殘差學(xué)習(xí)來解決.殘差塊是包含一系列變換Z的一個(gè)分支，殘差連接是將殘差塊的輸出和一個(gè)恒等映射的輸出相加并激活，即

Y=Z(X，Wi)+X

(5)

式中：Z(X，Wi)為需要學(xué)習(xí)的殘差映射；Wi為過濾器參數(shù).殘差連接允許層有效地學(xué)習(xí)對(duì)恒等映射的修改，而不是學(xué)習(xí)整個(gè)變換，這已經(jīng)被證明對(duì)于深度網(wǎng)絡(luò)非常有用.

ResNet最初被設(shè)計(jì)用來解決圖像識(shí)別問題，但是其中采用的殘差學(xué)習(xí)和標(biāo)準(zhǔn)化的思想可以被應(yīng)用到任意的模型中用來解決相似的問題.

2.4 MS-ConvNet

MS-ConvNet中的一個(gè)殘差塊如圖2所示.在一個(gè)殘差塊里，包含多尺度信息融合、標(biāo)準(zhǔn)化和激活函數(shù)，激活函數(shù)采用整流線性單元(ReLU)，此外，為了防止過擬合及增加模型抗噪能力，在模型最后加入了一層Dropout[10].

圖2 MS-ConvNet模型中的殘差塊Fig.2 Residual block in MS-ConvNet model

(6)

在MS-ConvNet模型中，對(duì)卷積輸出使用了參數(shù)標(biāo)準(zhǔn)化，參數(shù)標(biāo)準(zhǔn)化是對(duì)過濾器參數(shù)W進(jìn)行標(biāo)準(zhǔn)化，是通過一個(gè)標(biāo)量g和一個(gè)矩陣V對(duì)參數(shù)矩陣W進(jìn)行尺度變換，其變換公式為

(7)

(8)

(9)

總的來說，權(quán)重標(biāo)準(zhǔn)化解耦了參數(shù)矩陣的范數(shù)和方向，加速了收斂，保證了梯度的穩(wěn)定，不會(huì)爆炸或者消失；同時(shí)又解決了批標(biāo)準(zhǔn)化的數(shù)據(jù)依賴性，計(jì)算開銷也降低了許多；相比于批標(biāo)準(zhǔn)化，該方法無法將每一層特征尺度固定住，因此本文設(shè)計(jì)了一種初始化方法，在初始化時(shí)利用了最小批的信息，保證了輸入特征在初始化時(shí)均值為0，方差為1.

3 實(shí)驗(yàn)與結(jié)果

本文使用某地電網(wǎng)2014～2018年負(fù)荷數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估，同時(shí)也從互聯(lián)網(wǎng)搜集了此地區(qū)每日最高氣溫、每日最低氣溫以及節(jié)假日數(shù)據(jù).圖3顯示了一天24 h電力負(fù)荷分布的箱形圖，從圖3中可以看出，每個(gè)小時(shí)的數(shù)據(jù)服從單獨(dú)分布，有不同的均值和方差.在神經(jīng)網(wǎng)絡(luò)中，這種輸入數(shù)據(jù)的不均勻分布會(huì)造成梯度信息的爆炸或消失.為了解決該問題，本文對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理，同時(shí)在模型中使用權(quán)重標(biāo)準(zhǔn)化提升模型的魯棒性.

圖3 一天24 h電力負(fù)荷分布箱形圖Fig.3 Box diagram of electric load distribution in 24 h

首先對(duì)數(shù)據(jù)進(jìn)行最大絕對(duì)值歸一化，即所有數(shù)據(jù)除以數(shù)據(jù)集中的最大值，一共得到了31 128條數(shù)據(jù)，其中前80%作為訓(xùn)練集，后20%作為測(cè)試集.眾所周知，更寬和更深的網(wǎng)絡(luò)可以為深度模型帶來更加精確的結(jié)果，受實(shí)驗(yàn)條件所限，模型基于相似的參數(shù)總量來選取參數(shù)，最終選擇最優(yōu)表現(xiàn)的參數(shù)進(jìn)行分析.使用10天總計(jì)240 h的數(shù)據(jù)作為輸入序列.模型使用了如2.4節(jié)中描述的殘差塊，每個(gè)殘差塊中包含4層卷積層，與其對(duì)應(yīng)的尺度因子l設(shè)置為[1，2，4，8]，共堆疊了8層殘差塊，批次大小為128.每層中過濾器的數(shù)量為32，過濾器大小為8.訓(xùn)練采用TensorFlow后端的Keras框架，使用學(xué)習(xí)率衰減和Adam優(yōu)化，硬件則采用了兩塊英偉達(dá)P4計(jì)算卡的云服務(wù)器.

本文對(duì)比了MLP，LSTM，GRU和MS-ConvNet幾種神經(jīng)網(wǎng)絡(luò)的測(cè)試結(jié)果，測(cè)試中都使用相同的240輸入步長以及相同的Adam優(yōu)化器，LSTM和GRU都采用了效果最好的三層結(jié)構(gòu).性能對(duì)比評(píng)估采用三種指標(biāo)：平均絕對(duì)百分比誤差(MAPE)、平均絕對(duì)誤差(MAE)和判定系數(shù)(R2).

訓(xùn)練過程中測(cè)試集MAPE曲線如圖4所示，可以看出這4種模型經(jīng)過Adam優(yōu)化后，都可以在較短訓(xùn)練步數(shù)內(nèi)迅速收斂.但是需要注意的是，GRU和LSTM由于RNN模型的特殊性(每個(gè)單元的訓(xùn)練都需要等待上一個(gè)單元的輸出)，單步訓(xùn)練消耗的時(shí)間是MS-ConvNet的數(shù)倍，因此MS-ConvNet實(shí)際收斂耗時(shí)遠(yuǎn)低于GRU和LSTM.

圖4 模型訓(xùn)練過程中測(cè)試集MAPE曲線Fig.4 MAPE curves of test set during model training

圖5顯示了4種模型對(duì)應(yīng)測(cè)試集結(jié)果的散點(diǎn)圖.每個(gè)點(diǎn)代表一個(gè)測(cè)試樣本，中間是一條Y=X的斜線.點(diǎn)距離中間線的距離越近，結(jié)果越準(zhǔn)確.從圖5中可以看出，MLP子圖中點(diǎn)分布偏下，說明MLP更傾向于預(yù)測(cè)更低的結(jié)果，這會(huì)造成頻繁的計(jì)劃供電量不足；相較于前三個(gè)子圖，MS-ConvNet子圖中的點(diǎn)更緊密地聚集在斜線周圍，這說明MS-ConvNet在較大的比例測(cè)試樣本上做出了更準(zhǔn)確的判斷.

通過多次實(shí)驗(yàn)得出的測(cè)試結(jié)果對(duì)比如表1所示.以過去多年國內(nèi)外廣泛采用的模型作為測(cè)試基準(zhǔn)，可以看出在多種評(píng)估手段下，各種神經(jīng)網(wǎng)絡(luò)都表現(xiàn)出了一定的預(yù)測(cè)能力.LSTM和GRU的表現(xiàn)優(yōu)于MLP，MS-ConvNet取得了這次實(shí)驗(yàn)中最優(yōu)結(jié)果，相較于MLP模型，MAPE降低了63%，MAE降低了65%，而R2從0.884提升到0.976.相對(duì)于LSTM和GRU，MS-ConvNet的結(jié)果也顯示了明顯的進(jìn)步，說明模型中各種設(shè)計(jì)的結(jié)構(gòu)能夠很好地適應(yīng)負(fù)荷序列數(shù)據(jù).

圖5 四種模型測(cè)試結(jié)果散點(diǎn)圖Fig.5 Scatter diagrams of test results with four models

負(fù)荷數(shù)據(jù)常常由于采集設(shè)備故障和通信異常而造成數(shù)據(jù)缺失或數(shù)據(jù)異常，健壯性較差的模型容易因此產(chǎn)生不可靠的預(yù)測(cè).為了測(cè)試MS-ConvNet的魯棒性，在一定比例的歸一化負(fù)荷數(shù)據(jù)上隨機(jī)加入了標(biāo)準(zhǔn)差為0.2的白噪聲，加入噪聲數(shù)據(jù)的比例分別為5%、10%、20%，然后進(jìn)行訓(xùn)練和測(cè)試，測(cè)試結(jié)果如表2所示.

表1 測(cè)試結(jié)果性能對(duì)比Tab.1 Performance comparison of test results

表2 加入白噪聲的魯棒性測(cè)試Tab.2 Robustness test with white noise addition

從表2中可以看出，添加一定量的白噪聲對(duì)測(cè)量結(jié)果影響很小，這說明提出的模型在面對(duì)噪聲時(shí)具有優(yōu)良的魯棒性.同時(shí)本文對(duì)比了幾種模型的訓(xùn)練和預(yù)測(cè)時(shí)間，結(jié)果如表3所示.

表3 模型效率對(duì)比Tab.3 Model efficiency comparison s

得益于基于GPU的大規(guī)模并行運(yùn)算技術(shù)的成熟，神經(jīng)網(wǎng)絡(luò)繁重計(jì)算可以在較短的時(shí)間內(nèi)完成.從表3中可以看出，MLP由于其簡單的結(jié)構(gòu)和較少的參數(shù)量，因此擁有最少的訓(xùn)練和測(cè)試耗時(shí).LSTM和GRU因?yàn)槠溲h(huán)運(yùn)算的結(jié)構(gòu)，每一步預(yù)算必須基于上一步的輸出，所有耗時(shí)較大.其中GRU由于簡化了內(nèi)部結(jié)構(gòu)，因此一定程度降低了運(yùn)算量.MS-ConvNet的整體網(wǎng)絡(luò)可以并行運(yùn)算，因此耗時(shí)較LSTM和GRU大幅降低，其中對(duì)測(cè)試集的6 168條數(shù)據(jù)進(jìn)行測(cè)試僅耗時(shí)5.8 s，說明MS-ConvNet在工業(yè)級(jí)別的大數(shù)據(jù)并行預(yù)測(cè)方面具有良好前景.

4 結(jié) 論

本文通過實(shí)驗(yàn)證明了MS-ConvNet在短期電力負(fù)荷預(yù)測(cè)方面具有良好的精確度、魯棒性和運(yùn)行效率.MS-ConvNet相較于LSTM和GRU表現(xiàn)出良好的并行能力，這一點(diǎn)在短期電力負(fù)荷預(yù)測(cè)時(shí)對(duì)實(shí)時(shí)性要求較高的情況下尤其重要.過去十幾年，神經(jīng)網(wǎng)絡(luò)在圖像分類、序列處理等許多方面都展示出了優(yōu)秀的性能和健壯性.在電力負(fù)荷預(yù)測(cè)方向，基于神經(jīng)網(wǎng)絡(luò)的模型也得到了更多的應(yīng)用，相信隨著研究的深入，基于卷積的神經(jīng)網(wǎng)絡(luò)模型也可以推動(dòng)電力負(fù)荷預(yù)測(cè)的進(jìn)一步發(fā)展.