雷鳴 唐李洋 葉振宇 黎川 潘李偉

摘要：單個(gè)居民家庭的用電量與多種復(fù)雜因素相關(guān)，可能包括其歷史用電量、節(jié)假日因素、天氣以及居民用電習(xí)慣等。通過研究和實(shí)驗(yàn)，我們提出了一種端到端的結(jié)構(gòu)來預(yù)測單個(gè)家庭的短期用電量，稱為殘差卷積融合網(wǎng)絡(luò)。具體來說，我們的網(wǎng)絡(luò)結(jié)構(gòu)使用了：1）利用殘差卷積單元的三個(gè)分支分別來模擬用電量的時(shí)間鄰近性、周期性和趨勢特性;2）利用一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)來模擬工作日或周末特性;3）通過殘差卷積網(wǎng)絡(luò)來融合上述輸出以產(chǎn)生短期用電量的預(yù)測。通過對澳大利亞居民用電數(shù)據(jù)集的實(shí)驗(yàn)研究，驗(yàn)證了我們所提出的網(wǎng)絡(luò)優(yōu)于幾種眾所周知的方法。

關(guān)鍵詞：短期居民用電預(yù)測;卷積神經(jīng)網(wǎng)絡(luò);殘差網(wǎng)絡(luò)

中圖分類號：TP391? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）21-0240-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Abstract： Electricity consumption is related to multiple complex factors， including historical amount of consumption， calendar dates and holidays， as well as residential power consumption habits. To this end， we propose an end-to-end structure to collectively forecast short-term power consumption of private households， called RCFNet （Residual Conventional Fusion Network）. Specifically， our RCFNet uses：1） three branches of residual convolutional units to model the temporal proximity， periodicity and tendency properties of electricity consumption， 2） one fully connected neural network to model the weekday or weekend property， and 3） a residual convolution network to fuse the above output to produce short-term prediction. All the convolutions used here are one-dimensional. Through experimental studies on residential electricity consumption dataset in Australia， it is validated that the proposed RCFNet outperforms several well-known methods. Besides， we demonstrate that residential power consumption is closely related to the living characteristics of residents.

Key words： short-term load forecasting; Convolutional Neural Network; Residual Network

1引言

文獻(xiàn)中報(bào)道了多種關(guān)于短期負(fù)荷預(yù)測的方法，大多數(shù)現(xiàn)有的工作都是針對電力消耗的群體行為，而不是針對單個(gè)居民的，因?yàn)獒槍€(gè)別用戶用電負(fù)荷的波動性，對于居民群體性的用電預(yù)測來說通常被認(rèn)為是微不足道的。因此，短期家庭負(fù)荷預(yù)測的問題現(xiàn)在[1]仍然是面臨挑戰(zhàn)并值得研究的。

作為當(dāng)前許多研究領(lǐng)域中最活躍的技術(shù)，深度學(xué)習(xí)的本質(zhì)是分層表示觀測數(shù)據(jù)，并實(shí)現(xiàn)將低級特征進(jìn)一步抽象為高級特征表示[2]。長短期記憶網(wǎng)絡(luò)（LSTM）最初由Hochreiter等人[3]提出，在時(shí)序?qū)W習(xí)領(lǐng)域中取得了巨大進(jìn)展，因此也被廣泛應(yīng)用于用電負(fù)荷的預(yù)測中。隨著AlexNets[4]的突破性成功，CNNs（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）被廣泛應(yīng)用于圖像識別、語音識別、序列生成等領(lǐng)域。研究人員[5]提出了越來越深的卷積神經(jīng)網(wǎng)絡(luò)，揭示了網(wǎng)絡(luò)深度的重要性。ResNets （Residual Networks，殘差網(wǎng)絡(luò)） [6]通過使用跳躍連接的方式，解決了隨著網(wǎng)絡(luò)深度的增加而產(chǎn)生的梯度消失的問題。Zhang等[7]將這兩種方法結(jié)合起來，提出了一種基于深度學(xué)習(xí)的方法用于預(yù)測城市每個(gè)區(qū)域的人流量變化。

在上述現(xiàn)有工作的啟發(fā)下，我們考慮使用深度學(xué)習(xí)中的卷積網(wǎng)絡(luò)進(jìn)行居民用電特征的提取，設(shè)計(jì)了一個(gè)名為RCFNet （Residual Conventional Fusion Network，殘差卷積融合網(wǎng)絡(luò)）的深層網(wǎng)絡(luò)來預(yù)測短期的居民用電量。具體來說，RCFNet使用殘差卷積單元的三個(gè)分支來提取用電量的時(shí)間鄰近性、周期性和趨勢性特征，同時(shí)使用一個(gè)全連接神經(jīng)網(wǎng)絡(luò)來模擬工作日/周末屬性，最后使用一個(gè)殘差卷積網(wǎng)絡(luò)來融合上述輸出來產(chǎn)生短期預(yù)測。我們使用來自澳大利亞的智能電表數(shù)據(jù)評估模型，實(shí)驗(yàn)結(jié)果表明，與歷史平均模型、季節(jié)自回歸滑動平均模型（SARIMA）、多層感知器和長短期記憶模型相比，我們的方法具有優(yōu)勢。

2算法設(shè)計(jì)與分析

2.1深度殘差卷積網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（ResNets） [6]通過使用跳躍連接，執(zhí)行由堆疊的非線性層定義的殘差映射，這比原始映射更容易優(yōu)化。Identity Mapping ResNet[8]簡化了殘差網(wǎng)絡(luò)，解決了隨著網(wǎng)絡(luò)深度的增加產(chǎn)生的梯度消失問題，從而大大提高了網(wǎng)絡(luò)的訓(xùn)練效果。具有Identity Mapping的殘差單元[8]被定義為：

其中[X（l）]和[X（l+1）]分別是第[l]層殘差單元的輸入和輸出序列，[F]是殘差函數(shù)[6]。

2.1.1 殘差卷積網(wǎng)絡(luò)結(jié)構(gòu)

我們的任務(wù)描述如下：對于給定電表讀取的一系列觀測數(shù)據(jù)[{St|t=0，1，...，n-1}]，預(yù)測下一個(gè)時(shí)間段的用電量[Sn]。

通過對居民用電的分析，我們發(fā)現(xiàn)居民用電具有鄰近性、周期性和趨勢性特征，因此我們考慮使用深度網(wǎng)絡(luò)來提取這幾個(gè)特征，圖1顯示了所使用的模型結(jié)構(gòu)。

如前所述，居民用電量時(shí)間序列數(shù)據(jù)是以半小時(shí)間隔獲得的。這里我們將數(shù)據(jù)的時(shí)間相關(guān)性分為三種類型： （a）鄰近數(shù)據(jù)，使用最近24小時(shí)的數(shù)據(jù);（b）周期數(shù)據(jù)，這里選取了最近28天的數(shù)據(jù);（c）趨勢數(shù)據(jù)，選擇最近10周的數(shù)據(jù)。這樣，三個(gè)特征的時(shí)間序列數(shù)據(jù)被構(gòu)建為模型的輸入。我們使用相同的網(wǎng)絡(luò)結(jié)構(gòu)來提取上述三種類型的特征，即，所有特征都使用殘差卷積網(wǎng)絡(luò)（圖1中的殘差卷積網(wǎng)絡(luò)細(xì)節(jié)參見圖2（a））。考慮到外部信息獲取的困難（比如氣象因素），這里只是簡單地區(qū)分工作日和周末，被編碼成one-hot向量，作為全連接網(wǎng)絡(luò)的輸入。四個(gè)模塊（即趨勢性、周期性、鄰近性、外因）輸出長度固定的特征向量拼接成一個(gè)向量，被用作特征融合模塊的輸入（詳見圖2（c））。融合網(wǎng)絡(luò)的輸出被饋送到激活函數(shù)，將結(jié)果映射到[0，1]。

2.1.2時(shí)間序列特征提取網(wǎng)絡(luò)

前三個(gè)組件（趨勢性、周期性、鄰近性）共享相同的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2（a）所示。

（1）卷積。使用一維卷積核來執(zhí)行一維卷積，以便提取時(shí)間序列中的鄰近特征。圖1所示的結(jié)構(gòu)中鄰近性特征提取模塊對最近一段時(shí)間的用電數(shù)據(jù)進(jìn)行采樣，以模擬數(shù)據(jù)的鄰近性特性。這里[Xat=Xat0=[St-la，St-（la-1），...，St-1]]表示時(shí)刻[t]作為模型輸入的鄰近特征依賴序列，通過卷積操作輸出到下一層：

這里的[*]代表卷積操作，[f]為激活函數(shù)，[Wa1，ba1]表示第一層的可學(xué)習(xí)參數(shù)，上標(biāo)表示對應(yīng)的網(wǎng)絡(luò)層。

（2）殘差單元。使用殘差學(xué)習(xí)方法[8]構(gòu)建深層網(wǎng)絡(luò)來提取序列的特征，在殘差卷積網(wǎng)絡(luò)中，如圖2（a）和2（b）所示，在卷積輸出上疊加[L]個(gè)殘差單元：

這里，[F]代表殘差函數(shù)（參見圖2（b））， [θal]表示第[L]層的全部可學(xué)習(xí)參數(shù)，這里在ReLU層前執(zhí)行了批量正則化[9]操作。最終的殘差單元頂部，添加一個(gè)卷積層來構(gòu)建由兩個(gè)卷積層和一個(gè)殘差單元組成的網(wǎng)絡(luò)結(jié)構(gòu)，用于提取鄰近性的特征。類似的，周期性和趨勢性的特征提取也是通過相同的結(jié)構(gòu)實(shí)現(xiàn)的（參見圖1）。

（3）外部因素。這里只考慮工作日和周末對居民用電的影響。將它編碼one-hot向量為連接到一個(gè)兩層的全連接網(wǎng)絡(luò)，外部特征輸出定義為[Et]，輸出映射到固定大小的矢量長度，以確保和前三個(gè)分量的輸出一致。

（4）融合網(wǎng)絡(luò)。將四個(gè)模塊的輸出（即趨勢性、周期性、鄰近性和外部因素）輸入融合網(wǎng)絡(luò)（見圖2（c）），輸出通過激活函數(shù)映射到[0，1]。網(wǎng)絡(luò)通過輸入三個(gè)數(shù)據(jù)序列和外部特征序列來訓(xùn)練預(yù)測值[St]，最小化預(yù)測用電量和實(shí)際用電量之間的均方差：

這里的[θ]代表可學(xué)習(xí)參數(shù)，[St]代表時(shí)刻[t]的觀測值。

2.2算法及優(yōu)化步驟

程序1中的偽代碼演示了算法的執(zhí)行過程。首先，訓(xùn)練實(shí)例由原始序列數(shù)據(jù)構(gòu)建（第①-②行）。然后，執(zhí)行反向傳播算法和Adam[10]優(yōu)化器（行③-⑧）來訓(xùn)練模型網(wǎng)絡(luò)。最后，在測試集（⑨-⑩）上驗(yàn)證模型。

程序1：RCFNet 模型訓(xùn)練驗(yàn)證程序

輸入：

鄰近性、周期性和趨勢性輸入數(shù)據(jù)長度： [la，lp，lq];周期數(shù)據(jù)間隔：[p]; 趨勢數(shù)據(jù)間隔：[q] ;歷史數(shù)據(jù)序列：[S={S0，...，Sn-1}];外部因素特征：[E={E0，...，En-1}];

數(shù)據(jù)準(zhǔn)備：

3實(shí)驗(yàn)結(jié)果分析

我們對澳大利亞的居民用電數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證所提出的模型的有效性。該數(shù)據(jù)集（來源： http：//data.gov.au/dataset/electricity-consumption-benchmarks）包含澳大利亞維多利亞州25戶家庭的電力消耗，時(shí)間從2012年4月1日至2014年3月31日，采樣間隔為半小時(shí)。在數(shù)據(jù)訓(xùn)練和測試的工作中只選擇了其中8戶完整用戶數(shù)據(jù)。將RCFNet模型與以下4個(gè)常見的基準(zhǔn)預(yù)測算法進(jìn)行比較： HA （History Average，歷史平均方法）、SARIMA （Seasonal Autoregressive Integrated Moving Average，周期性滑動自回歸模型）、MLP （Multi-Layer Perceptron，多層感知器）、LSTM （Long Short-Term Memory，長短期記憶網(wǎng)絡(luò)） [3]。

3.1數(shù)據(jù)預(yù)處理

在本模型中，使用最小-最大正則化方法將訓(xùn)練數(shù)據(jù)歸一化為[ 0，1]之間的值，輸出部分使用了ReLU激活函數(shù)。模型使用3x1大小的卷積核。訓(xùn)練集前90%用于訓(xùn)練，后10%用于驗(yàn)證。為了防止過多的訓(xùn)練迭代，使用了早期停止技術(shù)來找到最佳的訓(xùn)練迭代次數(shù)。在LSTM和MLP模型中，輸入為長度為48的序列，而本模型中的最終融合模型采用以下參數(shù)：鄰近序列長度為48，周期序列長度為28，趨勢序列長度為10。使用最后60天的數(shù)據(jù)進(jìn)行模型驗(yàn)證，其余數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。

3.2實(shí)驗(yàn)結(jié)果及分析

使用均方根誤差（ RMSE ）來驗(yàn)證預(yù)測性能，定義如下：

其中[n]是預(yù)測結(jié)果的總數(shù)。

將模型與表1中的其他四個(gè)模型進(jìn)行了對比，其中每個(gè)模型的性能按每個(gè)用戶家庭ID列出。此外，為驗(yàn)證不同參數(shù)對RCFNet的影響，設(shè)計(jì)了六種不同的模型變量，分別是RCF （考慮鄰近性、周期性、趨勢性和外部因素的網(wǎng)絡(luò)模型）、RCF-NoE （不考慮外部因素的模型）、RCF-NoP （不考慮周期性的模型）、RCF-NoQ （不考慮周期性和趨勢性的模型）和RCF-NoEPQ （不考慮周期性、趨勢性和外部因素的模型）。表1中的數(shù)值表示各方法的實(shí)際值和預(yù)測結(jié)果之間的均方根誤差，數(shù)值越小越好，每一列中的最佳結(jié)果由帶下劃線的粗體數(shù)字顯示。

從表1中，可以看到RCFNet優(yōu)于其他四個(gè)基準(zhǔn)模型，這表明RCFNet很好地捕捉了居民的用電特性。此外，還可以發(fā)現(xiàn)，不同家庭的鄰近性、周期性、趨勢性和外部因素對預(yù)測結(jié)果的精確度影響不同，這也反映出不同居民的用電特點(diǎn)具有很大不同，一些居民用電具有更強(qiáng)的周期性特征，而另一些則表現(xiàn)出更明顯的趨勢特征?？梢钥闯觯绻豢紤]某些特征分支，RCFNet的一些結(jié)果可能比某些基準(zhǔn)模型差，這表明這些特征對RCFNet的精度有很大影響。

4總結(jié)

本文主要研究了居民用電的短期預(yù)測算法，提出了一種稱為RCFNet的深層網(wǎng)絡(luò)架構(gòu)，以實(shí)現(xiàn)準(zhǔn)確的短期用電量預(yù)測。該模型結(jié)構(gòu)綜合考慮了用電量的鄰近性、周期性和趨勢性特征，同時(shí)考慮了外部因素的影響。通過對澳大利亞居民用電數(shù)據(jù)集的案例研究，將模型與其他四種典型的預(yù)測模型（即歷史平均方法、周期性滑動自回歸模型、多層感知器和長短期記憶網(wǎng)絡(luò)）進(jìn)行了比較，驗(yàn)證了我們所提出的RCFNet的預(yù)測性能。此外，RCFNet具有良好的可擴(kuò)展性，可廣泛用于其他類型的時(shí)間序列預(yù)測。

本項(xiàng)目收到國家科技部重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)“重大事故災(zāi)難次生衍生與多災(zāi)種耦合致災(zāi)機(jī)理與規(guī)律”項(xiàng)目（資助號 2016YFC0800100）， 安徽省自然科學(xué)基金青年基金項(xiàng)目（資助號 1708085QG162）， 社會安全風(fēng)險(xiǎn)感知與防控大數(shù)據(jù)應(yīng)用國家工程實(shí)驗(yàn)室主任基金項(xiàng)目資助。

參考文獻(xiàn)：

[1] Yu C N， Mirowski P， Ho T K. A Sparse Coding Approach to Household Electricity Demand Forecasting in Smart Grids [J]. IEEE Transactions on Smart Grid， 2017， 8（2）：738-748.

[2] Bengio Y， Courville A， Vincent P. Representation Learning： A Review and New Perspec-tives [J]. IEEE Trans Pattern Anal Mach Intell， 2012， 35（8）：1798-1828.

[3] S.Hochreiter and J. Schmidhuber， Long Short-Term Memory， Neural Computation， Vol. 9， No. 8， 1997， pp. 1735-1780.

[4] A. Krizhenvshky， I. Sutskever， and G. Hinton， Imagenet classi?cation with deep convolu-tional networks， in Proc. Adv. Neural Inf. Process.Syst.， 2012， pp. 1097–1105.

[5] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[6] He K， Zhang X， Ren S， et al. Deep Residual Learning for Image Recognition [J]. 2015：770-778.

[7] Zhang J， Zheng Y， Qi D. Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction [J]. 2016.

[8] He K， Zhang X， Ren S， et al. Identity Mappings in Deep Residual Networks [C]. European Conference on Computer Vision. Springer， Cham， 2016：630-645.

[9] Ioffe， S.， and Szegedy， C. 2015. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In ICML， 448-456.

[10] Kingma D P， Ba J. Adam： A Method for Stochastic Optimization [J]. Computer Science， 2014.

【通聯(lián)編輯：梁書】