尹 力 周 琪

（國(guó)網(wǎng)武漢供電公司 武漢 430070）

1 引言

區(qū)域供電量預(yù)測(cè)是電氣工程領(lǐng)域的一項(xiàng)基本工作，國(guó)內(nèi)外已在該領(lǐng)域開(kāi)展了多年的研究［1］。根據(jù)預(yù)測(cè)原理的不同，預(yù)測(cè)方法可概括為簡(jiǎn)單數(shù)學(xué)推理法、傳統(tǒng)數(shù)學(xué)模型法和人工智能預(yù)測(cè)法三類。簡(jiǎn)單數(shù)學(xué)推理法有專家預(yù)測(cè)法、綜合用電水平法、單耗法、彈性系數(shù)法、負(fù)荷密度法、平均增長(zhǎng)率法、類比法、指數(shù)平滑法等［2］。簡(jiǎn)單數(shù)學(xué)推理法，能夠?qū)ξ磥?lái)供電量情況做出初步預(yù)測(cè)，但卻由于預(yù)測(cè)精度不足，現(xiàn)已很少采用。第二類為傳統(tǒng)數(shù)學(xué)模型法，采用更為復(fù)雜的預(yù)測(cè)模型，能夠得到較高的供電量預(yù)測(cè)精度，主要包括時(shí)間序列法［3］、回歸分析法［4］、趨勢(shì)外推法［5］等。第三類為人工智能預(yù)測(cè)方法，包括以各類神經(jīng)網(wǎng)絡(luò)為主的機(jī)器學(xué)習(xí)預(yù)測(cè)方法［6～9］、支持向量機(jī)預(yù)測(cè)法［10］等。

其中，隨著人工智能技術(shù)的飛速發(fā)展，人工智能在供電量預(yù)測(cè)方面的研究受到了越來(lái)越多的關(guān)注。然而，以深度學(xué)習(xí)為代表的人工智能方法，需要大量的、標(biāo)準(zhǔn)化的樣本集完成模型的訓(xùn)練。因此，在供電量預(yù)測(cè)樣本準(zhǔn)備中，需要完整的小粒度歷史統(tǒng)計(jì)數(shù)據(jù)，包括按天統(tǒng)計(jì)的供電量數(shù)據(jù)、天氣數(shù)據(jù)等。這種小粒度樣本的準(zhǔn)備，將極大增加統(tǒng)計(jì)工作量，并且可能由于歷史數(shù)據(jù)的部分缺失，造成模型訓(xùn)練精度下降。

針對(duì)上述問(wèn)題，本文提出了一種基于歷史供電量月度統(tǒng)計(jì)數(shù)據(jù)，及少量按天統(tǒng)計(jì)的輔助數(shù)據(jù)的樣本增強(qiáng)方法，實(shí)現(xiàn)了樣本集的有效擴(kuò)充；同時(shí)通過(guò)構(gòu)建深度殘差網(wǎng)絡(luò)，解決預(yù)測(cè)模型訓(xùn)練過(guò)程中的網(wǎng)絡(luò)退化問(wèn)題，有效提高了模型的訓(xùn)練效率和預(yù)測(cè)精度。

2 樣本增強(qiáng)

采用優(yōu)化的生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)以將全序列按月統(tǒng)計(jì)的供電量數(shù)據(jù)，結(jié)合少量按天統(tǒng)計(jì)的數(shù)據(jù)，模擬生成每天的供電量數(shù)據(jù)，實(shí)現(xiàn)樣本空間的小粒度解析。

2.1 生成對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是一種深度學(xué)習(xí)模型，由生成模型（Generative Model）和判別模型（Discriminative Model）兩部分組成，通過(guò)兩部分的相互博弈，使生成模型的輸出不斷優(yōu)化，直至產(chǎn)生滿足應(yīng)用需求的模型輸出。

2.2 網(wǎng)絡(luò)優(yōu)化

傳統(tǒng)的GAN 模型，輸入為隨機(jī)噪聲，生成的圖片具有一定的隨機(jī)性，模型無(wú)法應(yīng)用于供電量的預(yù)測(cè)，需要對(duì)模型進(jìn)行修改、優(yōu)化。考慮和供電量預(yù)測(cè)最為密切相關(guān)的幾個(gè)因素，分別為歷史同期供電量參考、預(yù)測(cè)時(shí)間段天氣情況，因此輸入需在傳統(tǒng)GAN 輸入的基礎(chǔ)上加上5 個(gè)維度：歷史供電量、日期、天氣（包括平均溫度和平均降雨量）、該日期所在月份供電量數(shù)據(jù)，重新構(gòu)建GAN 深度學(xué)習(xí)模型。優(yōu)化、改進(jìn)后GAN的結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)GAN的結(jié)構(gòu)圖

2.3 樣本集構(gòu)建

需要構(gòu)建專門的樣本集，用于上述改進(jìn)GAN的訓(xùn)練。樣本集應(yīng)包括供電量信息、時(shí)間信息和天氣信息。以天為單位來(lái)制作樣本，每個(gè)樣本包括當(dāng)天的供電量信息，日期信息以及天氣信息。其中，供電量信息直接以數(shù)值表示；日期信息取值區(qū)間為［1，365］，標(biāo)識(shí)按時(shí)序計(jì)量的一年中的每一天；天氣信息，統(tǒng)計(jì)最為重要的溫度信息和降雨量信息。因此，樣本集中的每一個(gè)樣本可用列向量表示：

式中，e表示該天供電量信息的具體數(shù)值；d取值［1，365］區(qū)間，標(biāo)明日期信息；wt為該日期全天平均溫度的數(shù)值信息；wr為該日期全天平均降雨量的數(shù)值信息；m為該日期所在月份的供電量信息。

3 深度殘差網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在不斷增加神經(jīng)網(wǎng)絡(luò)的深度時(shí)，模型準(zhǔn)確率會(huì)先上升然后達(dá)到飽和，再持續(xù)增加深度則會(huì)導(dǎo)致準(zhǔn)確率下降，這種情況稱之為網(wǎng)絡(luò)退化問(wèn)題（Degradation problem）。深度殘差網(wǎng)絡(luò)（Deep Residual Network，DRN）［11］能夠有效解決上述問(wèn)題。

深度殘差網(wǎng)絡(luò)是由多個(gè)殘差學(xué)習(xí)模塊重復(fù)堆疊形成的神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)區(qū)別在于學(xué)習(xí)模塊內(nèi)部結(jié)構(gòu)的不同。通過(guò)殘差學(xué)習(xí)模塊的不同組合方法，可以構(gòu)建多種不同架構(gòu)、特性的卷積神經(jīng)網(wǎng)絡(luò)。如在文獻(xiàn)［12］中，殘差學(xué)習(xí)模塊與Inception 模型結(jié)構(gòu)結(jié)合，搭建了Inception-ResNet卷積神經(jīng)網(wǎng)絡(luò)模型，在眾多公開(kāi)數(shù)據(jù)集的分類問(wèn)題上，取得了優(yōu)異的性能。

3.1 殘差學(xué)習(xí)模塊

DRNs 模型的核心在于殘差學(xué)習(xí)模塊，其基本思想為通過(guò)在卷積神經(jīng)網(wǎng)絡(luò)單元訓(xùn)練過(guò)程中，保存部分原始輸入信息，從而避免由于卷積層數(shù)過(guò)多引起的分類精度飽和問(wèn)題；同時(shí)，殘差模塊（Residual Module）不需要學(xué)習(xí)完整的輸出，只需學(xué)習(xí)輸入、輸出差別的部分，簡(jiǎn)化了學(xué)習(xí)目標(biāo)和難度。

設(shè)x為輸入，經(jīng)過(guò)卷積層運(yùn)算后輸出為F(x,W)，激活函數(shù)采用Sigmoid或ReLU［13］，激活函數(shù)變換用f表示。因此，學(xué)習(xí)模塊單元最終輸出可定義為

同時(shí)，在所設(shè)計(jì)的殘差學(xué)習(xí)模塊中，還將采用批歸一化（Batch Normalization，BN）處理技術(shù)［14］，以提升分類性能。

3.2 深度殘差網(wǎng)絡(luò)

每個(gè)殘差學(xué)習(xí)模塊內(nèi)部包括兩個(gè)卷積層，所設(shè)計(jì)的網(wǎng)絡(luò)包括14 個(gè)殘差學(xué)習(xí)模塊，共28 個(gè)卷積層。在這28 個(gè)卷積層構(gòu)成的完整神經(jīng)網(wǎng)絡(luò)中，設(shè)第n層輸入為xn（1 ≤n≤28），最后總的輸出為y。由于第i層輸出等于第i+1 層輸入，其中（1 ≤n≤28），因此有：

至此，便可構(gòu)建完整的深度殘差網(wǎng)絡(luò)，用于供電量預(yù)測(cè)模型的訓(xùn)練。

4 算例分析

實(shí)驗(yàn)采用谷歌公司的開(kāi)源機(jī)器學(xué)習(xí)框架Tensorflow（V2.0）的Slim 模塊完成基于生成對(duì)抗網(wǎng)絡(luò)的樣本增強(qiáng)和深度殘差網(wǎng)絡(luò)訓(xùn)練模型的搭建，同時(shí)使用GPU 計(jì)算加速訓(xùn)練過(guò)程，硬件運(yùn)行環(huán)境選擇為TitanX 顯卡、16G 內(nèi)存。實(shí)驗(yàn)數(shù)據(jù)來(lái)源于某區(qū)域2016 年1 月至2019 年11 月的供電量數(shù)據(jù)，數(shù)據(jù)按月度統(tǒng)計(jì)，共47組數(shù)據(jù)。數(shù)據(jù)情況如圖2所示。

圖2 2016～2019年某區(qū)域月度供電量數(shù)據(jù)

同時(shí)，收集了334 天的按天統(tǒng)計(jì)的供電量信息，為2019 年1 月～11 月每天的供電量數(shù)據(jù)。此外，整理了近4 年該區(qū)域每天的天氣數(shù)據(jù)，包括平均溫度與平均降雨量。

將上述數(shù)據(jù)按照前述方法，整理為樣本集。

4.1 樣本增強(qiáng)實(shí)驗(yàn)

將整理好的334 組樣本分為兩部分：一部分為320組樣本，作為訓(xùn)練集；另一部分為14組，作為測(cè)試集。運(yùn)用深度殘差網(wǎng)絡(luò)進(jìn)行生成模型訓(xùn)練，并將訓(xùn)練好的模型在測(cè)試集上計(jì)算準(zhǔn)確率。模型輸入?yún)?shù)為隨機(jī)噪聲z、日期d、該日期其它年份供電量數(shù)據(jù)e、該天所在月份的供電量信息m。其中，若e在原始樣本集中缺失，則以平均供電量數(shù)據(jù)代替（月度供電量/該月天數(shù)）。

分別在訓(xùn)練1000 步、5000 步、1 萬(wàn)步、2 萬(wàn)步時(shí)統(tǒng)計(jì)測(cè)試集上的平均精度如圖3所示。

圖3 測(cè)試集上模型精度統(tǒng)計(jì)

如圖3 所示，由于樣本集較小，訓(xùn)練過(guò)程在10000步時(shí)，即已達(dá)到了94%的模型精度，增加一倍迭代次數(shù)后，20000步時(shí)精度達(dá)到95%，說(shuō)明生成模型已趨于穩(wěn)定。

將模型應(yīng)用于2016 年1 月～2019 年11 月所有日期的供電量數(shù)值生成，增強(qiáng)按天統(tǒng)計(jì)的供電量樣本。其中1096 天供電量數(shù)據(jù)缺失，需要運(yùn)用模型生成。由于這部分生成的樣本數(shù)據(jù)，沒(méi)有真實(shí)數(shù)據(jù)比對(duì)，無(wú)法直接計(jì)算準(zhǔn)確率。因此，實(shí)驗(yàn)采用生成樣本（每天的供電量數(shù)據(jù)）按月匯總求和，并與月度供電量統(tǒng)計(jì)數(shù)據(jù)對(duì)比分析的方式，計(jì)算準(zhǔn)確率。運(yùn)用訓(xùn)練20000 步生成的模型，2016 年1月至2018 年12月，各月度供電量樣本精度如圖4所示。

圖4 2016～2018年月度供電量預(yù)測(cè)精度（生成樣本精度）

每年度的月度供電量平均預(yù)測(cè)精度統(tǒng)計(jì)如表1所示。

表1 2016～2018年每年平均預(yù)測(cè)精度（生成樣本精度）

由表1 可見(jiàn)，從2016 年～2018 年，生成樣本（每天供電量）的精度逐年攀升，主要由于原始樣本集為2019 年數(shù)據(jù)，時(shí)序上越近的年份，生成的樣本越真實(shí)。

4.2 供電量預(yù)測(cè)實(shí)驗(yàn)

運(yùn)用前述方法構(gòu)建的深度殘差網(wǎng)絡(luò)，對(duì)擴(kuò)充后的樣本集進(jìn)行深度學(xué)習(xí)訓(xùn)練。擴(kuò)充后樣本集共1430 組數(shù)據(jù)，每組數(shù)據(jù)包含當(dāng)天的供電量數(shù)據(jù)、平均溫度數(shù)據(jù)、平均降雨量數(shù)據(jù)、當(dāng)前日期供電量數(shù)據(jù)，以及該日期所在月份的供電量數(shù)據(jù)。數(shù)據(jù)集將分為三部分：一部分為1300 組數(shù)據(jù)，用于預(yù)測(cè)模型的訓(xùn)練；一部分為100 組數(shù)據(jù)組成測(cè)試集，用于評(píng)估模型性能；剩下的30 組數(shù)據(jù)選定2019 年11 月1日～2019 年11 月30 日的數(shù)據(jù)，用戶最終月度供電量預(yù)測(cè)精度評(píng)估。分別在訓(xùn)練10000 步、20000 萬(wàn)步、50000 步和100000 步時(shí)，生成預(yù)測(cè)模型，模型在測(cè)試集上精度如圖5所示。

圖5 不同訓(xùn)練步長(zhǎng)的預(yù)測(cè)模型精度

將模型運(yùn)用于2019 年11 月的第三組數(shù)據(jù)，生成30個(gè)預(yù)測(cè)結(jié)果，將30個(gè)預(yù)測(cè)結(jié)果相加，得到最終2019 年11 月供電量的月度預(yù)測(cè)結(jié)果。重復(fù)5 組預(yù)測(cè)模型訓(xùn)練，每次訓(xùn)練100000 步，得到最終的預(yù)測(cè)結(jié)果如表2所示。

表2 月度供電量預(yù)測(cè)精度統(tǒng)計(jì)

上表平均預(yù)測(cè)精度為95.36%。

為比較采用樣本增強(qiáng)和深度殘差網(wǎng)絡(luò)后的模型性能，增加兩組實(shí)驗(yàn)。兩組實(shí)驗(yàn)均不做樣本增強(qiáng)。第一組用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）直接對(duì)原始按月度統(tǒng)計(jì)的供電量信息進(jìn)行訓(xùn)練，訓(xùn)練生成的模型用于預(yù)測(cè)2019 年11 月的月度用電量信息；第二組用深度殘差網(wǎng)絡(luò)對(duì)原始樣本集訓(xùn)練，同樣用生成模型預(yù)測(cè)2019 年11月的月度用電量信息。每組實(shí)驗(yàn)重復(fù)五次，訓(xùn)練步長(zhǎng)均為100000 步，求得平均預(yù)測(cè)精度。最終比較結(jié)果如表3所示。

表3 月度供電量預(yù)測(cè)精度比較

比較結(jié)果顯示，本論文采用的樣本增強(qiáng)方法和殘差神經(jīng)網(wǎng)絡(luò)用于月度供電量預(yù)測(cè)，對(duì)比同類型的傳統(tǒng)方法，具有較為明顯的優(yōu)勢(shì)。

5 結(jié)語(yǔ)

本文提出了一種基于樣本增強(qiáng)和深度殘差網(wǎng)絡(luò)的月度供電量預(yù)測(cè)方法。首先，提出了一種改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)模型，通過(guò)該模型將所有按月度統(tǒng)計(jì)的供電量數(shù)據(jù)，同分布生成小粒度的按天統(tǒng)計(jì)的供電量信息，實(shí)現(xiàn)有效樣本的增強(qiáng)，避免深度學(xué)習(xí)預(yù)測(cè)模型訓(xùn)練過(guò)程中，由于樣本量不足造成的欠擬合現(xiàn)象；其次，運(yùn)用深度殘差網(wǎng)絡(luò)，對(duì)增強(qiáng)后的樣本集實(shí)現(xiàn)與預(yù)測(cè)模型訓(xùn)練；最終通過(guò)不同實(shí)驗(yàn)，驗(yàn)證并分析了本文所述方法，能夠有效提升同類傳統(tǒng)模型的預(yù)測(cè)精度。