陳 剛，趙 鵬，單錦寧，殷艷虹，周 宇，呂文疆，蘇夢夢，黃博南

（1. 國網(wǎng)遼寧省電力有限公司 阜新供電公司，遼寧 阜新 123000；2. 國網(wǎng)遼寧省電力有限公司 電力調(diào)度控制中心，遼寧 沈陽 110006；3. 東北大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽 110819）

0 引言

在煤、石油等傳統(tǒng)的化石能源不可再生的背景下，綜合能源系統(tǒng)不僅可以提高能源利用效率、開發(fā)新能源，而且可以加強(qiáng)可再生能源綜合利用[1].以電力系統(tǒng)為核心的綜合能源系統(tǒng)，取代傳統(tǒng)的各種能源供應(yīng)系統(tǒng)單獨規(guī)劃、單獨設(shè)計和獨立運行的固定模式，作為新型區(qū)域能源供應(yīng)系統(tǒng)，協(xié)調(diào)與優(yōu)化各類能源的分配、轉(zhuǎn)化、存儲等環(huán)節(jié)，充分利用可再生能源[2-3].近些年來，綜合能源系統(tǒng)建模[4]、優(yōu)化運行[5]、調(diào)度控制[6]等理論與工程技術(shù)問題得到了眾多科研學(xué)者的廣泛關(guān)注.

短期負(fù)荷預(yù)測對于能源系統(tǒng)安全、可靠、經(jīng)濟(jì)運行具有重要意義.很多學(xué)者關(guān)于綜合能源系統(tǒng)的負(fù)荷預(yù)測問題作出了研究，如主元解耦、特征聚類、多變量相空間重構(gòu)、多任務(wù)學(xué)習(xí)等.目前大多數(shù)綜合能源負(fù)荷預(yù)測的預(yù)測精度容易陷入局部最優(yōu)，致使收斂速度較慢，預(yù)測時間較長，預(yù)測精度不高.文獻(xiàn)[7]采用主元解耦方法建立典型建筑冷熱負(fù)荷計算快速計算預(yù)測模型，沒有考慮電、熱、氣負(fù)荷之間的耦合關(guān)系，導(dǎo)致冷熱負(fù)荷預(yù)測精度不高.文獻(xiàn)[8]采用特征聚類的方法對電、熱、氣負(fù)荷特征聚類，將高維氣象條件分解為單變量氣象條件，忽略環(huán)境特征變量間的關(guān)聯(lián)特性，可能導(dǎo)致特征誤聚類，導(dǎo)致多能源負(fù)荷預(yù)測準(zhǔn)確度不高.文獻(xiàn)[9]、文獻(xiàn)[10]充分考慮了冷、熱、電負(fù)荷中多個變量的相互耦合關(guān)系，設(shè)計了一種新型的基于多變量相空間重構(gòu)和卡爾曼濾波的冷、熱、電聯(lián)供系統(tǒng)負(fù)荷預(yù)測方法，采用五步參數(shù)趨勢法消除舊數(shù)據(jù)的趨勢利用更大的訓(xùn)練集有效提高負(fù)荷的預(yù)測精度，但激活函數(shù)使用常規(guī)的非凸函數(shù)，使得預(yù)測精度可能得到次優(yōu)解.文獻(xiàn)[11]采用深度結(jié)構(gòu)[12]的多任務(wù)學(xué)習(xí)方法對園區(qū)型綜合能源多元負(fù)荷進(jìn)行預(yù)測，離線與在線相結(jié)合，但由于此網(wǎng)絡(luò)的激活函數(shù)是非凸函數(shù)，可能陷入局部最優(yōu)，使得收斂速度較慢，預(yù)測精度較低，同樣沒有達(dá)到最優(yōu)值.

針對上述問題，本文采用小波函數(shù)morlet為網(wǎng)絡(luò)結(jié)構(gòu)中神經(jīng)元的激活函數(shù)，提出基于小波優(yōu)化的多任務(wù)學(xué)習(xí)的綜合能源負(fù)荷預(yù)測，基于小波優(yōu)化的多任務(wù)學(xué)習(xí)在網(wǎng)絡(luò)結(jié)構(gòu)中實現(xiàn)神經(jīng)元之間權(quán)值關(guān)聯(lián)度小，提高綜合能源系統(tǒng)負(fù)荷預(yù)測精度.歸納遷移機(jī)制作為多任務(wù)學(xué)習(xí)的核心來提高泛化能力，通過隱含在多個相關(guān)任務(wù)的特定領(lǐng)域信息完成目標(biāo).多任務(wù)學(xué)習(xí)采用權(quán)值共享和并行訓(xùn)練多個任務(wù)提高泛化能力.多任務(wù)學(xué)習(xí)已經(jīng)在圖像識別[13-15]得到了廣泛應(yīng)用.目前多任務(wù)學(xué)習(xí)也可以應(yīng)用在大數(shù)據(jù)預(yù)測方面，文獻(xiàn)[16]采用深度置信網(wǎng)絡(luò)與多任務(wù)結(jié)合對交通流進(jìn)行預(yù)測，提高了交通流預(yù)測準(zhǔn)確性.文獻(xiàn)[17]中電力系統(tǒng)負(fù)荷預(yù)測采用小波對其神經(jīng)網(wǎng)絡(luò)進(jìn)行凸優(yōu)化，提高了電力系統(tǒng)負(fù)荷的預(yù)測精度和預(yù)測速度.

在上述研究基礎(chǔ)上，本文提出基于小波優(yōu)化多任務(wù)學(xué)習(xí)的綜合能源負(fù)荷預(yù)測.首先采用多任務(wù)學(xué)習(xí)共享并行綜合能源負(fù)荷代替?zhèn)鹘y(tǒng)的單任務(wù)學(xué)習(xí)預(yù)測，進(jìn)而減小數(shù)據(jù)來源的數(shù)量以及整體模型參數(shù)的規(guī)模；然后通過改變隱藏層的激活函數(shù)，不但使得預(yù)測精度快速收斂，而且提高負(fù)荷預(yù)測精度；最后，基于北京某工業(yè)園區(qū)綜合能源系統(tǒng)的實驗數(shù)據(jù)對本文所提算法做了仿真分析.預(yù)測結(jié)果表明，多任務(wù)學(xué)習(xí)和小波優(yōu)化在綜合能源系統(tǒng)負(fù)荷預(yù)測中不僅有較快的運算速度，而且預(yù)測精度極高，有較好的應(yīng)用效果.

1 單一任務(wù)預(yù)測與多任務(wù)預(yù)測對比

1.1 傳統(tǒng)的單一任務(wù)負(fù)荷預(yù)測

傳統(tǒng)上，許多專家、學(xué)者在考慮負(fù)荷預(yù)測時，只考慮到單個任務(wù)的負(fù)荷預(yù)測（例如：只預(yù)測電力系統(tǒng)負(fù)荷，熱力系統(tǒng)負(fù)荷）.單任務(wù)學(xué)習(xí)時，梯度的反向傳播傾向于陷入局部極小值.其單任務(wù)負(fù)荷預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)見圖1.

圖1 單一任務(wù)負(fù)荷預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 single task load prediction network structure

1.2 傳統(tǒng)的多任務(wù)負(fù)荷預(yù)測

由于電、熱、氣不同任務(wù)的局部極小值的位置不同，通過不同任務(wù)之間的相互作用，使得模型防止局部極小值；

深度學(xué)習(xí)中多任務(wù)學(xué)習(xí)模式為隱藏層中參數(shù)之間的軟共享和硬共享.

（1）參數(shù)的硬共享機(jī)制 參數(shù)的硬共享機(jī)制是神經(jīng)網(wǎng)絡(luò)的多任務(wù)學(xué)習(xí)中最常見的一種方式，在綜合能源負(fù)荷預(yù)測中，電、氣、熱負(fù)荷預(yù)測任務(wù)之間共享隱藏層，模型保持電、氣、熱負(fù)荷的輸出層來實現(xiàn).硬共享機(jī)制降低了綜合能源負(fù)荷預(yù)測模型過擬合的風(fēng)險.

（2）參數(shù)的軟共享機(jī)制 電、氣、熱負(fù)荷均有自己的模型和參數(shù).在共享Soft參數(shù)時，為保證參數(shù)相似化，模型參數(shù)之間的距離采用正則化.

根據(jù)綜合能源系統(tǒng)中電、氣、熱之間的耦合關(guān)系，本文采取參數(shù)的軟共享機(jī)制.其優(yōu)點根據(jù)不同任務(wù)的不同噪音，可以提高多個任務(wù)的泛化能力.多任務(wù)學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)見圖2.

圖2 多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 multi-task learning network structure

2 小波優(yōu)化的多任務(wù)學(xué)習(xí)的負(fù)荷預(yù)測

在多任務(wù)學(xué)習(xí)中，采用以下方法來接近全局最小.

多個神經(jīng)網(wǎng)絡(luò)初始化多組不同參數(shù)值并按照標(biāo)準(zhǔn)方法訓(xùn)練以后，將誤差最小的解作為神經(jīng)網(wǎng)絡(luò)最終參數(shù).等同于神經(jīng)網(wǎng)絡(luò)開始以多個不同的初始點進(jìn)行搜索，使得神經(jīng)網(wǎng)絡(luò)陷入不同的局部極小，并選擇最可能接近全局最小解.

遺傳算法（Genetic Algorithms）作為一種方法，通常訓(xùn)練神經(jīng)網(wǎng)絡(luò)使逼近全局最小.由于跳出局部極小的技術(shù)大多是啟發(fā)式，理論上尚缺乏保障.

本文采用小波基函數(shù)正交或近似正交代替了隱藏層sigmoid函數(shù)和relu函數(shù)，由于小波基函數(shù)是一個凸函數(shù)，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)沒有局部最小值點，提高了網(wǎng)絡(luò)的速度，保證網(wǎng)絡(luò)解唯一性.

小波優(yōu)化多任務(wù)學(xué)習(xí)負(fù)荷預(yù)測采用小波基函數(shù)作為隱藏層的激活函數(shù)與正則化作用相同，因此在降低模型過擬合風(fēng)險的同時，提高了模型擬合隨機(jī)噪音的能力.

基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有輸入層、隱藏層、輸出層.本文選取小波基函數(shù)作為隱藏層神經(jīng)元的激活函數(shù).小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)見圖3.不同層之間神經(jīng)元全互聯(lián)，神經(jīng)元之間既禁止跨層連接，也禁止同層連接.輸入層神經(jīng)元由影響因素確定，信號的處理加工由隱藏層神經(jīng)元與輸出層神經(jīng)元進(jìn)行，輸出層神經(jīng)元輸出綜合能源負(fù)荷預(yù)測的結(jié)果.

圖3 基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fig. 3 multi-task learning network topology based on wavelet optimization

圖3 模型中需要確定(i+k+1)j+l個參數(shù)：輸入層到隱藏層需要確定i×j個權(quán)值，隱藏層到輸出層需要確定j×k個權(quán)值，隱藏層需要確定j個閾值，輸出層需要確定k個神經(jīng)元的閾值，多任務(wù)學(xué)習(xí)作為一個迭代算法，在每一輪迭代中對參數(shù)進(jìn)行更新估計，即任意參數(shù)v的更新估計公式為

定義h(j)為隱藏層的第j個神經(jīng)元的輸出值，wij為隱藏層與輸入層之間的連接權(quán)值.

定義βj為輸出層的輸入值

本文選取morlet作為小波函數(shù).其數(shù)學(xué)表達(dá)式為

假定基于小波優(yōu)化的多任務(wù)學(xué)習(xí)的輸出值的數(shù)學(xué)表達(dá)式為

基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)過程實際上就是其權(quán)值的調(diào)整過程.基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的權(quán)值調(diào)整算法與BP神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整算法相似.利用梯度下降算法對網(wǎng)絡(luò)權(quán)值和小波函數(shù)參數(shù)進(jìn)行調(diào)整，使小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的輸出逼近期望輸出.基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)過程和算法如下：

假設(shè)神經(jīng)網(wǎng)絡(luò)的輸出公式為

網(wǎng)絡(luò)輸出公式為

網(wǎng)絡(luò)計算的均方誤差為

根據(jù)任意參數(shù)υ的更新式（1），網(wǎng)絡(luò)計算誤差調(diào)整小波神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)為

小波優(yōu)化的多任務(wù)學(xué)習(xí)算法基于梯度下降策略，以目標(biāo)的負(fù)梯度方向?qū)?shù)進(jìn)行調(diào)整，對于均方誤差Ek，給定學(xué)習(xí)因子η，則其中Δwij,Δwjk,Δaj,Δbj可用網(wǎng)絡(luò)誤差計算.

以wjk為例推理此公式，根據(jù)wjk影響的先后順序排序為βj、、Ek，則有

因為根據(jù)jβ的定義，有

根據(jù)式（7）和式（8）可得

將式（19）和式（17）代入式（18），再代入式（14），則

同理可得其他參數(shù).

圖4中隱藏層神經(jīng)元采用LSTM，LSTM采用輸入門、遺忘門和輸出門，解決了梯度爆炸問題.

圖4中輸入門的計算公式為

遺忘門的計算公式為

輸出門的計算公式

內(nèi)部隱藏狀態(tài)g的輸出公式為

其細(xì)胞更新狀態(tài)的公式為

輸出值計算公式為

圖4 LSTM結(jié)構(gòu)Fig.4 LSTM structure

3 算例分析

3.1 因素相關(guān)性篩選

目前綜合能源多元負(fù)荷預(yù)測影響因素分析，大多從各方面構(gòu)建影響因素體系，并未進(jìn)一步探討各因素對其綜合能源系統(tǒng)負(fù)荷預(yù)測的影響程度.為篩選不同影響因素與綜合能源電、氣、熱負(fù)荷的相關(guān)性，基于相關(guān)系數(shù)法，本文采用相關(guān)系數(shù)確定各影響因素對綜合能源系統(tǒng)的電、氣、熱的影響程度.作為一種統(tǒng)計方法，相關(guān)系數(shù)法具有操作簡單、可信度高等優(yōu)點，非常適用于評價綜合能源系統(tǒng)中影響電、氣、熱負(fù)荷因素與電、氣、熱負(fù)荷之間的相關(guān)程度.

在相關(guān)系數(shù)法的應(yīng)用過程中，若評價指標(biāo)為xi和yi,i=1,2,…,n，則兩個評價指標(biāo)之間的相關(guān)系數(shù)為

評價指標(biāo)間的相關(guān)性程度的判斷由相關(guān)系數(shù)r的正負(fù)和絕對值大小確定.兩評價指標(biāo)變化關(guān)系呈相反趨勢時或呈負(fù)相關(guān)時，r＜0；同樣，兩評價指標(biāo)變化關(guān)系具有一致性或呈正相關(guān)時，r＞0.此外，r值的絕對值大小可以評價指標(biāo)間的相關(guān)性程度，具體標(biāo)準(zhǔn)見表1.

表1 評價指標(biāo)間的相關(guān)程度Tab.1 relevance between evaluation indicators

因此，本文選取溫度、濕度、節(jié)假日作為綜合能源系統(tǒng)電、氣、熱負(fù)荷預(yù)測的預(yù)測因素.

3.2 數(shù)據(jù)歸一化

由于多種預(yù)測因素的量綱不同，將會數(shù)值差別大，根據(jù)本模型采用的激活函數(shù)的輸入輸出范圍，將預(yù)測因素進(jìn)行歸一化處理，歸一化范圍為[0,1].

采用最小最大值標(biāo)準(zhǔn)化（Min Max Scaler）進(jìn)行歸一化，計算式為

由于在 MAPE 指標(biāo)中，綜合能源負(fù)荷電、氣、熱負(fù)荷數(shù)據(jù)值作為評價指標(biāo)的分母，當(dāng)待預(yù)測電、氣、熱負(fù)荷值與最小功率值接近或者為最小功率值時，若采用式（28）的數(shù)據(jù)預(yù)處理方法，將會導(dǎo)致數(shù)據(jù)歸一化后的數(shù)據(jù)值在 0 值附近波動，最終使得到的MAPE誤差接近于無窮大，因此為保證數(shù)據(jù)穩(wěn)定性，本文采用的歸一化計算式為

由于數(shù)據(jù)進(jìn)行歸一化，使得預(yù)測的數(shù)據(jù)不能反映實際的負(fù)荷數(shù)據(jù)，對預(yù)測得到的綜合能源系統(tǒng)中電、氣、熱負(fù)荷進(jìn)行反歸一化處理使得綜合能源系統(tǒng)預(yù)測得到的負(fù)荷具有實際的物理意義，因此綜合能源負(fù)荷預(yù)測中，反歸一化公式為

3.3 試驗指標(biāo)

選取均方根誤差（Root Mean Squared Error，RMSE）和平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）作為評判方法預(yù)測精度的依據(jù).綜合能源負(fù)荷預(yù)測中，當(dāng)電、氣、熱負(fù)荷的平均誤差MAPE，RMSE越小，則預(yù)測越準(zhǔn)確.

以測試集的熱負(fù)荷為例，其公式為

式中，si為第i個采樣點的實際熱負(fù)荷，kW；為預(yù)測熱負(fù)荷，kW；N為樣本個數(shù)，個.

3.4 實驗結(jié)果分析

某一周內(nèi)能源消耗的預(yù)測結(jié)果見圖5、圖6、圖7.

圖5 電負(fù)荷在某一周的預(yù)測結(jié)果Fig.5 prediction of electrical load in a certain week

圖6 氣負(fù)荷在某一周的預(yù)測結(jié)果Fig.6 prediction results of gas load in a certain week

圖7 熱負(fù)荷在某一周的預(yù)測結(jié)果Fig.7 prediction of heat load in a certain week

（1）多任務(wù)學(xué)習(xí)與單一任務(wù)預(yù)測精度對比

單任務(wù)與多任務(wù)神經(jīng)網(wǎng)絡(luò)預(yù)測平均絕對誤差見表2.本文采用的多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的預(yù)測誤差均比單一任務(wù)電、熱、氣負(fù)荷神經(jīng)網(wǎng)絡(luò)的預(yù)測誤差低，由此可見，在綜合能源負(fù)荷預(yù)測中，多任務(wù)學(xué)習(xí)的預(yù)測精度較高，因此，多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)考慮了電、熱、氣負(fù)荷之間的耦合性.

表2 單任務(wù)與多任務(wù)神經(jīng)網(wǎng)絡(luò)的平均絕對誤差Tab.2 average absolute errors of form tasks and multitask neural networks

（2）不同激活函數(shù)多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對比

由于階躍函數(shù)作為理想的激活函數(shù)具有不光滑、不連續(xù)等性質(zhì)，因此本文采取morlet小波基函數(shù)作為綜合能源系統(tǒng)模型的激活函數(shù).作為擠壓函數(shù)的小波激活函數(shù)能夠?qū)ⅲ?,1）輸出范圍在作為較大范圍內(nèi)變化的輸入值的映射.

本文采用morlet小波基函數(shù)作為激活函數(shù)與稀疏激活函數(shù)relu、傳統(tǒng)的sigmoid激活函數(shù)在多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)預(yù)測中進(jìn)行對比.

圖8 電負(fù)荷某一天相對誤差Fig. 8 relative error of electric load on a certain day

圖9 熱負(fù)荷某一天的相對誤差Fig. 9 relative error of heat load on a certain day

圖10 氣負(fù)荷某一天的相對誤差Fig. 10 relative error of gas load on a certain day

由圖8、圖9、圖10可見多任務(wù)學(xué)習(xí)在morlet函數(shù)作為激活函數(shù)在某一天電、氣、熱的相對誤差均比以函數(shù)relu和sigmoid激活函數(shù)低，證明了本文所提方法的有效性.

表3 不同激活函數(shù)訓(xùn)練時間與訓(xùn)練精度的對比Tab.3 comparison of training time and accuracy of different activation functions

由表3可知，本文采用的小波morlet小波基函數(shù)作為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)平均絕對誤差均比采用稀疏激活函數(shù)relu、傳統(tǒng)的sigmoid激活函數(shù)低，且在訓(xùn)練時間上使用的時間較少，實驗結(jié)果證明本文提出方法的有效性.

4 結(jié)論

（1）針對綜合能源系統(tǒng)背景，提出基于小波優(yōu)化多任務(wù)學(xué)習(xí)的綜合能源負(fù)荷預(yù)測.該方法不僅有效減小了模型過擬合的風(fēng)險，防止局部極小值，而且提高模型的收斂速度，同時提高預(yù)測精度.

（2）隨著能源互聯(lián)網(wǎng)的發(fā)展，綜合能源系統(tǒng)將會得到越來越大的重視，基于小波優(yōu)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)將會在能源互聯(lián)網(wǎng)系統(tǒng)中有更高的發(fā)展與應(yīng)用，本文提出的基于小波優(yōu)化的多任務(wù)學(xué)習(xí)在超短期預(yù)測中預(yù)測精度極高，未來希望通過進(jìn)一步的應(yīng)用，能對異常條件進(jìn)行更精確預(yù)測，提升預(yù)測結(jié)果.