黃 圓，魏云冰，童東兵，徐 浩

(上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620)

1 引言

電價(jià)是對競爭激烈的電力市場運(yùn)營狀況及交易結(jié)果最直接的反映，因此，精確的短期電價(jià)預(yù)測有助于電力系統(tǒng)優(yōu)化調(diào)度，幫助市場主體制定合理的競價(jià)決策，從而達(dá)到利益最大化、成本最小化和風(fēng)險(xiǎn)最低化。

電價(jià)預(yù)測主要采用傳統(tǒng)方法和人工智能方法等[1]。傳統(tǒng)方法主要包括自回歸方法[2]、廣義自回歸條件異方差方法[3]和灰色預(yù)測方法[4]等。隨著人工智能在各個領(lǐng)域中得到廣泛的應(yīng)用，支持向量機(jī)(Support Vector Machine，SVM)[5]、隨機(jī)森林[6]、長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[7-10]等模型在電價(jià)預(yù)測中表現(xiàn)較為出色。文獻(xiàn)[11]采用改進(jìn)多層級門控LSTM，雖然解決了梯度爆炸問題，并增強(qiáng)了提取和分析電價(jià)序列特征的能力，但LSTM不能進(jìn)行并行運(yùn)算，導(dǎo)致預(yù)測耗時(shí)較長。隨著人工智能的發(fā)展，具有可并行計(jì)算結(jié)構(gòu)優(yōu)勢的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)(Temporal Convolutional Network，TCN)可以有效解決上述問題。TCN神經(jīng)網(wǎng)絡(luò)已經(jīng)在工業(yè)過程故障預(yù)測[12]、風(fēng)電功率預(yù)測[13]等領(lǐng)域取得了較好的表現(xiàn)。

雖然TCN模型為時(shí)間序列預(yù)測提供了思路，但在電價(jià)預(yù)測時(shí)存在忽略實(shí)際運(yùn)行中各輸入特征的關(guān)聯(lián)性，并且TCN在處理歷史信息上表現(xiàn)較差，因此，需要對TCN進(jìn)行優(yōu)化處理。由于注意力機(jī)制模型在衡量輸入特征的重要程度上已經(jīng)取得了較好的效果[14]，所以在利用TCN模型預(yù)測電價(jià)時(shí)引入特征和時(shí)序2個維度注意力機(jī)制。首先，在輸入側(cè)引入特征注意力機(jī)制TCN(Feature Attention mechanism based TCN，F(xiàn)A-TCN)，挖掘電價(jià)與其影響因素輸入特征之間的關(guān)聯(lián)性，突出關(guān)鍵輸入特征；其次，在輸出側(cè)引入時(shí)序特征注意力機(jī)制TCN(Temporal Attention mechanism based TCN，TA-TCN)，挖掘不同歷史時(shí)刻對待預(yù)測時(shí)刻的重要性，獲取歷史關(guān)鍵時(shí)刻點(diǎn)信息。

由于電價(jià)時(shí)間序列的高頻和非平穩(wěn)性，對數(shù)據(jù)進(jìn)行預(yù)處理能夠提高預(yù)測精確度[15]。小波包分解(Wavelet Packet Decomposition，WPD)[16]能夠很好地處理帶有高頻信號的數(shù)據(jù)，被廣泛應(yīng)用于各種模型的數(shù)據(jù)處理階段。

本文提出一種基于WPD和雙重注意力機(jī)制TCN(Dual-stage Attention mechanism based TCN，DA-TCN)的短期電價(jià)預(yù)測模型。采用WPD剔除電價(jià)數(shù)據(jù)中高頻噪聲部分；再將經(jīng)過WPD處理過后的電價(jià)數(shù)據(jù)與其影響因素?cái)?shù)據(jù)輸入TCN網(wǎng)絡(luò)進(jìn)行預(yù)測，引入雙重注意力機(jī)制突出關(guān)鍵輸入特征及歷史關(guān)鍵時(shí)刻信息的影響力；最后，進(jìn)行實(shí)例仿真實(shí)驗(yàn)，結(jié)果表明本文方法在電價(jià)預(yù)測中精度更高、穩(wěn)定性更好。

2 小波包分解與重構(gòu)算法原理

小波包分析相較于小波分析進(jìn)步之處在于其可以對全頻進(jìn)行分解，并且分解結(jié)果更為精細(xì)。

尺度函數(shù)φ(t)和小波函數(shù)ψ(t)兩者的關(guān)系可表示為：

(1)

進(jìn)一步遞推，定義下列公式：

(2)

(3)

小波包分解的實(shí)質(zhì)是隨機(jī)利用共軛正交濾波器將信號分割到不同頻段上，每經(jīng)過一次濾波，信號長度就減少1/2。

(4)

而在對復(fù)雜的非線性電價(jià)序列進(jìn)行小波包分解重構(gòu)時(shí)，應(yīng)先確定適合的小波基函數(shù)和分解層數(shù)，以實(shí)現(xiàn)對電價(jià)序列的去噪處理。

3層小波包分解示意圖如圖1所示。圖1中原始電價(jià)序列S分解為S(1,0)和S(1,1)，S(1,0)繼續(xù)分解為S(2,0)和S(2,1)，以此類推，逐層分解，則經(jīng)過M層小波包分解后的電價(jià)序列可表示為：

圖1 3層小波包分解圖Fig.1 3-layer wavelet packet decomposition diagram

S=S(M,0)+S(M,1)+…+S(M,2M-2)+S(M,2M-1)

(5)

式中，S(M,0)，S(M,1)，…，S(M,2M-2)，S(M,2M-1)分別為信號經(jīng)過M層小波包分解后的子頻帶電價(jià)序列。

本文進(jìn)行小波包分解重構(gòu)短期電價(jià)序列的步驟為：①確定最優(yōu)小波基；②選用合適的分解層數(shù)，確定分解層數(shù)；③設(shè)定適用電價(jià)序列分解的小波包分解系數(shù)的閾值；④根據(jù)電價(jià)序列的分解特征信息和系數(shù)進(jìn)行小波包分解重構(gòu)。

3 基于DA-TCN的預(yù)測模型

3.1 TCN網(wǎng)絡(luò)

TCN網(wǎng)絡(luò)融合了一維卷積網(wǎng)絡(luò)、擴(kuò)張卷積和因果卷積，在時(shí)間序列預(yù)測問題上擁有很好的表現(xiàn)。TCN中的卷積網(wǎng)絡(luò)具有可并行計(jì)算的特性，能夠有效解決耗時(shí)過長的問題。

TCN網(wǎng)絡(luò)應(yīng)用于短期電價(jià)預(yù)測的任務(wù)中，主要具有以下特點(diǎn)：①為滿足短期電價(jià)預(yù)測的要求，TCN網(wǎng)絡(luò)具有時(shí)間因果性，即當(dāng)前模型輸出只與過去相關(guān)而與未來無關(guān)；②適用于短期電價(jià)的TCN網(wǎng)絡(luò)的輸出序列長度可任意調(diào)整；③多層TCN網(wǎng)絡(luò)雖深度淺但記憶距離長。

TCN因果擴(kuò)張卷積結(jié)構(gòu)如圖2所示。TCN的擴(kuò)張卷積結(jié)構(gòu)最特殊之處在于其具體形式由卷積核和擴(kuò)張系數(shù)決定。卷積核和擴(kuò)張系數(shù)分別從網(wǎng)絡(luò)上層輸入元素的個數(shù)和距離兩個角度改變TCN網(wǎng)絡(luò)的形式。圖2中，設(shè)網(wǎng)絡(luò)輸入為x=[x1,x2,…,xk]，輸出為y=[y1,y2,…，yk]，擴(kuò)張系數(shù)p隨著網(wǎng)絡(luò)深度呈指數(shù)性增大，即p=2r，r為網(wǎng)絡(luò)層數(shù)，且擴(kuò)張系數(shù)越大，信息提取范圍就越大。因此，TCN卷積通過搭建相對較少的層，就能獲得相對較大的感受野。

圖2 TCN因果擴(kuò)張卷積結(jié)構(gòu)Fig.2 Causal dilated convolutional structure of TCN

TCN網(wǎng)絡(luò)神經(jīng)元的感受野，即網(wǎng)絡(luò)記憶長度，由卷積核大小、擴(kuò)張系數(shù)和卷積層數(shù)決定，則擴(kuò)張卷積運(yùn)算后的第s個運(yùn)算值為：

(6)

式中，x為輸入序列；“*”為卷積運(yùn)算；u為卷積核大小；f(i)為卷積核中的第i個元素[17]；xs-p·i為輸入序列中與卷積核相對應(yīng)運(yùn)算的元素。

為滿足電價(jià)預(yù)測中的時(shí)間因果關(guān)系，對每層卷積層進(jìn)行零填充，以保證輸出張量與輸入張量具有相同的長度。為使TCN的擴(kuò)張卷積更符合電價(jià)預(yù)測要求，在網(wǎng)絡(luò)每層引入填充系數(shù)來保證因果卷積。填充系數(shù)可描述為：

qr=(r-1)p

(7)

式中，qr為填充系數(shù)。

TCN殘差模塊包含基礎(chǔ)的TCN因果擴(kuò)張卷積層、權(quán)值規(guī)范化層(Weight Norm)、激活函數(shù)Relu和Dropout層，N個殘差模塊結(jié)構(gòu)如圖3所示。

圖3 殘差塊結(jié)構(gòu)Fig.3 Structure of residual block

權(quán)值規(guī)范化可以消除梯度爆炸問題，并且能有效加快計(jì)算速度；為使TCN網(wǎng)絡(luò)具有非線性且不過于簡單，采用Relu激活函數(shù)，在Relu激活層后加入Dropout層來防止過擬合，以此達(dá)到正則化效果。通過1×1的卷積調(diào)整殘差張量維度不同的問題。

3.2 注意力機(jī)制

注意力機(jī)制源于對人腦如何分配注意力的模擬，與神經(jīng)網(wǎng)絡(luò)結(jié)合的具體表現(xiàn)為改變隱含層的特征權(quán)重[18]。注意力機(jī)制對影響結(jié)果較大的關(guān)鍵特征賦予更多的權(quán)重，減少甚至忽略其他影響較小的非關(guān)鍵特征的權(quán)重，以此提高模型的合理性與穩(wěn)定性。

3.2.1 FA-TCN預(yù)測模型

將輸入的負(fù)荷、發(fā)電量、溫度、濕度和日類型的時(shí)序序列數(shù)據(jù)設(shè)為X=[x1x2…xK]T=[x1x2…x5]，展開可表示為：

(8)

為獲取不同因素對電價(jià)的影響程度，即權(quán)重大小，采用特征注意力機(jī)制來量化權(quán)重，其結(jié)構(gòu)如圖4所示。

圖4 特征注意力機(jī)制Fig.4 Feature attention mechanism

特征注意力機(jī)制的輸入由時(shí)間序列特征值、前一時(shí)刻神經(jīng)網(wǎng)絡(luò)隱含層的狀態(tài)值hk-1和當(dāng)前時(shí)刻輸入特征xn組成。特征注意力機(jī)制的計(jì)算公式可表示為：

(9)

對其進(jìn)行歸一化處理，計(jì)算公式如下：

(10)

(11)

隱含層狀態(tài)值hk則更新為：

hk=f1(hk-1,Xk)

(12)

式中，f1為TCN網(wǎng)絡(luò)單元，輸入為考慮關(guān)聯(lián)度大小的加權(quán)特征值。

特征注意力機(jī)制在短期電價(jià)預(yù)測中表現(xiàn)為通過多層感知機(jī)分析出不同輸入?yún)⒘繉︻A(yù)測信息的重要程度，量化電價(jià)影響因素(負(fù)荷、發(fā)電量、溫度、濕度和日類型)輸入特征影響力的權(quán)重，突出關(guān)鍵特征，弱化相關(guān)度較小的特征。

3.2.2 TA-TCN預(yù)測模型

經(jīng)過TCN網(wǎng)絡(luò)得到的電價(jià)預(yù)測值隨著時(shí)間序列的增加，其預(yù)測結(jié)果會越發(fā)不準(zhǔn)確，因此在TCN網(wǎng)絡(luò)輸出側(cè)加入時(shí)序注意力機(jī)制，挖掘與電價(jià)相關(guān)的歷史時(shí)間序列狀態(tài)信息，獲取相應(yīng)的權(quán)重以及對當(dāng)前時(shí)刻電價(jià)數(shù)據(jù)的影響程度，其結(jié)構(gòu)如圖5所示。

圖5 時(shí)序注意力機(jī)制Fig.5 Temporal attention mechanism

(13)

式中，Vd和Wd為時(shí)序注意力機(jī)制神經(jīng)元權(quán)重；Ud為偏置項(xiàng)。

(14)

(15)

將電價(jià)數(shù)據(jù)yk與ck結(jié)合作為TCN網(wǎng)絡(luò)的預(yù)測輸入y′k，即：

y′k=W′[yk;ck]+b′

(16)

式中，W′和b′分別為TCN網(wǎng)絡(luò)前端融合輸入的權(quán)重和偏置。

時(shí)序注意力機(jī)制計(jì)算了歷史關(guān)鍵時(shí)刻信息的權(quán)重，得到k時(shí)刻隱含層狀態(tài)值h′k：

h′k=f1(h′k-1,y′k-1)

(17)

則預(yù)測結(jié)果，即K+1時(shí)刻電價(jià)數(shù)據(jù)yK+1可表示為：

(18)

式中，Wy和bw分別為TCN網(wǎng)絡(luò)權(quán)重和偏置；Vy和by分別為整個網(wǎng)絡(luò)在維度變換前的權(quán)重和偏置；θ為網(wǎng)絡(luò)參數(shù)的集合，采用梯度下降法求解[19]。

時(shí)序注意力機(jī)制在短期電價(jià)預(yù)測中充分考慮電價(jià)情況受歷史狀態(tài)影響比較大且不同時(shí)刻的電價(jià)情況影響力不同等問題，通過量化每一歷史時(shí)刻狀態(tài)信息對當(dāng)前預(yù)測結(jié)果的影響程度，自適應(yīng)處理歷史狀態(tài)信息，強(qiáng)化相關(guān)時(shí)刻狀態(tài)信息的影響力。

4 短期電價(jià)預(yù)測模型

電價(jià)高頻特性的存在往往使得預(yù)測模型表現(xiàn)不佳，預(yù)測精度難以提高，因此，需對預(yù)測模型的輸入進(jìn)行數(shù)據(jù)預(yù)處理。而小波包分解相較于小波分解適用于電價(jià)序列的特點(diǎn)在于其可對電價(jià)序列全頻進(jìn)行分解，并且能夠自適應(yīng)地選擇相應(yīng)頻帶與電價(jià)序列頻譜相匹配，能夠很好地解決電價(jià)序列存在的高頻噪聲，掌握并保留細(xì)節(jié)信息，提高電價(jià)序列的時(shí)域分辨率，從而降低電價(jià)序列噪聲部分對預(yù)測模型的干擾，提升預(yù)測效果。

此外，由于電價(jià)序列的高波動性，非線性和不規(guī)則性的特點(diǎn)，相較于傳統(tǒng)模型在掌握特征和處理電價(jià)序列的不規(guī)則性方面表現(xiàn)較差，而深度學(xué)習(xí)對復(fù)雜問題具有普遍的適應(yīng)性，并具有突出捕捉特征的能力。TCN網(wǎng)絡(luò)在時(shí)間預(yù)測問題中擁有很好的效果，能夠有效地解決梯度消失或者梯度爆炸問題，并且具有并行計(jì)算、低內(nèi)存消耗和通過改變感受野來控制序列記憶長短等優(yōu)勢，更適用于電價(jià)預(yù)測。但TCN網(wǎng)絡(luò)在實(shí)際應(yīng)用中往往會忽略各輸入特征的關(guān)聯(lián)性且在處理歷史信息上表現(xiàn)較差，而在實(shí)際生活中電價(jià)會隨著電力生產(chǎn)量、電力消費(fèi)量等要素的變化而變化，且電價(jià)受歷史價(jià)格影響較大，忽略歷史電價(jià)信息將導(dǎo)致預(yù)測精度不佳。因此，為解決TCN網(wǎng)絡(luò)的缺陷并探索電價(jià)的變化規(guī)律，在TCN網(wǎng)絡(luò)基礎(chǔ)上引入雙重注意力機(jī)制，自適應(yīng)挖掘并量化電價(jià)相關(guān)影響因素，以及歷史電價(jià)狀態(tài)信息與電價(jià)的內(nèi)在聯(lián)系，突出關(guān)鍵影響因素和關(guān)鍵歷史時(shí)刻電價(jià)信息的影響力，從而提高TCN網(wǎng)絡(luò)預(yù)測的精確度。

基于上述分析，本文提出一種基于小波包分解和雙重注意力機(jī)制TCN短期電價(jià)預(yù)測模型，模型具體流程如圖6所示。

圖6 DA-TCN模型流程Fig.6 Flow chart of DA-TCN model

預(yù)測模型主要分為4個步驟。

(1)利用WPD方法對電價(jià)數(shù)據(jù)進(jìn)行分解，得到n個低頻和高頻子序列。

(2)對不同頻率的子序列進(jìn)行重構(gòu)處理，剔除高頻部分，再將剩余序列重構(gòu)成新的電價(jià)序列。以此來減少高頻噪聲和隨機(jī)波動數(shù)據(jù)對模型預(yù)測精確性影響。

(3)在新的電價(jià)及其影響因素序列進(jìn)行預(yù)測模型之前，應(yīng)先對其進(jìn)行歸一化處理，將數(shù)據(jù)映射到[-1,1]上，公式為：

(19)

式中，x為原始數(shù)據(jù)；xmin為x的最小值；xmax為x的最大值；x′為歸一化后的值。

(4)對歸一化后的電價(jià)數(shù)據(jù)構(gòu)建TCN預(yù)測模型，引入雙重注意力機(jī)制，在輸入側(cè)引入特征注意力機(jī)制TCN，挖掘電價(jià)與其相關(guān)影響因素特征量之間的關(guān)聯(lián)性；在輸出側(cè)引入時(shí)序注意力機(jī)制TCN，突出關(guān)鍵歷史時(shí)刻點(diǎn)信息。利用梯度下降法求解網(wǎng)絡(luò)模型的參數(shù)，建立基于DA-TCN預(yù)測模型。最后，再將DA-TCN模型的預(yù)測輸出值反歸一化得到預(yù)測電價(jià)數(shù)據(jù)。

5 實(shí)例分析

本文選取2018年1月1日～2018年4月2日澳大利亞新南威爾士州電力市場實(shí)時(shí)數(shù)據(jù)作為數(shù)據(jù)集(數(shù)據(jù)來源：https://www.aemo.com.au)。數(shù)據(jù)采集頻率為每半小時(shí)1次。每個時(shí)刻數(shù)據(jù)包含電價(jià)($/(MW·h))、負(fù)荷(MW)、發(fā)電量(MW·h)、溫度(℃)、濕度(%)和日類型(工作日為1，休息日為0)。

5.1 小波包分解重構(gòu)電價(jià)結(jié)果

在進(jìn)行WPD分解重構(gòu)之前，應(yīng)先確定小波基函數(shù)，選擇合適的小波基函數(shù)能夠使去噪效果更好。目前普遍采用的小波基函數(shù)主要有Haar、Dmey、CoifN、BiorNr.Nd、和SymN等小波基函數(shù)。為確定適合本文電價(jià)數(shù)據(jù)的最優(yōu)小波基函數(shù)，現(xiàn)采用不同小波基函數(shù)進(jìn)行小波包分解重構(gòu)，計(jì)算其信噪比和相關(guān)系數(shù)來評價(jià)各小波基函數(shù)，評價(jià)指標(biāo)結(jié)果見表1。

表1 各種小波基函數(shù)的評價(jià)指標(biāo)Tab.1 Evaluation metrics for various wavelet basis functions

從表1中可以看出：不同小波基函數(shù)處理電價(jià)數(shù)據(jù)具有不同的信噪比和相關(guān)系數(shù)。經(jīng)過Sym6小波處理后的電價(jià)數(shù)據(jù)信噪比和相關(guān)系數(shù)都為最大，說明去噪效果好且去噪后的數(shù)據(jù)和原始數(shù)據(jù)關(guān)聯(lián)性大。分解層數(shù)影響著去噪效果。分解層數(shù)過少，將導(dǎo)致數(shù)據(jù)中只有少部分的高頻數(shù)據(jù)被分解出來[20]，但分解層數(shù)太多也會去噪過度，導(dǎo)致有用信息被去除。因此，本文采用Sym6小波基函數(shù)，默認(rèn)閾值，進(jìn)行3層小波包分解處理，具體波形如圖7所示。

圖7 不同頻段下的電價(jià)波形Fig.7 Electricity price waveforms at different frequency bands

圖7中，S(3,7)為小波包分解出得到的最高頻部分，其中包含了大量隨機(jī)波動和噪聲部分，這些部分會對預(yù)測造成較大的影響，因此將其剔除。將剩余的7個子序列重構(gòu)成新的電價(jià)序列，作為新的樣本集與影響電價(jià)的相關(guān)數(shù)據(jù)共同輸入到雙重注意力機(jī)制的TCN預(yù)測模型中進(jìn)行訓(xùn)練學(xué)習(xí)。

5.2 基于DA-TCN的預(yù)測結(jié)果

為了提高建模的準(zhǔn)確度，對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行劃分，將2018年1月1日～4月1日電價(jià)及其影響因素?cái)?shù)據(jù)作為訓(xùn)練集，4月2日24 h的電價(jià)作為測試集，并對電價(jià)及其影響因素?cái)?shù)據(jù)進(jìn)行歸一化處理。實(shí)驗(yàn)中基于TCN網(wǎng)絡(luò)的模型設(shè)置輸入維度均為6，輸出維度為1；卷積核大小為2；batch size設(shè)為32，Dropout取0.2，殘差模塊個數(shù)為6；在注意力機(jī)制中，設(shè)置3層隱含層，每層隱含元個數(shù)為5，T設(shè)置為50，在時(shí)間注意力機(jī)制中，設(shè)置3層隱含層，時(shí)序隱含元個數(shù)設(shè)置為50。學(xué)習(xí)率設(shè)置為0.001，批尺寸設(shè)置為30，epoch設(shè)置為100。所有模型優(yōu)化算法均為Adam，損失函數(shù)均為均方誤差(Mean Squared Error,MSE)。

評價(jià)指標(biāo)采用均方根誤差(Root Mean Square Error，RMSE)、平均絕對百分比誤差(Mean Absolute Percentage Error，MAPE)，計(jì)算公式為：

(20)

(21)

式中，N為預(yù)測點(diǎn)個數(shù)；yk為第k個真實(shí)值；y′k為第k個預(yù)測值。

5.3 預(yù)測結(jié)果分析

5.3.1 注意力機(jī)制預(yù)測結(jié)果分析

為了對DA-TCN模型性能進(jìn)行分析，設(shè)經(jīng)過WPD處理后的電價(jià)序列及其影響因素?cái)?shù)據(jù)為輸入，將DA-TCN模型預(yù)測結(jié)果與TCN模型、FA-TCN模型、TA-TCN模型的預(yù)測結(jié)果進(jìn)行對比。各模型整體預(yù)測的評價(jià)指標(biāo)值見表2，各模型24 h預(yù)測結(jié)果曲線圖如圖8所示。

表2 各模型預(yù)測誤差對比Tab.2 Comparison of prediction error between different models

圖8 24 h電價(jià)預(yù)測曲線Fig.8 24-hour electricity price prediction curve

由表2可以看出，DA-TCN模型的eMAPE值為1.95 %，相比于TCN、TA-TCN和FA-TCN分別減少了1.02 %、0.73 %和0.80 %，eRMSE值也比其他的模型要小，說明DA-TCN模型具有較好的普適性，能夠很好地適用于一天24 h電價(jià)變化規(guī)律，該模型還擁有較強(qiáng)的魯棒性和穩(wěn)定性，更符合實(shí)際情況。由圖8可看出，DA-TCN模型在24 h電價(jià)預(yù)測中表現(xiàn)優(yōu)異，預(yù)測電價(jià)曲線與實(shí)際曲線最為貼合。

結(jié)合表2和圖8對比分析可知，相比于TCN模型，F(xiàn)A-TCN預(yù)測模型關(guān)聯(lián)了各種因素特征量對電價(jià)的影響權(quán)重，不但將各影響因素的權(quán)重平均化，而且在各個時(shí)刻自動挖掘負(fù)荷、發(fā)電量、溫度、濕度及日類型對電價(jià)的權(quán)重，并對各影響因素的權(quán)重進(jìn)行量化修正處理，突出關(guān)鍵影響因素，從而提高了預(yù)測精度。對比TCN模型、FA-TCN模型和TA-TCN模型可發(fā)現(xiàn)，TCN模型和FA-TCN模型預(yù)測的24 h電價(jià)曲線與實(shí)際曲線都有不同程度的偏差，但TA-TCN通過對提前一天時(shí)間序列信號的加權(quán)，在整體和關(guān)鍵時(shí)刻點(diǎn)預(yù)測值都與實(shí)際值接近。顯然，由預(yù)測結(jié)果及誤差分析得出，雙重注意力機(jī)制既挖掘了輸入特征的權(quán)重，又考慮了時(shí)間序列數(shù)據(jù)間的依賴關(guān)系，在短期電價(jià)預(yù)測中取得了較好的表現(xiàn)。

各模型24 h電價(jià)預(yù)測相對誤差對比如圖9所示。

圖9 24 h電價(jià)預(yù)測相對誤差曲線Fig.9 Relative error curve of 24-hour electricity price forecast

從圖9中可以看出，DA-TCN模型整體誤差遠(yuǎn)低于其他模型，效果最好，沒有引入注意力機(jī)制的TCN模型在很多時(shí)刻誤差較大，整體誤差曲線的波動也較大，表現(xiàn)最差。在某些關(guān)鍵時(shí)刻點(diǎn)，辟如8:00、17:00和20:00等時(shí)刻，DA-TCN模型表現(xiàn)最好，TA-TCN模型誤差也很小，F(xiàn)A-TCN模型和TCN模型表現(xiàn)較差，這是由于時(shí)序注意機(jī)制連接了歷史關(guān)鍵時(shí)刻信息，保證了關(guān)鍵時(shí)刻預(yù)測表現(xiàn)，而FA-TCN模型只是突出了關(guān)鍵特征的影響，并不能記憶歷史時(shí)刻信息，在短時(shí)預(yù)測方面稍遜于TA-TCN模型。結(jié)合了兩種注意力機(jī)制的DA-TCN模型在整體預(yù)測及關(guān)鍵時(shí)刻點(diǎn)預(yù)測都表現(xiàn)優(yōu)異，誤差曲線也較為平穩(wěn)。

5.3.2 特征關(guān)聯(lián)性分析

為驗(yàn)證特征注意力機(jī)制挖掘各特征量的關(guān)聯(lián)性，對訓(xùn)練完成的模型進(jìn)行實(shí)驗(yàn)，提取某日24 h的特征分析情況。關(guān)聯(lián)熱力圖如圖10所示。每個小格的顏色深淺代表電價(jià)與對應(yīng)特征的關(guān)聯(lián)性大小。顏色越深，表示該特征權(quán)重系數(shù)越大，關(guān)聯(lián)性越強(qiáng)；顏色越淺，表示該特征權(quán)重系數(shù)越小，關(guān)聯(lián)越弱。

圖10 電價(jià)關(guān)聯(lián)特征熱力圖Fig.10 Association heat map of load electricity price

由圖10可以看出，負(fù)荷對應(yīng)的熱力圖顏色最深，與電價(jià)的關(guān)聯(lián)性最大，其次是發(fā)電量和日類型，而溫度和濕度對電價(jià)的影響相對較弱，但在午間時(shí)分，溫度與電價(jià)的關(guān)聯(lián)性顯著增大，此時(shí)的實(shí)際電價(jià)也增高，這與電價(jià)實(shí)際情況一致。顯然，通過特征注意力機(jī)制可有效提取各特征量信息。

5.4 預(yù)測性能對比

為驗(yàn)證本文方法的有效性，采用SVM、LSTM以及DA-TCN模型進(jìn)行對比實(shí)驗(yàn)分析，其中SVM采用徑向基函數(shù)；LSTM網(wǎng)絡(luò)設(shè)置輸入維度為6，輸出維度為1；隱含層維度和時(shí)間步長為10的單層隱含層。分別進(jìn)行單獨(dú)預(yù)測模型以及與WPD組合預(yù)測模型實(shí)驗(yàn)，其預(yù)測結(jié)果見表3。

表3 各模型預(yù)測性能Tab.3 Prediction performance between different models

由表3可知，相比于LSTM、TCN、DA-TCN模型，WPD+LSTM、WPD+TCN、WPD+DA-TCN模型的預(yù)測精度都有一定的提高，不僅說明了WPD方法能夠有效剔除高頻噪聲部分，還證明了數(shù)據(jù)預(yù)處理融合組合預(yù)測方法的預(yù)測性能優(yōu)于單個預(yù)測模型。本文所提方法預(yù)測的eRMSE為1.52 $/(MW·h)，eMAPE為1.95 %，誤差遠(yuǎn)小于不考慮注意力機(jī)制且未使用WPD處理的TCN模型(eMAPE為3.69 %，eRMSE為3.27 $/(MW·h))。相比于其他6種模型，本文方法無論是預(yù)測精度還是模型平穩(wěn)性方面表現(xiàn)最優(yōu)，預(yù)測結(jié)果與實(shí)際電價(jià)最為接近。

6 結(jié)論

針對電力市場中電價(jià)受諸多因素影響以及電價(jià)數(shù)據(jù)本身的高頻、非平穩(wěn)性等問題，本文提出了一種基于WPD和雙重注意力機(jī)制TCN的短期電價(jià)預(yù)測模型。首先采用小波包分解重構(gòu)電價(jià)序列，很好地減少了噪聲信號對模型預(yù)測的干擾。然后在TCN預(yù)測模型中引入雙重注意力機(jī)制，很好地解決了TCN模型在電價(jià)預(yù)測時(shí)存在忽略實(shí)際運(yùn)行中各輸入特征的關(guān)聯(lián)性，以及在處理歷史信息上表現(xiàn)較差的問題。特征注意力機(jī)制挖掘電價(jià)與其影響因素的相關(guān)性，優(yōu)化TCN模型的輸入，提高整體預(yù)測精度；時(shí)序注意力機(jī)制挖掘當(dāng)前時(shí)刻電價(jià)與歷史關(guān)鍵時(shí)刻信息的關(guān)聯(lián)度，優(yōu)化TCN模型的輸出，提高了關(guān)鍵時(shí)刻點(diǎn)預(yù)測精度。經(jīng)實(shí)驗(yàn)對比驗(yàn)證，本文所提模型誤差均小于對比模型，預(yù)測結(jié)果更接近真實(shí)值，在短期電價(jià)預(yù)測的應(yīng)用中得到了初步驗(yàn)證，并取得了較好的效果。