李軍　李世昌

摘 要：針對(duì)中期或短期電力負(fù)荷預(yù)測，提出一種基于稀疏表示的特征提取建模方法。為構(gòu)建預(yù)測模型，將歷史電力負(fù)荷等數(shù)據(jù)構(gòu)成具有時(shí)延的輸入—輸出數(shù)據(jù)對(duì)，將時(shí)延輸入數(shù)據(jù)向量作為初始字典，采用K均值—奇異值分解（K-SVD）算法將其進(jìn)行稀疏分解與變換至稀疏域以得到學(xué)習(xí)后的字典。進(jìn)一步，由正交匹配追蹤（OMP）算法獲取相應(yīng)的稀疏編碼向量，再將該向量作為核極限學(xué)習(xí)機(jī)（KELM）的輸入來構(gòu)建全局回歸模型。為了驗(yàn)證該方法的有效性，將所提出的方法用于不同地區(qū)的中期或短期電力負(fù)荷預(yù)測中，在同等條件下還與單一KELM、支持向量機(jī)（SVM）、極限學(xué)習(xí)機(jī)（ELM）方法以及非字典學(xué)習(xí)的其他稀疏表示建模方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，不同的稀疏表示建模方法均能取得很好的預(yù)測效果，其中所提方法具有更好的預(yù)測效果，顯示出其有效性。

關(guān)鍵詞：負(fù)荷預(yù)測;稀疏表示;特征提取; K均值—奇異值分解; 正交匹配追蹤;核極限學(xué)習(xí)機(jī)

DOI：10.15938/j.emc.2020.09.017

中圖分類號(hào)：TM 715

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-449X（2020）09-0156-09

Application of sparse representation method based on K-SVD-OMP in electricity load forecasting

LI Jun， LI Shi-chang

（School of Automation and Electrical Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China）

Abstract：

For mid-term or short-term electricity load forecasting， a feature extraction modeling method based on sparse representation is proposed. The historical power load data were composed to the time-lagged input-output data pairs to build the forecasting model， using the time-lagged input data vectors as the initial dictionary， which were sparsely decomposed and transformed into the sparse domain by K-means singular value decomposition （K-SVD） algorithm to obtain the dictionary after learning. Further， the corresponding sparse coding vectors were obtained by orthogonal matching pursuit （OMP） algorithm， and then the sparse vectors are then used as the input vectors of the extreme learning machine with kernel （KELM） to build a global regression model. In order to verify the effectiveness of the employed method， it was applied to mid-term and short-term electric load forecasting instances in different areas. Compared with single KELM， support vector machine（SVM）， extreme learning machine（ELM） method as well as other forecasting methods using sparse representation with non-dictionary learning under the same conditions， experimental results show that the forecasting methods based on sparse representation algorithm achieve good forecasting results， and the methods proposed significantly improve the accuracy of load forecasting and show their effectiveness.

Keywords：load forecasting; sparse representation; feature extraction; K-means singular value decomposition; orthogonal matching pursuit; extreme learning machine with kernel

0 引 言

中、短期電力負(fù)荷預(yù)測作為電力系統(tǒng)規(guī)劃和運(yùn)營的重要組成部分，對(duì)電力部門制定發(fā)電計(jì)劃、設(shè)備檢修計(jì)劃、電價(jià)等提供了重要的依據(jù)。因此，構(gòu)建穩(wěn)定、準(zhǔn)確的中、短期電力負(fù)荷預(yù)測模型對(duì)智能電網(wǎng)的運(yùn)行調(diào)度與發(fā)展規(guī)劃有著重要意義[1-2]。

在電力負(fù)荷預(yù)測中，常見的線性或多重回歸法、自回歸積分滑動(dòng)平均[3] （autoregressive integrated moving average，ARIMA）方法等，在精度方面往往不能滿足實(shí)際需求。更先進(jìn)的一類計(jì)算智能方法，如神經(jīng)網(wǎng)絡(luò)[4]、模糊邏輯系統(tǒng)[5]、支持向量機(jī)[6] （support vector machine，SVM）、相關(guān)向量機(jī)[7] （relevance vector machine，RVM）等，具有很強(qiáng)的非線性逼近能力，目前已經(jīng)在中、短期負(fù)荷預(yù)測中取得了成功應(yīng)用，如文獻(xiàn)[7]給出了基于多種組合核函數(shù)構(gòu)成的RVM方法，應(yīng)用于中期電力負(fù)荷預(yù)測中并取得了較好的實(shí)驗(yàn)效果。

極限學(xué)習(xí)機(jī)[8] （extreme learning machine，ELM）是由Huang等人提出的一種基于單隱層的前饋神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)算法，具有學(xué)習(xí)速度快，泛化性能好的優(yōu)點(diǎn)。在ELM的基礎(chǔ)上，核極限學(xué)習(xí)機(jī)（extreme learning machine with kernel，KELM）采用核函數(shù)替代ELM中的未知隱含層節(jié)點(diǎn)函數(shù)，并通過引入正則化參數(shù)，求解結(jié)果更穩(wěn)定且具有更好的泛化能力。文獻(xiàn)[9]給出了一類基于進(jìn)化策略的優(yōu)化KELM方法，并成功應(yīng)用于風(fēng)電功率預(yù)測中。文獻(xiàn)[10]給出一種基于經(jīng)驗(yàn)?zāi)B(tài)分解的KELM預(yù)測方法，成功應(yīng)用于短期電力負(fù)荷預(yù)測中。文獻(xiàn)[11]提出了一種基于KELM的微電網(wǎng)短期負(fù)荷預(yù)測方法，建立了包含離線參數(shù)尋優(yōu)與在線負(fù)荷預(yù)測的預(yù)測模型，該方法能獲得較高的預(yù)測準(zhǔn)確度。

另一方面，稀疏表示作為一種特征提取手段，首先在圖像領(lǐng)域中得到廣泛應(yīng)用[12-13]。稀疏表示方法包括稀疏編碼及字典學(xué)習(xí)，稀疏編碼是由少數(shù)基向量加權(quán)和的形式對(duì)信號(hào)進(jìn)行處理，提取隱含的實(shí)質(zhì)性信息。文獻(xiàn)[14]利用網(wǎng)絡(luò)拓?fù)?，借鑒半監(jiān)督學(xué)習(xí)的框架，提出一種字典學(xué)習(xí)算法，將其成功應(yīng)用于網(wǎng)絡(luò)動(dòng)態(tài)過程預(yù)測中。文獻(xiàn)[15]則給出一種基于K均值—奇異值分解（K-means singular value decomposition，K-SVD）的字典學(xué)習(xí)算法，將其成功用于金融領(lǐng)域時(shí)間序列的股票收益預(yù)測中。

此外，主元分析（principal components analysis，PCA）或核主元分析（kernel principal components analysis，KPCA）方法作為一種特征預(yù)處理手段，也能很好地挖掘數(shù)據(jù)的內(nèi)在特征，從而進(jìn)一步增強(qiáng)模型的推廣性。文獻(xiàn)[16]提出了一種基于PCA算法進(jìn)行特征提取的短期負(fù)荷預(yù)測模型，取得了很好的實(shí)驗(yàn)效果。文獻(xiàn)[17]提出一種KPCA優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測方法，仿真對(duì)比實(shí)驗(yàn)表明了該方法預(yù)測結(jié)果的有效性。與此相似，同樣可以將稀疏表示作為特征提取的主要手段應(yīng)用于預(yù)測領(lǐng)域，雖然形如PCA方法也可得到一組完備的基向量，但有所區(qū)別的是，稀疏表示算法可得到一組超完備基向量來表示輸入向量，其基向量通常比輸入向量的維數(shù)要高，因此，能更有效地找出隱含于輸入數(shù)據(jù)中的內(nèi)在結(jié)構(gòu)與模式。文獻(xiàn)[18]給出了基于貪婪學(xué)習(xí)策略的稀疏編碼算法—正交匹配追蹤（orthogonal matching pursuit，OMP）算法并用于信號(hào)恢復(fù)中，與基尋蹤（basis pursuit，BP）算法相比更快且更易于實(shí)現(xiàn)。文獻(xiàn)[19]給出了針對(duì)信號(hào)稀疏表示的過完備字典進(jìn)行訓(xùn)練的基于K-SVD的高效字典學(xué)習(xí)算法及其實(shí)現(xiàn)。

鑒于稀疏表示算法在特征提取建模中的優(yōu)點(diǎn)，本文提出一種基于字典學(xué)習(xí)的K-SVD-OMP稀疏表示算法，與KELM方法結(jié)合，構(gòu)成一種全局預(yù)測模型。將所提方法應(yīng)用于不同地區(qū)的電力負(fù)荷預(yù)測中，在同等條件下，還與單一KELM等預(yù)測方法以及基于非字典學(xué)習(xí)的稀疏表示特征提取建模方法進(jìn)行對(duì)比，驗(yàn)證所提方法在電力負(fù)荷預(yù)測中的有效性。

1 信號(hào)的稀疏表示

稀疏表示是對(duì)超完備字典中基向量進(jìn)行線性組合，以緊湊的方式表示原信號(hào)，原信號(hào)則可通過被選擇的權(quán)值非零的字典基向量表示，且大多數(shù)字典基向量的權(quán)值為零，信號(hào)向量x∈Rm的稀疏表示為

x=Φα。（1）

式中：Φ={1，2，…，K}∈Rm×K為字典矩陣，基向量i是字典Φ中的原子;α∈RK為稀疏向量。

針對(duì)式（1），通過l0范數(shù)優(yōu)化問題的求解，可獲得α∈RK的近似逼近，即

minα‖α‖0 s.t.‖Φα-x‖22≤δ。（2）

式中信號(hào)重構(gòu)誤差δ≥0。

限制α中非零系數(shù)的數(shù)目，可將式（2）變形為M-稀疏優(yōu)化問題，即

minα‖Φα-x‖22 s.t.‖α‖0≤M。（3）

式中M為稀疏度，即α中的非零系數(shù)的數(shù)目。

將式（2）引入拉格朗日乘子λ可變換為

minα12‖Φα-x‖22+λ‖α‖0。 （4）

式中λ>0。

對(duì)式（2）～式（4）的本質(zhì)求解是一個(gè)非確定性多項(xiàng)式（non-deterministic polynomial， NP）難題，求解這類問題可用松弛算法或貪婪算法，使用松弛算法時(shí)，假設(shè)α的先驗(yàn)分布服從Laplacian分布[20]，可使信號(hào)的表示稀疏化，即

式（8）為式（4）的l1范數(shù)表達(dá)形式。式（4）的松弛算法求解就是將l0范數(shù)松弛到l1范數(shù)進(jìn)行求解，l1范數(shù)是l0范數(shù)的最優(yōu)凸近似，且滿足解的稀疏性。對(duì)式（8）的求解可通過套索（least absolute shrinkage and selection operator，LASSO）算法求解[21]完成。具體實(shí)現(xiàn)時(shí)，通過調(diào)用凸優(yōu)化（convex optimization， CVX）工具箱軟件[22]完成式（8）的優(yōu)化問題求解。

2 K-SVD-OMP算法

在稀疏表示中，不同的字典對(duì)于信號(hào)的重構(gòu)效果不同，常用的字典有小波字典、離散余弦變換 （discrete cosine transform， DCT）字典、Gabor字典等。為更好地針對(duì)不同信號(hào)的稀疏表示，本文首先考慮性能較優(yōu)的基于K-SVD的字典學(xué)習(xí)算法，以獲取基于經(jīng)驗(yàn)數(shù)據(jù)學(xué)習(xí)的具有自適應(yīng)性且性能較優(yōu)的緊湊字典，在此基礎(chǔ)上進(jìn)一步應(yīng)用基于OMP的稀疏編碼算法，獲取數(shù)據(jù)的最佳稀疏編碼向量。

2.1 K-SVD算法

K-SVD算法是K-均值算法的一種擴(kuò)展，K-均值算法的目標(biāo)是根據(jù)近鄰分配原則，通過求解一個(gè)包含K個(gè)代碼的碼本，對(duì)數(shù)據(jù)集進(jìn)行表示?？紤]有限的數(shù)據(jù)向量xi取為標(biāo)準(zhǔn)基向量，K-均值算法的目標(biāo)函數(shù)為

minC，X‖X-CA‖2F s.t. i，xi=ek。（9）

式中：X={xi}Ni=i∈Rm×N為數(shù)據(jù)集;C=[c1，c2，…，cK]為碼本矩陣，其列向量ci為碼本向量;標(biāo)準(zhǔn)基向量ek表示其第k個(gè)位置的元素為1，其余為0。

基于矢量量化的K-均值算法步驟如下：

Step 1：初始化碼本C（0）∈Rm×K，令J=1;

Step 2：稀疏編碼階段：將數(shù)據(jù)集X分為K個(gè)子集

（R（J-1）1，R（J-1）2，…，R（J-1）K），

滿足R（J-1）k={i|l≠k，‖xi-c（J-1）k‖2<‖xi-c（J-1）l‖2};

Step 3：碼本更新策略：對(duì)子集C（J-1）中的每列k進(jìn)行更新，即更新c（J）k=1|Rk|∑i∈R（J-1）kxi;

Step 4：令J=J+1;迭代計(jì)算Step2～Step4，直至滿足重構(gòu)誤差。

K-SVD算法在K-均值算法基礎(chǔ)上對(duì)K個(gè)不同子集進(jìn)行奇異值分解（singular value decomposition，SVD），構(gòu)造出基于經(jīng)驗(yàn)學(xué)習(xí)的字典，其更新準(zhǔn)則是對(duì)字典Φ的原子，即其列向量按順序處理，在算法的訓(xùn)練過程中，其每步迭代中均有稀疏編碼和字典更新2個(gè)步驟。

該算法的實(shí)質(zhì)是求解下式的優(yōu)化問題，即

minΦ，A‖X-ΦA(chǔ)‖2F s.t. i，‖αi‖0≤M。（10）

式中：X={xi}Ni=i∈Rm×N;A為αi組成的稀疏矩陣A={αi}Ni=i∈RK×N;Φ∈Rm×K表示過完備字典。

在稀疏編碼階段，假定字典Φ是固定的，式（10）的優(yōu)化問題轉(zhuǎn)化為搜索相應(yīng)于字典矩陣Φ的系數(shù)矩陣A的稀疏表示問題，則式（10）改寫為

minxi‖xi-Φai‖22 s.t. ‖αi‖0≤M，i=1，2，3，…，N。（11）

式（11）的求解與式（3）在本質(zhì)上相同，可以通過不同的稀疏編碼算法求解。

在字典更新階段，假設(shè)字典Φ及A是固定的，每次僅更新字典Φ的第k列用k表示，以及相應(yīng)的系數(shù)，它對(duì)應(yīng)于A的第k行，記為αkT。則式（10）的目標(biāo)函數(shù)可改寫為

‖X-ΦA(chǔ)‖2F=‖X-∑Kj=1jαjT‖2F=‖（X-∑j≠kjαjT）-kαkT‖2F=‖Ek-kαkT‖2F。 （12）

式中矩陣Ek為舍去Φ的第k個(gè)原子k后，所有N個(gè)數(shù)據(jù)向量的誤差。

通過更新字典原子k和稀疏編碼向量αkT可得到更緊湊的字典集合，對(duì)矩陣ERk進(jìn)行秩-1近似逼近的SVD算法，可有效地最小化式（12）的逼近誤差。

若定義ωk為使用了字典原子k數(shù)據(jù)xi的索引集，即ωk={i|1≤i≤K，αkT（i）≠0}，定義矩陣Ωk∈RN×|ωk|，其元素僅在（ωk（i），i）處的值為1，其他處為0，且記αkT、Ek去零收縮后的向量、矩陣分別為αkR=αkTΩk∈R|ωk|，ERk=EkΩk∈RN×|ωk|。

此種情形下，式（12）的目標(biāo)函數(shù)等價(jià)于

‖EkΩk-kαkTΩk‖2F=‖ERk-kαkR‖2F。（13）

進(jìn)一步應(yīng)用SVD算法，即有ERk=UΔVT，其中：U、V為正交矩陣;Δ為對(duì)角矩陣。定義U的第1列為k的解，系數(shù)向量αkR為V的第1列和Δ[1，1]的乘積，在求解過程中還需注意保持字典Φ的歸一化處理。不斷重復(fù)稀疏編碼和字典更新2個(gè)步驟，直到滿足式（10）的停止條件為止。

綜上，為求解式（10）的優(yōu)化問題，獲取表示數(shù)據(jù)集X的最好字典集合Φ，K-SVD算法具體實(shí)現(xiàn)步驟如下：

Step 1：初始化字典矩陣，置J=1，且Φ（0）∈Rm×K的列具有l(wèi)2范數(shù)歸一化;

Step 2：稀疏編碼階段：使用稀疏編碼算法求解對(duì)應(yīng)xi的稀疏向量αi，即

minαi‖xi-Φαi‖22 s.t. ‖αi‖0≤M，i=1，2，…，N;

Step 3：字典更新階段：對(duì)字典Φ（J-1）中的每列（k=1，2，…，K）進(jìn)行更新;

首先，定義使用原子的數(shù)據(jù)向量的索引集為

ωk={i|1≤i≤N，αkT（i）≠0};

其次，計(jì)算誤差矩陣Ek，Ek=X-∑j≠kjαjT;

選擇相應(yīng)于ωk的列對(duì)Ek收縮，得到ERk;

最后，使用SVD分解ERk=UΔVT，選擇更新后的字典列向量～k是U的第1列，更新系數(shù)向量αkR是V的第1列和Δ[1，1]的乘積;

Step 4：令J=J+1，返回Step2，直至滿足式（10）的收斂或停止條件為止。

2.2 OMP算法

針對(duì)式（3）求解具有稀疏約束的稀疏編碼問題時(shí)，作為一類貪婪算法求解策略，匹配追蹤（matching pursuit，MP）算法或OMP算法是一類有效的求解手段。MP算法中，字典原子不是相互正交的向量，這使得算法每次迭代的結(jié)果是次最優(yōu)的，OMP算法是MP算法的改進(jìn)。

在統(tǒng)計(jì)建模中，貪婪步進(jìn)最小二乘也被稱為前項(xiàng)步進(jìn)回歸，在信號(hào)處理中的算法則稱之為MP或OMP，其目的是在求解稀疏編碼向量階段，在每一步選擇與當(dāng)前殘差具有最高相關(guān)性的原子。選擇原子后，將信號(hào)正交投影到所選原子的空間，重新計(jì)算殘差，并重復(fù)該過程。因此，在精度要求相同的情況下，OMP算法的收斂速度更快。

為求解稀疏編碼向量的最優(yōu)估計(jì)值，針對(duì)優(yōu)化問題式（3），可重寫為

α^=argminα‖Φα-x‖22 s.t.? ‖α‖0≤M。（14）

為求解式（14），OMP算法的具體實(shí)現(xiàn)步驟如下：

Step 1：初始化殘差向量r0=x，索引集Λ0=，迭代次數(shù)t=1;

Step 2：尋找索引χt。χt為殘差r和字典矩陣的列向量i中具有最大內(nèi)積時(shí)所對(duì)應(yīng)的索引，即

χt=argmaxi=1，2，…，K|〈rt-1，i〉|=argmaxi=1，2，…，KrTt-1i，

該步驟是一個(gè)貪心選擇求解過程;

Step 3：增廣索引集，選擇索引集Λt=Λt-1∪{χt}，更新字典Φt=[Φt-1，χt]，注意Φ0是空矩陣;

Step 4：為獲取新的數(shù)據(jù)表示，需求解最小二乘問題，即

αt=argminαt‖x-Φtαt‖=（ΦTtΦt）-1ΦTtx;

Step 5：更新殘差rt=x-Φtαt;

Step 6：t=t+1，若t≤M，則返回Step2。

3 基于稀疏表示的時(shí)間序列預(yù)測全局模型

本節(jié)考慮將稀疏表示方法與KELM結(jié)合構(gòu)成全局預(yù)測模型的一種實(shí)現(xiàn)。首先，將歷史電力負(fù)荷等數(shù)據(jù)構(gòu)成的時(shí)間序列數(shù)據(jù)組成具有時(shí)延的輸入—輸出數(shù)據(jù)對(duì)。其次，將訓(xùn)練數(shù)據(jù)進(jìn)行稀疏分解與變換，映射至稀疏域中，借助用于稀疏分解的字典所選擇的基向量，所得到的稀疏編碼向量就是訓(xùn)練輸入數(shù)據(jù)的稀疏表示，即獲取了輸入數(shù)據(jù)的一種隱模式表達(dá)。最后，與相應(yīng)目標(biāo)輸出配對(duì)，通過KELM全局回歸模型進(jìn)行訓(xùn)練。

針對(duì)單變量時(shí)間序列，建立待預(yù)測模型為

y^i+h=f（xi）=f（yi，yi-τ，…，yi-（m-1）τ）。（15）

式中：y^i+h為模型預(yù)測輸出，i=1，…，N，h為步長;m為嵌入維數(shù);τ為延遲常數(shù);f（·）可采用KELM完成。

對(duì)于節(jié)點(diǎn)激活函數(shù)h（x），隱含層節(jié)點(diǎn)數(shù)為L，具有單輸出的標(biāo)準(zhǔn)單層前饋神經(jīng)網(wǎng)絡(luò)（single-hidden layer feedforward neural network， SLFN），其網(wǎng)絡(luò)節(jié)點(diǎn)的輸出為

f（x）=∑Lj=1θjh（x;ωj，bj）=hT（x）θ。（16）

式中：ωj是連接輸入層與第j個(gè)隱含層節(jié)點(diǎn)之間的權(quán)值向量;θj是連接輸出層與第j個(gè)隱含層節(jié)點(diǎn)之間的權(quán)值θ=[θ1，…，θL]T;bj是第j個(gè)隱含層節(jié)點(diǎn)的閾值;h（x;ωj，bj）簡記為hj（x），則h（x）=[h1（x），…，hL（x）]T是ELM中與輸入有關(guān)的隱含層特征映射向量。

不同于常規(guī)的SLFN方法，ELM的隱含層節(jié)點(diǎn)激活函數(shù)在訓(xùn)練期間是確定的，其初始參數(shù)設(shè)置可以通過均勻分布的隨機(jī)數(shù)產(chǎn)生，僅需調(diào)整輸出層權(quán)值即可，這使得其訓(xùn)練學(xué)習(xí)過程可轉(zhuǎn)換為求取最優(yōu)權(quán)值向量θ的估計(jì)問題，而從理論上可以證實(shí)ELM具有萬能逼近特性，是一種通用函數(shù)逼近器。

ELM的最優(yōu)權(quán)值問題求解，由l2正則化優(yōu)化問題進(jìn)行求解，即

θ=HTHHT+INη-1Y。（17）

式中：矩陣H=[h（x1），…，h（xN）];η是正則化參數(shù);目標(biāo)矩陣Y=[y1，…，yN]T;單位陣IN維數(shù)為N×N。

隱含層特征映射h（x）未知時(shí)，定義核矩陣為

由式（16）和式（18）可得KELM的輸出為

核函數(shù)k（xi，x）通常選取高斯核函數(shù)，即

式中ζ為函數(shù)的寬度參數(shù)，設(shè)定函數(shù)的徑向作用范圍。參數(shù)η和ζ可通過交叉驗(yàn)證法給定。

針對(duì)時(shí)間序列預(yù)測，基于K-SVD-OMP算法的全局預(yù)測方法的具體實(shí)現(xiàn)步驟如下：

Step 1：建立訓(xùn)練數(shù)據(jù)集{xi;yi}Ni=1，測試數(shù)據(jù)集{xti;yti}N1i=1，其中：xi，yi分別為訓(xùn)練數(shù)據(jù)集的輸入與輸出;xti，yti分別為測試數(shù)據(jù)集輸入與輸出;

Step 2：針對(duì)X={xi}Ni=i∈Rm×N，基于2.1節(jié)的K-SVD算法獲取經(jīng)過學(xué)習(xí)的緊湊字典Φ，其中算法中的稀疏編碼采用OMP算法;

Step 3：在獲取字典Φ的基礎(chǔ)上，基于2.2節(jié)的OMP算法進(jìn)行稀疏編碼求解，計(jì)算每個(gè)xi所對(duì)應(yīng)的稀疏編碼向量αi;

Step 4：以αi作為輸入，結(jié)合相應(yīng)的目標(biāo)輸出yi，建立全局預(yù)測模型。預(yù)測模型f（·）可應(yīng)用式（19）構(gòu)建;

Step 5：針對(duì)測試數(shù)據(jù)xti，使用2.2節(jié)的OMP算法進(jìn)行稀疏編碼求解，獲取相應(yīng)的稀疏編碼向量αti;

Step 6：將αti作為模型的測試輸入，計(jì)算預(yù)測輸出y^ti=f（αti）。

4 中、短期電力負(fù)荷峰值預(yù)測實(shí)驗(yàn)

本節(jié)將給出2個(gè)中、短期負(fù)荷預(yù)測實(shí)驗(yàn)的實(shí)例，以驗(yàn)證本文方法的有效性，由式（15）對(duì)包含電力負(fù)荷值及其他影響因素的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行時(shí)間序列建模。

考慮到不同字典、不同稀疏編碼算法對(duì)于預(yù)測結(jié)果的影響，實(shí)驗(yàn)中的初始字典選擇除了考慮時(shí)延輸入數(shù)據(jù)向量外，也考慮了DCT字典，此外還考慮了非字典學(xué)習(xí)的稀疏編碼算法，稀疏編碼算法也考慮采用LASSO算法。因此，對(duì)比方法有其他稀疏表示建模算法，如DCT-LASSO、DCT-OMP、K-SVD-LASSO等。

實(shí)驗(yàn)結(jié)果的評(píng)價(jià)采用平均絕對(duì)值百分比誤差（mean absolute percentage error， MAPE）、均方根誤差（root mean square error， RMSE）和相對(duì)誤差（relative error，RE），即

式中：yi是負(fù)荷實(shí)際數(shù)值;y^i是負(fù)荷預(yù)測值;n表示負(fù)荷的采樣點(diǎn)數(shù)目。

另外，實(shí)驗(yàn)平臺(tái)為win7 64位操作系統(tǒng)，且在基于Intel（R） Core i7、2.80 GHz雙核CPU處理器，內(nèi)存8 G的計(jì)算機(jī)上應(yīng)用MATLAB R2012a軟件進(jìn)行不同預(yù)測方法的比較。

4.1 中期電力負(fù)荷預(yù)測實(shí)驗(yàn)

實(shí)驗(yàn)選取歐洲EUNITE 網(wǎng)絡(luò)組織的中期負(fù)荷預(yù)測競賽提供的電力負(fù)荷實(shí)際數(shù)據(jù)集[23]。為了避免氣候因素的影響，采取數(shù)據(jù)分割的方式，選取冬季時(shí)段的歷史負(fù)荷數(shù)據(jù)1997年1月～3月、1997年10月～1998年3月、1998年10月～12月為訓(xùn)練數(shù)據(jù)集，其任務(wù)是預(yù)測1999年1月，即未來31 d內(nèi)每日最大電力負(fù)荷值。預(yù)測模型的輸入為15維，其中日期信息為七位二進(jìn)制編碼、節(jié)假日信息為一位二進(jìn)制編碼、電力負(fù)荷值的實(shí)際時(shí)間序列數(shù)據(jù)的嵌入維為7，這與文獻(xiàn)[6]一致。文獻(xiàn)[6]用LIBSVM 軟件完成并取得當(dāng)年競賽最好成績。注意在模型訓(xùn)練完成后，對(duì)未來31 d進(jìn)行預(yù)測時(shí)需采用迭代預(yù)測方式進(jìn)行。

實(shí)驗(yàn)中：K-SVD算法選取K=15;迭代次數(shù)J=100;高斯核函數(shù)ζ=5;正則化系數(shù)η=102。圖1給出了在稀疏度M不同取值下，不同稀疏表示方法的預(yù)測精度比較，可以看出，M為5時(shí)，其預(yù)測精度最好。

為進(jìn)一步衡量本文方法的預(yù)測效果，取M=5的情形，對(duì)K-SVD-OMP方法與非字典學(xué)習(xí)的稀疏表示建模方法，以及采用單一KELM、SVM、ELM方法的預(yù)測結(jié)果進(jìn)行比較，其中，非字典學(xué)習(xí)的稀疏表示方法中使用了DCT字典。對(duì)比方法中，設(shè)置LASSO算法的λ1=0.4，調(diào)用CVX軟件進(jìn)行求解，單一KELM及SVM均選取相同的高斯核函數(shù)， SVM的懲罰參數(shù)C=4 096，不敏感損失ε=0.1，ELM的隱含層激活函數(shù)為Sigmoid函數(shù)，隱含層節(jié)點(diǎn)數(shù)目L=50。

表1列出了單一預(yù)測方法與不同稀疏表示算法結(jié)合KELM、SVM、ELM方法的預(yù)測結(jié)果數(shù)值比較?？梢钥闯?，不同稀疏表示建模方法的預(yù)測精度均有提升，取得了很好的預(yù)測效果，其中，基于K-SVD-OMP算法的稀疏表示建模方法取得了最好的預(yù)測效果，且當(dāng)全局模型選取為KELM時(shí)，其MAPE值最低。表1還給出了不同稀疏表示算法結(jié)合KELM、SVM、ELM在訓(xùn)練時(shí)的CPU運(yùn)行時(shí)間比較，可以看出與單一預(yù)測方法相比，訓(xùn)練時(shí)間略有增加，其中，DCT-OMP算法的計(jì)算效率最高， K-SVD-OMP算法的計(jì)算效率優(yōu)于K-SVD-LASSO算法。

圖2給出了不同稀疏表示建模方法與單一SVM、KELM方法的絕對(duì)百分比誤差（aboluate percentage errors， APE）的箱線圖比較，可以看出，基于K-SVD的稀疏表示建模方法優(yōu)于采用DCT字典的方法，且K-SVD-OMP結(jié)合KELM的方法能取得較好的預(yù)測結(jié)果。

圖3進(jìn)一步給出了K-SVD-OMP結(jié)合KELM方法與其他稀疏表示建模方法及單一SVM、KELM方法對(duì)未來31 d內(nèi)的峰值預(yù)測結(jié)果比較。圖4則給出了不同預(yù)測方法相應(yīng)的誤差比較。由圖3、圖4可見，基于K-SVD的稀疏表示建模方法的相對(duì)誤差波動(dòng)較小，呈現(xiàn)出較好的預(yù)測效果。

4.2 北美電力公司短期電力負(fù)荷預(yù)測實(shí)驗(yàn)

本節(jié)短期負(fù)荷預(yù)測實(shí)例實(shí)驗(yàn)選取北美電力公司提供的電力負(fù)荷數(shù)據(jù)集[24]進(jìn)行，該數(shù)據(jù)集包括從1985年1月1日至1991年3月31日之間每天每小時(shí)的溫度和電力負(fù)荷數(shù)值。每日預(yù)測在上午8點(diǎn)進(jìn)行，預(yù)測次日一整天，從當(dāng)日24點(diǎn)至次日24點(diǎn)，即未來16～40 h的電力負(fù)荷，周五預(yù)測整個(gè)周末和周一以及未來16～88 h的電力負(fù)荷。預(yù)測任務(wù)是1990年11月26日24點(diǎn)至12月3日24點(diǎn)之間的每小時(shí)電力負(fù)荷值。

實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)集選取待預(yù)測月份的前2個(gè)月和對(duì)應(yīng)于同一時(shí)間段的上一年歷史負(fù)荷和溫度數(shù)據(jù)。模型輸入為歷史負(fù)荷數(shù)據(jù)xiL與歷史溫度數(shù)據(jù)xiT，即xi=（xiT，xiL），其中歷史負(fù)荷數(shù)據(jù)xiL中嵌入維數(shù)m為4、延遲常數(shù)τ為5，歷史溫度數(shù)據(jù)xiT中嵌入維數(shù)m為9、延遲常數(shù)τ為3。這與文獻(xiàn)[24]一致，采用式（15）的時(shí)間序列建模方式，取預(yù)測步長h=16，訓(xùn)練一旦完成后，基于模型對(duì)測試區(qū)段采用迭代方式進(jìn)行預(yù)測。

本小節(jié)實(shí)驗(yàn)中：K-SVD算法選取K=40;迭代次數(shù)J=100;高斯核函數(shù)的參數(shù)ζ=5;正則化參數(shù)η=100。圖5給出了在稀疏度M不同取值下，不同稀疏表示方法的預(yù)測精度比較，可以看出，M為5時(shí)，其預(yù)測精度最好。

同4.1節(jié)，為進(jìn)一步衡量本文方法的預(yù)測效果，取M=5的情形，本文的K-SVD-OMP全局建模方法與采用DCT字典的稀疏表示建模方法，及采用單一SVM、ELM、KELM方法的預(yù)測結(jié)果進(jìn)行了比較，其中，在LASSO算法中選擇參數(shù)λ1=0.3，其他對(duì)比方法中，單一KELM及SVM方法也均選取相同高斯核函數(shù)，SVM的懲罰參數(shù)C=16，不敏感損失參數(shù)ε=0.1， ELM的參數(shù)設(shè)置同4.1節(jié)。

表2詳細(xì)列出了單一預(yù)測方法與基于不同稀疏表示算法結(jié)合KELM、SVM、ELM的全局建模方法的預(yù)測結(jié)果數(shù)值比較?？梢钥闯觯煌∈璞硎窘７椒ǖ念A(yù)測精度均有提升，取得了很好的預(yù)測效果，其中，基于K-SVD-OMP方法的稀疏表示建模方法取得了最好的預(yù)測效果，且當(dāng)全局模型選取為KELM時(shí)，其MAPE值最低。

此外，本文方法與文獻(xiàn)[24]所提方法的結(jié)果相比較，其預(yù)測精度也較優(yōu)。表2還給出了不同稀疏表示算法結(jié)合KELM、SVM、ELM在訓(xùn)練時(shí)的CPU運(yùn)行時(shí)間開銷比較，與單一預(yù)測方法相比，其訓(xùn)練時(shí)間略有增加，其中，DCT-OMP算法結(jié)合ELM方法的計(jì)算效率最高，K-SVD-OMP算法結(jié)合ELM方法的計(jì)算效率次之，但與K-SVD-LASSO算法相比，K-SVD-OMP算法的計(jì)算效率又略優(yōu)之?？傮w來看，在訓(xùn)練時(shí)間的耗時(shí)上，基于稀疏表示的特征提取算法作為預(yù)測模型的預(yù)處理手段還是可以滿足實(shí)際需求的。

圖6給出了不同稀疏表示方法與單一SVM、KELM方法的APE箱線圖比較，可以看出，在APE指標(biāo)下，基于K-SVD的稀疏表示建模方法優(yōu)于采用DCT字典的稀疏表示建模方法，且K-SVD-OMP結(jié)合KELM的全局建模方法取得了較好的預(yù)測結(jié)果。

圖7給出了不同稀疏表示方法與實(shí)際電力負(fù)荷值在測試集上的預(yù)測結(jié)果比較，相應(yīng)地，圖8給出了不同預(yù)測方法對(duì)測試集上一周范圍時(shí)間內(nèi)的每小時(shí)進(jìn)行預(yù)測的相對(duì)誤差。由圖7、圖8可見，基于K-SVD的稀疏表示預(yù)測方法的相對(duì)誤差仍然波動(dòng)較小，呈現(xiàn)出較好的預(yù)測效果。

5 結(jié) 論

針對(duì)中、短期電力負(fù)荷預(yù)測，提出一種基于K-SVD-OMP的稀疏表示全局建模方法。該方法在字典學(xué)習(xí)階段，采用了K-SVD算法，對(duì)初始字典逐列進(jìn)行更新，較直接采用DCT字典的非字典學(xué)習(xí)算法相比，在滿足稀疏度的條件下能獲得更緊湊的字典集合，進(jìn)一步減少了重構(gòu)誤差且具有一定的自適應(yīng)性。在稀疏編碼求解階段采用OMP算法，較之LASSO算法避免了求解過程中計(jì)算復(fù)雜且因懲罰項(xiàng)是l1范數(shù)，會(huì)導(dǎo)致所得解向量中非零值過多的缺點(diǎn)。另一方面，由于基于稀疏表示建模方法的全局回歸模型選擇KELM，這使得建模效果更為突出。

將所提出的基于K-SVD-OMP算法的稀疏建模方法應(yīng)用于不同地區(qū)的電力負(fù)荷峰值預(yù)測實(shí)例中，實(shí)驗(yàn)結(jié)果證實(shí)，與已有的單一SVM或ELM預(yù)測方法相比而言，稀疏表示與KELM結(jié)合的預(yù)測方法雖然在模型訓(xùn)練時(shí)增加了一定的運(yùn)行時(shí)間開銷，但體現(xiàn)出較好的潛在特征表示能力，進(jìn)一步提升了模型預(yù)測精度，體現(xiàn)出較好的預(yù)測效果。未來的研究還可考慮其他基于稀疏表示的改進(jìn)字典學(xué)習(xí)算法，將其應(yīng)用于電力負(fù)荷預(yù)測中。

參 考 文 獻(xiàn)：

[1] KHUNTIA S R， RUEDA J L， van der MEIJDEN M A M M. Forecasting the load of electrical power systems in mid-and long-term horizons： a review[J].IET Generation， Transmission & Distribution， 2016， 10（16）： 3971.

[2] KUSTER C， REZGUI Y， MOURSHED M. Electrical load forecasting models： a critical systematic review[J]. Sustainable Cities and Society， 2017， 35：257.

[3] CHUJAI P， KERDPRASOP N， KERDPRASOP K.Time series analysis of household electric consumption with ARIMA and ARMA models[C]//Proceedingsof the International Multi-Conference of Engineers and Computer Scientists， March 13-15，2013， Hong Kong， China.2013： 295-300.

[4] 李軍，李青.基于CEEMDAN-排列熵和泄漏積分ESN的中期電力負(fù)荷預(yù)測研究[J].電機(jī)與控制學(xué)報(bào)，2015， 19（8）：70.

LI Jun， LI Qing. Medium term electricity load forecasting based on CEEMDAN-permutation entropy and ESN with leaky integrator neurons[J]. Electric Machines and Control， 2015，19（8）：70.

[5] 鄭高，肖建.基于區(qū)間二型模糊邏輯的電力負(fù)荷預(yù)測研究[J].電機(jī)與控制學(xué)報(bào)， 2012，16（9）：26.

ZHENG Gao， XIAO Jian. Forecasting study of power load based on interval type-2 fuzzy logic method[J]. Electric Machines and Control，2012， 16（9）：26.

[6] CHEN B J， CHANG M W， LIN C J. Load forecasting using support vector machines： a study on EUNITE competition 2001[J]. IEEE Transactions on Power Systems， 2004，19（4）：1821.

[7] 段青， 趙建國， 馬艷.優(yōu)化組合核函數(shù)相關(guān)向量機(jī)電力負(fù)荷預(yù)測模型[J].電機(jī)與控制學(xué)報(bào)，2010，14（6）：33.

DUAN Qing， ZHAO Jianguo， MA Yan. Relevance vector machine based on particle swarm optimization of compounding kernels in electricity load forecasting[J]. Electric Machines and Control， 2010，14（6）：33.

[8] HUABG G B， ZHU Q Y，SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing， 2006， 70（1）：489.

[9] 李軍，李大超. 基于優(yōu)化核極限學(xué)習(xí)機(jī)的風(fēng)電功率時(shí)間序列預(yù)測[J].物理學(xué)報(bào)， 2016， 65（13）：130501.

LI Jun， LI Dachao. Wind power time series prediction using optimized kernel extreme learning machine method[J]. Acta Physica Sinica，2016， 65（13）：130501.

[10] CHEN Y， KLOFT M， YANG Y， et al.Mixed kernel based extreme learning machine for electric load forecasting[J]. Neurocomputing， 2018， 312：90.

[11] 劉念， 張清鑫， 劉海濤. 基于核函數(shù)極限學(xué)習(xí)機(jī)的微電網(wǎng)短期負(fù)荷預(yù)測方法[J]. 電工技術(shù)學(xué)報(bào)， 2015， 30（8）：218.

LIU Nian， ZHANG Qingxin， LIU Haitao. Online short-term load forecasting based on ELM with kernel algorithm in micro-grid environment[J].Transactions of China Electrotechnical Society，2015，30（8）： 218.

[12] ELAD M， FIGUERIREDO M A T， MA Y. On the role of sparse and redundant representations in imageprocessing[J]. Proceedings of the IEEE，2010， 98（6）：972.

[13] AHARON M，ELAD M，BRUCKSTEIN A.K-SVD：an algorithm for designingovercomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54（11）：4311.

[14] FORERO P A， RAJAWAT K， GIANNAKIS G B. Prediction of partially observed dynamical processes over networks via dictionarylearning[J]. IEEE Transactions on Signal Processing， 2014， 62（13）： 3305.

[15] ROSAS-ROMERO R，DIAZ-TORRES A， ETCHEVERRY G. Forecasting of stock return prices with sparse representation of financial time series over redundant dictionaries[J]. Expert Systems with Applications，2016，57：37.

[16] BIANCHI F M， DE SANTIS E， RIZZA A， et al.Short-term electric load forecasting using echo state networks and PCA decomposition[J]. IEEE Access， 2015， 3：1931.

[17] 田中大， 李樹江， 王艷紅，等. 基于KPCA優(yōu)化ESN的網(wǎng)絡(luò)流量預(yù)測方法[J].電機(jī)與控制學(xué)報(bào)， 2015，19（12）：114.

TIAN Zhongda， LI Shujiang， WANG Yanhong， et al.Network traffic prediction method based on KP CA optimized ESN[J]. Electric Machines and Control， 2015， 19（12）：114.

[18] TROPP J A， GILBERT A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory， 2007，53（12）：4655.

[19] RUBINSTEIN R，ZIBULEVSKY M，ELAD M.Efficient implementation of the K-SVD algorithm using batch orthogonal matching pursuit[R].Computer Science Department， Israel：Technion，2008.

[20] FIGUEIREDO M A T. Adaptive sparseness for super vised learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003，25（9）：1150.

[21] TIBSHIRANI R.Regression shrinkage and selection via the LASSO[J].Journal of the Royal Statistical Society：Series B（Methodological）， 1996，58（1）：267.

[22] GRANT M， BOYD S， YE Y.CVX：Matlab Software for Disciplined Convex Programming[EB/OL]. （2013-09-01） [2018-04-01]. http：//cvxr.com/cvx.

[23] OTTO P. World-wide Competition within the EUNITENetwork[EB/OL]. （2001-05-01） [2018-04-06].http：//neuron.tuke.sk/competition/index.php.

[24] ELATTAR E E， GOULERMAS J Y， WU Q H. Electric load forecasting based on locally weighted support vector regression[J]. IEEE Transactions on Systems， Man， and Cybernetics， Part C， 2010， 40（4）：438.

（編輯：邱赫男）

收稿日期： 2018-12-17

基金項(xiàng)目：國家自然科學(xué)基金（51467008）

作者簡介：李 軍（1969—），男，博士，教授，研究方向?yàn)橛?jì)算智能、非線性系統(tǒng)預(yù)測、建模與預(yù)測;

李世昌（1993—），男，碩士研究生，研究方向?yàn)殡娏ω?fù)荷預(yù)測。

通信作者：李 軍