孫　薇, 劉默涵

(華北電力大學(xué) 經(jīng)濟與管理學(xué)院，河北 保定 071003)

?

基于改進(jìn)最小二乘支持向量機的短期負(fù)荷預(yù)測

孫薇, 劉默涵

(華北電力大學(xué) 經(jīng)濟與管理學(xué)院，河北 保定 071003)

摘要：為了提高短期負(fù)荷預(yù)測的精度，提出基于量子差分進(jìn)化算法(Quantum Differential Evolution，QDE)優(yōu)化的最小二乘支持向量機(Least Squares-Support Vector Machine，LSSVM)模型。該算法克服了最小二乘支持向量機算法中依據(jù)經(jīng)驗選定參數(shù)的盲目性。實例驗證結(jié)果表明，QDE-LSSVM的預(yù)測精度要遠(yuǎn)高于BP神經(jīng)網(wǎng)絡(luò)與單純的最小二乘支持向量機，證明了利用量子差分進(jìn)化選取最小二乘支持向量機的有效性。該算法更適用于當(dāng)前中國短期負(fù)荷預(yù)測的需要。

關(guān)鍵詞：短期負(fù)荷預(yù)測；參數(shù)優(yōu)化；量子差分進(jìn)化；最小二乘支持向量機

0引言

“十二五”規(guī)劃期間，隨著電力市場化改革的進(jìn)一步深化與智能電網(wǎng)的大規(guī)模試點，精度較高的負(fù)荷預(yù)測對保障智能電網(wǎng)的安全穩(wěn)定運行與電能資源的優(yōu)化配置起到至關(guān)重要的作用。故不斷改進(jìn)負(fù)荷預(yù)測方法，提高預(yù)測的精度，對于制定經(jīng)濟優(yōu)化的發(fā)電計劃、降低旋轉(zhuǎn)儲備容量、進(jìn)行電力市場需求分析等方面均有十分重要的意義。

目前，用于負(fù)荷預(yù)測的方法大體可以分為經(jīng)典的數(shù)學(xué)統(tǒng)計方法和基于人工智能的方法，其中，大多數(shù)負(fù)荷預(yù)測理論都基于時間序列分析，包括自回歸模型(VAR)[1]，自回歸滑動平均模型(ARMA)[2]等，時間序列平滑預(yù)測法的模型識別與參數(shù)估計都是根據(jù)有限序列去推斷原序列式的性質(zhì)來完成，這種推斷誤差較大，不能滿足短期負(fù)荷預(yù)測精度需要。隨著世界各國電力市場的發(fā)展，負(fù)荷預(yù)測受到了更加廣泛的重視，神經(jīng)網(wǎng)絡(luò)預(yù)測技術(shù)[3，4]，LSSVM[5，6]等自學(xué)能力較強的預(yù)測方法都在負(fù)荷預(yù)測中應(yīng)用廣泛。其中，人工神經(jīng)網(wǎng)絡(luò)(ANN)的應(yīng)用最為廣泛[7]， Beccali[8]利用無監(jiān)督與有監(jiān)督神經(jīng)網(wǎng)絡(luò)的組合方法成功預(yù)測了郊區(qū)24 h的電能需求。Bashir[9]在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段，引入粒子群(PSO)進(jìn)行權(quán)重調(diào)整，以提高短期負(fù)荷預(yù)測的準(zhǔn)確性。負(fù)荷預(yù)測是ANN在電力系統(tǒng)應(yīng)用中最合適的領(lǐng)域，但在實施時也存在很多實際問題，神經(jīng)網(wǎng)絡(luò)模型輸入的原始數(shù)據(jù)必須以精準(zhǔn)為前提，而實際預(yù)測時，因統(tǒng)計存在差異，使得數(shù)據(jù)同實際值有一定差別，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型預(yù)測精度不理想。

與神經(jīng)網(wǎng)絡(luò)算法采用經(jīng)驗風(fēng)險最小化原則不同，支持向量機(SVM)采用的是結(jié)構(gòu)風(fēng)險最小化原則，克服了神經(jīng)網(wǎng)絡(luò)中的不足，但由于SVM算法中的超平面參數(shù)選擇問題，致使其求解規(guī)模過大。為此Suykens等人提出的最小二乘支持向量機，在其優(yōu)化問題的目標(biāo)函數(shù)中使用二范數(shù)，并利用等式約束條件代替SVM標(biāo)準(zhǔn)算法中的不等式約束條件，使得LSSVM方法的優(yōu)化問題的求解變?yōu)橥ㄟ^Kuhn-Tucker條件得到的一組線性方程組的求解[10]，Yang Chenjun[11]將最小二乘支持向量機成功應(yīng)用至風(fēng)速預(yù)測中。 但是正則化參數(shù)與核參數(shù)的選擇極大影響著LSSVM的性能，為此本文通過量子差分進(jìn)化算法優(yōu)化最小二乘支持向量機模型的正則化參數(shù)與核函數(shù)參數(shù)，實現(xiàn)參數(shù)的自動調(diào)整。實例驗證結(jié)果表明，與BP神經(jīng)網(wǎng)絡(luò)和單純的LSSVM算法相比，QDE-LSSVM的預(yù)測精度更高，更適用于當(dāng)前中國短期負(fù)荷的需要。

1最小二乘支持向量機

(1)

式中：w為特征空間中的權(quán)系數(shù)向量；b∈R為常數(shù)。

根據(jù)結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則，求解上述回歸問題的最小二乘支持向量機模型如下：

(2)

式中：γ>0為懲罰系數(shù)；ei為回歸函數(shù)值與實際值的誤差。用拉格朗日方法求解這個優(yōu)化問題，將約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題，在對偶空間可得到：

(3)

式中：λi≥0 為拉格朗日乘數(shù)。根據(jù)Karush-Kuhn-Tucker條件，可以得到如下等式：

(4)

對式(4)消去w和ei可得到如下線性方程：

(5)

式中：E=[1,…,1]T；y=[y1,…,yN]T；λ=[λ1,…，λN]T；I為N×N階單位矩陣；R為N×N階矩陣，且Rij=φ(xi)Tφ(xj)根據(jù)Mercer定理，定義高斯徑向基函數(shù)：

(6)

求解得到λ和b，則相應(yīng)的LSSVM最優(yōu)線性回歸函數(shù)為

(7)

從訓(xùn)練LSSVM存在的問題來看，能夠發(fā)現(xiàn)正則參數(shù)γ與核函數(shù)σ對LSSVM模型的精度有重要影響。在本文的研究中，這些參數(shù)將通過QDE算法從訓(xùn)練階段直接調(diào)用。

2量子差分進(jìn)化算法

量子進(jìn)化算法是受量子計算思想的啟發(fā)而產(chǎn)生的一種新型的算法，在避免陷入局部最優(yōu)值問題上有著卓越的成效。差分進(jìn)化算法是一類基于種群的啟發(fā)式全局搜索算法，目前已在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，多目標(biāo)優(yōu)化等問題上得到廣泛應(yīng)用，但由于其算法限制，容易造成“早熟”或求解時間過長，導(dǎo)致最后難以達(dá)到全局最優(yōu)。為此，本文將量子計算引入到差分進(jìn)化算法中，提出量子差分進(jìn)化算法，該方法將量子比特的概率幅表示應(yīng)用于染色體的實屬編碼，用量子變異、量子交叉、量子選擇操作實現(xiàn)染色體位置的更新，從而在防止算法早熟的同時使算法更快收斂。QDE算法步驟如下：

(1)種群初始化：在量子計算中，采用量子比特|0〉和|1〉表示微觀粒子的兩種基本狀態(tài)，則任意時刻的量子位狀態(tài)為

(8)

式中：α，β為量子位對應(yīng)狀態(tài)的概率幅，且|α|2+|β|2=1。因此，量子比特也可表示為[cos(θ),sin(θ)]T。

在QDE中，量子染色體采用實數(shù)編碼，方式如下：

(9)

式中：θ=2πrand，rand∈[0,1]；i∈{1,2,…,N}；j∈{1,2,…,D}；D為問題的維數(shù)；N為種群規(guī)模。

根據(jù)N條量子染色體組成的初始種群Q；設(shè)Pm為變異概率，C為收縮因子。

(2)解空間變換與適應(yīng)度計算

(10)

(3)量子自身位置旋轉(zhuǎn)角的調(diào)整

對種群中的每一條染色體，按照如下公式計算量子自身位置旋轉(zhuǎn)角

(11)

(12)

式中：θmin為Δθ區(qū)間的最小值0.001π；θmax為Δθ區(qū)間的最大值0.05π；fitgBest為搜索到的全局最優(yōu)個體的適應(yīng)度；fiti為當(dāng)前個體的適應(yīng)度；gen為種群的前迭代次數(shù)；maxgen為種群限定的最大迭代次數(shù)。

(4)量子變異操作

QDE算法中量子染色體狀態(tài)的更新借鑒傳統(tǒng)差分進(jìn)化算法，隨機從量子種群中選擇一個量子染色體，并用其中的量子比特相位作為基向量與另外兩個不同的量子染色體的量子比特相位作為差分向量。

(13)

(5)量子交叉操作

將量子變異個體與預(yù)先確定的父代個體按一定規(guī)則混合從而產(chǎn)生新的個體。

(14)

式中：j∈{1,2,…,D}；D為問題的維數(shù)；jrand為{1,2,…,D}中隨機選擇的一個整數(shù)；交叉概率Cr∈[0,1]。

(6)量子選擇操作

采用一對一的貪婪算法選擇算子，使適應(yīng)度更優(yōu)的個體進(jìn)入下一代。

(15)

(16)

量子位更新后的新位子表達(dá)式為：

(17)

(7)計算結(jié)果比較

若算法達(dá)到迭代次數(shù)或滿足收斂條件，記錄最優(yōu)結(jié)果，程序結(jié)束，否則返回步驟(2)。

3基于量子差分進(jìn)化的最小二乘支持向量機的建模過程

在基于量子差分進(jìn)化的最小二乘支持向量機建模中，最小二乘支持向量機的輸出值y′為帶有γ和σ的因變量，而正則參數(shù)γ與核函數(shù)σ由量子差分進(jìn)化算法進(jìn)行優(yōu)化選取，優(yōu)化的目標(biāo)函數(shù)為輸出值y′與實際值y的誤差平方和。

優(yōu)化目標(biāo)函數(shù)定義為：

(18)

則基于QDE的LSSVM模型參數(shù)的組合尋優(yōu)步驟如下：

(1)參數(shù)初始化

QDE算法的主要參數(shù)為種群規(guī)模N，染色體長度D，變異因子F，交叉因子C和最大世代數(shù)g，其中，g初始化為0。

(2)種群初始化

產(chǎn)生一個N·D規(guī)模均勻分布的隨機數(shù)矩陣，按照以下方式：

Xi,j=rand·(high[j]-low[j])+low[j]

(19)

其中，i=1,2,…,N，j=1,2,…,D，high[j]與low[j]分別表示第j列的上界和下界。

(3) 量子編碼

對初始種群進(jìn)行量子編碼。

(4) 變異操作

(5)交叉操作

交叉操作可以增加種群多樣性，該操作按照公式(14)進(jìn)行。

(6)選擇操作

選擇操作保證更優(yōu)的后代生存到下一個世代，選擇操作的原則是按照最優(yōu)適應(yīng)度進(jìn)行，適應(yīng)度的計算是按照公式(15)進(jìn)行。綜上，基于QDE改進(jìn)的LSSVM算法流程圖如圖1所示。

圖1　QDE-LSSVM的算法流程圖

4算例分析

本文應(yīng)用MATLAB軟件編程實現(xiàn)了基于QDE改進(jìn)LSSVM的短期負(fù)荷預(yù)測，并結(jié)合實例對預(yù)測結(jié)果進(jìn)行分析。選取山西陽泉2013-5-01至2013-5-30的720個數(shù)據(jù)作為訓(xùn)練樣本，2013-5-31的數(shù)據(jù)作為測試樣本。該地區(qū)電網(wǎng)負(fù)荷受氣象因素影響較大，季節(jié)氣溫差異明顯，降水存在明顯的季節(jié)性變化，本文負(fù)荷預(yù)測考慮的相關(guān)因素包括：日分類A={0,0.8,1}，0表示樣本日為工作日(周一至周五)，0.8表示一般休息日(周六、周天)，1表示節(jié)假日(法定節(jié)假日與民間節(jié)日)；日溫度(日最高溫度，日最低溫度)；日降水量。

為了準(zhǔn)確評估預(yù)測模型，本文采用平均相對百分比誤差μMAPE與最大相對誤差μmax來衡量模型預(yù)測結(jié)果的可行性。前者可以衡量模型在每個數(shù)據(jù)點的平均預(yù)測能力，后者則能夠較好地衡量全天負(fù)荷預(yù)測值與實際值的接近度，μMAPE與μmax的計算方法如公式(20)與公式(21)所示。

(20)

(21)

如前文所述，LSSVM的參數(shù)選擇極大影響其預(yù)測的準(zhǔn)確性。本文在Matlab2013環(huán)境下采用LSSVMlabv1_8工具包，應(yīng)用tunelessvm語句計算出未經(jīng)過QDE優(yōu)化的LSSVM的參數(shù)為(r,σ2)=(0.464,172.5)。作為對比模型的BP神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為2-5-1，即輸入層有2個節(jié)點，隱含層有5個節(jié)點，輸出層有1個節(jié)點。設(shè)定BP神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)為1 000，學(xué)習(xí)率為0.5，目標(biāo)為0.000 04，由Matlab2013自帶工具包執(zhí)行。 經(jīng)過QDE優(yōu)化后的LSSVM的參數(shù)為(r,σ2)=(0.372,152.4)。

表1與圖2給出了QDE-LSSVM，LSSVM與BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測結(jié)果，在電力市場環(huán)境下，短期負(fù)荷預(yù)測于實際值的誤差應(yīng)在[-3% +3%]，從表1可以看出QDE-LSSVM的預(yù)測誤差范圍為[0.16% 2.09%]，LSSVM的預(yù)測誤差范圍為[0.44% 2.69%]，BP神經(jīng)網(wǎng)絡(luò)的預(yù)測誤差范圍為[0.08% 5.37%]，BP神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果中，有5個點的預(yù)測值誤差超過了規(guī)定的范圍，且從圖2中可以看出，BP神經(jīng)網(wǎng)絡(luò)的預(yù)測值波動性較大，不能滿足短期負(fù)荷預(yù)測要求的穩(wěn)定性原則。而經(jīng)過改進(jìn)的LSSVM模型最大預(yù)測誤差降低了0.6%，能夠滿足實際電力系統(tǒng)負(fù)荷預(yù)測的要求，通過圖2可以看出，QDE-LSSVM算法更加接近原始曲線。

表1　QDE-LSSVM與LSSVM，BPNN的預(yù)測結(jié)果比較

表2給出了3種預(yù)測方法的平均相對誤差與最大相對誤差，其中QDE-LSSVM的平均相對誤差最低，為1.06%；BP神經(jīng)網(wǎng)絡(luò)的平均相對誤差最高，為1.8%；而LSSVM的平均相對誤差介于這兩種方法之間，為1.61%。QDE-LSSVM的平均相對誤差比BP神經(jīng)網(wǎng)絡(luò)低0.74%。這表明，與BP神經(jīng)網(wǎng)絡(luò)相比，QDE-LSSVM在小樣本集合回歸問題上具有顯著優(yōu)勢。原因是LSSVM滿足結(jié)構(gòu)風(fēng)險最小化原則，具有較強的推廣能力，可以避免ANN法對訓(xùn)練樣本數(shù)量和質(zhì)量要求較高的不足。QDE-LSSVM的平均相對誤差比LSSVM低0.55%，這表明QDE-LSSVM的預(yù)測效率要優(yōu)于LSSVM。

圖2　QDE-LSSVM，LSSVM與BPNN預(yù)測結(jié)果比較曲線圖

QDE-LSSVMLSSVMBP神經(jīng)網(wǎng)絡(luò)μMAPE1.061.611.80μmax2.092.695.35

與其他優(yōu)化算法不同，QDE算法采用量子編碼方案，在進(jìn)行短期負(fù)荷預(yù)測時，能增加對解空間的遍歷能力，從而突破局部機制的陷阱。同時，個體未知的更新用量子旋轉(zhuǎn)門實現(xiàn)，充分發(fā)揮了量子計算的優(yōu)勢，與傳統(tǒng)的智能算法相比，具有較強的搜索能力與效率。因此，在算例中，與其他優(yōu)化算法相比，基于QDE改進(jìn)的LSSVM算法在精度上有明顯優(yōu)勢。

5結(jié)論

(1)根據(jù)確定LSSVM參數(shù)存在的問題，引入QDE對參數(shù)進(jìn)行優(yōu)化。實驗結(jié)果表明，提出的方法能夠自動提取識別效率高且收斂速度較快的參數(shù)。

(2)提出了應(yīng)用QDE-LSSVM法進(jìn)行短期負(fù)荷預(yù)測。實驗結(jié)果表明，與BP神經(jīng)網(wǎng)絡(luò)和LSSVM法相比，QDE-LSSVM算法能夠?qū)崿F(xiàn)較高的預(yù)測精度，驗證了所構(gòu)建模型的正確性和有效性。作為一種啟發(fā)式混合算法，本文所提出的方法能夠為智能電網(wǎng)制定科學(xué)合理的發(fā)電計劃提供一定的依據(jù)。

參考文獻(xiàn)：

[1]馬立新,鄭曉棟,尹晶晶. 主分量啟發(fā)式約簡算法的短期負(fù)荷預(yù)測[J]. 電力科學(xué)與工程,2015,31(1):27-30，43.

[2]張勇,白先紅,張勇軍,等. 基于AHP-GCA及多元線性回歸模型的電壓合格率預(yù)測[J]. 電力科學(xué)與工程,2014,30(5):1-5.

[3]張紅,金月,郭彥春. 改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)在短期負(fù)荷預(yù)測中的應(yīng)用[J]. 科技資訊,2014,29:89.

[4]張少迪. 基于PSO-BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測算法[J]. 現(xiàn)代電子技術(shù),2013,12:155-158，162.

[5]梁妮曉. 基于改進(jìn)果蠅算法優(yōu)化支持向量機的短期負(fù)荷預(yù)測[D].南寧：廣西大學(xué),2014.

[6]王新,孟玲玲. 基于EEMD-LSSVM的超短期負(fù)荷預(yù)測[J]. 電力系統(tǒng)保護與控制,2015,(1):61-66.

[7] 成天樂,周勝瑜,李斯,等. 基于極限學(xué)習(xí)機方法的短期負(fù)荷預(yù)測[J]. 電力科學(xué)與工程,2013,29(4):24-29.

[8]Beccali M, Cellura M, Lo Brano V, et al. Forecasting daily urban electric load profiles using artificial neural networks[J]. Energy Conversion and Management, 2004, 45(18): 2879-2900.

[9]Bashir Z A, El-Hawary M E. Applying wavelets to short-term load forecasting using PSO-based neural networks[J]. Power Systems, IEEE Transactions on, 2009,

24(1): 20-27.

[10]李順昕,秦礪寒,胥永蘭,等. 基于加權(quán)粒子群優(yōu)化的LSSVM的鋼鐵企業(yè)電力負(fù)荷預(yù)測[J]. 華北電力大學(xué)學(xué)報(自然科學(xué)版),2014,41(6):104-108.

[11]Yang C J, Zhang A H, Lu H W, et al. Load forecasting by considering wind power based on sequential time classification LSSVM model[J]. Advanced Materials Research, 2013, 712: 2437-2440.

Short-term Load Forecasting Based on Improved Least Squares-support Vector Machine

Sun Wei，Liu Mohan(School of Economics and Management, North China Electric Power University, Baoding 071003, China)

Abstract：To improve the accuracy of short-term load forecasting, this paper proposes least squares-support vector machine (LSSVM) short-term load forecasting approach optimized by quantum differential evolution (QDE) method. This paper overcomes blindness of least squares support vector machine algorithm that based on the experience of the selected parameters. Examples of verification results show that compared with BP neural network and simple least squares support vector machine algorithm, QDE-LSSVM has higher prediction accuracy which proves the efficiency of quantum-bit encoding in choosing the least squares support vector machine parameters. The proposed model is more suitable for the current needs of China’s short-term load.

Keywords：short-term load forecasting; parameter optimization; quantum differential evolution; least squares-support vector machine

作者簡介：孫薇(1962-)，女，教授，主要研究方向為電力市場、技術(shù)經(jīng)濟及管理等， E-mail：bdsunwei@126.com。

收稿日期：2015-07-10。

中圖分類號:TM715

文獻(xiàn)標(biāo)識碼:ADOI:10.3969/j.issn.1672-0792.2015.12.003