遲恩楠， 李春祥， 鄭曉芬

(1. 上海大學 土木工程系，上海 200444；2. 同濟大學 建筑工程系，上海 200092)

基于小波和乘法混合核函數(shù)LSSVM的順風向非高斯空間風壓預測

遲恩楠1， 李春祥1， 鄭曉芬2

(1. 上海大學 土木工程系，上海 200444；2. 同濟大學 建筑工程系，上海 200092)

提出了基于Marr小波核函數(shù)最小二乘支持向量機(Marr-LSSVM)的順風向非高斯空間風壓預測算法。通過傳統(tǒng)高斯核函數(shù)(RBF)和多項式核函數(shù)(Poly)的乘法運算，提出了Poly*RBF-LSSVM(MK-LSSVM)的空間風壓預測算法。運用粒子群優(yōu)化(PSO)算法，對Marr-LSSVM、傳統(tǒng)單核CSK-LSSVM和MK-LSSVM的懲罰參數(shù)、核函數(shù)參數(shù)、權重、尺度因子進行優(yōu)化，建立基于智能優(yōu)化的非高斯空間風壓預測算法；以30 m和50 m處模擬順風向風壓時程作為輸入樣本，使用提出的預測算法對40 m處風壓時程進行了預測。數(shù)值分析表明，Marr-LSSVM、MK-LSSVM比CSK-LSSVM具有明顯高的非高斯風壓預測性能。

預測；順風向非高斯風壓；小波核函數(shù)；乘法混合核函數(shù)；最小二乘支持向量機；粒子群優(yōu)化

基于數(shù)據(jù)驅動技術的樣本學習、訓練為信號預測提供了一個可行的途徑。目前，信號預測主要有時間序列、人工神經(jīng)網(wǎng)絡、支持向量機等方法[1-5]。然而，這些方法都存在理論上或應用上的不足。例如，時問序列方法，高階模型參數(shù)估計難度大、低階模型預測精度低。人工神經(jīng)網(wǎng)絡作為一種常規(guī)的數(shù)據(jù)驅動算法，具有逼近任意非線性函數(shù)的能力，可以映射出序列問題復雜的非線性關系，從而在信號預測中得到廣泛應用。然而，傳統(tǒng)的人工神經(jīng)網(wǎng)絡存在一些問題：運行時問長，容易陷入局部極小等。支持向量機(Support Vector Machine，SVM)通過核函數(shù)定義的非線性變換將輸入空間變換到一個高維空間，在這個高維空間中尋找輸入變量和輸出變量之間的一種線性關系，解決了“維數(shù)災難”問題。然而，核函數(shù)的選擇和參數(shù)優(yōu)化決定了SVM的特性。非高斯空間風壓數(shù)據(jù)在高維特征空間分布不平坦，具有尖刺特征。顯然，常規(guī)(既傳統(tǒng)的)的核函數(shù)對非高斯空間風壓樣本的處理可能不合理。為提升非高斯空間風壓的預測精度，本文根據(jù)小波分析理論，構造出滿足Mercer平移不變核定理的小波核函數(shù)，建立基于Marr小波核函數(shù)最小二乘支持向量機(Marr-LSSVM(Least Squares Support Vector Machines))的非高斯空間風壓預測算法；同時，利用Hilbert空間運算的封閉性，通過傳統(tǒng)高斯核函數(shù)(Radial Basis Function, RBF)和多項式核函數(shù)(Poly)的乘法運算，建立基于乘法混合核函數(shù)LSSVM(MK-LSSVM)的非高斯空間風壓預測算法。

1 最小二乘支持向量機(LSSVM)

給定訓練樣本集T={(xi,yi)|xi∈Rn,yi∈R,i=1,2,…,l}，Suykens等[6]根據(jù)正則化理論改變標準SVM的約束條件和風險函數(shù)，即不敏感損失函數(shù)被誤差的二次平方項代替而作為損失函數(shù)，不等式約束條件轉變成等式約束條件。因此，LSSVM將求解二次規(guī)劃問題轉化成求解式(1)線性方程組。

s.t.[yi-(ω·Ψ(xi)+b)=ei],i=1,2,3,…,l

(1)

式中：ω為權向量；b為偏置項；C為懲罰參數(shù)；ei∈R為誤差，e∈Rl×l為誤差向量。為解決式(1)的優(yōu)化問題，構造Lagrange函數(shù)

(2)

對式(2)求偏導，并根據(jù)最優(yōu)化理論中的KKT(Karush-Kuhn-Tucher)條件，得到式(3)和約束條件

(3)

設α=[α1,α2,…，αl]T，Q=[1,1,…,1]T，Y=[y1,y2,…,yl]T，I為單位矩陣。聯(lián)立求解方程組，消去ω和ei，則式(3)的解為

(4)

最后，得到LSSVM的回歸模型

(5)

式中，K為核函數(shù)矩陣，其中元素k(xi,xj)=Ψ(xi)×Ψ(xj)。

2 LSSVM的核函數(shù)及發(fā)展

由式(5)可知，核函數(shù)是支持向量機的核心。核函數(shù)的引入巧妙地避開了高維空間數(shù)學運算復雜度的問題，使得支持向量機可以在較少的樣本下有效地處理高維問題。

傳統(tǒng)的單一核函數(shù)(Conventional Single Kernel, CSK)。核函數(shù)研究表明，對于特定的核函數(shù)，在給定樣本集中的任意一個樣本都可能成為一個支持向量。這就意味著在一個核函數(shù)下觀察到的特征在其它核函數(shù)下并不能保持[7]。因此，對解決具體問題來說，選擇合適的核函數(shù)是非常重要的。核函數(shù)在數(shù)學上必須滿足Mercer條件，傳統(tǒng)的核函數(shù)分為兩大類：局部核和全局核[8-9]。局部核的二維圖形表現(xiàn)為鐘形特征，即當輸入向量x和y相距較遠時，對應的核估計值將變得非常小甚至為0，具有很好的局部學習能力，插值能力較強，例如高斯核函數(shù)(RBF)

(6)

式中，σ為RBF核寬度。

全局核考慮所有輸入樣本數(shù)據(jù)在特征空間的點積作用，因此它有著良好的全局性質，泛化能力出眾，例如多項式核函數(shù)(Poly)

KPoly(x,y)=[(x·y)+1]q

(7)

式中，q為Poly核階數(shù)。

單一小波核函數(shù)(Wavelet Kernel, WK)。根據(jù)小波分析理論，對母小波函數(shù)h(x)進行伸縮和平移，可以得到與母小波相似的副本[10-11]，即

(8)

式中：a為尺度因子；b為平移因子。

根據(jù)式(8)構造滿足Mercer平移不變核定理小波核函數(shù)，即平移不變核函數(shù)K(x,y)=K(x-y)是一個允許支持向量核，當且僅當K(x)的傅里葉變換

(9)

則由該函數(shù)生成的Mercer平移不變核函數(shù)為

(10)

選定常用的母小波有：Marr小波函數(shù)

(11)

為證明滿足Mercer平移不變核定理，將式(11)代入式(9)可得到

(12)

則對于所有ω均有式(13)的F[k](ω)≥0，所以Marr小波核函數(shù)為支持向量機允許核函數(shù)。將式(11)代入式(10)可生成Mercer平移不變核的Marr小波核函數(shù)

(13)

乘法混合核函數(shù)(Multiplicative Mixed Kernel, MK)。支持向量機核函數(shù)是在完備的內(nèi)積空間定義的，其在希爾伯特空間的乘積運算屬于封閉運算，其結果仍屬于希爾伯特空間[12-13]。根據(jù)Mercer條件，設K1和K2是χ×χ(χ?Rn)上的核函數(shù)，則式(14)對核函數(shù)的混合仍為支持向量機允許核函數(shù)。

K(x,y)=K1(x,y)·K2(x,y)

(14)

根據(jù)式(13)和式(14)，結合局部核RBF和全局核Poly兩種核函數(shù)的優(yōu)勢，構造混合核函數(shù)，使其兼具局部核函數(shù)和全局核函數(shù)的特征，以此提高學習精度?；旌虾撕瘮?shù)具體構造為

Poly*RBF組合

(15)

式中，a為核權重系數(shù)，a∈[0,1]。

由式(15)所建立的多核混合矩陣為對稱矩陣，具有下列性質。

(16)

綜上，本文根據(jù)小波分析理論，建立了滿足Mercer平移不變核定理的Marr小波核函數(shù)KMarr；為改進傳統(tǒng)單核CSK-LSSVM預測精度不高的缺陷，構造基于乘法運算的混合核函數(shù)K*。

3 非高斯空間風壓的預測算法

將順風向非高斯風壓樣本進行歸一化處理后，輸入到核函數(shù)中，形成核函數(shù)矩陣，即將非高斯風壓樣本映射到高維特征空間。在特征空間，對核函數(shù)矩陣實施各種線性算法，以建立順風向非高斯風壓的預測算法。根據(jù)上述核函數(shù)，表1給出了SK-LSSVM和MK-LSSVM的非高斯風壓預測算。

表1 SK-LSSVM和MK-LSSVM非高斯風壓預測算法

Fig.1 SK-LSSVM and MK-LSSVM algorithms for the prediction of non-Gaussian wind pressure

模型核函數(shù)形成方式核函數(shù)表達式SK-LSSVM(單核)CSK-LSSVM(傳統(tǒng)單核)RBFPoly式(6)式(7)Marr-LSSVM(小波核)Marr式(13)MK-LSSVM(混合核)Poly*RBF-LSSVM(乘法混合)式(15)

采用PSO優(yōu)化算法，對表1中的SK-LSSVM和MK-LSSVM參數(shù)進行優(yōu)化，以建立PSO-CSK-LSSVM、PSO-WLSSVM(PSO-Marr-WLSSVM)和PSO-MK-LSSVM(PSO-Poly*RBF-LSSVM)預測算法。圖1給出了非高斯空間風壓預測算法流程。

圖1 順風向非高斯空間風壓預測算法的流程

Fig.1 Flowchart of algorithms for the prediction of non-Gaussian spatial along-wind pressure

4 預測算法的數(shù)值驗證

考慮某160 m高的超高層建筑，每隔10 m選為非高斯風壓模擬點，以獲得不同高度處的非高斯風壓時程，本文僅考慮順風向風荷載。脈動風速譜采用Kaimal譜，脈動風速互功率譜為

(17)

在順風向風荷載作用下，根據(jù)“準定?！崩碚撛O風壓目標邊緣概率分布函數(shù)為對數(shù)正態(tài)分布，則風壓目標功率譜函數(shù)為

(18)

根據(jù)上述風速風壓公式和表2的相關模擬參數(shù)，采用無記憶非線性轉換方法[14-15]模擬生成30 m和50 m處1 000 s順風向非高斯風壓樣本，如圖2所示。

表2 數(shù)值模擬參數(shù)

(a) h=30 m

基于智能優(yōu)化SK-LSSVM和MK-LSSVM的非高斯風壓預測步驟如下：

步驟1 設30 m和50 m處的風壓時程為輸入樣本，而40 m處的風壓時程作為輸出。將1 000 s的非高斯風壓樣本數(shù)據(jù)分成兩部分：前500 s的風壓數(shù)據(jù)作為學習訓練樣本，后500 s的風壓數(shù)據(jù)作為預測驗證樣本。對40 m處的后500 s非高斯風壓進行預測。

步驟2 設PSO粒子種群規(guī)模M=30，迭代次數(shù)K=150，隨機產(chǎn)生粒子初始位置和初始速度，確定核函數(shù)待優(yōu)化參數(shù)的取值范圍，如表3所示。其中，對Poly核，取q=3以達到全局擬合能力與計算時間的折衷。

表3 核參數(shù)的取值范圍

步驟3 輸入訓練樣本數(shù)據(jù)，利用核函數(shù)將非高斯風壓樣本映射到高維特征空間，建立LSSVM預測算法。計算每個粒子的適應度，通過粒子自身適應度與自身最佳適應度值和群體最優(yōu)適應度值的比較，不斷地更新粒子的速度和位置，獲得最優(yōu)參數(shù)，從而建立基于表1中4種核函數(shù)的最優(yōu)LSSVM算法。于是，對后500 s采樣時間點的非高斯風壓進行預測。

使用提出的Marr-WLSSVM和MK-LSSVM算法對40 m處的后500 s非高斯風壓進行預測，同時給出CSK-LSSVM(包括RBF-LSSVM和Poly-LSSVM)的預測結果作為對比。非高斯風壓時程的預測值，如圖3所示，自相關函數(shù)的對比，如圖4所示；訓練集和預測集的評價指標對比，如圖5所示；訓練集和預測集的偏度、峰度對比如表4和表5所示。

(a)

(b)

從這些結果可看出，核函數(shù)的選取對LSSVM預測效果有較大的影響。無論是訓練集還是預測集，CSK-LSSVM的風壓預測結果精度較差；特別，從預測風壓的自相關函數(shù)(見圖4)看，CSK-LSSVM的結果與模擬值擬合較差，存在很大的誤差。根據(jù)評價指標(見圖5)，無論是訓練集還是預測集，MK-LSSVM和Marr-LSSVM的MAE和RMSE比CSK-LSSVM的下降很多。以預測集的風壓為例，MK-LSSVM較RBF-LSSVM的MAE由15.165降為6.506，RMSE由20.527降為8.081，誤差下降幅度分別為57%和60%；Marr-LSSVM也是如此。同時，雖然預測集風壓的相關系數(shù)R=0.904(RBF-LSSVM)、R=0.920(Poly-LSSVM)都達到0.9以上，但與MK-LSSVM(R=0.986)和Marr-LSSVM(R=0.967)相比，其精度依然有待提高。其主要原因是：RBF核有局部性，學習能力很強但泛化能力較弱，導致其預測結果誤差很大；而Poly核為全局核，雖然有較強的泛化能力，但是對數(shù)據(jù)信號的局部分析能力較弱，不能滿足預測完整風壓時程精度的要求。

(a)

(b)

Fig.4 Autocorrelation functions, respectively, corresponding to predicted and simulated wind pressure time histories at 40 m

(a) 訓練集

(b) 測試集

Fig.5 Prediction performance index for training and testing data set(at 40 m)

非高斯風壓的最顯著特征是高階矩，即偏度(三階)和峰度(四階)。表4給出了訓練集中模擬風壓的偏度為0.929、峰度為4.498，而4種核函數(shù)的訓練集結果呈現(xiàn)：MK-LSSVM和Marr-LSSVM的訓練集結果與模擬風壓的非常接近。表5給出預測集中模擬風壓的偏度為0.98、峰度為4.925，而4種核函數(shù)的預測集結果顯示：MK-LSSVM和Marr-LSSVM的預測集結果與模擬風壓能較好吻合。偏度和峰度的比較再次表明MK-LSSVM和Marr-LSSVM的預測精度更好。這主要是由于MK核利用Hilbert空間乘法運算的包閉性質，融合了RBF與Poly的優(yōu)點，既具有很強的學習能力也同時具備了強的泛化能力；而Marr小波核函數(shù)具有稀疏變化和尺度分析性質，能夠提升預測算法的精度。

表4 40 m處訓練集風壓和模擬風壓的峰度和偏度

Fig.4 Kurtosis and skewness, respectively, corresponding to training data set and simulated wind pressure time histories at 40 m

指標模擬風壓RBF-LSSVMPoly-LSSVMMK-LSSVMMarr-LSSVM峰度4.4983.5634.2804.6124.597偏度0.9290.8240.8810.9600.928

表5 40 m處預測集風壓和模擬風壓的峰度和偏度

Fig.5 Kurtosis and skewness, respectively, corresponding to testing data set and simulated wind pressure time histories at 40 m

指標模擬風壓RBF-LSSVMPoly-LSSVMMK-LSSVMMarr-LSSVM峰度4.9254.3875.2084.7024.651偏度0.9800.9160.9030.9780.948

5 結 論

提出了Marr-LSSVM和MK-LSSVM的順風向非高斯空間風壓預測算法。數(shù)值結果表明，Marr-LSSVM核函數(shù)具有小波的局部化、多層次的優(yōu)點，其預測精度相較于CSK-LSSVM有很大的提升，可以作為機器學習的一種新的有效單核函數(shù)。MK-LSSVM能夠在RBF核函數(shù)的作用下有具有很好的學習能力(訓練誤差小)，同時也在Poly核函數(shù)的作用下有很強的泛化能力(測試誤差小)，從而使預測誤差較Marr-LSSVM進一步下降，預測性進一步提升。因此，提出的Marr-LSSVM和MK-LSSVM能夠為結構風工程設計和分析提供完整可靠的空間風壓時程，具有較高的工程應用價值。

[1] 張華，曾杰. 基于支持向量機的風速預測模型研究[J]. 太陽能學報，2010, 31(7): 928-931.

ZHANG Hua, ZENG Jie. Research on wind speed forecasting model based on support vector machine[J]. Journal of Solar Energy, 2010, 31(7): 928-931.

[2] 張廣明，袁宇浩，龔松建. 基于改進最小二乘支持向量機方法的短期風速預測[J]. 上海交通大學報，2011, 45(8): 1125-1129.

ZHANG Guangming, YUAN Yuhao, GONG Songjian. Short term wind speed forecasting based on improved least square support vector machine method[J]. Journal of Shanghai Jiao Tong University, 2011, 45(8): 1125-1129.

[3] QU Wenglong，F(xiàn)AN Guangquan，YANG Bingru. Research on complicated time series prediction based on support vector machines[J]. Computer Engineering，2005, 23(12): 1-2.

[4] RAJASEKARAN S, GAYATHRI S, LEE T L. Support vector regression methodology for storm surge predictions[J]. Ocean Engineering，2008, 35(16): 1578-1587.

[5] CHEN T T, LEE S J. A weighted LS-SVM based learning system for time series forecasting[J]. Information Science, 2015, 299: 99-116.

[6] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300.

[7] ZHANG Yin, DAI Miaolin, JU Zhimin. Preliminary discussion regarding SVM kernel function selection in the twofold rock slope prediction model[J]. Computing in Civil Engineering, 2015, 30(3): 04015031.

[8] CHEN W J, WANG J. Application of support vector machine in industrial process[J]. Computers and Applied Chemistry, 2005, 22: 195-200.

[9] 趙晨暉. 基于混合和函數(shù)支持向量機的基金投資決策研究[D]. 廣東：華南理工大學，2012.

[10] NOURISOLA H, AHMADI B. Robust adaptive H∞controller based on GA-Wavelet-SVM for nonlinear vehicle suspension with time delay actuator[J]. Journal of Vibration and Control, 2015, 10:1-10.

[11] 李坤，譚夢羽. 基于小波支持向量機回歸的股票預測[J]. 統(tǒng)計與決策，2014(6)：32-36.

LI Kun, TAN Mengyu. Stock forecasting based on wavelet support vector machine regression[J]. Statistics and Decision Making, 2014(6): 32-36.

[12] CHEN Fafa，TANG Baoping，SONG Tao，et al. Multi-fault diagnosis study on roller bearing based on multi-kernel support vector machine with chaotic particle swarm optimization[J]. Measurement，2014, 47(1): 576-590.

[13] WU Peng, DUAN Fuqing, GUO Ping. A pre-selecting base kernel method in multiple kernel learning[J]. Neurocomputing, 2015, 165: 47-52.

[14] 羅俊杰，蘇成，韓大建. 高斯/非高斯混和隨機風壓場的模擬方法[J]. 振動與沖擊，2012，31(10)： 111-117.

LUO Junjie, SU Cheng, HAN Dajian. Simulation methodology for stochastic wind pressure field composed of gaussian and non-gaussian regions[J]. Journal of Vibration and Shock, 2012, 31(10): 111-117.

[15] 李錦華. 非高斯隨機過程模擬算法研究[D]. 上海：上海大學, 2010.

Forecasting non-Gaussian spatial along-wind pressure using wavelet kernel and multiplicative mixed kernel functions based LSSVM

CHI Ennan1, LI Chunxiang1, ZHENG Xiaofen2

(1. Department of Civil Engineering, Shanghai University, Shanghai 200444, China; 2. Department of Structural Engineering, Tongji University, Shanghai 200092, China)

Here, Marr wavelet kernel-based least squares support vector machines (LSSVM) referred to as Marr-LSSVM, was proposed to predict along-wind non-Gaussian spatial wind pressure. Through multiplication operation of the conventional radial basis function (RBF) kernel and polynomial kernel, Poly*RBF-LSSVM was then proposed, it was called the multiplicative mixed kernel MK-LSSVM. By using the particle swarm optimization (PSO) algorithm, optimizations were implemented for penalty parameters, kernel parameters, weights, and scale factors of Marr-LSSVM, conventional single kernel CSK-LSSVM, and MK-LSSVM, thus the non-Gaussian spatial wind pressure forecasting algorithms were built based on intelligent optimization. The simulated along-wind pressures at 30 m and 50 m were taken as input samples, the wind pressure at 40 m was then predicted using the proposed algorithms. The numerical analyses demonstrated that Marr-LSSVM and MK-LSSVM can provide an obvious higher performance to predict the non-Gaussian spatial wind pressure than CSK-LSSVM can.

forecasting; non-Gaussian spatial along-wind pressure; wavelet kernel functions; multiplicative mixed kernel functions; least squares support vector machines; particle swarm optimization

國家自然科學基金(51378304)

2015-12-22 修改稿收到日期：2016-03-01

遲恩楠 男，碩士生，1989年生

鄭曉芬 女，博士，講師，1963年生

TU311

A

10.13465/j.cnki.jvs.2017.09.018