洪 洲

(廣州城市職業(yè)學(xué)院信息技術(shù)系，廣州510405)

最小二乘支持向量機(jī)在線建模在預(yù)測控制中的應(yīng)用*

洪 洲*

(廣州城市職業(yè)學(xué)院信息技術(shù)系，廣州510405)

針對智能預(yù)測控制中的預(yù)測模型，提出了最小二乘支持向量機(jī)(LS-SVM)在線模型的遞推算法，減少了矩陣求逆計(jì)算。當(dāng)模型達(dá)到較高的精度后，每次迭代過程中當(dāng)一個新的數(shù)據(jù)點(diǎn)加入到數(shù)據(jù)集，則把具有最小|αi|的數(shù)據(jù)點(diǎn)刪除。不但解決了數(shù)據(jù)集規(guī)模的問題，而且提高了預(yù)測模型的精確性。通過仿真驗(yàn)證了基于在線LS-SVM模型的預(yù)測控制可以使系統(tǒng)快速、準(zhǔn)確地跟蹤期望輸出，達(dá)到預(yù)期的控制效果。

LS-SVM;在線建模;預(yù)測控制;預(yù)測模型

預(yù)測模型在工業(yè)過程的預(yù)測控制中起到舉足輕重的作用，模型的精確度越精確，優(yōu)化控制質(zhì)量就越高。:實(shí)際過程中，由于系統(tǒng)工作域的遷移，使得離線數(shù)據(jù)樣本所建立的模型并不能準(zhǔn)確描述系統(tǒng)的實(shí)際狀況.為了使模型能夠準(zhǔn)確反應(yīng)系統(tǒng)的當(dāng)前狀態(tài)，應(yīng)不斷利用所獲得的最新數(shù)據(jù)建立能夠反映系統(tǒng)當(dāng)前狀況的新模型.即采用在線建模的方法。

1 LS-SVM在線建模遞推算法

在LS-SVM中，用

來表示對象的模型，α和b是待定參數(shù)，求解方法是根據(jù)結(jié)構(gòu)風(fēng)險最小化原則，并使樣本擬合誤差最小化，把約束優(yōu)化問題變成無約束優(yōu)化問題，建立Lagrange函數(shù)，根據(jù)KKT條件，可得到線性方程組:

其中γ為調(diào)整參數(shù)因子。

K(xi，xj)是滿足Mercer條件的核函數(shù)，常用的是徑向基函數(shù)。

通過訓(xùn)練數(shù)據(jù)集{(xi，yi)}Ni=1，求解方程(3)來確定參數(shù)α和b。

就在線建模而言，需要不間斷的增添新的數(shù)據(jù)到訓(xùn)練集中去，模型才可以實(shí)時的得以校正來適應(yīng)新的對象特性改變，所以訓(xùn)練數(shù)據(jù)會被增加。LSSVM需要計(jì)算矩陣Φ-1，該矩陣的維數(shù)與訓(xùn)練數(shù)據(jù)量相等，在線建模過程中，Φ維數(shù)必然隨著訓(xùn)練數(shù)據(jù)的增加而增長，矩陣求逆計(jì)算量非常大，所以不適用于在線建模［1］。

為了LS-SVM應(yīng)用于在線建模，可采用一種遞推最小二乘支持向量機(jī)回歸算法:當(dāng)訓(xùn)練數(shù)據(jù)增加時，可采用上次計(jì)算得到的參數(shù)遞推得加入新數(shù)據(jù)后的參數(shù)，可以減少矩陣求逆計(jì)算［2］。具體算法如下:

假設(shè)數(shù)據(jù)集大小為N時得到的模型參考矩陣為ΘN=［b α］T，令PN=Φ-1N，當(dāng)一個新的數(shù)據(jù)點(diǎn){xN+1，yN+1}加入到數(shù)據(jù)集時

遞推LS-SVM算法避免了大矩陣求逆，節(jié)省了計(jì)算時間［3］。但模型參數(shù)維數(shù)是隨著訓(xùn)練數(shù)據(jù)線性增長，同時要保存所有的訓(xùn)練數(shù)據(jù)和Φ-1N。對于連續(xù)運(yùn)行的對象，在線建模要進(jìn)行下去，關(guān)鍵的問題是解決數(shù)據(jù)集規(guī)模的問題［4］。

經(jīng)過一定量的遞推計(jì)算后，訓(xùn)練后的模型達(dá)到較高的精度后，建模過程應(yīng)保持訓(xùn)練數(shù)據(jù)集大小不變。即如果一個新的數(shù)據(jù)點(diǎn)加入到數(shù)據(jù)集，則同時刪除原數(shù)據(jù)集中的一個數(shù)據(jù)，數(shù)據(jù)集總量保持不變。數(shù)據(jù)集中對于建模的重要程度可通過Lagrange乘子絕度值的大小|αi|反映出來，|αi|越小，對建模越無關(guān)緊要。因此在每次迭代過程中，把具有最小|αi|的數(shù)據(jù)點(diǎn)刪除［5］。具體算法如下:

假定當(dāng)前的數(shù)據(jù)集為{(xi，yi)}Ni=1，令

當(dāng)數(shù)據(jù)集中最后一組數(shù)據(jù){xN+1，yN+1}被刪除時，

其算法實(shí)際是增加數(shù)據(jù)點(diǎn)推算法的逆過程［6］。

2 在線LS-SVMM建模的方法

(1)選取恰當(dāng)?shù)暮撕瘮?shù)與相應(yīng)的參數(shù)，確定輸入階數(shù)nu和輸出階數(shù)ny與采樣周期T0以及訓(xùn)練數(shù)據(jù)集的最大維數(shù)Nmax，還有性能指標(biāo)中的參數(shù)γ和核函數(shù)的參數(shù)。

(2)對系統(tǒng)施加輸入u，采樣Nmax組輸入輸出數(shù)據(jù){yk，xk}Nmaxk=1，構(gòu)造初始的回歸向量xk(k=1，2，…，Nmax)，形成初始訓(xùn)練集{yk，xk}Nmaxk=1，根據(jù)式(2)和式(3)分別計(jì)算得出模型的參數(shù)值PNmax與ΘNmax。

(3)新采樣時刻k+1采樣輸入輸出數(shù)據(jù){yk+1，uk+1}構(gòu)造新的回歸向量xk+1得到新的訓(xùn)練數(shù)據(jù)。

(4)把PNmax和核函數(shù)代入式(6)～式(8)計(jì)算ψN+1，ζN+1和 ηN+1，根據(jù)式(4)、式(5)計(jì)算新的ΘN+1和PN+1。

(5)從上次運(yùn)算獲得的Lagrange乘子里找出最小|αi|相對應(yīng)的序數(shù)I，在α中刪除αi在數(shù)據(jù)集里刪除(yi，xi)，設(shè)P11是矩陣PN+1除掉p11以后的方陣，P12是矩陣PN+1第I列除掉p11后列向量，P21是矩陣PN+1第I行除掉p11后的行向量，P22=p11，根據(jù)式(10)、式(11)計(jì)算Φ-1N，確定當(dāng)前模型。轉(zhuǎn)步驟(3)。

為檢驗(yàn)在線建模與離線建模模型的精確性，以簡單的非線性函數(shù)y=x sin(3πx)，x∈［1，10］作為建模對象，隨機(jī)取該函數(shù)的400組數(shù)據(jù)。對于離線建模取其中200組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，最后100組數(shù)據(jù)作為測試數(shù)據(jù)。在線建模采用300組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，按照上述方法保持向量機(jī)的維數(shù)200不變，用相同的100組數(shù)作為測試數(shù)據(jù)。兩種模型預(yù)測誤差如下圖1所示。表明在線模型能更好的預(yù)測輸出，其精度大于離線模型，這種算法是有效的。

圖1 預(yù)測誤差

3 基于在線LS-SVM模型的廣義預(yù)測控制仿真

預(yù)測控制源于工業(yè)實(shí)踐，并在實(shí)踐中發(fā)展和完善起來的一類計(jì)算機(jī)控制算法，具有鮮明的特征，是一種基于預(yù)測模型、滾動優(yōu)化并結(jié)合反饋校正的優(yōu)化控制算法［7］，其基本結(jié)構(gòu)如圖2所示。

圖2 預(yù)測控制的基本結(jié)構(gòu)

預(yù)測控制中作為基礎(chǔ)的預(yù)測模型，是對象動態(tài)特性的粗略描述，實(shí)際中不可能獲得精確的數(shù)學(xué)模型，因?yàn)閷?shí)際系統(tǒng)存在的非線性、時變、模型適配和干擾等不確定因素，基于不變模型的預(yù)測不可能準(zhǔn)確地與實(shí)際情況完全符合，這就需要對基礎(chǔ)模型進(jìn)行在線修正。本文利用LS-SVM在線建模作為預(yù)測模型，提高預(yù)測模型的精度。

假設(shè)被控對象的CARMA模型為:

式中y(k)、u(k)和ξ(k)分別表示輸出、控制量和白噪聲，d為純延時，n=2，m=5，i=1，其他各個參數(shù)未知。采用廣義預(yù)測控制自適應(yīng)算法，利用 LSSVM在線建模作為預(yù)測模型。訓(xùn)練數(shù)據(jù)集最大維數(shù)為200，核函數(shù)采用徑向基函數(shù)，參數(shù)σ=1.77，γ =5，控制參數(shù)N=8，控制加權(quán)矩陣為單位陣I5×5，輸出柔化系數(shù)α=0.7;期望輸出ω(k)為幅值為10的方波信號，仿真結(jié)果如圖3所示。

從圖3我們能夠看出，基于在線LS-SVM模型的預(yù)測控制，系統(tǒng)能夠準(zhǔn)確、快速地跟蹤期望輸出。

4 結(jié)論

LS-SVM模型參數(shù)的遞推計(jì)算方法，可以使當(dāng)前時刻的模型非?？斓匕凑丈弦粫r刻的結(jié)果計(jì)算獲得，可以應(yīng)用到工業(yè)對象的在線建模。然而因?yàn)樾碌男畔⑦B續(xù)不斷加入到訓(xùn)練數(shù)據(jù)集，這樣就使在線模型的精確性比離線算法高。將其運(yùn)用至廣義預(yù)測控制里可以解決其中的非線性建模問題和提高控制質(zhì)量。

圖3 在線建模預(yù)測控制效果

［1］劉毅，王海清，李平.局部最小二乘支持向量機(jī)回歸在線建模方法及其在間歇過程的應(yīng)用［J］.化工學(xué)報，2007，11:2846 -2851.

［2］張浩然，汪曉東.回歸最小二乘支持向量機(jī)的增量和在線學(xué)習(xí)算法［J］.計(jì)算機(jī)學(xué)報，2006，29:400-406.

［3］Goethals I，Pelckmans K，Suykens JA.Identification ofmimohammersteinmodels using least squares support vectormachine［J］.Automatica，2005，41:1263-1272.

［4］Ke Y，Yiyu C.Discriminating the Genuinenessof Chinese Medicines Using Least Surares Support Vector Machines［J］.Chinese Uournal of Analytical Chemistry，2006，34(4):561-564.

［5］Comak E，Polat K，Gunes S.A New Medical Decision Making System:Least Square Support Vector Machine(LSSVM)with Fuzzy Weighting Preprocessing［J］.Expert Systems with Applications，2007，32:409-414.

［6］張英，蘇宏業(yè).基于模糊最小二乘支持向量機(jī)的軟測量建模［J］.控制與決策，2005，20(6):621-624.

［7］龐中華，金元郁.基于誤差校正的預(yù)測控制算法［J］.化工自動化及儀表，2005，32(2):1-4.

Application of LS-SVM On-Line M odeling in Predictive Control*

Hong Zhou*
(Department of Information Technology，Guangzhou City Polytechnic，Guangzhou 510405，China)

Aiming at the predictionmodel in intelligent predictive control，the recursive algorithm of LS-SVM on-line modeling was put forward.which reducing the calculation of inversematrix.After the onlinemodel achieved to high accuracy，it removed with the smallest|αi|data pointwhen a new data pointare added to the data set in each iteration process，Itwas not only solved the problem of the size of the data set but also improved the accuracy of prediction model.The simulate result shows that the predictive control based on LS-SVM on-linemodeling could tracking the expected output rapidly and stably，and achieving anticipated control effect.

LS-SVM;on-linemodeling;predictive control;prediction model

10.3969/j.issn.1005-9490.2014.01.037

TP18 文獻(xiàn)標(biāo)識碼:A 文章編號:1005-9490(2014)01-0154-03

項(xiàng)目來源:廣東省哲學(xué)社會科學(xué)“十二五”規(guī)劃項(xiàng)目(GD11YJY01);廣州市教育局資助廣州市教育科學(xué)“十二五”規(guī)劃項(xiàng)目(11B016)

2013-04-21修改日期:2013-05-22

EEACC:7210

洪 洲(1979-)，男，漢族，江西東鄉(xiāng)人，碩士，副教授，主要研究方向?yàn)锳-gent軟件技術(shù)、計(jì)算虛擬化、人工智能。