吳沛冬　萇道方　陸后軍　高銀萍

摘要：

為解決標(biāo)準(zhǔn)支持向量回歸（support?vector?regression，?SVR）在預(yù)測港機(jī)剩余使用壽命時(shí)，誤差程度不同的數(shù)據(jù)會被施以相同程度的懲罰，從而導(dǎo)致預(yù)測精度不足的問題，通過對每個(gè)數(shù)據(jù)的懲罰系數(shù)添加各自的誤差比例，使每個(gè)數(shù)據(jù)的懲罰系數(shù)與各自的誤差程度成比例，降低誤差數(shù)據(jù)對整體預(yù)測精度的影響。實(shí)驗(yàn)表明，這種改進(jìn)SVR相對于標(biāo)準(zhǔn)SVR在不降低計(jì)算效率的前提下能有效提高預(yù)測精度，并擁有良好的泛化能力。

關(guān)鍵詞：

支持向量回歸（SVR）;?剩余使用壽命;?懲罰系數(shù);?預(yù)測精度

中圖分類號：U691.5

文獻(xiàn)標(biāo)志碼：A

Prediction?of?remaining?useful?life?of?port?machine?based?on

improved?support?vector?regression

WU?Peidonga，?CHANG?Daofanga，?LU?Houjunb，?GAO?Yinpinga

（a.Institute?of?Logistics?Science?&?Engineering;?b.Logistics?Engineering?College，

Shanghai?Maritime?University，?Shanghai?201306，?China）

Abstract：

When?the?standard?support?vector?regression?（SVR）?is?adopted?to?protect?the?remaining?useful?life?of?port?machine，?the?data?with?different?degrees?of?error?are?given?the?same?degree?of?punishment，?which?leads?to?insufficient?prediction?accuracy.?In?order?to?solve?the?problem，?the?respective?error?ratio?is?added?to?the?penalty?coefficient?of?each?data，?so?that?the?penalty?coefficient?of?each?data?is?proportional?to?the?respective?error?degree，?and?the?influence?of?the?error?data?on?the?overall?prediction?accuracy?is?reduced.?Experiments?show?that，?this?improved?SVR?can?effectively?improve?the?prediction?accuracy?and?have?good?generalization?ability?compared?with?the?standard?SVR?without?reducing?the?computational?efficiency.

Key?words：

support?vector?regression?（SVR）;?remaining?useful?life;?penalty?coefficient;?prediction?accuracy

收稿日期：?2018-12-17

修回日期：?2019-03-25

基金項(xiàng)目：?上海臨港地區(qū)智能制造產(chǎn)業(yè)專項(xiàng)（ZN2018010105）

作者簡介：

吳沛冬（1995—），男，江蘇南通人，碩士研究生，研究方向?yàn)闄C(jī)器學(xué)習(xí)，（E-mail）419224205@qq.com;

萇道方（1978—），男，河南封丘人，教授，博導(dǎo)，博士，研究方向?yàn)楣?yīng)鏈設(shè)計(jì)與運(yùn)營、物流系統(tǒng)運(yùn)作與優(yōu)化，

（E-mail）changdaofang@126.com

0?引?言

隨著港機(jī)設(shè)備不斷地更新?lián)Q代，它們的使用和維護(hù)成本也在不斷增加，這導(dǎo)致大部分港機(jī)制造企業(yè)開始由即時(shí)維護(hù)策略向預(yù)測性維護(hù)策略進(jìn)行轉(zhuǎn)變，以此來降低維護(hù)成本[1]。預(yù)測性維護(hù)能夠根據(jù)設(shè)備的相關(guān)現(xiàn)場數(shù)據(jù)，通過回歸預(yù)測模型預(yù)測出設(shè)備的剩余使用壽命（remaining?useful?life，?RUL）[2]。在對港機(jī)的現(xiàn)場預(yù)測中，采集到的現(xiàn)場數(shù)據(jù)往往特征復(fù)雜、數(shù)量龐大且包含誤差，這將導(dǎo)致那些處理線性問題能力強(qiáng)但處理非線性問題能力一般的方法的預(yù)測精度難以保證。

以往對港機(jī)維護(hù)的研究大多是對港機(jī)進(jìn)行即時(shí)狀態(tài)監(jiān)測、維修保養(yǎng)，如：安志家等[3]根據(jù)天津港港機(jī)工作特點(diǎn)，僅將設(shè)備狀態(tài)監(jiān)測工作與設(shè)備日常點(diǎn)檢、維修保養(yǎng)及設(shè)備故障診斷結(jié)合;商偉軍[4]使用港機(jī)金屬結(jié)構(gòu)失效診斷和控制維修技術(shù)，對港機(jī)運(yùn)行狀態(tài)進(jìn)行預(yù)測。在以上的研究中，學(xué)者們雖然提出了很好的港機(jī)維護(hù)方法，但對預(yù)測性維護(hù)的應(yīng)用依然較少。本文針對港機(jī)在現(xiàn)實(shí)維護(hù)中會遇到的不確定性和隨機(jī)性因素，使用預(yù)測性維護(hù)設(shè)計(jì)預(yù)測港機(jī)RUL。

VAPNIK[5]在1995年提出了支持向量回歸（support?vector?regression，?SVR），基于VC（Vapnik-Chervonenkis）維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的SVR擁有更高的泛化能力。SVR基于結(jié)構(gòu)風(fēng)險(xiǎn)最小原理，將置信范圍值最小作為優(yōu)化目標(biāo)，將訓(xùn)練誤差構(gòu)造為約束條件，以此來提高泛化能力;在求解時(shí)，結(jié)構(gòu)風(fēng)險(xiǎn)最小原理使SVR轉(zhuǎn)化為一個(gè)二次規(guī)劃問題進(jìn)行求解，以此來保證解的全局最優(yōu)性;決策函數(shù)只由少數(shù)支持向量決定，因此SVR在處理高維度的樣本時(shí)計(jì)算復(fù)雜度不受樣本維度的影響。

在過去的研究中，學(xué)者們不斷對SVR的應(yīng)用進(jìn)行優(yōu)化。YE等[6]基于小波和SVR構(gòu)建了一種徑向分布系統(tǒng)中的故障定位方法。

NIETO等[7]采用粒子群優(yōu)化技術(shù)并與支持向量機(jī)結(jié)合對引擎的RUL進(jìn)行了預(yù)測。SU等[8]運(yùn)用自回歸滑動平均模型與在線最小二乘SVR相結(jié)合的方法對引擎故障進(jìn)行了在線預(yù)測。CHEN[9]通過遺傳算法搜索SVR的最優(yōu)參數(shù)，構(gòu)建了基于遺傳算法的SVR模型，并驗(yàn)證了SVR在回歸上的優(yōu)越性。在這些研究中，學(xué)者們雖然對SVR進(jìn)行了改進(jìn)，但大多是通過一些智能算法對SVR進(jìn)行優(yōu)化的，而本質(zhì)上SVR的性能并沒有發(fā)生改變。QUAN等[10]運(yùn)用連續(xù)過松弛的方法對SVR進(jìn)行了改進(jìn)，提高了SVR的運(yùn)算效率。陳懿冰等[11]通過動態(tài)加權(quán)函數(shù)使SVR在時(shí)序金融預(yù)測中效果更好。QUAN等[12]通過對SVR的目標(biāo)函數(shù)進(jìn)行優(yōu)化，加快了計(jì)算效率。盡管在上述研究中SVR良好的回歸能力已經(jīng)被廣泛應(yīng)用，但其對預(yù)測準(zhǔn)確性的提升有待研究。

本文使用SVR對港機(jī)的RUL進(jìn)行訓(xùn)練和預(yù)測，用來預(yù)測的數(shù)據(jù)會因港機(jī)運(yùn)轉(zhuǎn)現(xiàn)場的各種環(huán)境因素影響出現(xiàn)不同程度的隨機(jī)誤差，而標(biāo)準(zhǔn)SVR會對這些包含不同程度誤差的數(shù)據(jù)賦予相同的懲罰系數(shù)，在不將懲罰系數(shù)設(shè)置過大造成訓(xùn)練欠擬合的情況下，包含更大誤差的數(shù)據(jù)會更嚴(yán)重地降低整體的預(yù)測精度。針對這個(gè)問題，本文通過對包含不同程度誤差的數(shù)據(jù)賦予對應(yīng)誤差比例的懲罰系數(shù)，減小誤差較大的數(shù)據(jù)對預(yù)測精度的影響。

本文使用故障數(shù)據(jù)集中較為權(quán)威的Turbofan數(shù)據(jù)集來驗(yàn)證改進(jìn)SVR的預(yù)測效果[13]，選取均方根誤差[14]作為評價(jià)指標(biāo)，驗(yàn)證預(yù)測精度，這是考慮到它能在同一數(shù)量級下最大程度體現(xiàn)預(yù)測誤差。

1?算法分析

1.1?標(biāo)準(zhǔn)SVR

SVR首先要將輸入的非線性數(shù)據(jù)映射到高維空間進(jìn)行線性的回歸估計(jì)，這種變換是通過核函數(shù)

K（xi，xj）=Φ

（xi）·Φ（xj）實(shí)現(xiàn)的，

Φ表示將輸入樣本映射到高維特征空間的映射函數(shù)。

給定訓(xùn)練集

{（xi，y），?i=1，2，…，n}，其中

xi∈Rk是第i個(gè)訓(xùn)練樣本的輸入，是一個(gè)k維列向量

xi=（xi1，xi2，…，xik）T，

y是這個(gè)訓(xùn)練樣本對應(yīng)的標(biāo)簽，

y=（y1，y2，…，yn）T。由此可以構(gòu)造回歸函數(shù)：

式中，φ（x）為非線性映射核函數(shù)，ω和b

分別為相應(yīng)的系數(shù)矩陣和偏移常量，

b=（b1，b2，…，bn）T。

在此回歸函數(shù)的基礎(chǔ)上，通過添加表示誤差容忍度的不靈敏損失參數(shù)ε，定義線性不敏感損失函數(shù)：

即當(dāng)y與經(jīng)過訓(xùn)練得到的估計(jì)值f（x）之間的距離大于ε時(shí)才會計(jì)算誤差，否則記誤差為0。

以式（2）為固定條件使置信范圍最小化，如圖1所示，加入表示超出允許誤差程度的松弛變量ξ和

式（3）中C是懲罰因子，表示允許犯錯(cuò)誤的程度，這里設(shè)置為常數(shù)，表示每個(gè)點(diǎn)的懲罰因子都是相同的。

為降低求解復(fù)雜度，引入拉格朗日乘子αi和α*i，將問題轉(zhuǎn)化成對偶形式并求解得到部分不為0的參數(shù)

（α*i-αi），這些參數(shù)就是問題中的支持向量，由它們得到訓(xùn)練過后的決策回歸函數(shù)：

以上即為標(biāo)準(zhǔn)SVR的原理，下面對提高其預(yù)測精度的能力進(jìn)行改進(jìn)。

1.2?改進(jìn)SVR

在標(biāo)準(zhǔn)的SVR中，懲罰因子C對每個(gè)點(diǎn)的懲罰作用是相同的，在實(shí)際對設(shè)備RUL的預(yù)測中，采集到的數(shù)據(jù)往往存在隨機(jī)誤差，對這些包含隨機(jī)誤差的數(shù)據(jù)賦予相同的懲罰因子，會導(dǎo)致包含不同程度誤差的數(shù)據(jù)訓(xùn)練擬合度相同，這就會使訓(xùn)練中誤差較大的項(xiàng)出現(xiàn)過擬合，從而出現(xiàn)整體預(yù)測結(jié)果偏差較大的現(xiàn)象。為解決這個(gè)問題，本文通過對包含不同程度誤差的數(shù)據(jù)賦予對應(yīng)誤差比例的懲罰系數(shù)，來減小誤差較大的數(shù)據(jù)對預(yù)測精度的影響，

具體執(zhí)行方式是為原本固定的懲罰系數(shù)C添加一個(gè)誤差比例pi。pi的表達(dá)形式如下：

2?算例分析

Turbofan數(shù)據(jù)集包括訓(xùn)練集和測試集，其中：訓(xùn)練集提供了100個(gè)引擎從正常運(yùn)行到性能衰退的完整的循環(huán)過程;測試集提供了每個(gè)引擎的一組工作時(shí)間序列，但這些序列的終止?fàn)顟B(tài)未必是該引擎最終的性能衰退狀態(tài)。數(shù)據(jù)集中的每個(gè)引擎都有24個(gè)監(jiān)控參數(shù)，其中3個(gè)參數(shù)用來設(shè)定引擎的初始狀態(tài)，另外21個(gè)參數(shù)見表1。

根據(jù)NIETO等[7]的研究，能夠參與引擎RUL預(yù)測的參數(shù)包括T24、T30、T50、P30、Nf、Nc、Ps30、phi、NRf、NRc、BPR、htBleed、W31、W32這14個(gè)傳感器所測量的參數(shù)[7]。

本文通過均方根誤差

來評價(jià)SVR的預(yù)測準(zhǔn)確度，ERMS越小說明預(yù)測效果越好。分別通過100個(gè)引擎的預(yù)測精度來評價(jià)SVR的泛化能力。為能夠從整體預(yù)測效果上看出改進(jìn)SVR的改進(jìn)效果，計(jì)算各種算法在整體訓(xùn)練集下的期望損失并進(jìn)行對比，即計(jì)算并對比標(biāo)準(zhǔn)SVR、改進(jìn)SVR、線性回歸和隨機(jī)決策森林對100個(gè)引擎預(yù)測結(jié)果ERMS的期望值;分別通過100個(gè)引擎的訓(xùn)練時(shí)間來評價(jià)SVR的計(jì)算效率，訓(xùn)練時(shí)間越短說明計(jì)算效率越高。式（13）中的n為每個(gè)引擎時(shí)間序列數(shù)量之和。

本文方法均通過Python?3.5來編寫實(shí)現(xiàn)，核函數(shù)使用泛化能力較好且在各領(lǐng)域表現(xiàn)出色的如式（14）所示的徑向基核函數(shù)，

圖2a展示了相同參數(shù)下4種方法對100個(gè)引擎RUL預(yù)測誤差的對比。圖2b更直觀地展示了每一個(gè)引擎的RUL在采用改進(jìn)SVR預(yù)測時(shí)ERMS降低的數(shù)值（改進(jìn)前-改進(jìn)后）。可以明顯看出，對于每一個(gè)引擎RUL而言，圖2a中的改進(jìn)SVR的預(yù)測誤差值都低于標(biāo)準(zhǔn)SVR預(yù)測誤差值，標(biāo)準(zhǔn)SVR預(yù)測誤差值都低于隨機(jī)決策森林預(yù)測誤差值，隨機(jī)決策森林預(yù)測誤差值都低于線性回歸預(yù)測誤差值。通過4種方法的預(yù)測結(jié)果分別計(jì)算ERMS的期望可以得到，線性回歸預(yù)測結(jié)果的ERMS期望為69.44，隨機(jī)決策森林預(yù)測結(jié)果的ERMS期望為61.87，標(biāo)準(zhǔn)SVR預(yù)測結(jié)果的ERMS期望為42.29，改進(jìn)SVR預(yù)測結(jié)果的ERMS期望為37.55。由此可以看出，標(biāo)準(zhǔn)SVR相較于常用的線性回歸和隨機(jī)決策森林方法在預(yù)測精度上

有較大的優(yōu)勢，而改進(jìn)的SVR更能提高SVR自身的預(yù)測精度。圖2b中的數(shù)值都大于0，經(jīng)過計(jì)算，ERMS降低的平均值為4.74，得到優(yōu)化的平均百分比為10.89%。這代表對每個(gè)引擎而言，根據(jù)預(yù)測結(jié)果計(jì)算所得的ERMS都更小，預(yù)測精度都更高，且100個(gè)引擎全部得到優(yōu)化的結(jié)果可以證明，改進(jìn)SVR具有良好的泛化能力。

為證明針對標(biāo)準(zhǔn)SVR的改進(jìn)沒有提高算法復(fù)雜度從而提高算法的計(jì)算時(shí)間，圖3展示了標(biāo)準(zhǔn)SVR、改進(jìn)SVR、線性回歸和隨機(jī)決策森林方法預(yù)測各引擎RUL花費(fèi)的時(shí)間對比。

圖3a展示了相同參數(shù)下，改進(jìn)前后的SVR對100個(gè)引擎RUL預(yù)測花費(fèi)時(shí)間的對比。圖3b更直觀地展示了每個(gè)引擎的RUL采用改進(jìn)前后SVR預(yù)測所花費(fèi)的時(shí)間差（改進(jìn)前-改進(jìn)后）。由于每個(gè)引擎RUL的預(yù)測時(shí)間較短，從圖3a難以看出改進(jìn)前后的SVR預(yù)測每個(gè)引擎RUL花費(fèi)的時(shí)間差，但總體可以觀察到4種方法的預(yù)測曲線基本重合。從圖3b可以明顯看出，對于每一個(gè)引擎而言，改進(jìn)前后SVR預(yù)測其RUL花費(fèi)的時(shí)間之差都在0上下波動。經(jīng)過計(jì)算可知，改進(jìn)前后的SVR預(yù)測各個(gè)引擎RUL花費(fèi)時(shí)間的平均差值為9×10-5，考慮到每次計(jì)算時(shí)計(jì)算機(jī)狀態(tài)的不確定，該差值可以忽略，說明該改進(jìn)方法并未降低SVR的計(jì)算效率。

3?結(jié)?論

針對標(biāo)準(zhǔn)SVR在對港機(jī)剩余使用壽命（RUL）的預(yù)測中，對誤差程度不同的數(shù)據(jù)采取相同的誤差懲罰，導(dǎo)致預(yù)測精度不足的現(xiàn)象，本文對標(biāo)準(zhǔn)SVR進(jìn)行改進(jìn)，對懲罰系數(shù)添加一個(gè)比例系數(shù)，調(diào)節(jié)不同誤差數(shù)據(jù)的懲罰力度，加大對誤差較大數(shù)據(jù)的懲罰，降低大誤差數(shù)據(jù)對整體預(yù)測的影響，并將其應(yīng)用Turbofan數(shù)據(jù)集進(jìn)行驗(yàn)證。結(jié)果表明，該改進(jìn)方法的預(yù)測效果受異常數(shù)據(jù)干擾較小，且能夠在不降低標(biāo)準(zhǔn)SVR計(jì)算效率的前提下，使回歸線能夠向更準(zhǔn)確的方向偏移，提高預(yù)測精度，并具有良好的泛化能力。在已經(jīng)對港機(jī)RUL預(yù)測精度作出改進(jìn)的前提下，將進(jìn)一步研究如何提高港機(jī)維護(hù)的預(yù)測效率。

參考文獻(xiàn)：

[1]BAPTISTA?M，?SANKARARAMAN?S，?MEDEIROS?I?P?D，?et?al.?Forecasting?fault?events?for?predictive?maintenance?using?data-driven?techniques?and?ARMA?modeling[J].?Computers?&?Industrial?Engineering，?2018，?115：?41-53.?DOI：?10.1016/j.cie.2017.10.033.

[2]ZIO?E，?MAIO?F?D.?Fatigue?crack?growth?estimation?by?relevance?vector?machine[J].?Expert?Systems?with?Applications，?2012，?39（12）：?10681-10692.?DOI：?10.1016/j.eswa.2012.02.199.

[3]安志家，?鄭奕龍，?王鑫偉.?狀態(tài)監(jiān)測在港機(jī)設(shè)備維護(hù)中的應(yīng)用[J].?設(shè)備管理與維修，?2016（8）：?86-89.?DOI：?10.16621/j.cnki.issn1001-0599.2016.08.42.

[4]商偉軍.?港機(jī)結(jié)構(gòu)失效診斷、控制和維修方法研究及應(yīng)用[D].?上海：?同濟(jì)大學(xué)，?2003.

[5]VAPNIK?V.?The?nature?of?statistical?learning?theory[M].?Springer，?1999：?267-287.?DOI：?10.1007/978-1-4757-2440-0.

[6]YE?Lei，?YOU?Dahai，?YIN?Xianggen，?et?al.?An?improved?fault-location?method?for?distribution?system?using?wavelets?and?support?vector?regression[J].?International?Journal?of?Electrical?Power?&?Energy?Systems，?2014，?55（2）：?467-472.?DOI：?10.1016/j.ijepes.2013.09.027.

[7]NIETO?P?J?G，?GARCA-GONZALO?E，?LASHERAS?F?S，?et?al.?Hybrid?PSO-SVM-based?method?for?forecasting?of?the?remaining?useful?life?for?aircraft?engines?and?evaluation?of?its?reliability[J].?Reliability?Engineering?&?System?Safety，?2015，?138：?219-231.?DOI：?10.1016/j.ress.2015.02.001.

[8]SU?Shengchao，?ZHANG?Wei，?ZHAO?Shuguang.?Online?fault?prediction?for?nonlinear?system?based?on?sliding?ARMA?combined?with?online?LS-SVR[C]//Proceedings?of?the?33rd?Chinese?Control?Conference.?IEEE，?2014：?3287-3291.?DOI：?10.1109/ChiCC.2014.6895482.

[9]CHEN?Kuan-Yu.?Forecasting?systems?reliability?based?on?support?vector?regression?with?genetic?algorithms[J].?Reliability?Engineering?&?System?Safety，?2007，?92（4）：?423-432.?DOI：?10.1016/j.ress.2005.12.014.

[10]QUAN?Yong，?YANG?Jie，?YE?Chenzhou.?Successive?overrelaxation?for?support?vector?regression[J].?Journal?of?Software，?200：?648-651.?DOI：?10.1007/3-540-39205-X_109.

[11]陳懿冰，?張玲玲，?聶廣禮，?等.?基于改進(jìn)的支持向量回歸機(jī)的金融時(shí)序預(yù)測[J].?數(shù)學(xué)的實(shí)踐與認(rèn)識，?2012，?42（4）：?38-44.?DOI：?10.3969/j.issn.1000-0984.2012.04.006.

[12]QUAN?Yong，?YANG?Jie，?YAO?Lixiu，?et?al.?An?improved?way?to?make?large-scale?SVR?learning?practical[J].?EURASIP?Journal?on?Advances?in?Signal?Processing，?2004（8）：?1135-1141.?DOI：?10.1155/S1110865704312096.

[13]YANG?Zhe，?BARALDI?P，?ZIO?E.?A?comparison?between?extreme?learning?machine?and?artificial?neural?network?for?remaining?useful?life?prediction[C]//2016?Prognostics?and?System?Health?Management?Conference.?IEEE，?2017：?1-7.?DOI：?10.1109/PHM.2016.7819794.

[14]CHAI?T，?DRAXLER?R?R.?Root?mean?square?error?（RMSE）?or?mean?absolute?error?（MAE）？—Arguments?against?avoiding?RMSE?in?the?literature[J].?Geoscientific?Model?Development，?2014，?7（3）：?1247-1250.?DOI：?10.5194/gmd-7-1247-2014.

（編輯?賈裙平）