劉璟忠

基于奇異值分解極限學(xué)習(xí)機的維修等級決策

劉璟忠1, 2

(1. 湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙，410082；2. 湖南工學(xué)院數(shù)理科學(xué)與能源工程學(xué)院，湖南衡陽，421002)

為降低航空發(fā)動機維修成本，增強維修等級決策的客觀性，提出一種基于奇異值分解的極限學(xué)習(xí)機(SVD-ELM)算法，推導(dǎo)基于奇異值分解(SVD)的極限學(xué)習(xí)機(ELM)輸出權(quán)重計算公式，從而有效地避免普通ELM在求解輸出權(quán)重時因矩陣奇異而導(dǎo)致無法求逆的問題。將SVD-ELM應(yīng)用于決策建模過程，提高決策模型的穩(wěn)定性。研究結(jié)果表明：相比于SVM，SVD-ELM和ELM的決策準(zhǔn)確率相同，且均比SVM的高，但SVD-ELM的模型穩(wěn)定性高于ELM，且SVD-ELM和ELM的測試耗時相差不大，說明這2種方法的計算量相當(dāng)。

智能決策；極限學(xué)習(xí)機；模式識別；維修等級；奇異值分解

發(fā)動機在航使用時需要滿足一定的適航標(biāo)準(zhǔn)，當(dāng)檢測出其健康狀態(tài)不適合工作時，必須進行不同等級的維修，以期恢復(fù)發(fā)動機的性能[1?3]。在進行維修之前，性能工程師首先需要根據(jù)發(fā)動機的工作狀態(tài)確定其維修等級[4]。維修成本與維修等級有很強的關(guān)聯(lián)性，維修等級越高，維修耗時和維修成本也隨之顯著增高。若為了降低本次維修的成本而設(shè)定較低的維修等級，則有可能縮減發(fā)動機下次的在航時間，使得平均每飛行1 h的維修成本增加。因此，若能夠根據(jù)發(fā)動機的性能指標(biāo)選擇合理的維修等級，則能有效降低航空公司的維修成本。但是，在確定維修等級時可能存在如下困難：1) 由于發(fā)動機內(nèi)部結(jié)構(gòu)復(fù)雜，很難根據(jù)整機的性能參數(shù)確定具體的退化部件及確定相應(yīng)的維修等級；2) 維修人員缺乏對典型案例的掌握和實踐經(jīng)驗的積累，使得很難根據(jù)人為經(jīng)驗確定合理的維修等級[5]。神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)挖掘方法，通過學(xué)習(xí)已知的案例使其具備對維修等級的決策能力，從而給維修人員提供輔助決策。極限學(xué)習(xí)機(ELM)作為近年來發(fā)展起來的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[6?8]，具有學(xué)習(xí)速度快、泛化能力強等優(yōu)點[9?10]，已經(jīng)在時間序列預(yù)測[11?14]、模式識別[15?17]等領(lǐng)域得到了應(yīng)用。本文針對ELM在計算輸出權(quán)重時因矩陣奇異而導(dǎo)致無法求逆的問題，將ELM引入維修決策建模過程中，推導(dǎo)基于SVD的ELM輸出權(quán)重計算公式，從而有效避免求逆無效的問題，提高維修決策模型的穩(wěn)定性。

1 極限學(xué)習(xí)機

ELM的數(shù)學(xué)表達式為[18]

(2)

式中：為第個隱含層節(jié)點的輸入權(quán)重；b為第個隱含層節(jié)點的偏差；為激活函數(shù)。

假設(shè)已知由組輸入輸出數(shù)據(jù)對構(gòu)成的訓(xùn)練樣本(其中，為輸入變量；為相應(yīng)的實際輸出)，則

將式(3)變?yōu)榫仃囆问絒19]，則

(4)

式中：

，(5)

對于式(3)，參數(shù)和b利用隨機生成方式獲得，參數(shù)則根據(jù)計算得出。在解決分類問題時，為了提高ELM的分類準(zhǔn)確性，文獻[20]引入正則化因子，從而可以將求解看成如下優(yōu)化問題：

根據(jù)式(7)計算的最優(yōu)解為[21]

(8)

ELM的決策方程按下式求得：

(10)

2 基于奇異值分解的極限學(xué)習(xí)機

2.1 基于SVD的輸出權(quán)重計算

由式(8)可以看出：在計算輸出權(quán)重時，若近似為奇異矩陣，則對其求逆會使得計算結(jié)果不穩(wěn)定。為解決矩陣求解無效問題，本文采用基于SVD的輸出權(quán)重求解式(8)中的，下面給出具體推導(dǎo)過程。

基于奇異值分解，ELM中的矩陣可以表示為

則

(12)

式中：為將中所有非零元素取倒數(shù)。

式(8)中的可以變換為如下形式：

(13)

2.2 SVD-ELM算法流程

步驟1確定SVD-ELM中的正則化因子和隱節(jié)點數(shù)。

步驟2隨機產(chǎn)生輸入層權(quán)值和隱含層偏差b，=1, 2, …,。

步驟4將代入式(11)，對進行奇異值分解(SVD)，得到矩陣，，和，然后根據(jù)式(13)，計算基于SVD的輸出權(quán)重。

步驟5對于待分類的輸入向量，計算對應(yīng)的，代入式(14)得到，將代入式(9)，得到其所屬類別，即為維修等級決策結(jié)果。

3 數(shù)據(jù)仿真驗證

為驗證本文方法的有效性，選取6種標(biāo)準(zhǔn)的UCI數(shù)據(jù)作為實驗對象，將歸一化后的UCI數(shù)據(jù)作為訓(xùn)練樣本和測試樣本。本文選擇的樣本包括二分類和多分類數(shù)據(jù)，具體的數(shù)據(jù)名稱為：wdbc，haberman，parkinsons，iris，glass和zoo。

為證明本文提出方法的有效性，利用支持向量機(SVM)和ELM作為對比方法，其中SVM采用LIBSVM工具箱提供的SVM函數(shù)。實驗運行系統(tǒng)如下：Windows XP，Intel酷睿i3 2120處理器(CPU主頻 3.3 GHz)，2 GB內(nèi)存，仿真軟件為 MATLAB R2011b。

對于SVM，懲罰參數(shù)和核參數(shù)影響維修等級決策的準(zhǔn)確率；對于ELM和本文提出的SVD-ELM，正則化因子和隱節(jié)點數(shù)影響決策準(zhǔn)確性。為此，對于SVM，令和均為，根據(jù)網(wǎng)格搜索法求出每1對和對應(yīng)的測試樣本決策準(zhǔn)確率。同理，對于ELM和SVD-ELM，令=，=，計算測試準(zhǔn)確率。

利用網(wǎng)格搜索法得到的測試準(zhǔn)確率最高值及其對應(yīng)的參數(shù)取值、測試耗時如表1所示。由表1可以看出：對于zoo，ELM和SVD-ELM方法的分類準(zhǔn)確率比SVM方法的低；對于parkinsons和glass，3種方法的準(zhǔn)確率相同；對于wdbc, haberman和iris，SVD-ELM的準(zhǔn)確率比SVM的高。此外，對于上述所有6種UCI數(shù)據(jù)，SVD-ELM和ELM的分類準(zhǔn)確率相同，說明本文采用基于SVD的輸出權(quán)重計算公式與ELM中采用Moore-Penrose廣義逆矩陣求解輸出權(quán)重矩陣的結(jié)果一致，從而證明了SVD-ELM在分類問題中的有效性。

表1　UCI數(shù)據(jù)測試準(zhǔn)確率最高值、對應(yīng)的參數(shù)值以及耗時

4 實例驗證

以某型民用航空發(fā)動機維修數(shù)據(jù)為例，說明本文提出方法的有效性。根據(jù)維修經(jīng)驗，發(fā)動機的維修等級主要包括一般檢查、性能恢復(fù)和翻修3種。維修等級主要根據(jù)發(fā)動機的性能參數(shù)確定。能夠反映發(fā)動機性能的參數(shù)包括氣體排放溫差(1)、高壓轉(zhuǎn)子轉(zhuǎn)速偏差(2)、低壓轉(zhuǎn)子振動偏差(3)、油料流量偏差(4)和高壓轉(zhuǎn)子振動偏差(5)等。該維修數(shù)據(jù)共有93組數(shù)據(jù)，其中部分性能參數(shù)值與對應(yīng)的維修等級如表2所示。選取其中的50組數(shù)據(jù)作為訓(xùn)練樣本，用于建立決策模型；其余的43組數(shù)據(jù)作為測試樣本，檢驗建立的決策模型的準(zhǔn)確性。

表2 部分性能參數(shù)值與維修等級

采用上一節(jié)中同樣的參數(shù)尋優(yōu)方法，所得SVM，ELM和SVD-ELM這3種方法對測試樣本的維修等級決策準(zhǔn)確率如圖1所示，測試準(zhǔn)確率最高值、對應(yīng)的參數(shù)值以及耗時如表3所示。

由圖1和表3可以看出：ELM和本文提出的SVD-ELM方法的測試準(zhǔn)確率均比SVM方法的高，但對于傳統(tǒng)的ELM方法(如圖1(b)所示)，在(=2?24-,=500)，(=2?23-,=1 200)和(=2?25-,=1 500) 3種情況下，由于為奇異矩陣，導(dǎo)致ELM在計算輸出權(quán)重時求解逆矩陣失效，從而這3種參數(shù)取值時無法建立基于ELM的維修等級決策模型。而本文提出的方法采用基于SVD的輸出權(quán)重計算公式，避免了因矩陣奇異導(dǎo)致求逆無效的問題，從而保證維修等級決策模型的穩(wěn)定性，如圖1(c)所示。此外，ELM和SVD-ELM方法的耗時相當(dāng)，說明SVD-ELM方法的計算量與ELM方法的計算量相當(dāng)。

(a) SVM；(b) ELM；(c) SVD-ELM

表3 維修決策準(zhǔn)確率最高值、對應(yīng)的參數(shù)值以及耗時

5 結(jié)論

1) 為解決發(fā)動機維修等級決策問題，提出了一種基于奇異值分解的極限學(xué)習(xí)機(SVD-ELM)算法。該算法利用ELM能夠提高決策準(zhǔn)確性的優(yōu)點，以及SVD能夠有效避免因矩陣奇異導(dǎo)致求解輸出權(quán)重?zé)o效的特點，使得SVD-ELM具有更高的維修等級決策準(zhǔn)確率，同時能夠保證決策模型的穩(wěn)定性。

2) 本文提出的SVD-ELM的維修等級決策的準(zhǔn)確率比SVM的高。對于傳統(tǒng)的ELM，在某些參數(shù)取值條件下，ELM出現(xiàn)了求解輸出權(quán)重失效的現(xiàn)象，而SVD-ELM方法則不僅能夠保證建模的穩(wěn)定性，且其算法計算量與ELM的計算量相當(dāng)，從而證明了SVD-ELM方法的有效性。

[1] 鄭波. 基于PSO-SVM的民航發(fā)動機送修等級決策研究[J]. 推進技術(shù), 2013, 34(5): 687?692. ZHENG Bo. Investigation on aeroengine maintenance level decision based on PSO-SVM[J]. Journal of Propulsion Technology, 2013, 34(5): 687?692.

[2] LIANG Zhongao, YANG Miao. Research on maintenance level decision of civil aero-engine module[J]. Applied Mechanics & Materials, 2013, 368/369/370: 1396?1399.

[3] HUYNH K T, BARROS A, BERENGUER C. Multi-level decision-making for the predictive maintenance of -out-of-: F deteriorating systems[J]. IEEE Transactions on Reliability, 2015, 64(1): 94?117.

[4] 付旭云, 陳銀, 鐘詩勝. 基于壽命件的民航發(fā)動機送修目標(biāo)確定方法[J]. 航空動力學(xué)報, 2014, 29(7): 1556?1561. FU Xuyun, CHEN Yin, ZHONG Shisheng. Approach for civil aero-engine repair objective determination based on life limited parts[J]. Journal of Aerospace Power, 2014, 29(7): 1556?1561.

[5] 付旭云, 陳銀, 鐘詩勝. 基于性能狀態(tài)的民航發(fā)動機送修目標(biāo)確定方法[J]. 計算機集成制造系統(tǒng), 2013, 19(12): 3002?3007. FU Xuyun, CHEN Yin, ZHONG Shisheng. Civil aero-engine repair objective determination based on performance state[J]. Computer Integrated Manufacturing Systems, 2013, 19(12): 3002?3007.

[6] HUANG Guangbin, ZHU Qinyu, KHEONG S C. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1): 489?501.

[7] YUAN Lan, CHAI S Y, HUANG Guangbin. Ensemble of online sequential extreme learning machine[J]. Neurocomputing, 2009, 72(13): 3391?3395.

[8] YANG Bo, DENG Zhidong. An extended SHESN with leaky integrator neuron and inhibitory connection for Mackey-Glass prediction[J]. Frontiers of Electrical and Electronic Engineering in China, 2012, 7(2): 200?207.

[9] FOSSACECA J M, MAZZUCHI T A, SARKANI S. MARK-ELM: application of a novel multiple kernel learning framework for improving the robustness of network intrusion detection[J]. Expert Systems with Applications, 2015, 42(8): 4062?4080.

[10] Akusok A, Veganzones D, Miche Y, et al. MD-ELM: originally mislabeled samples detection using OP-ELM Model[J]. Neurocomputing, 2015, 159: 242?250.

[11] GU Yang, LIU Junfa, CHEN Yiqiang, et al. TOSELM: timeliness online sequential extreme learning machine[J]. Neurocomputing, 2014, 128(27): 119?127.

[12] 張弦, 王宏力. 具有選擇與遺忘機制的極端學(xué)習(xí)機在時間序列預(yù)測中的應(yīng)用[J]. 物理學(xué)報, 2011, 60(8): 68?74. ZHANG Xian, WANG Hongli. Selective forgetting extreme learning machine and its application to time series prediction[J]. Acta Physica Sinica, 2011, 60(8): 68?74.

[13] PAN Feng, ZHAO Haibo. Online sequential extreme learning machine based multilayer perception with output self feedback for time series prediction[J]. Journal of Shanghai Jiaotong University, 2013, 18(3): 366?375.

[14] GU Suicheng, TAN Ying, HE Xingui. Recentness biased learning for time series forecasting[J]. Information Sciences, 2013, 237(13): 29?38.

[15] LUO Xiaozhuo, LIU F, YANG Shuyuan, et al. Joint sparse regularization based sparse semi-supervised extreme learning machine (S3ELM) for classification[J]. Knowledge-Based Systems, 2014, 73: 149?160.

[16] AHILA R, SADASIVAM V, MANIMALA K. An integrated PSO for parameter determination and feature selection of ELM and its application in classification of power system disturbances[J]. Applied Soft Computing, 2015, 32: 23?37.

[17] LUO Xiong, CHANG Xiaohui. A novel data fusion scheme using grey model and extreme learning machine in wireless sensor networks[J]. International Journal of Control, Automation, and Systems, 2015, 13(3): 539?546.

[18] DONG Xiao, WANG Jichun, MAO Zhizhong. The research on the modeling method of batch process based on OS-ELM-RMPLS[J]. Chemometrics and Intelligent Laboratory Systems, 2014, 134(5): 118?122.

[19] LIAN Cheng, ZENG Zhigang, YAO Wei. Ensemble of extreme learning machine for landslide displacement prediction based on time series analysis[J]. Neural Computing and Applications, 2014, 24(1): 99?107.

[20] MARTINEZ-MARTINEZ J M, ESCANDELL-MONTERO P, SORIA-OLIVAS E, et al. Regularized extreme learning machine for regression problems[J]. Neurocomputing, 2011, 74(17): 3716?3721.

[21] HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactioins on Systems, Man, and Cybernetics. Part B: Cybernetics, 2012, 42(2): 513?529.

(編輯 伍錦花)

Maintenance level decision based on singular value decomposition of extreme learning machine

LIU Jingzhong1, 2

(1. College of Computer Science and Electronic Engineering, Hunan University, Changsha 410082, China;2. School of Mathematics, Physics and Energy Engineer, Hunan Institute of Technology, Hengyang 421002, China)

In order to reduce the cost of aviation engine maintenance and enhance the objectivity of maintenance level decision, singular value decomposition based extreme learning machine (SVD-ELM) algorithm was proposed. The output weight formula of extreme learning machine (ELM) was deduced based on singular value decomposition (SVD). Unlike conventional ELM, SVD-ELM effectively avoids the failure of calculating matrix inversion due to matrix singular, during the process of computing output weight. Then SVD-ELM was applied in decision modeling process, which increased decision model stability. The results show that compared with SVM, the decision accuracy of SVD-ELM is the same as ELM, which are both higher than that of SVM. But SVD-ELM stability is greater than ELM. Meanwhile, testing time of SVD-ELM and ELM is similar, indicating that these two methods have the same computing amount.

intelligent decision; extreme learning machine; pattern recognition; maintenance level; singular value decomposition

10.11817/j.issn.1672-7207.2017.07.012

TP206

A

1672?7207(2017)07?1769?05

2016?09?16；

2016?11?24

國家自然科學(xué)基金資助項目(71501068) (Project(71501068) supported by the National Natural Science Foundation of China)

劉璟忠，副教授，從事圖論、算法、計算機應(yīng)用、數(shù)學(xué)建模等研究；E-mail: hnhyls@126.com