李建宏 姜同敏
(北京航空航天大學(xué) 可靠性與系統(tǒng)工程學(xué)院,北京100191)
何玉珠 蔣覺義
(北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京100191)
支持向量機(jī)(SVM,SupportVector Machine)[1-4]在小樣本條件下具有良好的學(xué)習(xí)能力,能較好地實(shí)現(xiàn)對(duì)線性、非線性樣本數(shù)據(jù)的學(xué)習(xí)和分類,應(yīng)用于故障診斷中具有獨(dú)特優(yōu)勢(shì).實(shí)際診斷時(shí),如果故障征兆輸入量數(shù)目過多,訓(xùn)練復(fù)雜度及過擬合度都會(huì)大大增加,對(duì)于復(fù)雜高維特征系統(tǒng),由于故障特征存在冗余,會(huì)影響樣本訓(xùn)練和分類診斷的效率,并導(dǎo)致診斷準(zhǔn)確率下降,如何從高維狀態(tài)特征中獲得敏感特征成為當(dāng)前研究的瓶頸之一.文獻(xiàn)[5]提出的非負(fù)矩陣分解(NMF,Nonnegative Matrix Factorization)是一種新的數(shù)據(jù)分析和處理方法,傾向于局部特征的抽取,具有存儲(chǔ)容量小、迭代簡單等特點(diǎn),已經(jīng)在圖形處理、人類自然語言的處理研究中得到廣范應(yīng)用[6].
本文提出基于NMF的SVM故障診斷方法,通過NMF對(duì)SVM的樣本數(shù)據(jù)進(jìn)行預(yù)處理,解決故障診斷中高維特征選取困難和特征降維過程中NMF結(jié)果不確定性問題,改善分類效果.
NMF是一種多變量分析方法.實(shí)質(zhì)是對(duì)由非負(fù)數(shù)據(jù)構(gòu)成的矩陣Amn,尋找2個(gè)非負(fù)矩陣Bmr和Hrn,使Amn可以近似地分解成這2個(gè)矩陣的乘積,即
一般(n+m)r<nm,原矩陣中的某一列向量可對(duì)應(yīng)為分解后左矩陣中所有基向量的加權(quán)和[7],權(quán)重系數(shù)為右矩陣中對(duì)應(yīng)列向量中的元素;基于簡單迭代計(jì)算的NMF具有收斂速度快、矩陣存儲(chǔ)空間小的特點(diǎn),適用于大量數(shù)據(jù)的表示分解.
SVM的核心思想是構(gòu)建一個(gè)最大間隔的分類超平面[8],使兩類樣本分布于分類面兩邊.
標(biāo)準(zhǔn)SVM是對(duì)線性可分的兩類樣本,尋找一個(gè)既能使兩類樣本正確分開,又保證分類間隔最大的最優(yōu)分類面.兩類樣本為
其中,l為訓(xùn)練樣本總數(shù);n為樣本空間的維數(shù);xi為樣本空間向量;yi為樣本的類別標(biāo)志.分類超平面為w·x+b=0如圖1所示,其中w為最優(yōu)超平面的法向量;b為偏置;R1和R2分別為x的第一維和第二維的取值.
圖1 最優(yōu)超平面
對(duì)于線性可分的情況,最優(yōu)超平面的求解問題歸結(jié)為(2)式的約束優(yōu)化問題[9]:
式(2)的求解通過定義Lagrange函數(shù),把構(gòu)建最優(yōu)超平面的問題轉(zhuǎn)化為如式(3)對(duì)偶二次規(guī)劃問題:
最終的最優(yōu)分類面函數(shù)表示為
基于SVM的故障診斷一般分為樣本訓(xùn)練和故障診斷兩個(gè)階段[10],上述過程若直接引入高維故障特征,會(huì)影響分類器的分類速度和精度.基于NMF的SVM故障診斷通過NMF進(jìn)行特征提取和數(shù)據(jù)降維,用降維后的樣本特征訓(xùn)練SVM分類器.故障樣本診斷時(shí),對(duì)故障特征做相同尺度的降維和特征提取,用訓(xùn)練好SVM分類器進(jìn)行故障辨識(shí).
1)根據(jù)診斷對(duì)象對(duì)故障模式分類,獲取不同故障模式的特征,并將故障特征表示成多維特征矩陣的形式.
2)對(duì)故障特征進(jìn)行NMF.設(shè)故障特征矩陣為Amn,分解用迭代方法交替求解矩陣 Bmr和Hrn,本文采用如式(5)的目標(biāo)函數(shù):
其中,Ymn=BmrHrn;aij,yij分別為 Amn,Ymn中的元素,Amn的NMF分解演變?yōu)榍蠼饩仃嘊mr和Hrn,使得目標(biāo)函數(shù)(5)的離散度最小.按式(6)的規(guī)則迭代,可確保Bmr和Hrn局部收斂到最優(yōu)解.
其中,hau,bia分別為迭代過程中的 Bmr和 Hrn元素.
由于r滿足條件(n+m)r<nm,Bmr和Hrn所有元素個(gè)數(shù)小于Amr中元素個(gè)數(shù),實(shí)現(xiàn)了原始矩陣的降維.
3)樣本特征矩陣Bmr中的行向量作為SVM的訓(xùn)練集,選擇核函數(shù)和懲罰參數(shù)訓(xùn)練SVM,得到SVM的分類器.
4)求解待診斷樣本的降維特征向量.由于訓(xùn)練樣本的NMF分解與故障樣本特征降維過程是分開的,而NMF分解時(shí)Bmr和Hrn初值的選擇具有隨機(jī)性,即使在相同離散度的條件下,每次分解所得的Bmr和Hrn都不相同,故不能直接將故障樣本直接進(jìn)行r維分解.本文提出利用訓(xùn)練樣本系數(shù)矩陣求解超定線性方程組的方法得到相同尺度降維的待診斷樣本特征.
設(shè)待診斷樣本為 Q,Q=(q1,q2,…,qn),特征維數(shù)與訓(xùn)練樣本同為n維,訓(xùn)練樣本矩陣Amn=(aij)mn寫成m行n列矩陣并分解為Bmr和Hrn表示為
其中
把Q作為第m+1行代入Amn,作為新矩陣A(m+1)n進(jìn)行r維分解,Hrn保持不變,得到m+1行的降維矩陣 B(m+1)r,A(m+1)n與 B(m+1)r及 Hrn關(guān)系表示為
其中
由式(8)、式(10)可知 Amn中的元素只與B(m+1)r的值和Hrn有關(guān),待診斷樣本第m+1行的元素只與樣本降維后的特征向量(第m+1行)和Hrn有關(guān).
待診斷樣本的分解結(jié)果表示為
由式(10)、式(11)得到線性方程組:
即
把式(13)寫成為H'T=Q',其系數(shù)矩陣H'是訓(xùn)練樣本的分解后矩陣Hrn的轉(zhuǎn)置,Q'是待診斷樣本Q的轉(zhuǎn)置,待診斷樣本降維后的特征是線性方程組H'T=Q'的有效解T.方程組的參數(shù)n為降維前樣本維數(shù),r為降維后樣本維數(shù),由于n≥r,該方程組為超定線性方程組,可求得最小二乘解.
5)列向量T轉(zhuǎn)置為行向量,代入訓(xùn)練好的向量機(jī)分類器進(jìn)行診斷,得到分類結(jié)果.
圖2所示為有源帶通濾波器,元件標(biāo)稱值分別為 R1=1 kΩ,R2=3 kΩ,R3=2 kΩ,R4=R5=4 kΩ,C1=C2=5 nF.
圖2 有源帶通濾波電路
設(shè)電阻、電容具有5%的容差,元件值在容差范圍內(nèi)變化,電路為正常狀態(tài).電路為帶通濾波器,中心頻率為25 kHz,帶寬50 kHz.電路幅頻響應(yīng)如圖3所示.
圖3 濾波電路幅頻響應(yīng)曲線
電路響應(yīng)與輸入信號(hào)頻率有關(guān),故把不同頻率的交流響應(yīng)作為故障特征.分別以R1=1 Ω代表R1短路硬故障,R1=0.5 kΩ代表R1向下偏移標(biāo)準(zhǔn)值50%的軟故障,R2=1 Ω代表R2短路硬故障,R2=4.5 kΩ代表R2向上偏移標(biāo)準(zhǔn)值50%的軟故障,R3=1 kΩ代表R3向下偏移標(biāo)準(zhǔn)值50%的軟故障,R3=100 MΩ代表R3斷路硬故障,分別以 b,c,d,e,f,g 表示,電路正常狀態(tài)以 a 表示.通過Multisim對(duì)電路分別進(jìn)行100次Monte Carlo仿真獲得每個(gè)狀態(tài)的響應(yīng)曲線,從1 kHz到1 MHz頻段上依次非等分的選取 1,1.25,1.5,2,2.5,3.1,4 kHz等31個(gè)頻率響應(yīng)點(diǎn)作為診斷的原始特征值,如表1所示.
表1 原始特征數(shù)據(jù)表
把上述數(shù)據(jù)以不同頻率的響應(yīng)值為行向量,建立故障特征矩陣,選擇合適的維數(shù)r進(jìn)行NMF分解,當(dāng)r=9時(shí)得到Bmr和Hrn,對(duì)應(yīng)的故障類型如表2.Bmr各行向量作為特征代入SVM進(jìn)行訓(xùn)練,得到分類器,本文選用線性核函數(shù),懲罰參數(shù)C選為10.
表2 降維后特征數(shù)據(jù)表
對(duì)電路所選故障類型重新進(jìn)行Monte Carlo仿真得到Q,求解線性方程組H'T=Q,獲得待診斷樣本的降維特征.
把降維后的特征向量帶入訓(xùn)練好的向量機(jī)分類器進(jìn)行分類診斷,得到分類結(jié)果.該方法與普通SVM診斷結(jié)果比較如表3.
表3 兩種方法診斷結(jié)果比較
從表3可以看出,與普通SVM診斷結(jié)果相比,通過NMF降維后的診斷縮短了樣本訓(xùn)練和分類時(shí)間,提高診斷效率,也取得更好的診斷效果.
實(shí)驗(yàn)選取某型反艦導(dǎo)彈常見的17種故障作為樣本,每種故障有45個(gè)主要特征,訓(xùn)練樣本集為300個(gè)45維的向量.SVM采用一對(duì)一的策略進(jìn)行多類模式分類,核函數(shù)選為徑向基函數(shù):
參數(shù) σ=1.98,懲罰因子 C=150,SVM 采用分解訓(xùn)練算法.
分別用 SVM、基于粗糙集的 SVM(RSSVM)[11]以及基于NMF的SVM 3種方法對(duì)樣本進(jìn)行分類診斷,結(jié)果如表4.
表4 故障診斷方法比較
表4給出了3種故障診斷方法對(duì)前7種故障模式的診斷比較結(jié)果,可以看出NMF-SVM方法具有更快的診斷分類速度,準(zhǔn)確率也要好于其他兩種方法.
NMF和SVM的理論及應(yīng)用都是當(dāng)前研究的熱點(diǎn),基于NMF的SVM故障診斷方法,利用NMF迭代簡單、容易收斂的特性,實(shí)現(xiàn)特征抽取,降低了計(jì)算復(fù)雜度,并克服診斷樣本NMF分解不確定性問題.應(yīng)用于某型反艦導(dǎo)彈的故障診斷中,降低了訓(xùn)練及診斷樣本故障特征維數(shù),縮短訓(xùn)練和診斷時(shí)間,簡化了診斷過程,相對(duì)其他診斷方法具有較高的診斷準(zhǔn)確率,證明應(yīng)用該方法對(duì)高維特征系統(tǒng)進(jìn)行降維診斷的有效性.
References)
[1]Vapnik V N.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].北京:電子工業(yè)出版社,2009 Vapnik V N.The nature of statistical learning theory[M].Beijing:Electronic Manufacture Press,2009(in Chinese)
[2]Yang Chanyun,Yang Jrsyu,Wang Jianjun.Margin calibration in SVM class-imbalanced learning[J].Neurocomputing,2009,73(13):397-411
[3]Yeom Honggi,Jang Inhun,Sim Kweebo.Variance considered machines:modification of optimal hyperplanes in support vector machines[C]//IEEE International Symposium on Industrial E-lectronics.Seoul:IEEE,2009:1144-1147
[4]Fung G,Mangasarian O L.Proximal support vector machine classifiers[C]//Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM,2001:77-86
[5]曹勝玉,劉來福.非負(fù)矩陣分解及其在基因表達(dá)數(shù)據(jù)分析中的應(yīng)用[J].北京師范大學(xué)學(xué)報(bào):自然科學(xué)版,2007,43(1):30-33
Cao Shengyu,Liu Laifu.Non-negative matrix factorization and its applications to gene expression data analysis[J].Journal of Beijing Normal University:Natural Science,2007,43(1):30-33(in Chinese)
[6]陳清華,陳六君,鄭濤,等.基于非負(fù)矩陣分解方法的漢字基本部件識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(29):76-78
Chen Qinghua,Chen Liujun,Zheng Tao,et al.Base component discovery from Chinese characters by NMF methods[J].Computer Engineering and Applications 2008,44(29):76-78(in Chinese)
[7]張磊,馮曉森,項(xiàng)學(xué)智.基于非負(fù)矩陣分解的中文文本主題分類[J].計(jì)算機(jī)工程,2009,35(13):26-27
Zhang Lei,F(xiàn)eng Xiaosen,Xiang Xuezhi.Topic classification of Chinese document based on NMF[J].Computer Engineering,2009,35(13):26-27(in Chinese)
[8]鄧乃揚(yáng),田英杰.數(shù)據(jù)挖掘中的新方法——支持向量機(jī)[M].北京:科學(xué)出版社,2004
Deng Naiyang,Tian Yingjie.A new method of data mining:SVM[M].Beijing:Science Press,2004(in Chinese)
[9]孫永奎.基于支持向量機(jī)的模擬電路故障診斷方法研究[D].成都:電子科技大學(xué)自動(dòng)化工程學(xué)院,2009
Sun Yongkui.Study on fault diagnosis in analog circuits based on support sector machine[D].Chengdu:School of Automation Engineering,University of Electronic Science and Technology of China,2009(in Chinese)
[10]胡國勝,錢玲,張國紅.支持向量機(jī)的多分類算法[J].系統(tǒng)工程與電子技術(shù),2006,28(1):127-132
Hu Guosheng,Qian Ling,Zhang Guohong.Survey of multiclassification algorithms based on support vector machine[J].Systems Engineering and Electronics,2006,28(1):127-132(in Chinese)
[11]張建明,曾建武,謝磊,等.基于粗糙集的支持向量機(jī)故障診斷[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2007,47(S2):1774-1777
Zhang Jianming,Zeng Jianwu,Xie Lei,et al.Fault diagnosis based on RS and SVM[J].Journal of Tsinghua University:Sience and Technology,2007,47(S2):1774-1777(in Chinese)