彭必燦，張正道

江南大學(xué)輕工過程先進控制教育部重點實驗室，江蘇無錫 214122

基于稀疏主元分析的過程監(jiān)控研究

彭必燦，張正道

江南大學(xué)輕工過程先進控制教育部重點實驗室，江蘇無錫 214122

1 引言

工業(yè)過程監(jiān)控是一種確保產(chǎn)品質(zhì)量的有效方法[1]。過去的20年里，多元統(tǒng)計方法在工業(yè)過程監(jiān)控領(lǐng)域獲得了廣泛的應(yīng)用，并取得了許多科研成果[2]。最常見的多元統(tǒng)計方法有主元分析（PCA）和最小二乘法（PLS）[3]等。

PCA是一種基于數(shù)據(jù)驅(qū)動的過程監(jiān)控方法，并成功應(yīng)用于各種化工過程[4-5]。由于不需要過程變量的精確數(shù)學(xué)模型，且能從大量雜亂無章的數(shù)據(jù)中提取出有效的信息，PCA方法簡化了過程監(jiān)控的操作程序，并提高了過程監(jiān)控的效率[1-4]。PCA方法有兩個理想化的假設(shè)：主元能夠俘獲數(shù)據(jù)的最大變化，以及最小的信息損失；主元間是獨立的，因而一個主元與其他主元不相關(guān)[5]，這兩個假設(shè)成為主元分析改進方法的切入點。通過引入T2和SPE的監(jiān)控指標，PCA及其改進方法能進行故障檢測，并具有較低的誤檢率和漏檢率[6-15]。隨著研究的深入，相關(guān)的過程監(jiān)控方法獲得了快速的發(fā)展，并成功解決過程監(jiān)控領(lǐng)域的諸多問題。核主元分析方法的提出，解決了非線性過程的監(jiān)控問題[16]；動態(tài)主元分析方法的提出，解決了過去時刻的變量對當(dāng)前時刻過程監(jiān)控的影響問題，增強了系統(tǒng)的動態(tài)特性[17]；高斯混合模型的提出[14]，解決了非高斯分布數(shù)據(jù)的過程監(jiān)控問題。這些方法優(yōu)化了過程監(jiān)控的模型，并改進了監(jiān)控性能，卻也有局限性。比如在大的工業(yè)系統(tǒng)中，由于存在較多的過程變量，傳統(tǒng)的過程監(jiān)控方法往往計算量較大，進而影響計算效率和過程監(jiān)控的實時性。稀疏化的思想成了解決大數(shù)據(jù)問題的有效方式，這種思想最早出現(xiàn)在Jilliffe的著作中[4]。Zou構(gòu)建了稀疏約束函數(shù)，并成功將稀疏化思想引入到PCA中[18-19]。由于PCA進行投影時，在數(shù)據(jù)的方差最大化方向中，并非所有的變量都對方差具有同等的貢獻，具體到主元的負荷向量中，即為：對方差貢獻越小的變量，對應(yīng)的負荷系數(shù)越小。稀疏化的PCA就是通過限制負荷向量中非零系數(shù)的個數(shù)而獲得，即求解約束函數(shù)并獲得稀疏的負荷向量，從而得到最優(yōu)化的稀疏主元[6-7，20]。

本文研究了一種稀疏主元分析的過程監(jiān)控新方法。該方法將稀疏性引入到PCA模型中，并建立了新的回歸模型，利用lasso約束函數(shù)優(yōu)化主元，從而求解得到稀疏化的主元，進一步提出了稀疏的監(jiān)控指標。在仿真階段，通過構(gòu)建稀疏主元分析模型，研究了模型的穩(wěn)定性，進而進行TE過程的實驗，結(jié)果表明，該方法能夠增強模型的穩(wěn)定性，減小主元和監(jiān)控指標的計算量，進一步提高參數(shù)的計算效率和過程監(jiān)控實時性，最終能夠?qū)崿F(xiàn)及時有效的故障檢測。

2 Lasso約束函數(shù)

構(gòu)建向量Xj和Z的線性回歸模型，進而引出lasso約束函數(shù)。假定樣本的采樣數(shù)為n，變量p為傳感器數(shù)目，采樣n次后得到樣本矩陣X，任意選取Xj相關(guān)的主元列向量，定義為Z：

式中，λ為非負的參數(shù)，γj為對應(yīng)的回歸系數(shù)向量。lasso約束函數(shù)最初由Tibshirani在1996年提出，Efron進一步證實其為分段的線性函數(shù)[18]。式（3）中，在樣本最小殘差平方和之后，增加了一個新的約束式，即最小回歸系數(shù)的絕對值之和。隨著λ的增大，回歸系數(shù)的絕對值之和將會越來越小，回歸系數(shù)最終將收縮為0。

由式（3）可知，在lasso的估計作用下，估計結(jié)果中的非零系數(shù)最多只有min(p，n)個。當(dāng)p＞＞n時，lasso的估計函數(shù)易收斂，原因在于lasso函數(shù)只是孤立的選擇各個觀測變量，卻忽略了變量之間貢獻的有序性。因此，Zou和Hastie提出lasso函數(shù)的改進模型[18-19]。假設(shè)有兩個非負的參數(shù)λ1和λ2，約束函數(shù)en的估計算法如下：

式中，若λ2的值為0，則式（4）回歸為原始的lasso約束算法。相比式（3），由于增加了另外的參數(shù)λ2，lasso不再只是單獨考察各個孤立的觀測變量，更要考慮變量間相關(guān)性，并能選出最無關(guān)聯(lián)的變量。若有p＞n，令參數(shù)λ2＞0，此時式（4）中的參數(shù)估計算法將覆蓋所有變量，文獻[18]證明了改進算法的優(yōu)越性。

3 SPCA方法的過程監(jiān)控

3.1 主元的稀疏性約束函數(shù)

將lasso約束函數(shù)引入到主元模型中，得到稀疏主元的約束性算法。假設(shè)此時的主元負荷向量為αk，樣本數(shù)據(jù)集為X，其方差矩陣S為：

當(dāng)t值減小時，較多的負荷向量系數(shù)將會收縮到0，因此t的大小影響主元的稀疏程度。定義一個簡單的PCA模型，并對其進行回歸分析，得定理1[18]。

定理1假設(shè)Y為樣本數(shù)據(jù)的主元矩陣，Yj為Y的列向量，即為第j個主元，若存在參數(shù)λ＞0，則約束的估計函數(shù)為：

定理1可參照公式（3）推導(dǎo)，目的是將PCA模型轉(zhuǎn)化為回歸函數(shù)模型，定理中的參數(shù)λ為回歸分析中的約束參數(shù)，并能用于主元的重構(gòu)。引入另外的非負參數(shù)λ1，參考公式（4），定理1的擴展如下：

3.2 SPCA算法

由定理1可知，主元的稀疏化算法主要分兩步，一是對PCA進行稀疏化的回歸分析；二是利用約束參數(shù)μj估計稀疏后的主元。為了進一步研究稀疏主元分析算法，引入定理2[18]。

定理2令Xi表示矩陣X的第i個行向量，μi為μ的行向量，參數(shù)向量a和b的定義為：

將定理2推廣到k個主元的情況，得定理3[19]。

定理3選取樣本的前k個主元，其中α和β為參數(shù)矩陣，且維數(shù)都為p×k，Xi仍為矩陣X的行向量，βj為β的列向量，若存在參數(shù)λ＞0，且αTα=Ik，推廣定理2，得：

若令β=α，即回歸為傳統(tǒng)的PCA方法。將式（14）進一步改進，考慮k個主元的稀疏性，參考式子（4），當(dāng)α仍然滿足ααT=Ik時，得到函數(shù)式：

對稀疏主元分析的算法進行總結(jié)，得到k個主元的優(yōu)化收斂算法步驟如下：

（1）求解樣本矩陣的k個主元，參數(shù)矩陣α的初值為μi(i=1:k)。

（2）對于固定的α值，參考定理3和公式（17），在參數(shù)j=1，2，…，k時，計算稀疏約束的另一個參數(shù)β：

（3）求解出參數(shù)β后，參考定理4和公式（18），求解此時對應(yīng)的參數(shù)α。對β值進行奇異值分解，有：

利用式子（21）計算α，并再一次更新α。

（4）重復(fù)（2）～（3），反復(fù)更新參數(shù)α和參數(shù)β，直到β收斂為止。

（5）參照式子（9），利用收斂后的最終β進行歸一化，并求解最終的k個主元，得到稀疏最優(yōu)解：

其中Sign為符號函數(shù)，而此時參數(shù)α對應(yīng)為固定值。通過對SPCA算法的分析，得其流程圖如圖1。

圖1 SPCA算法流程圖

3.3 SPCA方法的過程監(jiān)控

在利用SPCA方法進行過程監(jiān)控時，由于建立了稀疏模型，需要對傳統(tǒng)的監(jiān)控方法進行改進，并利用TE過程數(shù)據(jù)進行仿真研究。根據(jù)傳統(tǒng)的SPE定義，改進后的SPE計算式如下：

式中，α和β為稀疏參數(shù)，閾值Qα的計算式如下：

其中Cα是置信度為(1-α)的正態(tài)分布點，式中參數(shù)h0和θi的定義如下：

式中參數(shù)Fα(a，n-a)是一種F分布，且置信度為(1-α)，自由度為α，分位點為a和n-a。得到監(jiān)控指標計算式后，選取TE過程數(shù)據(jù)[21]對SPCA算法進行仿真研究。SPCA模型的過程監(jiān)控步驟如下：

（1）從TE過程數(shù)據(jù)集中獲取采樣數(shù)據(jù)，并按正常條件下模型的均值和方差進行標準化，得到訓(xùn)練和測試的樣本數(shù)據(jù)。

（2）給定訓(xùn)練數(shù)據(jù)集，利用lasso約束函數(shù)對樣本數(shù)據(jù)載荷矩陣進行稀疏化，并求解最優(yōu)的稀疏參數(shù)α和β。

（3）給定測試數(shù)據(jù)集X，更新參數(shù)α和β，并利用式（24）計算稀疏化后的主元，詳細過程參見SPCA的收斂算法。

（4）計算測試數(shù)據(jù)的SPE和T2統(tǒng)計量。

（5）監(jiān)視SPE和T2是否超過正常條件下的建模值。

4 SPCA方法的仿真研究

4.1 SPCA模型的穩(wěn)定性研究

選擇文獻[18]中的數(shù)據(jù)集對PCA和SPCA模型的穩(wěn)定性進行對比研究，數(shù)據(jù)集中每個變量的維數(shù)為1 500，500個變量構(gòu)成測試數(shù)據(jù)集。設(shè)定此時的噪聲規(guī)則，即為：0到1之間的隨機數(shù)。選取主元的個數(shù)為3，利用matlab進行實驗仿真，設(shè)定0～1 s內(nèi)采樣500次，作為500個變量，3個主元分別為3種函數(shù)，圖2中用不同顏色加以區(qū)分。利用仿真圖進行對比研究，其中圖2（a）為PCA方法的主元貢獻圖，圖2（b）為SPCA方法的主元貢獻圖。

圖2 PCA與SPCA的主元貢獻分析

對比圖2（a）、（b），由于離橫坐標軸近的變量對函數(shù)的影響小，可視其對主元的貢獻小，而離橫坐標軸遠的點對函數(shù)的影響大，可視其對主元的貢獻大。通過圖2（a）、（b）的對比研究，加入噪聲后，傳統(tǒng)PCA方法中貢獻較小的變量波動明顯，表明其對主元產(chǎn)生影響，如圖2（a）中的橫坐標軸附近的波動較大；改進后的SPCA方法中，只有貢獻較大的變量對主元有較大影響，而貢獻小的變量對主元幾乎無影響，如圖2（b）中的橫軸附近幾乎無波動。產(chǎn)生這種現(xiàn)象的原因為：SPCA模型稀疏化了載荷矩陣，并求解約束函數(shù)而得到優(yōu)化后的主元，減少了無關(guān)變量對主元的影響。仿真結(jié)果表明，相對于傳統(tǒng)的PCA模型，SPCA模型呈現(xiàn)出較好的穩(wěn)定性，進一步需研究SPCA模型的過程監(jiān)控效果，并利用TE過程數(shù)據(jù)進行仿真對比。

4.2 SPCA方法的TE過程監(jiān)控

將SPCA方法的過程監(jiān)控指標應(yīng)用到TE過程，并利用仿真結(jié)果評價這種方法的性能。TE過程數(shù)據(jù)是一組工業(yè)過程仿真數(shù)據(jù)[15]，由美國Eastman化學(xué)公司的Downs和Vogel在1993年提出，大量的文獻引用其作為數(shù)據(jù)源，來進行控制、優(yōu)化、過程監(jiān)控和故障診斷等研究。

TE過程實際上模仿了真實的化工過程，共有5個主要的操作單元，分別為：反應(yīng)器、冷凝器、氣液分離器、循環(huán)壓縮機、汽提塔，其流程圖如圖3。

圖3 TE過程流程圖

選取TE過程數(shù)據(jù)對SPCA模型進行訓(xùn)練，數(shù)據(jù)集包括480組采樣數(shù)據(jù)，每組采樣數(shù)據(jù)有22個變量。再利用測試數(shù)據(jù)更新SPCA的模型參數(shù)，計算新的監(jiān)控指標，并記錄下實驗結(jié)果。此時的方差貢獻率設(shè)定為0.9，統(tǒng)計閾值的置信度α設(shè)定為0.97，得到PCA與SPCA方法的SPE和T2的統(tǒng)計監(jiān)控圖如圖4。

圖4（a）～（b）為PCA方法的故障檢測效果圖，樣本數(shù)據(jù)共采樣480次，采樣的時間間隔為3 min，得到480個樣本。其中圖4（a）和（b）分別為PCA的T2和SPE統(tǒng)計圖，曲線對應(yīng)為監(jiān)控指標值，并且虛線為控制限。當(dāng)有監(jiān)控值超出控制限時，判定該樣本時刻系統(tǒng)發(fā)生故障。而圖4（c）和（d）也分別對應(yīng)SPCA方法的T2和SPE的監(jiān)控指標。對比PCA和SPCA方法的監(jiān)控效果，當(dāng)分別利用PCA模型和SPCA模型監(jiān)控時，T2統(tǒng)計圖都在250到300個樣本間超出控制限，判斷該樣本時刻內(nèi)系統(tǒng)發(fā)生故障，需利用SPE監(jiān)控指標進行進一步的對比研究。計算測試樣本的SPE值，并進行對比圖的詳細分析，觀測到PCA的監(jiān)控圖在270個樣本時刻明顯超出控制限，判斷該樣本時刻系統(tǒng)出現(xiàn)故障，而SPCA監(jiān)控圖在250個樣本時刻明顯超出控制限，判定故障出現(xiàn)在250個樣本時刻。分析PCA方法和SPCA方法的監(jiān)控效果，PCA方法在監(jiān)控圖上出現(xiàn)了一定程度的時間延遲，產(chǎn)生這種現(xiàn)象的原因為：SPCA方法稀疏化了建模數(shù)據(jù)，減少了模型參數(shù)和監(jiān)控指標的計算量，縮短了計算時間，并提高了計算效率，進而提高了故障檢測的實時性。進一步得出結(jié)論：PCA方法和SPCA方法的TE過程監(jiān)控結(jié)果明顯，都能夠檢測出系統(tǒng)故障，然而SPCA方法的實時性稍好。為了進一步驗證SPCA方法的計算效率，分別測量PCA方法和SPCA方法的計算時間，并對結(jié)果進行對比研究。

選取一組測試數(shù)據(jù)進行故障檢測，利用Matlab計算TE過程監(jiān)控的程序運行時間，得到PCA模型和SPCA模型的監(jiān)控計算時間，結(jié)果對比如表1。

圖4 PCA與SPCA方法的監(jiān)控效果對比

表1 SPCA與PCA計算時間對比

對比表中的數(shù)據(jù)，SPCA方法對測試數(shù)據(jù)的監(jiān)控計算時間為0.942 s，相比PCA的1.364 s較為減少，運算效率得到提高，表明SPCA方法對監(jiān)控模型具有一定的優(yōu)化作用，通過減小參與計算的數(shù)據(jù)量，進一步提高運算效率和過程監(jiān)控的實時性。

5 結(jié)束語

本文提出了一種基于SPCA模型的過程監(jiān)控新方法。首先對樣本數(shù)據(jù)的主元進行稀疏化建模，減少了無關(guān)變量對方差的干擾，進而提高了模型的穩(wěn)定性。由此構(gòu)建稀疏的監(jiān)控指標，建立稀疏模型的SPE和T2統(tǒng)計量，并對PCA方法和SPCA方法的過程監(jiān)控效果進行對比研究。通過模型的仿真效果對比，表明了SPCA監(jiān)控方法能減小模型和監(jiān)控指標的計算量，縮短過程監(jiān)控的計算時間，并提高監(jiān)控的實時性，是一種有效的狀態(tài)監(jiān)控方法。

[1]Chiang L H，Russell E L，Braatz R D.Fault detection and diagnosis in industrial systems[M].New York：Springer-Verlag，2001：15-25.

[2]Bishop C M.Pattern recognition and machine learning[M]. New York：Springer-Verlag，2006：559-599.

[3]Ding S.Model-based fault diagnosis techniques[M].New York：Springer-Verlag，2008：13-49.

[4]Jolliffe I T.Principal component analysis[M].2nd ed.New York：Springer-Verlag，2002：167-195.

[5]Qin S J.Statistical process monitoring：basics and beyond[J]. Chemometrics，2003，17：480-502.

[6]向馗，李炳南.基于稀疏主元分析的微伏級T波交替幅度量化[J].生物醫(yī)學(xué)工程學(xué)雜志，2012，29（5）：954-982.

[7]劉中杰，莊麗葵，曹云峰，等.基于主元分析和稀疏表示的SAR圖像目標識別[J].系統(tǒng)工程與電子技術(shù)，2013，35（2）：282-286.

[8]徐毅，趙東娟，梁久禎.二維類增廣PCA及其在人臉識別中的應(yīng)用[J].計算機工程與應(yīng)用，2012，48（1）：202-204.

[9]陳勇，梁軍.基于PCA的多變量控制系統(tǒng)的故障監(jiān)測與診斷[J].工程設(shè)計學(xué)報，2002，9（5）：257-260.

[10]趙忠蓋，劉飛.基于稀疏核主元分析的在線非線性過程監(jiān)控[J].化工學(xué)報，2008，59（7）：1773-1777.

[11]肖應(yīng)旺，徐保國.改進PCA在發(fā)酵過程監(jiān)測與故障診斷中的應(yīng)用[J].控制與決策，2005，20（5）：571-574.

[12]王海清，宋執(zhí)環(huán)，王慧.PCA過程監(jiān)測方法的故障檢測行為分析[J].化工學(xué)報，2002，53（3）：297-301.

[13]許仙珍，謝磊，王樹青.基于GMM的多工況過程監(jiān)測方法[J].計算機與應(yīng)用化學(xué)，2010，27（1）：17-21.

[14]Benaicha A，Mourot G，Benothman K，et al.Determination of principal component analysis models for sensor fault detection and isolation[J].International Journal of Control，2013，11（2）：296-305.

[15]Chen Tao，Sun Yue.Probabilisticcontributionanalysis forstatisticalprocessmonitoring：amissingvariable approach[J].Control Engineering Practice，2009，17（4）：469-477.

[16]薄翠梅，李俊，陸愛晶，等.基于核函數(shù)和概率神經(jīng)網(wǎng)絡(luò)的TE過程監(jiān)控研究[C]//第26屆中國控制會議論文集.北京：北京航空航天大學(xué)出版社，2007，5：511-515.

[17]Treasure R J，Kruger U，Cooper J E.Dynamic multivariate statistical process control using subspace identification[J]. Journal of Process Control，2004，14：279-292.

[18]Zou Hui，Hastie T，Tibshirani R.Sparse principal component analysis[J].Journal of Computational and Graphical Statistics，2006，15（2）：265-286.

[19]Zou Hui，Hastie T.Regularization and variable selection via the elastic net[J].Journal of the Royal Statistical Society，2005，67（2）：301-320.

[20]向馗，李炳南.主元分析中的稀疏性[J].電子學(xué)報，2012，40（12）：2525-2532.

[21]Downs J J，Vogel E F.A plant-wide industrial process control problem[J].Computer and Chemical Engineering，1993，17（3）：245-255.

PENG Bican,ZHANG Zhengdao

Key Laboratory of Advanced Process Control for Light Industry,Ministry of Education,Jiangnan University,Wuxi,Jiangsu 214122,China

Principal Component Analysis（PCA）is a multivariate statistical technique,with a range of applications in data processing and dimensionality reduction.Over the past two decades,PCA method has also been widely applied to various kinds of industrial processes for process monitoring and fault diagnosis with some successes.Due to the increasing volumes of data,process monitoring methods which are based on PCA approaches suffer many limitations,such as great calculation loads and poor real-time performance.In this paper,a new method called Sparse Principal Component Analysis（SPCA）is developed in process monitoring,using the lasso（least absolute shrinkage and selection operator）to produce modified principal components with sparse loadings.And the SPCA can be formulated as a regression-type optimization function to achieve the main elements of choice.Furthermore,the fault detection is then performed by a detection index using model parameters,and the sparse principal component analysis is used in the Tennessee Eastman process（TE processes）monitoring for simulations.Compared with the traditional principal component analysis method,this SPCA approach builds a model based on the sparse modeling data.Therefore it can reduce the amount of calculations and improve the real time performance.As the SPCA model is applied to simulate with real data,the results show that it has better effectiveness in TE processes.

least absolute shrinkage and selection operator（lasso）;Sparse Principal Component Analysis（SPCA）;state monitoring;Tennessee Eastman（TE）processes

主元分析（principal component analysis）是一種多元統(tǒng)計技術(shù)，在過程監(jiān)控和故障診斷中具有廣泛的應(yīng)用。針對過程監(jiān)控中數(shù)據(jù)量大的特點，提出一種稀疏主元分析（sparse principal component analysis）方法，通過引入lasso約束函數(shù)，構(gòu)建稀疏主元分析的框架，將PCA降維問題轉(zhuǎn)化為回歸最優(yōu)化問題，從而求解得到稀疏化的主元，并提高了主元模型的抗干擾能力。由于稀疏后主元相關(guān)的數(shù)據(jù)量減少，利用數(shù)據(jù)建立過程監(jiān)控模型，減少了計算量，并縮短了計算時間，進而提高了監(jiān)控的實時性。利用田納西伊斯特曼過程（TE processes）進行實驗仿真，并與傳統(tǒng)的主元分析方法進行對比研究。結(jié)果表明，新提出的稀疏主元分析方法在計算效率和監(jiān)控實時性上均優(yōu)于傳統(tǒng)的主元分析方法。

最小絕對收縮和選擇算子（lasso）；稀疏主元分析；狀態(tài)監(jiān)控；田納西伊斯特曼（TE）過程

A

TP306+.3

10.3778/j.issn.1002-8331.1307-0368

PENG Bican,ZHANG Zhengdao.Process monitoring research based on sparse principal component analysis. Computer Engineering and Applications,2014,50（18）：240-245.

國家自然科學(xué)基金（No.61374047）；中央高校基礎(chǔ)研究項目（No.JUSRP51322B，No.JUSRP111A49）。

彭必燦（1988—），男，碩士研究生，研究領(lǐng)域為控制工程、故障診斷；張正道（1976—），通訊作者，男，博士，副教授，研究領(lǐng)域為狀態(tài)監(jiān)控與故障診斷、故障預(yù)報。E-mail：wxzzd@hotmail.com

2013-07-29

2013-10-15

1002-8331（2014）18-0240-06

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-12-19,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1307-0368.html