談恩民，王 晨

(桂林電子科技大學(xué)電子工程與自動化學(xué)院，廣西 桂林 541004)

1 引言

隨著電子工業(yè)的快速發(fā)展，電路故障診斷在工業(yè)系統(tǒng)的可靠運(yùn)行和工業(yè)系統(tǒng)維護(hù)中起著至關(guān)重要的作用。大規(guī)模電路技術(shù)發(fā)展至今，雖然數(shù)?；旌想娐氛颊麄€(gè)電路的比例約為60%，且混合信號電路中模擬電路所占比例為20%，但當(dāng)電路發(fā)生故障時(shí)，模擬電路發(fā)生故障的比例卻達(dá)到了80%[1]。

模擬電路故障診斷的主要任務(wù)就是在已知網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、激勵信號和故障響應(yīng)條件的情況下找到故障的位置[2]。然而，由于故障模型復(fù)雜，元件容差，非線性以及被測點(diǎn)難以選取等問題，使得故障很難檢測和診斷，從而造成了電路系統(tǒng)的不穩(wěn)定以及電路芯片的高成本。因此，對模擬電路故障診斷技術(shù)的深入研究就顯得尤為重要[3]。

模擬電路故障診斷的主要模型是：信號處理+分類器[4]。目前主要的信號處理方法有小波分析法[5]、主成分分析法[6]和經(jīng)驗(yàn)?zāi)B(tài)分解EMD(Empirical Mode Decomposition)算法[7]，經(jīng)常使用的分類算法有支持向量機(jī)SVM(Support Vector Machine)[8]和極限學(xué)習(xí)機(jī)ELM(Extreme Learning Machine)[9]等。常用的優(yōu)化算法有粒子群算法[10]、正弦余弦算法[11]、蟻獅算法和果蠅算法[12]等。SVM主要用于將復(fù)雜的非線性問題轉(zhuǎn)化為極為簡單的二次尋優(yōu)問題，通過 SVM 對所描述問題的求解，繞開了很多智能算法不能直接求解局部極值的問題[13]。ELM能夠克服BP(Back Propagation)算法所面臨的一些挑戰(zhàn)，它可以提供更好的泛化性能和通用逼近分類能力，具有極快的學(xué)習(xí)速度。雖然上述算法都已經(jīng)成功應(yīng)用于模擬電路故障診斷，但是當(dāng)故障信息中特征較多時(shí)，難以對數(shù)據(jù)特征進(jìn)行選擇提取，從而達(dá)不到預(yù)期的效果。

隨著時(shí)代的發(fā)展，表征學(xué)習(xí)的出現(xiàn)使得數(shù)據(jù)處理更加容易，它的主要工作是通過數(shù)據(jù)的轉(zhuǎn)換設(shè)計(jì)來獲得有意義的數(shù)據(jù)特征表示。因此，本文提出了一種基于H-DELM(Hierarchical Deep Extreme Learning Machine)的模擬電路故障診斷模型。該模型直接將原始故障數(shù)據(jù)作為H-DELM的輸入，不需要對數(shù)據(jù)進(jìn)行單獨(dú)的信號處理和篩選，就可以快速地實(shí)現(xiàn)故障診斷。而且傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練中需要設(shè)定很多參數(shù)，而H-DELM的基本單元是DELM-AE(Deep Extreme Learning Machine Auto-Encoder)，對于DELM-AE的訓(xùn)練只需要設(shè)置2個(gè)參數(shù)：隱藏層節(jié)點(diǎn)數(shù)L和正則化參數(shù)C。最后通過2個(gè)實(shí)驗(yàn)電路表明此模型具有分類準(zhǔn)確率高、魯棒性強(qiáng)、學(xué)習(xí)速度快等優(yōu)點(diǎn)，在模擬電路診斷中具有重要的研究意義。

2 極限學(xué)習(xí)機(jī)

2006年Huang等[14]首次提出了極限學(xué)習(xí)機(jī)ELM的概念，ELM是一種簡單的具有3層結(jié)構(gòu)的SLFN(Single-hidden Layer Feedforward neural Network)[15]，其中包括1個(gè)輸入層、1個(gè)隱藏層和1個(gè)輸出層。ELM的基本思想是隨機(jī)初始化隱藏層的參數(shù)，通過特征映射將輸入數(shù)據(jù)從輸入空間轉(zhuǎn)換到高維隱藏層空間，而輸出參數(shù)通過ELM學(xué)習(xí)算法進(jìn)行確定。ELM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

Figure 1 Network structure of ELM 圖1 ELM網(wǎng)絡(luò)結(jié)構(gòu)圖

H=g(X;W,b)=

(1)

其中,(wi,bi)是第i個(gè)隱藏層節(jié)點(diǎn)參數(shù)，W=(w1,w2,…,wL)是從輸入層節(jié)點(diǎn)到隱藏層節(jié)點(diǎn)的輸入權(quán)重矩陣，隱藏層偏置b=(b1,b2,…,bL)，隱藏層參數(shù)(W,b)可以根據(jù)任意連續(xù)的概率分布隨機(jī)分配。在這里，g(x)是激活函數(shù)。通常，g(x)可以是任何非線性分段連續(xù)激活函數(shù)。

標(biāo)準(zhǔn)ELM試圖以零誤差逼近這些樣本，可以寫成如式(2)所示的矩陣形式：

Hβ=T

(2)

其中，H∈RN×L是隱藏層輸出矩陣，β∈RL×m是輸出權(quán)重矩陣，T是訓(xùn)練數(shù)據(jù)目標(biāo)矩陣。

(3)

ELM的目標(biāo)是同時(shí)最小化訓(xùn)練誤差和輸出權(quán)重范數(shù)，以提高穩(wěn)定性和泛化能力，如式(4)所示：

(4)

其中C表示正則化參數(shù)，控制訓(xùn)練誤差與模型復(fù)雜度之間的權(quán)衡，通過ELM對β的梯度設(shè)置為零，可以得到β的以下解：

(5)

其中I為單位矩陣，如果N≥L,I的維數(shù)為L,如果N

訓(xùn)練ELM可以概括如下：

(1)隨機(jī)分配隱藏層輸入權(quán)重W和偏置b;

(2)計(jì)算出隱藏層輸出矩陣H;

(3)根據(jù)式(5)計(jì)算出輸出權(quán)重β。

綜上所述，ELM可以在隨機(jī)生成隱藏層參數(shù)后確定輸出權(quán)重，而且可以提供穩(wěn)定、高效的解決方案。

3 H-DELM模型

3.1 SELM-AE

當(dāng)ELM-AE(Extreme Learning Machine-Auto Encoder)[17]逐層堆疊形成深度ELM-AE時(shí)，當(dāng)前ELM-AE的輸入是前一個(gè)學(xué)習(xí)ELM-AE的特征碼，并且輸出與輸入相同[18]。ELM-AE是一種盡可能再現(xiàn)輸入的神經(jīng)網(wǎng)絡(luò)，所以深度ELM-AE作為深度學(xué)習(xí)框架中的特征提取器是合理有效的，但如果在前幾層存在錯誤，則該模型將無效。因?yàn)橄惹暗腅LM-AE學(xué)習(xí)的特征信息只保留了原始數(shù)據(jù)信息的一部分，后面的ELM-AE只是盡可能多地復(fù)制以前的特征代碼，進(jìn)而深度ELM-AE會形成累積誤差，使學(xué)習(xí)后的特征不能更好地表達(dá)原始信息，這將導(dǎo)致深度模型的性能下降。

因此，對ELM-AE的第1個(gè)改進(jìn)是將其輸出修改為原始信息，并且輸入仍然是先前ELM-AE學(xué)習(xí)的特征碼，稱此模型為單隨機(jī)隱層ELM-AE SELM-AE(Single random hidden layer Extreme Learning Machine-Auto Encoder)，如圖2所示。因此,在SELM-AE表征學(xué)習(xí)的過程中，它可以學(xué)習(xí)基本特征來重構(gòu)原始信息，且特征信息與原始信息更相關(guān)、更具有表現(xiàn)力。

Figure 2 Network structure of SELM-AE 圖2 SELM-AE網(wǎng)絡(luò)結(jié)構(gòu)

通常，高維空間中的樣本數(shù)據(jù)不能在整個(gè)空間中擴(kuò)散，它們位于一個(gè)嵌入在高維空間中的低維流形中，流形的維數(shù)是數(shù)據(jù)的內(nèi)在維數(shù)[19]。另一方面，因?yàn)楦呔S空間顯著地增加了數(shù)據(jù)的存儲和計(jì)算需求，所以研究人員實(shí)際上希望達(dá)到降維效果，即希望得到輸入的壓縮表示。然而在降維的過程中，丟棄某些維度會不可避免地導(dǎo)致信息的丟失。

SELM-AE可以看作是一種轉(zhuǎn)換表示的方法，主要目標(biāo)是用以下2種不同的方式進(jìn)行表示。當(dāng)輸入層節(jié)點(diǎn)數(shù)小于隱藏層節(jié)點(diǎn)數(shù)時(shí)，可以將輸入數(shù)據(jù)從低維表示空間轉(zhuǎn)換到高維表示空間，特征表示可以稱為擴(kuò)展數(shù)據(jù)維度。相反，當(dāng)輸入層節(jié)點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)大于隱藏層節(jié)點(diǎn)數(shù)時(shí)，可以將高維輸入數(shù)據(jù)映射到壓縮的特征空間，特征表示可以稱為壓縮數(shù)據(jù)表示。

3.2 DELM-AE

綜上原因，本文設(shè)計(jì)了一種新的網(wǎng)絡(luò)模型DELM-AE，在ELM-AE的基礎(chǔ)上增加了一個(gè)隱藏層。如圖3所示，雙隨機(jī)隱藏層用于編碼特征，一個(gè)輸出層用于解碼特征。首先，將較低維的數(shù)據(jù)隨機(jī)映射到高維表示空間，得到擴(kuò)展維數(shù)數(shù)據(jù)，然后將特征從高維空間隨機(jī)變換到低維空間，得到壓縮后的特征，即學(xué)習(xí)的特征代碼。DELM-AE的輸出與原始輸入信息相同，目標(biāo)是計(jì)算輸出權(quán)值。因此，在DELM-AE表征學(xué)習(xí)的過程中，它可以作為基本單元，它的2個(gè)變換表示可以實(shí)現(xiàn)更多完整的特征，以保存更多的信息，進(jìn)而實(shí)現(xiàn)訓(xùn)練的快速性。此外，DELM-AE訓(xùn)練算法類似于SELM-AE的訓(xùn)練算法。

Figure 3 Network structure of DELM-AE 圖3 DELM-AE網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練DELM-AE的過程如下所示：

假設(shè)輸入數(shù)據(jù)矩陣X、懲罰系數(shù)C和隱藏層節(jié)點(diǎn)數(shù)L，目標(biāo)是計(jì)算輸出權(quán)重β。

(1)隨機(jī)分配第1個(gè)隱藏權(quán)重w1，偏置b1(第1層的偏置矩陣)，并計(jì)算第1隱藏層輸出矩陣H1。

(2)隨機(jī)分配第2個(gè)隱藏權(quán)重w2和偏置b2，并計(jì)算第2隱藏層輸出矩陣H2。

(3)根據(jù)式(6)求出權(quán)重：

(6)

以上介紹了2種基本模型SELM-AE和DELM-AE的網(wǎng)絡(luò)結(jié)構(gòu)，可以通過層疊SELM-AE和DELM-AE，分別形成H-SELM和H-DELM模型。如圖4所示為H-DELM的訓(xùn)練過程，它逐層學(xué)習(xí)數(shù)據(jù)特征，以盡可能地重構(gòu)原始信息。

Figure 4 Network structure of H-DELM 圖4 H-DELM網(wǎng)絡(luò)結(jié)構(gòu)

H-DELM網(wǎng)絡(luò)結(jié)構(gòu)由2部分組成：(1)用于無監(jiān)督特征提取的多層DELM-AE；(2)用于監(jiān)督特征分類的ELM。

H-DELM訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)由2個(gè)階段組成 ：

(1)分離階段：無監(jiān)督的多層表示學(xué)習(xí)和監(jiān)督特征分類。在前一階段，采用堆疊DELM-AE層形成一個(gè)H-DELM-AE，它將原始輸入轉(zhuǎn)換成更高級別的表示。隨著層的增加，學(xué)習(xí)的特征變得更有表現(xiàn)力和緊湊。注意，由于每個(gè)DELM-AE的輸出始終是原始輸入數(shù)據(jù)X，當(dāng)?shù)玫矫總€(gè)DELM-AE的結(jié)果基β時(shí)，相應(yīng)的特征表示是：

(7)

其中，f為學(xué)習(xí)到的特征縮寫。H-DELM-AE無監(jiān)督特征提取是一種通過子空間或投影映射函數(shù)來保存數(shù)據(jù)空間的幾何結(jié)構(gòu)。

(2)分類階段：在獲得最終的特征之后再通過ELM來獲得最終分類結(jié)果。

4 H-DELM的模擬電路故障診斷

由于H-DELM的無監(jiān)督多層DELM-AE可以重現(xiàn)更多緊湊數(shù)據(jù)的表征學(xué)習(xí),故不需要進(jìn)行單獨(dú)的信號采集,只需要把樣本數(shù)據(jù)輸入到H-DELM中進(jìn)行測試和訓(xùn)練，如圖5所示，具體包括故障樣本數(shù)據(jù)采集、添加標(biāo)簽、數(shù)據(jù)標(biāo)準(zhǔn)化、構(gòu)造樣本和故障分類5個(gè)步驟。以下所有實(shí)驗(yàn)環(huán)境均為CPU為英特爾酷睿3.5 GHz，內(nèi)存為8 GB的臺式機(jī)上，所使用的軟件為Candence 16.5和Matlab 2014a。

Figure 5 Fault diagnosis process of analog circuit using H-DELM圖5 H-DELM模擬電路故障診斷流程

4.1 四運(yùn)放雙二次高通濾波器電路

4.1.1 診斷電路及故障參數(shù)設(shè)置

本節(jié)選取四運(yùn)放雙二次高通濾波器電路作為驗(yàn)證對象，電阻和電容的容差分別為5%和10%。電阻故障范圍是[50%X，95%X]∪[105%X，150%X]，電容故障范圍是[50%X，90%X]∪[110%X，150%X]，其中X為元件的標(biāo)稱值。電路圖如圖6所示，經(jīng)過靈敏度分析，故障敏感元件為C1、C2、R1、R2、R3。構(gòu)建單故障集為{R1↑，R1↓，R2↑，R2↓，R3↑，R3↓，R4↑，R4↓，C1↑，C1↓，C2↑，C2↓，正常}，共13種狀態(tài)，↑和↓分別表示高于或者低于標(biāo)稱值的50%，具體設(shè)置參數(shù)如表1所示。

Figure 6 Quadruple operational amplifier double-order high-pass filter circuit圖6 四運(yùn)放雙二次高通濾波器電路

對實(shí)驗(yàn)電路施加的激勵信號參數(shù)如圖6所示，選取OUT點(diǎn)為被測節(jié)點(diǎn)。對表1所示的故障類型分別進(jìn)行200次蒙特卡羅MC(Monte-Carlo)分析，采集2個(gè)周期內(nèi)(2 ms)的輸出端波形并保存，提取出原始數(shù)據(jù)。針對每個(gè)故障樣本，取前400個(gè)故障輸出端電壓，這樣每個(gè)故障都能獲得200個(gè)400維的樣本，構(gòu)成的總樣本集X∈(200,400)，構(gòu)成200×400的矩陣。對故障樣本添加標(biāo)簽，采用二進(jìn)制編碼，故障樣本標(biāo)簽如表1所示，然后從中隨機(jī)選取80%作為訓(xùn)練樣本，20%作為測試樣本。

Table 1 Single fault code and type

4.1.2 故障診斷結(jié)果分析

針對四運(yùn)放雙二次高通濾波器電路，將本文的模型與近幾年較好的模型相比較，模型所使用的環(huán)境設(shè)置相同。由表2可以看出，各類模型的分類準(zhǔn)確率都比較高，但準(zhǔn)確率都沒有達(dá)到100%。由于此電路的復(fù)雜程度高和故障樣本數(shù)量較多，文獻(xiàn)[10,11]的模型診斷時(shí)間變得很長，分別達(dá)到了71.440 s和38.310 s。文獻(xiàn)[8]模型與文獻(xiàn)[10，11]模型相比，診斷時(shí)間較短，診斷率較高，但文獻(xiàn)[8]的模型優(yōu)化過程過于復(fù)雜。相比之下，H-SELM以及H-DELM的分類準(zhǔn)確率均可以達(dá)到99%以上，甚至H-DELM可以達(dá)到100%。此模型多增加了一層隨機(jī)隱藏層，增強(qiáng)了其有效特征提取的能力，且分類時(shí)間很短，在1 s左右，在診斷時(shí)間和準(zhǔn)確率方面均優(yōu)于其他與之對比的模型。由此說明了表征學(xué)習(xí)方法在模擬電路故障診斷中的泛化能力、快速性和有效性。

Table 2 Comparison of fault diagnosis results

4.2 二級四運(yùn)放雙二階低通濾波器電路

4.2.1 診斷電路及故障參數(shù)設(shè)置

為了檢驗(yàn)?zāi)Ｐ偷耐ㄓ眯?，本?jié)選取更復(fù)雜的二級四運(yùn)放雙二階低通濾波器電路作為驗(yàn)證對象，電路圖如圖7所示，因?yàn)樵撾娐繁葓D6所示電路更加復(fù)雜，當(dāng)電路前級稍微發(fā)生一點(diǎn)故障，后級電路都會將故障放大。

電阻容差為5%和電容容差為10%。元件參數(shù)偏離標(biāo)稱值±25%時(shí)，定義為軟故障。經(jīng)過靈敏度分析之后可知，故障敏感元件為C1、C4、R4、R6、R7、R9、R18，從而構(gòu)建單故障集為{C2↑，C2↓，C4↑，C4↓，R4↑，R4↓，R6↑，R6↓，R7↑，R7↓，R9↑，R9↓，R18↑，R18↓，正常}，共15種故障模式?！汀謩e表示高于或者低于標(biāo)稱值的25%，故障參數(shù)如表3所示。

Table 3 Fault code and type

對實(shí)驗(yàn)電路施加的激勵信號參數(shù)如圖7所示，選取OUT點(diǎn)為被測節(jié)點(diǎn)。對表3所示的故障類型分別進(jìn)行100次MC分析，采集300 μs內(nèi)的輸出端波形并保存，提取出原始數(shù)據(jù)。針對每個(gè)故障樣本，取前195個(gè)故障輸出端電壓,這樣每個(gè)故障都能獲得100個(gè)195維的樣本，一共有1 500個(gè)原始故障樣本。對故障樣本添加標(biāo)簽，采用二進(jìn)制編碼，即故障1的標(biāo)簽為100000000000000，依此類推，然后按4∶1比例隨機(jī)選取訓(xùn)練樣本和測試樣本。

Figure 7 Two-stage four-op-amp biquad lowpass filter circuit圖7 二級四運(yùn)放雙二階低通濾波器電路

4.2.2 故障診斷結(jié)果分析

為了驗(yàn)證本文模型的有效性，對圖7采集到的單故障樣本分別進(jìn)行故障診斷，通過對測試集的分類準(zhǔn)確率來評判H-DELM和H-SELM的性能。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型相比，H-DELM和9H-SELM只需要設(shè)置2個(gè)參數(shù)：隱藏層節(jié)點(diǎn)數(shù)L和正則化參數(shù)C。為了公平起見，對2個(gè)模型設(shè)置類似的結(jié)構(gòu)，H-SELM模型的網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)為196-200-150-100-13，H-DELM模型的網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)為196-(400-200)-(300-150)-100-13。在實(shí)驗(yàn)中，C的變化范圍設(shè)置為[0.01,0.1,1,…,108]，L的變化范圍設(shè)置為[100,200,…,1000]。H-SELM與H-DELM的三維精度曲線分別如圖8與9所示。

Figure 8 Testing 3D accuracy curves in (C,L) subspace for H-SELM圖8 H-SELM在(C，L)子空間中的三維測試精度曲線

Figure 9 3D accuracy curves in (C,L) subspace for H-DELM圖9 H-DELM在(C，L)子空間中的三維測試精度曲線

由圖8和圖9可知，對于H-SELM，測試精度在6.33%～99%，平面曲折，對參數(shù)非常敏感，但是當(dāng)C比較大時(shí)，測試精度還是比較高。而對于H-DELM來說，測試精度在23.67%～100%，雖然也受到參數(shù)的顯著影響，但是平面比較平滑，說明對參數(shù)的魯棒性更強(qiáng)。由此可以看出，將ELM-AE的輸出更改為原始信息和DELM-AE的2個(gè)隨機(jī)隱藏層編碼特征都能提高系統(tǒng)的魯棒性。由圖8和圖9知，C和L都影響著模型的診斷精度，但是相比之下，模型對參數(shù)C更敏感。C和L對模型的性能有不同的影響，實(shí)際上需要仔細(xì)選擇C，C較小會在訓(xùn)練誤差中加輕處罰，導(dǎo)致模型性能不佳；C較大將產(chǎn)生較小的誤差，但會導(dǎo)致過擬合。C對模型的性能有較大的影響，故應(yīng)該選擇一個(gè)相對大的C。雖然L對模型性能影響不是很明顯，但也應(yīng)該根據(jù)實(shí)驗(yàn)以及經(jīng)驗(yàn)進(jìn)行調(diào)整。

單故障測試集分類結(jié)果如表4所示，將本文模型與PSO-GMKL-SVM、DBN、PSO-ELM進(jìn)行對比。

Table 4 Comparison results of diagnostic models

由表4可以看出，本文提出的H-SELM與H-DELM的單故障診斷分類準(zhǔn)確率分別達(dá)到了99.6%與100%，診斷時(shí)間均在1 s左右，并且對復(fù)雜電路的診斷率和診斷速度都優(yōu)于其它與之對比的模型。雖然此電路的結(jié)構(gòu)比較復(fù)雜，但是表征學(xué)習(xí)方法的故障診斷率和診斷速度并沒有降低。由此說明本文的表征學(xué)習(xí)方法可以提取出故障數(shù)據(jù)的高級特征，有助于故障識別。

5 結(jié)束語

本文采用了一種新的表征學(xué)習(xí)方法對模擬電路故障進(jìn)行診斷。通過DELM-AE進(jìn)行表征學(xué)習(xí)，它是一種雙隱層ELM-AE，2個(gè)隨機(jī)隱藏層用于編碼特征，1個(gè)輸出層用于解碼特征。在DELM-AE中，節(jié)點(diǎn)數(shù)較多的第1個(gè)隱藏層用于隨機(jī)變換，而節(jié)點(diǎn)數(shù)較少的第2個(gè)隱藏層用于表征學(xué)習(xí)。當(dāng)DELM-AE按層次結(jié)構(gòu)疊加形成H-DELM時(shí)，當(dāng)前隱藏層的輸入是前一個(gè)DELM-AE學(xué)習(xí)到的特征碼，但輸出總是與原始輸入數(shù)據(jù)相同。因此，H-DELM可以盡可能地再現(xiàn)原始輸入數(shù)據(jù)，以更快的訓(xùn)練速度學(xué)習(xí)更具表現(xiàn)力的緊湊特征。通過2個(gè)復(fù)雜電路進(jìn)行了實(shí)例驗(yàn)證，結(jié)果表明，H-DELM可以提供與其他模型相當(dāng)甚至更好的性能。此外，H-DELM具有分類準(zhǔn)確率高、魯棒性強(qiáng)和學(xué)習(xí)速度快等優(yōu)點(diǎn)，在實(shí)際應(yīng)用中具有重要的意義。