石鑫，朱永利

(華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北省保定市071003)

0 引言

由于油浸式電力變壓器在不同運(yùn)行狀態(tài)時(shí)油中溶解氣體的類型和含量不同，油中溶解氣體分析(dissolved gas-in-oil analysis，DGA)長(zhǎng)期以來成為判別其運(yùn)行狀態(tài)的一種有效手段［1-5］。隨著人工智能技術(shù)的發(fā)展，國(guó)內(nèi)外學(xué)者基于DGA提出了人工神經(jīng)網(wǎng)絡(luò)(artficial neural network，ANN)［6-7］、支持向量機(jī)(support vector machine，SVM)［8-9］和極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)［10］等電力變壓器智能診斷方法。但是ANN方法收斂速度慢、易發(fā)生震蕩［6-7］;SVM方法本質(zhì)上屬于二分類算法，在多分類問題上存在構(gòu)造學(xué)習(xí)器困難及分類效率低的缺點(diǎn)，而且核函數(shù)的選擇和參數(shù)的確定比較困難［8-9］;ELM方法訓(xùn)練速度快，但是穩(wěn)定性比較差［10］。同時(shí)，上述方法均屬于淺層機(jī)器學(xué)習(xí)方法，學(xué)習(xí)能力有限，診斷準(zhǔn)確率達(dá)到一定高度時(shí)很難再有大的提高;而且它們要求樣本準(zhǔn)確、完備，方能得到比較滿意的診斷結(jié)果，這樣便無法有效利用變壓器油色譜在線監(jiān)測(cè)所獲得的大量無標(biāo)簽樣本。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(deeplearningneural network，DLNN)是2006年由Hinton教授提出的一種深層機(jī)器學(xué)習(xí)方法［11］，具有較強(qiáng)的從樣本中提取特征以及對(duì)特征進(jìn)行轉(zhuǎn)換的能力，學(xué)習(xí)能力強(qiáng)，是近幾年國(guó)內(nèi)外研究和探討的一個(gè)熱點(diǎn)［12-15］。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)采用無監(jiān)督機(jī)器學(xué)習(xí)方法，從而可以利用變壓器油色譜在線監(jiān)測(cè)所獲得的大量無標(biāo)簽樣本完成模型的預(yù)訓(xùn)練過程，優(yōu)化模型參數(shù)，進(jìn)而提高模型分類的準(zhǔn)確率。目前，它已經(jīng)成功應(yīng)用于語音識(shí)別［16-17］、目標(biāo)識(shí)別［18-19］、自然語言處理［20］等方面，但在電力變壓器故障診斷方面應(yīng)用的研究才剛剛起步。

基于DLNN，本文首先構(gòu)建分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，并用典型的分類數(shù)據(jù)集對(duì)其分類性能進(jìn)行分析驗(yàn)證。然后，結(jié)合電力變壓器油色譜在線監(jiān)測(cè)數(shù)據(jù)和DGA數(shù)據(jù)特征及故障類型，提出一種新的變壓器故障診斷方法。該方法采用半監(jiān)督機(jī)器學(xué)習(xí)方法，學(xué)習(xí)能力強(qiáng)，能夠診斷出電力變壓器各種運(yùn)行狀態(tài)的概率，為工作人員決定是否對(duì)變壓器進(jìn)行檢修提供更多參考信息。最后，對(duì)文中提出的方法予以工程實(shí)例測(cè)試，并與基于BP神經(jīng)網(wǎng)絡(luò)和SVM的故障診斷方法進(jìn)行對(duì)比分析。

1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)介紹

DLNN簡(jiǎn)單可以理解為具有多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)，通過特征轉(zhuǎn)換或特征提取來發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在屬性，使其分類更加容易，進(jìn)而提高分類的準(zhǔn)確率。DLNN的方法主要包括自動(dòng)編碼器(autoencoder，AE)、受 限 玻 爾 茲 曼 機(jī) (restricted Boltzmann machine，RBM)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)［21-22］，其 中，CNN主要用于圖像處理方面，并不適用于變壓器故障診斷，這里不再作過多介紹。

1.1 自動(dòng)編碼器

根據(jù)美國(guó)斯坦福大學(xué)教授Andrew Ng的課程筆記［23］，自動(dòng)編碼器的相關(guān)理論簡(jiǎn)單介紹如下。

一個(gè)基本的AE可視為一個(gè)3層的神經(jīng)網(wǎng)絡(luò)，其中輸出層與輸入層具有相同的規(guī)模，結(jié)構(gòu)如圖1所示。通常，將輸入層到隱含層的變換過程稱為編碼，將隱含層到輸出層的變換過程稱為解碼。設(shè)f和g分別表示編碼和解碼函數(shù)，則2個(gè)過程可分別表示如下:

式中:Sf和Sg通常取為sigmoid函數(shù);W表示輸入層與隱含層之間的權(quán)值矩陣;WT表示隱含層與輸出層之間的權(quán)值矩陣;p表示隱含層的偏置向量;q表示輸出層的偏置向量。為下面表示方便，將AE的參數(shù)記為θ。

圖1 AE結(jié)構(gòu)Fig.1 AE structure

假設(shè)訓(xùn)練樣本集S={x1，…，xn}，預(yù)訓(xùn)練AE的過程實(shí)質(zhì)上就是利用S對(duì)參數(shù)θ進(jìn)行訓(xùn)練的過程。為此，我們首先需定義一個(gè)訓(xùn)練目標(biāo)，即解碼后的y應(yīng)與輸入x盡可能接近，這種接近程度可以通過重構(gòu)誤差函數(shù)L(x，y)來刻畫，L(x，y)定義為

基于重構(gòu)誤差函數(shù)，針對(duì)訓(xùn)練數(shù)據(jù)集S，損失函數(shù)如式(4)所示，通過對(duì)損失函數(shù)作極小化處理便可以得到該層AE參數(shù)θ。

然而，在實(shí)際應(yīng)用中，如果直接對(duì)損失函數(shù)作極小化，有時(shí)候很可能得到的是一個(gè)恒等函數(shù)。為了避免這種情況，我們可以對(duì)損失函數(shù)進(jìn)行稀疏性限制，即稀疏自編碼。實(shí)現(xiàn)時(shí)通常采用一種基于相對(duì)熵的方法，則損失函數(shù)如式(5)所示:

式中:β為控制稀疏性懲罰項(xiàng)的權(quán)重系數(shù);ρ為稀疏性參數(shù);ρ∧j表示輸入為xi時(shí)隱藏層上第j號(hào)神經(jīng)元在訓(xùn)練集S上的平均激活度。KL(ρ||ρ∧j)的表達(dá)式如式(6)所示:

1.2 受限玻爾茲曼機(jī)

依據(jù)文獻(xiàn)［12］和［13］，RBM 相關(guān)理論簡(jiǎn)單介紹如下。

一層RBM包含一個(gè)可視層v和一個(gè)隱含層h，結(jié)構(gòu)如圖2所示。假設(shè)v層有r個(gè)可見單元，h層有t個(gè)隱單元。那么，一個(gè)RBM的能量可以表示為

式中:vi為可見層單元i的取值;hj為隱含層單元j的取值，取值為1時(shí)表示該單元處于激活態(tài)，為0時(shí)表示處于未激活態(tài);RBM的參數(shù)W、a和b簡(jiǎn)記為θ，W為可視層與隱含層之間的連接權(quán)重;a為可視層的偏置向量;b為隱含層的偏置向量?；赗BM的能量表示，(v，h)的聯(lián)合概率分布可以表示為

式中:Z(θ)= ∑v，he－E(v，h|θ)為歸一化因子，即配分函數(shù)，則P(v|θ)的似然函數(shù)可以表示為

圖2 RBM結(jié)構(gòu)Fig.2 RBM structure

通過梯度下降法對(duì)式(9)進(jìn)行極大化便可求得參數(shù)θ，為計(jì)算簡(jiǎn)便，等效為對(duì)其對(duì)數(shù)進(jìn)行極大化，關(guān)鍵步驟是計(jì)算lnP(v|θ)關(guān)于參數(shù)θ的偏導(dǎo)數(shù)，即

式中:＜·＞P表示關(guān)于分布P的數(shù)學(xué)期望;P(h|v，θ)表示可視層限定為已知的訓(xùn)練樣本v時(shí)隱含層的概率分布;P(v|h，θ)表示可視層與隱含層的聯(lián)合概率分布。

為方便表示，用“data”表示 P(h|v，θ)，用“model”表示 P(v|h，θ)，現(xiàn)在假設(shè)只有1 個(gè)樣本，則lnP(v|θ)關(guān)于參數(shù)θ的偏導(dǎo)數(shù)分別為:

式中:＜·＞data表示對(duì)數(shù)據(jù)集的期望;＜·＞model表示模型中定義的期望值。

實(shí)際應(yīng)用中，很難得到無偏樣本，所以＜·＞model難以計(jì)算，通常采用CD算法對(duì)重構(gòu)數(shù)據(jù)近似采樣，更新網(wǎng)絡(luò)參數(shù)θ［12］。以從訓(xùn)練集中選取的一個(gè)訓(xùn)練樣本x0為例，算法步驟如下。

步驟1:初始化網(wǎng)絡(luò)參數(shù)θ及可視層單元的初始值v0=x0，設(shè)定RBM最大訓(xùn)練迭代次數(shù)。

步驟2:對(duì)所有隱單元計(jì)算P(h0j=1|v0)=

步驟3:對(duì)所有可見單元，計(jì)算P(v1i=1|h0)=中抽取 v1～P(v1|h0)。

步驟4:對(duì)所有隱單元計(jì)算P(h1j=1|v0)=

步驟5:按下列各式更新各個(gè)參數(shù):

步驟6:重復(fù)步驟2到5，直至達(dá)到最大迭代次數(shù)或重構(gòu)誤差足夠小，結(jié)束該層RBM的訓(xùn)練。

2 分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

2.1 分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

本文構(gòu)建了分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(classification deep learning neural network，CDLNN)模型，它的前部由若干層AE或RBM堆疊而成，頂部增加代表期望輸出變量的最后層，即分類層，框架如圖3所示。這里，分類器選用Softmax，它適用于多分類問題，能夠以概率形式給出各分類結(jié)果，與CDLNN結(jié)合起來，往往會(huì)獲得較優(yōu)的判別性能［24-25］。

圖3 CDLNN模型Fig.3 CDLNN mo del

CDLNN用于多分類問題時(shí)，訓(xùn)練過程分為預(yù)訓(xùn)練和調(diào)優(yōu)2個(gè)階段。預(yù)訓(xùn)練主要是采用無標(biāo)簽樣本或去標(biāo)簽樣本作為網(wǎng)絡(luò)的輸入，通過BP算法或CD算法完成底部若干層AE或RBM參數(shù)的初始化;調(diào)優(yōu)則是通過標(biāo)簽樣本對(duì)包括分類層在內(nèi)的整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，使得網(wǎng)絡(luò)判別性能達(dá)到最優(yōu)。

2.2 CDLNN分類性能測(cè)試

采用2.1節(jié)中構(gòu)建的CDLNN對(duì)Iris、Synthetic、Fourclass、Diabetes這4個(gè)數(shù)據(jù)集進(jìn)行分類，網(wǎng)絡(luò)參數(shù)θ初始化為服從高斯分布的隨機(jī)較小數(shù)值，初始學(xué)習(xí)速率值設(shè)為0.1，參數(shù)更新速率值設(shè)為0.01。

為便于下面描述，筆者將CDLNN分為CDLNN1和CDLNN2，CDLNN1表示模型前部由若干層AE堆疊而成，CDLNN2表示模型前部由若干層RBM堆疊而成。表1給出了CDLNN1和CDLNN2對(duì)不同數(shù)據(jù)集的分類情況。從表1中可以看出，CDLNN1和CDLNN2對(duì)不同數(shù)據(jù)集均具有較高的平均分類正確率，表明所構(gòu)建的CDLNN模型適用于多分類問題。

表1 CDLNN對(duì)不同數(shù)據(jù)集分類情況Table 1 CDLNN classification on different datasets

3 基于CDLNN的變壓器故障診斷方法

3.1 選取樣本數(shù)據(jù)

為避免樣本集偏斜，同時(shí)又能保證得到足夠多的樣本，可以選取多個(gè)工程現(xiàn)場(chǎng)記錄的投運(yùn)年限相近的相同型號(hào)變壓器發(fā)生故障前后較短一段時(shí)間內(nèi)的油色譜在線監(jiān)測(cè)數(shù)據(jù)，這些數(shù)據(jù)為無標(biāo)簽數(shù)據(jù)，可以用作預(yù)訓(xùn)練樣本。對(duì)于調(diào)優(yōu)階段采用的少量調(diào)優(yōu)樣本，可以通過搜集相同型號(hào)故障變壓器DGA結(jié)果樣本數(shù)據(jù)獲得，這些樣本為帶標(biāo)簽樣本。

3.2 選取特征變量

根據(jù)工程現(xiàn)場(chǎng)在線監(jiān)測(cè)數(shù)據(jù)特點(diǎn)，考慮到CDLNN具有較強(qiáng)的樣本特征轉(zhuǎn)換及特征提取能力，選取 H2、CH4、C2H6、C2H4、C2H2、CO、CO2這 7 種特征氣體變量。為了縮小特征氣體含量值的差異，減小計(jì)算誤差，采用式(14)對(duì)各特征氣體含量值進(jìn)行標(biāo)準(zhǔn)化處理。

式中:xnew為標(biāo)準(zhǔn)化后氣體的含量值;x為氣體原始含量值;xmean為訓(xùn)練集或測(cè)試集X中該類氣體含量的均值;xstd為X中該類氣體含量的標(biāo)準(zhǔn)差值。

3.3 變壓器狀態(tài)編碼

根據(jù)電力變壓器運(yùn)行過程中易發(fā)生的故障，將其診斷結(jié)果分為6種，具體故障類型及編碼如表2所示。

表2 變壓器狀態(tài)編碼Table 2 Transformer status encoding

3.4 變壓器故障診斷CDLNN模型

變壓器故障診斷的CDLNN模型，結(jié)構(gòu)如圖4所示。模型的輸入為3.2節(jié)中經(jīng)標(biāo)準(zhǔn)化處理的7種油中溶解特征氣體含量值，模型的輸出為變壓器處于各種運(yùn)行狀態(tài)的概率，概率值最大的狀態(tài)即為故障診斷結(jié)果。

變壓器故障診斷CDLNN模型的訓(xùn)練過程同CDLNN一樣，分為預(yù)訓(xùn)練和調(diào)優(yōu)。預(yù)訓(xùn)練主要是采用大量預(yù)訓(xùn)練樣本完成網(wǎng)絡(luò)底部若干層AE或RBM參數(shù)的初始化;調(diào)優(yōu)則是通過少量調(diào)優(yōu)樣本對(duì)包括分9類器層在內(nèi)的整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，使得網(wǎng)絡(luò)的故障診斷性能達(dá)到最優(yōu)。

圖4 基于CDLNN的變壓器故障診斷模型Fig.4 Transformer fault diagnosis model based on CDLNN

3.5 基于CDLNN的變壓器故障診斷方法

基于CDLNN的變壓器故障診斷步驟如下:

(1)選取樣本數(shù)據(jù)和特征變量;

(2)對(duì)變壓器狀態(tài)進(jìn)行編碼;

(3)建立變壓器故障診斷CDLNN模型;

(4)初始化變壓器故障診斷CDLNN模型參數(shù)為服從高斯分布的較小隨機(jī)數(shù)值;

(5)采用預(yù)訓(xùn)練集中無標(biāo)簽樣本通過BP算法或CD算法對(duì)模型底部若干層AE或RBM進(jìn)行預(yù)訓(xùn)練;

(6)采用調(diào)優(yōu)集中標(biāo)簽樣本通過BP算法對(duì)整個(gè)CDLNN網(wǎng)絡(luò)進(jìn)行微調(diào);

(7)保存訓(xùn)練好的網(wǎng)絡(luò)并利用測(cè)試集樣本對(duì)網(wǎng)絡(luò)診斷性能進(jìn)行測(cè)試。

4 工程實(shí)例分析

本文選用某變壓器廠多個(gè)工程現(xiàn)場(chǎng)記錄的同一型號(hào)變壓器發(fā)生故障前后某段時(shí)間內(nèi)的油色譜在線監(jiān)測(cè)數(shù)據(jù)，通過DBSCAN算法對(duì)其進(jìn)行聚類，平衡選取正常簇、近似故障簇和故障簇樣本數(shù)據(jù)共1 500條作為預(yù)訓(xùn)練集，另用工程現(xiàn)場(chǎng)搜集到的300組相同型號(hào)故障變壓器DGA實(shí)驗(yàn)樣本用作調(diào)優(yōu)集和測(cè)試集，比例為2∶1。與2.2節(jié)相同，用CDLNN1和CDLNN2分別表示模型前部由若干層AE和RBM堆疊而成的CDLNN模型，對(duì)于CDLNN故障診斷方法，筆者由工程數(shù)據(jù)作了如下測(cè)試。

(1)不同AE層數(shù)時(shí)CDLNN1故障診斷情況。

分別測(cè)試了AE層數(shù)從0到10時(shí)基于CDLNN1的變壓器故障診斷平均正確率，如圖5所示。圖5中“診斷平均正確率－AE層數(shù)”曲線表明，AE層數(shù)達(dá)到3層時(shí)，故障診斷平均正確率已經(jīng)很高，之后隨著AE層數(shù)增加，正確率增長(zhǎng)緩慢。實(shí)際訓(xùn)練時(shí)，隨著AE層數(shù)的增加，訓(xùn)練時(shí)間增長(zhǎng)，綜合考慮故障診斷效果和訓(xùn)練時(shí)間2個(gè)因素，下面測(cè)試中選取AE層數(shù)為3層。

圖5 不同AE層數(shù)時(shí)基于CDLNN1的變壓器故障診斷情況Fig.5 Correct fault diagnosis rate of transformers based on CDLNN1 with different AE layers

(2)CDLNN2故障診斷情況與預(yù)訓(xùn)練集、網(wǎng)絡(luò)層數(shù)的關(guān)系。

測(cè)試中，筆者發(fā)現(xiàn)基于CDLNN2的變壓器故障診斷平均正確率與預(yù)訓(xùn)練集大小和網(wǎng)絡(luò)層數(shù)均有一定的關(guān)系，而且預(yù)訓(xùn)練集不同時(shí)，網(wǎng)絡(luò)最優(yōu)層數(shù)也會(huì)發(fā)生相應(yīng)變化。由實(shí)測(cè)數(shù)據(jù)經(jīng)過大量實(shí)驗(yàn)，繪制出三者之間的關(guān)系圖，如圖6所示。

圖6 不同網(wǎng)絡(luò)層數(shù)、預(yù)訓(xùn)練集時(shí)基于CDLNN2的變壓器故障診斷情況Fig.6 Correct fault diagnosis rate of transformers based on CDLNN2 with different network layers and pre-training sets

由圖6可知，隨著預(yù)訓(xùn)練集的增大，CDLNN2故障診斷平均正確率達(dá)到最高時(shí)的最少網(wǎng)絡(luò)層數(shù)由開始時(shí)的6層增加到8層，層數(shù)逐漸增加。在預(yù)訓(xùn)練集一定的情況下，隨著網(wǎng)絡(luò)層數(shù)的增加，故障診斷平均正確率呈上升趨勢(shì)，達(dá)到一定層數(shù)時(shí)，上升趨勢(shì)變緩。

(3)不同預(yù)訓(xùn)練集時(shí)CDLNN故障診斷情況。

筆者測(cè)試了不同預(yù)訓(xùn)練集時(shí)CDLNN1和CDLNN2這2種方法的故障診斷情況，如表3所示。

表3 不同預(yù)訓(xùn)練集時(shí)基于CDLNN的變壓器故障診斷情況Table 3 Transformer fault diagnosis based on CDLNN in different pre-training sets

從表3中能夠看出，隨著預(yù)訓(xùn)練集的增大，基于CDLNN1和CDLNN2的變壓器故障診斷平均正確率不斷提高。同時(shí)，基于CDLNN1的變壓器故障診斷平均正確率略高于CDLNN2，但總體來看，二者均具有較優(yōu)的故障診斷性能，這表明CDLNN適用于變壓器故障診斷。

作為對(duì)比，相同實(shí)驗(yàn)條件下筆者對(duì)GB 7252—2001推薦的改良三比值法［26］、BPNN和SVM 這3種故障診斷方法分別進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。表4中，cepochs和vlr分別表示BPNN最大訓(xùn)練迭代次數(shù)和學(xué)習(xí)速率，C和γ分別表示SVM規(guī)則化系數(shù)和核函數(shù)參數(shù)，這里核函數(shù)選用RBF。

表4 不同訓(xùn)練集時(shí)基于BPNN、SVM的變壓器故障診斷情況Table 4 Transformer fault diagnosis based on BPNN and SVM in different training sets

通過表3和表4的故障診斷結(jié)果對(duì)比可知，本文提出的CDLNN故障診斷方法同三比值法、BPNN、SVM方法相比，具有更高的平均故障診斷準(zhǔn)確率，可以為檢修人員提供更為準(zhǔn)確的參考信息。此外，筆者在測(cè)試中發(fā)現(xiàn)CDLNN故障診斷方法平均診斷正確率會(huì)隨著訓(xùn)練集的增大不斷增高，增長(zhǎng)趨勢(shì)逐漸變緩;而BPNN和SVM診斷方法的平均診斷正確率在訓(xùn)練集超過200時(shí)基本保持不變，甚至?xí)杂薪档汀＿@表明CDLNN相對(duì)于BPNN和SVM方法，訓(xùn)練時(shí)采用半監(jiān)督學(xué)習(xí)方法，具有更強(qiáng)的學(xué)習(xí)能力，可擴(kuò)展性更好。

5 結(jié)論

(1)構(gòu)建了分類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，并對(duì)其分類性能進(jìn)行了分析，典型數(shù)據(jù)集測(cè)試表明，CDLNN適用于多分類問題。

(2)提出了基于CDLNN的電力變壓器故障診斷新方法，它采用半監(jiān)督機(jī)器學(xué)習(xí)方法，可以有效利用油色譜在線監(jiān)測(cè)所獲得的無標(biāo)簽樣本對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，克服了BPNN、SVM方法無法利用無標(biāo)簽樣本訓(xùn)練的缺點(diǎn)，具有更強(qiáng)的學(xué)習(xí)能力，故障診斷性能更優(yōu)。

(3)工程實(shí)例分析表明，CDLNN診斷方法隨著預(yù)訓(xùn)練集增大，故障診斷平均正確率不斷增高，該方法適用于大量樣本的訓(xùn)練，可擴(kuò)展性好，與BPNN、SVM故障診斷方法相比，診斷平均正確率更高，可以為變壓器檢修提供更為準(zhǔn)確的參考信息。

致 謝

本研究受到國(guó)家電網(wǎng)公司浙北—福州特高壓輸變電工程專項(xiàng)研究經(jīng)費(fèi)資助，在此表示感謝!

［1］ Tang W H，Wu Q H．Condition monitoring and assessment of power transformers using computational intelligence［M］．New York:Springer-Verlag Press，2011．

［2］朱德恒，嚴(yán)璋，談克雄，等．電氣設(shè)備狀態(tài)監(jiān)測(cè)與故障診斷技術(shù)［M］．北京:中國(guó)電力出版社，2009．

［3］王國(guó)平，余濤，傅森木，等．基于DGA的變壓器故障診斷智能方法分析［J］．電力建設(shè)，2015，36(6):34-39．Wang Guoping，Yu Tao，F(xiàn)u Senmu，et al．Intelligent methods for transformer fault diagnosis based on DGA［J］．Electric Power Construction，2015，36(6):34-39．

［4］尹金良，朱永利，俞國(guó)勤，等．基于高斯過程分類器的變壓器故障診斷［J］．電工技術(shù)學(xué)報(bào)，2013，28(1):158-164．Yin Jinliang，Zhu Yongli，Yu Guoqin，et al．Fault diagnosis of transformers based on Gaussian process classifier［J］．Transactions of China Electrotechnical Society，2013，28(1):158-164．

［5］王致杰，徐余法，劉三明，等．電力設(shè)備狀態(tài)監(jiān)測(cè)與故障診斷［M］．上海:上海交通大學(xué)出版社，2012．

［6］王濤，王曉霞．基于改進(jìn)PSO-BP算法的變壓器故障診斷［J］．中國(guó)電力，2009，42(5):13-16．Wang Tao，Wang Xiaoxia．Power transformer fault diagnosis based on modified PSO-BP algorithm ［J］．Electric Power，2009，42(5):13-16．

［7］周建華，胡敏強(qiáng)，周鶚．基于共軛梯度方向的CP-BP算法在變壓器油中溶解氣體診斷法中的應(yīng)用［J］．中國(guó)電機(jī)工程學(xué)報(bào)，1999，19(3):41-45．Zhou Jianhua，Hu Minqiang，Zhou E．On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］．Proceedings of the CSEE，1999，19(3):41-45．

［8］張艷，吳玲．基于支持向量機(jī)和交叉驗(yàn)證的變壓器故障診斷［J］．中國(guó)電力，2012，45(11):52-55．Zhang Yan，Wu Ling．Transformer fault diagnosis based on C-SVC and cross-validation algorithm ［J］．Electric Power，2012，45(11):52-55．

［9］尹玉娟，王媚，張金江，等．一種自主核優(yōu)化的二值粒子群優(yōu)化-多核學(xué)習(xí)支持向量機(jī)變壓器故障診斷方法［J］．電網(wǎng)技術(shù)，2012，36(7):249-254．Yin Yujuan，Wang Mei，Zhang Jinjiang，et al．An autonomic kernel optimization method to diagnose transformer faults by multi-kernel learning support vector classifier based on binary particle swarm optimization［J］．Power System Technology，2012，36(7):249-254．

［10］遇炳杰，朱永利．加權(quán)極限學(xué)習(xí)機(jī)在變壓器故障診斷中的應(yīng)用［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2013，34(12):4340-4344．Yu Bingjie，Zhu Yongli．Transformer fault diagnosis using weighted extreme learning machine［J］．Computer Engineering and Design，2013，34(12):4340-4344．

［11］Hinton G E，Salakhutdinov R R．Reducing the dimension-ality of data with neural networks［J］．Science，2006，313(5786):504-507．

［12］Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets［J］．Neural Computation，2006，18(7):1527–1554．

［13］ Bengio Y．Learning deep architectures for AI［J］．Foundations and Trends in Machine Learning，2009，2(1):1 – 127．

［14］Bengio Y，Courville A，Bincent P．Unsupervised feature learning and deep learning:a review and new perspectives［R］．Montreal:DepartmentofComputerScience and OperationsResearch，University of Montreal，2012．

［15］ Hinton G E．A practical guide to training restricted Boltzmann machines［R］．UMTL Tech Report 2010-003．Toronto，Canada:University of Toronto，2010．

［16］Baker J，Deng L，Glass J，et al．Developments and directions in speech recognition and understanding，Part 1［J］．IEEE Signal Processing Magazine，2009，26(3):75-80．

［17］Yu D，Deng L．Deep learning and its applications to signal and information processing ［J］．IEEE Signal Processing Magazine，2011，28(1):145-154．

［18］ Zhang Lijing，Liang Yingli．A fast method of face detection in video images［C］//The 2nd IEEE International Conference on Advanced Computer Control(ICACC 2010)，Shenyang，China，2010:490-494．

［19］Kalal Z，Mikolajczyk K，Matas J．Face-tld:Tracking-learningdetection applied to faces［C］//2010 International Conference on Image Processing(ICIP2010)，HongKong， China， 2010:3789-3792．

［20］ Collobert R，Weston J．A unified architecture for natural language processing:deep neural networks with multitask learning［C］//Proceedings ofthe 25th International Conference on Machine Learning，2008:160-167．

［21］余凱，賈磊，陳雨強(qiáng)，等．深度學(xué)習(xí)的昨天、今天和明天［J］．計(jì)算機(jī)研究與發(fā)展，2013，50(9):1799-1804．Yu Kai，Jia Lei，Chen Yuqiang，et al．Deep learning:yesterday，today，and tomorrow［J］．Journal of Computer Research and Development，2013，50(9):1799-1804．

［22］孫志軍，薛磊，許陽明，等．深度學(xué)習(xí)研究綜述［J］．計(jì)算機(jī)應(yīng)用研究，2012，29(8):2806-2809．Sun Zhijun，Xue Lei，Xu Yangming，et al．Overview of deeplearning［J］．Application Research of Computers，2012，29(8):2806-2809．

［23］Andrew Ng．UFLDL Tutorial． http://openclassroom．stanford．edu/MainFolder/CoursePage．php?course=DeepLearning

［24］馬勇，鮑長(zhǎng)春，夏丙寅．基于辨別性深度信念網(wǎng)絡(luò)的說話人分割［J］．清華大學(xué)學(xué)報(bào):自然科學(xué)版，2013，53(6):804-807．Ma Yong，Bao Changchun，Xia Bingyin．Speaker segmentation based on discriminative deep belief networks［J］．Journal of Tsinghua University:Science and Technology，2013，53(6):804-807．

［25］孫勁光，蔣金葉，孟祥福，等．一種數(shù)值屬性的深度置信網(wǎng)絡(luò)分類方法［J］．計(jì)算機(jī)工程與應(yīng)用，2014，50(2):112-115．Sun Jinguang， Jiang Jinye， Meng Xiangfu， etal． DBN classification algorithm for numerical attribute［J］．Computer Engineering and Applications，2014，50(2):112-115．

［26］王昌長(zhǎng)，李福祺，高勝友．電力設(shè)備的在線監(jiān)測(cè)與故障診斷［M］．北京:清華大學(xué)出版社，2006．