何 萍, 李 勇, 陳壽龍, 許洪華, 朱 雷, 王凌燕

(國(guó)網(wǎng)江蘇電力有限公司南京供電分公司,江蘇 南京 210019)

0 引 言

隨著經(jīng)濟(jì)的不斷發(fā)展，社會(huì)對(duì)電能的需求逐年提高，而變壓器作為最重要的電力設(shè)備之一，其投入運(yùn)行的數(shù)量也在不斷增加，但由變壓器運(yùn)行帶來(lái)的噪聲問(wèn)題也不容忽視[1]。國(guó)內(nèi)外學(xué)者對(duì)變壓器噪聲產(chǎn)生的機(jī)理進(jìn)行了深入研究。變壓器的噪聲中含有大量能反映變壓器運(yùn)行狀態(tài)或變壓器故障狀態(tài)的信息。因此,可以通過(guò)數(shù)據(jù)挖掘技術(shù)提取變壓器聲音信號(hào)中的發(fā)生變化的特征，就可以對(duì)變壓器運(yùn)行狀態(tài)進(jìn)行識(shí)別。

對(duì)于變壓器鐵心松動(dòng)故障的診斷，目前的研究主要集中在針對(duì)振動(dòng)信號(hào)的分析上。文獻(xiàn)[2]提出了利用振動(dòng)信號(hào)中100 Hz特征頻率分量占總分量(1 kHz以內(nèi))的比值來(lái)判斷鐵心松動(dòng)故障的方法，指出變壓器鐵心松動(dòng)后，50 Hz分量及其部分倍頻分量、基頻的倍頻分量等新特征頻率能夠反映故障，能有效識(shí)別變壓器鐵心的松動(dòng)故障。但是由于振動(dòng)信號(hào)的采集依靠的是振動(dòng)傳感器緊貼在變壓器的側(cè)壁上，采集的信號(hào)存在干擾，而利用聲紋診斷時(shí)采用非接觸式，采集到的信號(hào)更加純凈。在信號(hào)處理方面，王豐華等[3]提出基于加權(quán)降維Mel倒譜系數(shù)(MFCC)和矢量量化模型(VQ)的變壓器聲紋識(shí)別模型，將提取出的特征值與機(jī)器學(xué)習(xí)相結(jié)合的方法，但識(shí)別率還需要進(jìn)一步提高。舒暢等[4]提出了基于自適應(yīng)白噪聲完備集成經(jīng)驗(yàn)?zāi)B(tài)分解(CEEMDAN)的配電變壓器放電故障診斷方法，該方法在放電故障的識(shí)別率達(dá)到90%以上,但是針對(duì)的是放電故障。目前利用深度學(xué)習(xí)對(duì)變壓器聲紋的鐵心松動(dòng)故障研究較少[5]。

基于上述分析，針對(duì)變壓器鐵心松動(dòng)故障識(shí)別，本文設(shè)計(jì)兩種聲紋識(shí)別模型，分別是帶注意力機(jī)制的ResNet+交叉熵?fù)p失函數(shù)(SE-ResNet-Dense)組成的識(shí)別模型和帶注意力機(jī)制的ResNet+ArcLoss損失函數(shù)(SE-ResNet-ArcLoss)組成的識(shí)別模型。模型的輸入均是利用短時(shí)傅里葉變換(STFT)提取時(shí)頻矩陣并通過(guò)Mel濾波器對(duì)其降維后生成的語(yǔ)譜圖，比較這兩種模型的識(shí)別效果，確定最適合變壓器鐵心松動(dòng)故障的聲紋識(shí)別模型。

1 噪聲信號(hào)預(yù)處理

1.1 語(yǔ)譜圖繪制

語(yǔ)譜圖能直觀地表示語(yǔ)音信號(hào)隨時(shí)間變化的頻譜特性，任一給定頻率成分在給定時(shí)刻的強(qiáng)弱用相應(yīng)點(diǎn)的灰度或色調(diào)的濃淡來(lái)表示[6]。正確建立噪聲信號(hào)時(shí)頻域的關(guān)系，能從中提取到重要的特征量，有助于后期聲紋特征的學(xué)習(xí)。

聲紋語(yǔ)譜圖的繪制過(guò)程包括分幀、加窗和離散傅里葉變換，再計(jì)算出每一幀的功率譜，用顏色的深淺表示能量的大小，從而繪制出語(yǔ)譜圖[7]。取一段變壓器運(yùn)行時(shí)采集的4 s噪聲片段，對(duì)截取的片段作分幀處理，分幀長(zhǎng)度的選擇會(huì)影響能否提取到有效的特征量以及特征量的準(zhǔn)確性?？紤]到變壓器噪聲較為穩(wěn)定，因此選擇每幀的長(zhǎng)度N=4 096為64 ms(采樣頻率為64 kHz)，重疊率取50%。其次，將分幀好的每一幀數(shù)據(jù)作加窗處理，為減少信號(hào)失真現(xiàn)象，本文選擇使用漢明窗,表達(dá)式如下：

(1)

式中：N為批次大小(batchsize)；n為類別數(shù)。

再對(duì)分幀加窗后的每一幀數(shù)據(jù)作離散傅里葉變換，頻矩陣通過(guò)下式獲得：

(2)

最后用式(2)計(jì)算的功率譜繪制語(yǔ)譜圖，此時(shí)橫坐標(biāo)表示分幀后的幀數(shù)(時(shí)間)，縱坐標(biāo)表示頻率，其中的顏色深淺表示該時(shí)刻該頻率下的大小，該大小為功率譜密度。通過(guò)短時(shí)傅里葉變換生成的語(yǔ)譜圖如圖1所示。

圖1 語(yǔ)譜圖

1.2 Mel-語(yǔ)譜圖降維

通過(guò)上述步驟能得到描述變壓器運(yùn)行過(guò)程中時(shí)域與頻域之間的關(guān)系，但是生成的語(yǔ)譜圖數(shù)據(jù)尺寸達(dá)到465×2 049(465代表時(shí)間尺度，2 049代表頻率維度)，這樣龐大的數(shù)據(jù)對(duì)后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與識(shí)別速度有很大的影響，因此需要對(duì)STFT生成的數(shù)據(jù)進(jìn)一步壓縮。Mel濾波器是根據(jù)人耳結(jié)構(gòu)特征，對(duì)線性的頻段做非線性處理，將低頻部分的權(quán)重加大，高頻部分的權(quán)重降低，突出有效頻段的作用，因此選擇Mel濾波器對(duì)465×2 049的矩陣進(jìn)行壓縮。

Mel頻率與實(shí)際頻率的轉(zhuǎn)化關(guān)系為[8]

(3)

式中：fMel(f)為Mel刻度下的頻率；f為實(shí)際頻率。

Mel濾波器為一個(gè)由M個(gè)三角形濾波器組成的濾波器組(取M=40)。其中心頻率為f(m)，在Mel頻率刻度上，濾波器之間的距離是等寬的。該濾波器組的傳遞函數(shù)為[8]

(4)

f(m)定義為[8]

(5)

式中：fh與fl為濾波器濾波頻率的上限與下限；fs為變壓器聲紋采樣的采樣頻率，fs= 64 kHz;N為進(jìn)行STFT時(shí)的幀長(zhǎng)。

通過(guò)使用Mel濾波器對(duì)數(shù)據(jù)進(jìn)行降維后，時(shí)頻矩陣從465×2 049被壓縮至465×40，大大縮減了數(shù)據(jù)的尺寸，簡(jiǎn)化了后續(xù)的模型訓(xùn)練與識(shí)別，生成的Mel-語(yǔ)譜圖如圖2所示。

圖2 Mel-語(yǔ)譜圖

2 CNN的損失函數(shù)

SE-ResNet-Dense使用的損失函數(shù)是softmax損失函數(shù)，softmax loss是由softmax和cross entropy loss 組合而成的損失函數(shù)，其損失函數(shù)的表達(dá)式為

(6)

式中:wyi、byi均為符號(hào)函數(shù)，如果樣本i真實(shí)，則y=1，否則為0；xi為屬于第i個(gè)樣本的嵌入特征，xi∈Rd，特征尺寸d設(shè)置為512；wj為權(quán)重矩陣的第j列，wj∈Rd×n；bj為偏置項(xiàng)。

式(6)中，log是計(jì)算時(shí)間復(fù)雜度，算法中l(wèi)og級(jí)別的時(shí)間復(fù)雜度均是由于使用了分治思想，這個(gè)底數(shù)直接由分治的復(fù)雜度決定。如果采用二分法，那么就會(huì)以2為底數(shù)，三分法就會(huì)以3為底數(shù)，其他亦然。

(7)

(8)

3 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

由He等[11]提出的基于殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)——ResNet，極大地緩解了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)在訓(xùn)練過(guò)程由于網(wǎng)絡(luò)過(guò)深而出現(xiàn)的信息丟失、梯度消失和爆炸等問(wèn)題[9]，參數(shù)量比超分辨率測(cè)試序列(VGG)網(wǎng)絡(luò)減少且準(zhǔn)確率更高。在網(wǎng)絡(luò)結(jié)構(gòu)中添加多個(gè)由2個(gè)(3×3)卷積層串接在一起的殘差塊，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分，簡(jiǎn)化了學(xué)習(xí)目標(biāo)和難度。

本文構(gòu)造的兩個(gè)模型SE-ResNet-Dense與SE-ResNet-ArcLoss中選取的卷積結(jié)構(gòu)是ResNet34，并在網(wǎng)絡(luò)中引入注意力機(jī)制，再用不同的分類器進(jìn)行分類，兩種模型的結(jié)構(gòu)如下表1所示。SE-ResNet網(wǎng)絡(luò)結(jié)構(gòu)主要由16個(gè)ResNet-block組成，ResNet-block由2個(gè)kernel為3×3、stride為1×1的conv層和1個(gè)SELayer構(gòu)成，通道數(shù)分別為64、128、256、512的ResNet-block個(gè)數(shù)分別設(shè)置為3、4、6、3，然后經(jīng)過(guò)max pool將特征轉(zhuǎn)換為512維。

表1 模型的網(wǎng)絡(luò)結(jié)構(gòu)

將采集到的4 s變壓器噪聲語(yǔ)音預(yù)處理后生成的Mel-語(yǔ)譜圖時(shí)頻矩陣化為單通道數(shù)據(jù)，將矩陣尺寸為40×465的數(shù)據(jù)送入到網(wǎng)絡(luò)中，ResNet34的每個(gè)殘差塊是由2個(gè)kernel為3×3，stride=1的卷積層加注意力機(jī)制組成，且通道數(shù)逐漸增加，并最終用最大池化層將維度轉(zhuǎn)化為512。

4 試驗(yàn)及訓(xùn)練結(jié)果

4.1 數(shù)據(jù)集

為了驗(yàn)證Mel語(yǔ)譜圖-ResNet網(wǎng)絡(luò)的有效性，搭建了變壓器鐵心松動(dòng)故障試驗(yàn)平臺(tái)，采集鐵心在不同松動(dòng)程度下的噪聲信號(hào)。

試驗(yàn)對(duì)象為一臺(tái)S13-M-200/10變壓器，根據(jù)國(guó)標(biāo)GB/T 1094.10—2003對(duì)該變壓器噪聲測(cè)量的標(biāo)準(zhǔn)和要求，采用電容式麥克風(fēng)作為聲傳感器對(duì)變壓器鐵心不同松動(dòng)情況下的噪聲進(jìn)行測(cè)量，采樣頻率為64 kHz，頻率響應(yīng)為20 Hz～20 kHz。試驗(yàn)選擇在比較空曠的變壓器廠房進(jìn)行，避免了墻面對(duì)聲波的反射與折射，如圖3所示。

圖3 試驗(yàn)環(huán)境

將變壓器油抽出吊芯，使用扭力扳手先確定鐵心夾件的額定預(yù)緊力，再通過(guò)設(shè)置不同的預(yù)緊力來(lái)表征變壓器鐵心的不同松動(dòng)程度，模擬鐵心松動(dòng)故障。鐵心壓緊程度通過(guò)改變螺栓預(yù)緊力進(jìn)行模擬如圖4所示，分別調(diào)整為額定預(yù)緊力(FN)、松動(dòng)20%(0.8FN)、松動(dòng)40%(0.6FN)。在低壓側(cè)加入400 V電壓，對(duì)變壓器進(jìn)行空載運(yùn)行試驗(yàn)，如圖5所示，分別測(cè)量得出不同狀態(tài)下的噪聲信號(hào)長(zhǎng)度為4 s。

圖4 設(shè)置鐵心預(yù)緊力

圖5 變壓器空載運(yùn)行

分別采集鐵心在額定預(yù)緊力下的樣本289個(gè)，松動(dòng)20%時(shí)的樣本156個(gè)，松動(dòng)40%時(shí)的樣本323個(gè)。其中，將80%的數(shù)據(jù)作為訓(xùn)練樣本，剩余20%作為測(cè)試樣本，驗(yàn)證模型的有效性。

4.2 模型訓(xùn)練參數(shù)

設(shè)置每個(gè)模型訓(xùn)練的epoch=50(訓(xùn)練結(jié)果顯示在50次后模型效果趨向穩(wěn)定)，每訓(xùn)練一個(gè)epoch時(shí)的批處理量batch_size=16，優(yōu)化器選擇更適合分類問(wèn)題的隨機(jī)梯度下降(SGD)，設(shè)置其動(dòng)量為0.9，權(quán)重衰減值設(shè)置為5×10-4，學(xué)習(xí)率的設(shè)置采用指數(shù)衰減法，初始學(xué)習(xí)率設(shè)置為10-3，衰減系數(shù)為0.1，即每10個(gè)epoch衰減一次。

4.3 性能指標(biāo)

給每一段音頻生成的語(yǔ)譜圖標(biāo)記，分別送入兩個(gè)模型中訓(xùn)練，用損失值loss和準(zhǔn)確率acc來(lái)評(píng)判模型的優(yōu)劣。損失值loss用來(lái)描述預(yù)測(cè)值與實(shí)際值之間的差距，acc表示正確分類的數(shù)量占總預(yù)測(cè)樣本的比例。loss值越小，acc值越大，則判定該模型越適合變壓器鐵心松動(dòng)故障的識(shí)別。

4.4 模型測(cè)試結(jié)果

圖6所示是這兩個(gè)模型在訓(xùn)練集上訓(xùn)練的準(zhǔn)確率acc隨epoch變化的曲線圖。兩個(gè)模型從整體來(lái)看，均是隨著epoch的增加準(zhǔn)確率逐漸增加。SE-ResNet-Dense網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練集上的準(zhǔn)確率波動(dòng)很大，顯示出該卷積神經(jīng)網(wǎng)絡(luò)的不穩(wěn)定性，隨著epoch的增大，準(zhǔn)確率在0.1～1之間大幅波動(dòng)。而在卷積神經(jīng)網(wǎng)絡(luò)SE-ResNet-ArcLoss上的訓(xùn)練效果就相對(duì)更穩(wěn)定，SE-ResNet-ArcLoss比SE-ResNet-Dense穩(wěn)定性稍好一些，在epoch=18以后，準(zhǔn)確率在0.75～1之間浮動(dòng)；在epoch=40以后，準(zhǔn)確率在0.95～1之間浮動(dòng)。

圖6 模型的acc曲線

圖7所示是兩個(gè)模型在訓(xùn)練集上訓(xùn)練的損失值loss隨epoch變化的曲線圖。從圖7中可以清晰地看出，SE-ResNet-Dense模型的loss值沒(méi)有隨著epoch的增加呈現(xiàn)逐漸下降的趨勢(shì)，說(shuō)明在訓(xùn)練過(guò)程中出現(xiàn)了不同程度的過(guò)擬合，但是對(duì)于SE-ResNet-ArcLoss模型，在epoch=25以后，loss值雖然有波動(dòng)但已經(jīng)穩(wěn)定在0.5以下。

圖7 模型的loss值曲線

在測(cè)試集上測(cè)試的結(jié)果顯示，SE-ResNet-ArcLoss的測(cè)試acc為97.541%，而SE-ResNet-Dense的測(cè)試acc為90.753%。綜合而言，根據(jù)比較準(zhǔn)確率acc、loss值及參數(shù)量，最終找到最適合變壓器鐵心松動(dòng)故障識(shí)別的模型是SE-ResNet-ArcLoss網(wǎng)絡(luò)。

批尺寸是影響網(wǎng)絡(luò)最終訓(xùn)練結(jié)果的一個(gè)重要因素，是指一次送入網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)量，因此對(duì)SE-ResNet-ArcLoss網(wǎng)絡(luò)訓(xùn)練的不同batchsize進(jìn)行測(cè)試，測(cè)試結(jié)果如圖8所示。從圖8中可以看出,當(dāng)batchsize=10、20、30時(shí)，訓(xùn)練的準(zhǔn)確率均出現(xiàn)了大小不一的波動(dòng)，而當(dāng)batchsize=60時(shí)，隨著epoch=40以后，訓(xùn)練準(zhǔn)確率達(dá)到1并不再變化，因此該網(wǎng)絡(luò)在訓(xùn)練過(guò)程中應(yīng)將batchsize設(shè)置為60。

圖8 SE-ResNet-ArcLoss模型不同batchsize訓(xùn)練結(jié)果

5 結(jié) 語(yǔ)

本文提出了一個(gè)基于變壓器聲紋的Mel語(yǔ)譜圖-ResNet卷積神經(jīng)網(wǎng)絡(luò)的鐵心松動(dòng)故障診斷模型。通過(guò)搭建模擬鐵心松動(dòng)故障試驗(yàn)平臺(tái)，采集不同松動(dòng)狀態(tài)下變壓器空載運(yùn)行的噪聲信號(hào)；利用Mel濾波器對(duì)離散傅里葉變換下的時(shí)頻矩陣降維繪制語(yǔ)譜圖制作成數(shù)據(jù)集，輸入ResNet網(wǎng)絡(luò)中，比較在softmax損失函數(shù)和additive angular margin loss損失函數(shù)上的表現(xiàn)效果，通過(guò)準(zhǔn)確率和loss值比較，計(jì)算結(jié)果是SE-ResNet-Dense模型的準(zhǔn)確率為90.753%，而SE-ResNet-ArcLoss模型的準(zhǔn)確率可達(dá)到97.541%，同時(shí)計(jì)算了當(dāng)批尺寸為60時(shí)的訓(xùn)練效果最好，因此最適合變壓器鐵心松動(dòng)故障的聲紋識(shí)別模型是SE-ResNet-ArcLoss。