周仿榮，馬儀，沈志，黃俊波

（1.云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，昆明 650217；2.云南電網(wǎng)有限責(zé)任公司帶電作業(yè)分公司，昆明 650000）

0 前言

目標(biāo)識別技術(shù)指的是使用計算機來對圖像進行加工處理，提取其中有意義的信息，實現(xiàn)對圖像中有意義的事物或現(xiàn)象的分析、描述、判斷和識別[1-2]。變電站電力設(shè)備種類眾多，眾多設(shè)備顏色比較單一、外觀類似，還存在眾多干擾目標(biāo)，因此，傳統(tǒng)的圖像識別技術(shù)難以滿足電力設(shè)備圖像識別的需求[3-4]。

文獻[5]基于多尺度小波邊緣檢測信息融合與Hough變換直線檢測算法，對輸電線路的覆冰厚度進行了識別。文獻[6]運用動態(tài)自適應(yīng)遺傳算法對模糊參數(shù)進行優(yōu)化，并進行電力設(shè)備的熱異常定位及故障診斷。文獻[7-8]將提取出的熱紅外圖像特征向量用于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并對圖像進行了分類識別。文獻[9]基于標(biāo)記分水嶺模型實現(xiàn)了巡檢圖像的目標(biāo)分割與特征量提取，并基于Hsim函數(shù)完成最終的目標(biāo)識別。這些智能算法應(yīng)用于圖像識別均取得了不錯的效果，但是在變電站紅外圖像識別上精度不高，而且處理復(fù)雜環(huán)境和眾多設(shè)備的能力差，不適用于變電站紅外圖像識別。

文獻[10]基于卷積遞歸網(wǎng)絡(luò)提出了一種基于卷積遞歸網(wǎng)絡(luò)的電流互感器紅外故障圖像診斷方法，指導(dǎo)設(shè)備故障部位識別。文獻[11]在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)及原理的基礎(chǔ)上，提出基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路區(qū)內(nèi)外故障判斷及故障選相新方法。文獻[12]提出基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)訓(xùn)練改進方案，對面部表情進行分類。這些研究表明，卷積神經(jīng)網(wǎng)絡(luò)作為一個端到端的機器學(xué)習(xí)系統(tǒng)，可直接作用于原始數(shù)據(jù)，自動逐層進行特征學(xué)習(xí)，所得到的特征跟手工特征相比較，更加抽象，表達能力更強。深度學(xué)習(xí)使用了復(fù)雜的模型，能夠有效降低模型的偏差，同時，用可擴展的梯度下降算法來求解大規(guī)模優(yōu)化問題，并通過大數(shù)據(jù)來提高統(tǒng)計識別的準確度，可充分滿足變電站復(fù)雜電力設(shè)備紅外圖像識別的需求。

新建的智能變電站以及一些改造的無人值守變電站正逐步采用高清視頻監(jiān)視、紅外熱像等智能化監(jiān)測技術(shù)手段；采用直升機、無人機、機器人等搭載照相（攝像）機、紅外成像儀等手段實現(xiàn)高效、快速的變電站巡檢也得到迅速推廣和應(yīng)用；傳統(tǒng)的人工巡檢也會采集大量的可見光、紅外、紫外等檢測圖像。這些大量的媒體數(shù)據(jù)流為使用深度學(xué)習(xí)來進行電力設(shè)備識別提供了數(shù)據(jù)基礎(chǔ)。

基于以上考慮，本文針對傳統(tǒng)識別方法的不足，通過引入深度學(xué)習(xí)來對電力設(shè)備進行識別。在特征提取方面，本文在AlexNet模型的基礎(chǔ)上，通過兩個獨立的CNN模型來提取電力設(shè)備的特征，提出一種雙通道CNN模型；在識別算法方面，本文借鑒傳統(tǒng)機器學(xué)習(xí)方法的優(yōu)勢，結(jié)合隨機森林（Random Forest，RF）的優(yōu)點，采用了結(jié)合深度學(xué)習(xí)的隨機森林分類方法。利用所提出的雙通道CNN模型和隨機森林分類方法對各類電力設(shè)備的圖像進行了分類，驗證了本文所提出方法的有效性。

1 特征提取算法

1.1 AlexNet模型

AlexNet是Hinton的學(xué)生Alex Krizhevsky于2012年設(shè)計的一種典型的卷積神經(jīng)網(wǎng)絡(luò)，它可以看成是一個特征引擎[13]。AlexNet模型一共有8層，其中間的卷積層可以很好的描述圖像的局部特征(Local Feature)，倒數(shù)第二層和第三層為全連結(jié)層，可以很好的描述圖像的全局特征 (Global Feature)。

AlexNet模型的過程可以描述成：從樣本集取一個樣本(X, Xp)，其中X為輸入圖像，Xp為X所屬類別，將X作為整個網(wǎng)絡(luò)的輸入值，計算輸出：

其中W(n)(n=1,2…,8)為權(quán)值，B(n)(n=1,2…,8)為偏置，F(xiàn)n(n=1,2…,8)為每一層的運算，n為AlexNet模型的層數(shù)。

AlexNet模型可以通過后向傳播來計算神經(jīng)網(wǎng)絡(luò)的error(Op與Xp之間的差值)和梯度值，把計算出來的梯度加到原始模型上去即可得到修改后的模型值。通過訓(xùn)練獲得CNN模型參數(shù)后即可使用測試數(shù)據(jù)集來測試當(dāng)前模型的準確率。

1.2 DCNN模型

為了提高AlexNet模型的識別準確率，同時降低模型訓(xùn)練時間、提取能反映不同設(shè)備特點的特征，本文在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進行擴展和修改，提出了一種雙通道CNN模型，該模型通過兩個獨立的CNN模型來獲得兩組設(shè)備特征，這兩組特征在頂端經(jīng)過交叉混合操作，即可得到最終的設(shè)備圖像特征。

DCNN對兩組特征數(shù)據(jù)進行二次交叉混合操作。即先將兩個全連接層的輸出進行一次交叉連接，作為下一個全連接層的輸入；然后將下一個全連接層拆分為兩部分，并對這兩部分數(shù)據(jù)進行一次混合連接，得到的特征向量即為圖像的最終特征。所設(shè)計的11層的深度卷積神經(jīng)網(wǎng)絡(luò)的DCNN模型如圖1所示。

圖1 DCNN模型結(jié)構(gòu)

為了保證兩組CNN所提取的特征不一樣，增加特征的魯棒性，本文對輸入的圖像進行適當(dāng)?shù)淖儞Q，使得CNNa和CNNb在輸入上存在差異，具體為：(1) CNNa的輸入為原始圖像經(jīng)過歸一化處理后，大小為256×256的圖像；(2)CNNb的輸入為對原始圖像進行HSV 變換后所提取的V 通道分量。CNNa和CNNb結(jié)構(gòu)相同，均為9層神經(jīng)網(wǎng)絡(luò)，其中卷積層5個，全連結(jié)層4個。

在第10層，DCNN先將CNNa的第9層和CNNb的第9層的輸出進行一次交叉連接，作為第11層的輸入，并在第10層將交叉后的結(jié)果拆分為兩部分，每部分的神經(jīng)元個數(shù)為512；然后在第11層將兩條變換流提取的CNN特征再次進行混合操作，得到一個256維的特征向量，這個256維的特征向量即為DCNN就算所得的圖像最終特征值。

2 變電站特征提取

按照本文所述的DCNN模型，可以得到電力設(shè)備特征提取的步驟，具體的特征提取流程框圖如圖2所示。

圖2 電力設(shè)備特征提取流程框圖

對于DCNN模型，在訓(xùn)練時，F(xiàn)P通過多次卷積操作和下采樣操作來獲取圖像的特征；BP則根據(jù)已知圖像的信息來對網(wǎng)絡(luò)參數(shù)進行誤差修正。

2.1 FP算法

設(shè)XL為前面一層的輸出結(jié)果，F(xiàn)P的輸出可以表示為：

其中，XL代表權(quán)值矩陣，gL代表激活函數(shù)。

在網(wǎng)絡(luò)頂層，使用對數(shù)損失誤差函數(shù)來計算輸出結(jié)果與實際結(jié)果之間的差值，則L層的損失函數(shù)可表示為：

其中，xi為輸入值，n為測試集中圖像的數(shù)量，yi為xi所屬類別，λ是L2正則化系數(shù)。

2.2 BP算法

CNN網(wǎng)絡(luò)的目標(biāo)函數(shù)為

BP算法使用公式(5)對wL的值進行更新：

在求取目標(biāo)函數(shù)最優(yōu)解的過程中，通過不斷使用公式（5）進行迭代操作即可使模型的輸出值和實際值之間的誤差達到收斂狀態(tài)。

DCNN的兩個交叉混合層的權(quán)值使用公式（6）來進行更新：

式（6）中，gA和gB分別表示交換流A和交換流B的變換函數(shù)；wA和gB分別表示交換流A和交換流B的權(quán)值矩陣。

3 電力設(shè)備圖像識別

電力設(shè)備場所環(huán)境復(fù)雜，導(dǎo)致所獲取的圖像背景復(fù)雜。Logisitc分類器和Softmax分類器可以解決多分類問題，但是對于復(fù)雜的易混淆的物體，分類準確率不高[14]。鑒于此，本文將深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)理論融合在一起，采用了結(jié)合深度學(xué)習(xí)的隨機森林分類方法[15]。通過構(gòu)建多顆由隨機選取的樣本子集和特征子空間生成的決策樹組成決策“森林”，隨后在分類階段以投票方式輸出分類結(jié)果。

隨機森林分類方法由訓(xùn)練階段和測試階段兩部分構(gòu)成。在訓(xùn)練階段，首先在設(shè)備圖像數(shù)據(jù)庫上，使用1.2中提出的DCNN模型從數(shù)據(jù)庫中隨機選取圖像并提取圖像特征；然后，基于隨機森林分類的適應(yīng)性來對所學(xué)習(xí)到的特征進行分析，并基于分析的結(jié)果進行特征選擇。

在測試階段，使用DCNN提取測試圖像的特征，并選擇在訓(xùn)練階段中所選擇的特征維度來表示圖像特征，最后使用訓(xùn)練好的隨機森林對測試圖像進行分類。

3.1 特征提取試驗結(jié)果分析

本文對變電站中絕緣子，變壓器，斷路器，輸電線電桿和輸電線鐵塔五種電氣設(shè)備進行測試。測試所用圖像數(shù)據(jù)庫PowerΙmage為實驗室自行收集和整理的電力系統(tǒng)設(shè)備圖像數(shù)據(jù)庫，共3萬多幅圖像，圖像的尺寸從256×256到1024×1024，主要包括變壓器，絕緣子，斷路器，輸電線，桿塔等20多種電氣設(shè)備，平均每類物體約含1000幅圖像，在訓(xùn)練時對每類圖像隨機選取一部圖像作為訓(xùn)練樣本，其余的為測試樣本。跟人工提取的顏色特征、形狀特征、紋理特征等相比較，使用DCNN提取到的特征更加抽象，能夠更好地反映圖像的本質(zhì)特征。

3.2 變電站圖像識別實驗結(jié)果分析

為了測試本文所提雙通道CNN所提取特征的有效性，本文分別對使用單獨的CNN，和使用DCNN進行特征提取的結(jié)果進行了分類比較。測試中，絕緣子、變壓器、斷路器、輸電線電桿和鐵塔的圖像分別為3000幅、2000幅、2000幅、3000幅和500幅。其中，選擇絕緣子圖像2000幅、變壓器圖像1500幅、斷路器圖像2000幅、輸電線桿塔1000幅和鐵塔300幅為訓(xùn)練樣本，其余的作為測試樣本。

圖3和圖4分別是使用單獨的CNN和使用DCNN進行訓(xùn)練時所得到的誤分類率曲線。

圖3 單CNN的訓(xùn)練過程

通過對圖3進行分析可以發(fā)現(xiàn)，在對模型進行訓(xùn)練時，當(dāng)?shù)螖?shù)為61時，單CNN的誤分類率達到最小值，為9.0%。如果繼續(xù)進行迭代操作，單CNN的誤分類率會有所減少，但是在進行2次迭代操作后，也就是在第63次迭代操作時，誤分類率又會變大，其后幾乎不發(fā)生波動。

通過對圖4進行分析可以發(fā)現(xiàn)，在對模型進行訓(xùn)練時，當(dāng)?shù)螖?shù)為53時，DCNN的誤分類率達到最小值，為5.5%。如果繼續(xù)進行迭代操作，DCNN的誤分類率會有所減少，但是在進行5次迭代操作后，也就是在第58次迭代操作時，誤分類率又會變大，其后幾乎不發(fā)生波動。

圖4 DCNN的訓(xùn)練過程

使用單獨的CNN和DCNN對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)中的五種設(shè)備進行識別后，所得分類準確率如表1所示，平均準確率和平均時間如表2所示。

表1 兩種模型所得到的分類準確率(%)

表2 兩種模型所得到的平均準確率和時間復(fù)雜度

通過對表1和表2進行分析，可以看出：

1）使用單獨的CNN和DCNN兩種深度學(xué)習(xí)模型對設(shè)備圖像進行分類，平均準確率均可達到85%以上，這充分說明了卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達能力強，在對設(shè)備圖像進行識別時，可以獲得較高的精度；

2）與DCNN相比較，單獨使用CNN的識別率降低了4.4%，主要原因為是跟單CNN相比較，DCNN模型的“寬度”更寬，可以提取更加豐富的圖像特征，但是由于DCNN在深度上并沒有顯著增加，因此其GPU運行時間的復(fù)雜度跟單CNN相比較并沒有增加多少，僅僅為0.3s；

3）對于絕緣子，變壓器，斷路器，輸電線電桿和輸電線鐵塔五種設(shè)備圖像，輸電線路鐵塔的識別率最低，主要原因在于鐵塔的數(shù)據(jù)集太小，只有500幅圖像，而其他幾種設(shè)備的圖像均超過了2000幅，更多的訓(xùn)練樣本，可以很好地提高卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力，減少過擬合的風(fēng)險，獲取更大的識別精度；

4）在CPU上運行深度學(xué)習(xí)算法的時間遠遠高于在GPU上運行所花時間，這說明深度學(xué)習(xí)算法比較耗時，因此在實際應(yīng)用中，如果要用到深度學(xué)習(xí)方法，需要GPU的支持。

3.3 不同識別方法的結(jié)果分析

為了測試本文所提隨機森林樹方法的有效性，本文分別對三種識別方法，即卷積神經(jīng)網(wǎng)絡(luò)+Softmax分類器（方法1），卷積神經(jīng)網(wǎng)絡(luò)+隨機森林樹分類器（方法2）以及傳統(tǒng)手工參數(shù)提取+隨機隨即森林樹分類器（方法3），用于電力設(shè)備圖像識別的結(jié)果進行了分類比較，如表3所示。表3中，類型A代表訓(xùn)練識別率，類型B代表測試識別率。

表3 三種識別方法進行分類識別的準確率

根據(jù)表3，可以得到：

1）使用方法1和方法2對設(shè)備圖像進行分類，平均準確率均可達到80%以上，這充分說明了卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達能力強，在電力設(shè)備圖像識別上可獲得較高的精度；

2）方法1的準確率比方法2低8.4%，這是因為Softmax分類器直接使用最后一個混合全連接層的深度特征來進行分類處理，而不同設(shè)備最有效的特征是不一樣的，因此，對深層卷積神經(jīng)網(wǎng)絡(luò)的特征進行有效選擇可以進一步提高分類性能；

3）與方法1和方法2相比較，方法3的識別率最低，平均識別率只有75.2%，這是因為方法3使用顏色、紋理、方向等手工特征進行分類識別，無法完全刻畫設(shè)備的本質(zhì)特征，而深度學(xué)習(xí)的方法要比傳統(tǒng)特征提取的方法性能更好，因此最終識別率也遠遠高于傳統(tǒng)方法；

4）對于絕緣子、變壓器、斷路器和輸電線電桿四種電力設(shè)備圖像，方法1和方法2的識別率均超過了85%，而輸電線鐵塔的識別率低于方法3，主要原因在于鐵塔的數(shù)據(jù)集太小，只有500幅圖像，在小樣本情況下，深度學(xué)習(xí)的表現(xiàn)不如傳統(tǒng)的特征提取方法。這也說明了深度學(xué)習(xí)算法對訓(xùn)練樣本的要求較高，但是當(dāng)足夠的訓(xùn)練樣本訓(xùn)練好后，深度學(xué)習(xí)算法的精度會大大改善識別精度。

4 結(jié)束語

針對傳統(tǒng)電力設(shè)備識別方法精度低、處理能力差的不足，本文提出一種基于雙通道卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型的電力設(shè)備圖像識別方法，通過對各類電力設(shè)備圖像進行識別的實際應(yīng)用，得出以下結(jié)論：

1）本文提出的方法可以有效地應(yīng)用于各類電力設(shè)備的圖像識別，并獲得較高的精度；

2）卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達能力強。與單CNN相比較，DCNN可以獲得更加豐富的圖像特征；

3）雙通道卷積神經(jīng)網(wǎng)絡(luò)分類器的圖像識別方法相比于其他方法，準確率更高。