虞 驊 胡光宇 于 佳

1 江蘇省電力有限公司連云港供電分公司 連云港 222000

2 南瑞集團(tuán)有限公司(國(guó)網(wǎng)電力科學(xué)研究院有限公司) 南京 210000

引言

電力生產(chǎn)的安全、穩(wěn)定、高效運(yùn)行關(guān)乎國(guó)計(jì)民生，對(duì)電力工業(yè)的持續(xù)健康發(fā)展具有重大意義，也是整個(gè)行業(yè)常抓不懈的根本任務(wù)[1]。電力設(shè)備狀態(tài)檢測(cè)是電力公司日常的重點(diǎn)工作，為保證電力設(shè)備的正常運(yùn)行，需要指定嚴(yán)格的巡檢計(jì)劃，分派人員對(duì)變電站、輸電線路進(jìn)行巡視，以便及時(shí)發(fā)現(xiàn)隱患和故障，并把設(shè)備的運(yùn)行情況以及缺陷信息進(jìn)行匯總和定期的分析統(tǒng)計(jì)，人員工作強(qiáng)度大、工作任務(wù)重[2]。

在電力設(shè)備狀態(tài)監(jiān)測(cè)方面，應(yīng)用較早和較普遍的地區(qū)主要是北美和歐洲，起始于20世紀(jì)60年代至70年代，到20世紀(jì)80年代至90年代，隨著傳感器、計(jì)算機(jī)等技術(shù)的發(fā)展和應(yīng)用，電力設(shè)備的狀態(tài)監(jiān)測(cè)和故障診斷技術(shù)才得到迅速發(fā)展。我國(guó)電力系統(tǒng)設(shè)備狀態(tài)監(jiān)測(cè)科研工作也始于20世紀(jì)70年代，起步并不晚。但由于當(dāng)時(shí)技術(shù)不完善，測(cè)量結(jié)果分散性大，加上操作復(fù)雜和誤報(bào)等原因，使該技術(shù)沒(méi)有得到大力推廣。隨著大容量、高電壓等級(jí)電氣設(shè)備的迅速增加，一些設(shè)備的故障率偏高，使?fàn)顟B(tài)監(jiān)測(cè)和故障診斷技術(shù)的開(kāi)發(fā)更加迫切。近十年來(lái)，國(guó)內(nèi)已經(jīng)研制成功很多傳感器和監(jiān)測(cè)裝置，也取得了較好的成果。國(guó)外企業(yè)電力設(shè)備在線監(jiān)測(cè)傳感技術(shù)、監(jiān)測(cè)裝置的集成性等方面要優(yōu)于國(guó)內(nèi)，但都是離散的、單一的針對(duì)單個(gè)設(shè)備進(jìn)行監(jiān)測(cè)研究。

設(shè)備巡檢過(guò)程中產(chǎn)生了大量視頻圖像數(shù)據(jù)，巡檢人員能夠通過(guò)視頻圖像了解現(xiàn)場(chǎng)情況、設(shè)備運(yùn)行情況等，從而為日常工作、應(yīng)急處理、事故分析等工作提供直觀的輔助決策依據(jù)。但是，隨著圖像處理技術(shù)的不斷深入研究，設(shè)備狀態(tài)巡檢業(yè)務(wù)應(yīng)用對(duì)圖像的智能化程度、可靠性、可用性等需求提出了更高的要求。本文針對(duì)這些問(wèn)題，提出了基于深度學(xué)習(xí)的電力設(shè)備狀態(tài)檢測(cè)方案。

1 系統(tǒng)架構(gòu)

圖1 系統(tǒng)分層框架

系統(tǒng)分層結(jié)構(gòu)包括數(shù)據(jù)采集層、數(shù)據(jù)接入層、服務(wù)支撐層和應(yīng)用展現(xiàn)層，如圖1所示。數(shù)據(jù)采集層包括機(jī)器人、無(wú)人機(jī)、監(jiān)控?cái)z像機(jī)、智能手機(jī)、PDA、Pad、單兵設(shè)備、電力設(shè)備狀態(tài)圖像采集裝置等巡檢采集設(shè)備，為上層提供巡檢數(shù)據(jù)；數(shù)據(jù)接入層包括盒子、電力設(shè)備狀態(tài)圖像分析裝置，提供安全防護(hù)、靈活接入和數(shù)據(jù)分析能力；服務(wù)支撐層為各項(xiàng)功能提供技術(shù)支撐服務(wù)，包括應(yīng)用服務(wù)、網(wǎng)管服務(wù)、控制服務(wù)、視頻大數(shù)據(jù)智能分析服務(wù)；應(yīng)用展現(xiàn)層根據(jù)各業(yè)務(wù)的需求實(shí)現(xiàn)功能應(yīng)用，提供B/S應(yīng)用客戶端和APP應(yīng)用客戶端滿足不同用戶對(duì)不同使用場(chǎng)景的使用需要。

總體應(yīng)用功能架構(gòu)由前端應(yīng)用功能、支撐服務(wù)功能、系統(tǒng)應(yīng)用功能三大部分構(gòu)成，如圖2所示，前端應(yīng)用功能包括電力設(shè)備狀態(tài)圖像采集和分析功能；支撐服務(wù)功能包括控制服務(wù)、網(wǎng)管服務(wù)、視頻大數(shù)據(jù)圖像分析服務(wù)，向電力設(shè)備狀態(tài)監(jiān)測(cè)應(yīng)用提供統(tǒng)一服務(wù)；系統(tǒng)應(yīng)用功能包括智能分析管理、視圖庫(kù)管理、應(yīng)用、APP應(yīng)用，實(shí)現(xiàn)對(duì)視頻圖像信息的可看、可管、可控。

系統(tǒng)應(yīng)用功能架構(gòu)由前端應(yīng)用功能、支撐服務(wù)功能、系統(tǒng)應(yīng)用功能三大部分構(gòu)成。前端應(yīng)用功能包括電力設(shè)備狀態(tài)圖像采集和分析功能；支撐服務(wù)功能包括控制服務(wù)、網(wǎng)管服務(wù)、視頻大數(shù)據(jù)圖像分析服務(wù)，向電力設(shè)備狀態(tài)監(jiān)測(cè)應(yīng)用提供統(tǒng)一服務(wù)；系統(tǒng)應(yīng)用功能包括智能分析管理、視圖庫(kù)管理、APP應(yīng)用。該系統(tǒng)架構(gòu)實(shí)現(xiàn)對(duì)視頻圖像信息的可看、可管、可控。

2 深度學(xué)習(xí)多特征融合的對(duì)象分類模型研究

圖2 總體應(yīng)用架構(gòu)

本文研究不同電力場(chǎng)景中對(duì)象的有效特征類型，包括顏色特征、紋理特征、形狀特征等，建立各類電力對(duì)象的多特征樣本庫(kù)；研究電力設(shè)備顏色特征、紋理特征、形狀特征及深度學(xué)習(xí)網(wǎng)絡(luò)特征的多特征融合方法，構(gòu)建多特征融合的權(quán)重矩陣；基于深度學(xué)習(xí)方法，提取、建立多層神經(jīng)元網(wǎng)絡(luò)，形成屬性分類和分割網(wǎng)絡(luò)模型，通過(guò)輸入與輸出之間的非線性關(guān)系，組合低層特征，形成高層的數(shù)據(jù)抽象表示屬性類別或特征，提取數(shù)據(jù)的分布式特征，以表示數(shù)據(jù)的分布結(jié)構(gòu)，從而實(shí)現(xiàn)大量視頻圖像數(shù)據(jù)結(jié)構(gòu)化描述，完成對(duì)電力設(shè)備視頻圖像的分類模型構(gòu)建。

圖像融合技術(shù)根據(jù)融合處理所處的階段不同，可以分為3個(gè)層次：像素層面的圖像融合、特征層面的圖像融合以及決策層面的圖像融合。像素級(jí)融合的對(duì)象一般是原始數(shù)據(jù)，通過(guò)信息的互補(bǔ)，最大限度地利用原始數(shù)據(jù)；特征級(jí)融合通過(guò)特征信息如邊緣、紋理、相似亮度等特征數(shù)據(jù)進(jìn)行幾何關(guān)聯(lián)、目標(biāo)識(shí)別以及特征提取。特征級(jí)融合便于信息實(shí)時(shí)處理和壓縮，剔除冗余信息的同時(shí)使各個(gè)單一特征信息進(jìn)行互補(bǔ)，多特征圖像融合流程如圖3所示。特征融合可以去掉對(duì)分類決策無(wú)用的冗余信息，最大限度地保留各個(gè)特征的有效判別信息，進(jìn)而為分類器的分類決策提供依據(jù)。圖像的特征處理分為單特征處理和多特征融合兩個(gè)方面。

全局特征和局部特征是圖像分類中特征的主要存在形式[4]。圖像的整體特性如結(jié)構(gòu)、顏色和紋理等是圖像的全局特征；局部特征則代表圖像的局部信息如光照、灰度等。由于圖像分類的精確度取決于特征的提取，但底層特征描述圖像的能力比較弱，分類效果較差。因此，通過(guò)多特征融合來(lái)描述圖像，實(shí)現(xiàn)信息互補(bǔ)和冗余信息的剔除，進(jìn)而提高圖像分類效果。特征融合實(shí)現(xiàn)的方法主要有并行融合方法和串行融合方法。具體算法為：將三個(gè)特征向量以一定的運(yùn)算法則進(jìn)行合并，最終生成一個(gè)新的特征向量。

3 基于異構(gòu)硬件平臺(tái)的多類電力設(shè)備狀態(tài)檢測(cè)及效率提升技術(shù)

3.1 電力傳輸線檢測(cè)

采用圖像灰度化，圖像增強(qiáng)、去噪、銳化、閾值分割、形態(tài)學(xué)和邊緣提取等算法[5]，提取絕緣子串的形狀特征，再基于像素點(diǎn)分類方法，對(duì)同類像素點(diǎn)擬合，實(shí)現(xiàn)對(duì)傳輸線的檢測(cè)。電力傳輸線檢測(cè)如圖4所示。

圖3 特征級(jí)圖像融合

圖4 傳輸線檢測(cè)

實(shí)現(xiàn)典型電力設(shè)備狀態(tài)的高效識(shí)別，采用基于圖像處理的電網(wǎng)傳輸線檢測(cè)方法，如圖5所示，步驟如下。

圖5 傳輸線擬合過(guò)程

步驟一：讀入直升機(jī)、無(wú)人機(jī)、機(jī)器人、固定攝像機(jī)等智能設(shè)備巡檢過(guò)程中產(chǎn)生的關(guān)于電網(wǎng)傳輸線的圖像。

步驟二：將輸入的圖片灰度化處理，即將采集到的24位真彩色圖像轉(zhuǎn)化為8位灰度圖，得到灰度圖像。

步驟三：利用高斯算子對(duì)灰度化圖像進(jìn)行高斯模糊去噪，將高斯分布權(quán)值矩陣與原始圖像矩陣做卷積運(yùn)算，減少圖像噪聲平滑圖像。

步驟四：對(duì)平滑后的圖像進(jìn)行算術(shù)運(yùn)算，將圖像整體像素值降低，便于后續(xù)進(jìn)行線性變換。

步驟五：對(duì)算數(shù)運(yùn)算后的圖像進(jìn)行灰度線性變換，增強(qiáng)圖像的對(duì)比度，擴(kuò)大傳輸線和背景之間的差值，這有利于提升邊緣檢測(cè)的效果。

3.2 安全帽、紅馬甲檢測(cè)

在基建場(chǎng)景下，安全員負(fù)責(zé)現(xiàn)場(chǎng)的安全管理，對(duì)于整個(gè)建筑項(xiàng)目的完成起著至關(guān)重要的作用，安全員若不在現(xiàn)場(chǎng)，整個(gè)項(xiàng)目就存在巨大的安全隱患。利用安全員身著紅色馬甲、戴安全帽這一明顯特征，我們可以利用計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)，通過(guò)確定紅色馬甲位置來(lái)檢測(cè)安全員是否在工作現(xiàn)場(chǎng)，步驟如圖6所示。

圖6 基于深度學(xué)習(xí)的安全員檢測(cè)方法

對(duì)采集的訓(xùn)練圖像行預(yù)處理的步驟如下。

步驟一：利用攝像頭采集多個(gè)不同場(chǎng)景下的安全員。

步驟二：篩去上述圖像中受環(huán)境因素影響較大的部分，保留安全員紅色馬甲特征較為明顯的圖片。

步驟三：人工的框出行人以及紅色馬甲的位置，并為其邊界框打上標(biāo)簽。

在深度學(xué)習(xí)方案中，將神經(jīng)網(wǎng)絡(luò)的53個(gè)卷積層在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到這些卷積層之間的權(quán)重，用于提取圖片的特征[7]。

將訓(xùn)練圖片輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)卷積層提取特征之后通過(guò)全連接層進(jìn)行分類，根據(jù)損失函數(shù)算出預(yù)測(cè)值與真實(shí)值之間的損失，通過(guò)反向傳播算法調(diào)整神經(jīng)網(wǎng)絡(luò)各個(gè)隱層的權(quán)重，當(dāng)損失值下降到一定的閾值時(shí)，停止訓(xùn)練，得到最終的神經(jīng)網(wǎng)絡(luò)。

具體的損失函數(shù)如式(1)。

公式(1)中第一項(xiàng)代表坐標(biāo)的誤差，第二項(xiàng)代表邊界框?qū)捄透叩恼`差，第三項(xiàng)代表邊界框包含物體時(shí)的置信度誤差，第四項(xiàng)代表邊界框不包含物體時(shí)的置信度誤差，第五項(xiàng)代表格子中包含物體的類別誤差。神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段示意圖和安全員實(shí)時(shí)監(jiān)測(cè)階段示意圖如圖7和圖8所示。

本文采用HSV顏色空間來(lái)判決行人所穿馬甲的顏色，步驟如下。

步驟一：由上述神經(jīng)網(wǎng)絡(luò)得出行人的位置以及馬甲的位置，選取出馬甲位置在行人邊界框中的馬甲。

步驟二：設(shè)置合理的閾值，將RGB顏色空間轉(zhuǎn)化為HSV顏色空間。

圖7 神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段示意圖

圖8 安全員實(shí)時(shí)監(jiān)測(cè)階段示意圖

步驟三：對(duì)所得HSV圖像進(jìn)行二值化處理，后進(jìn)行閉運(yùn)算。

步驟四：計(jì)算白色像素占邊界框中所有像素的比值，確定馬甲的顏色。

3.3 大型車輛、船只檢測(cè)

車輛船只的檢測(cè)采用深度神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，首先，采集傳輸電線周圍的大型車輛以及船只的圖片，對(duì)大型車輛以及船只進(jìn)行標(biāo)注，建立各類車輛、船只、輸電線路、桿塔的形狀特征庫(kù)。大型車輛和船只檢測(cè)如圖9所示。

圖9 大型車輛和船只檢測(cè)

采集的訓(xùn)練圖像的預(yù)處理的步驟如下。

步驟一：利用攝像頭采集多個(gè)不同場(chǎng)景下的大型車輛以及船只。

步驟二：篩去上述圖像中受環(huán)境因素影響較大的部分，保留特征較為明顯的圖片。

步驟三：人工標(biāo)注出大型車輛以及船只的位置，并為其邊界框打上標(biāo)簽。

在深度學(xué)習(xí)方案中，將神經(jīng)網(wǎng)絡(luò)的53個(gè)卷積層在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到這些卷積層之間的權(quán)重，用于提取圖片的特征[8]。

將訓(xùn)練圖片輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)卷積層提取特征之后通過(guò)全連接層進(jìn)行分類，根據(jù)損失函數(shù)算出預(yù)測(cè)值與真實(shí)值之間的損失，通過(guò)反向傳播算法調(diào)整神經(jīng)網(wǎng)絡(luò)各個(gè)隱層的權(quán)重，當(dāng)損失值下降到一定的閾值時(shí)，停止訓(xùn)練，得到最終的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程如圖10所示。

圖10 神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程圖

通過(guò)訓(xùn)練所得的神經(jīng)網(wǎng)絡(luò)，可以檢測(cè)出畫(huà)面中是否含有大型車輛以及船只，檢測(cè)流程如圖11所示。

將圖片輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出被檢測(cè)物體的位置信息以及類別信息。利用檢測(cè)出物體的相對(duì)大小，可以預(yù)估出大型車輛以及船只距離傳輸電線的距離，設(shè)定一定的閾值，當(dāng)預(yù)估出的距離小于閾值時(shí)，系統(tǒng)發(fā)出報(bào)警，從而避免它們與傳輸電線刮擦而引起的事故。

圖11 大型車輛、船只檢測(cè)流程圖

4 低功耗電力設(shè)備狀態(tài)圖像采集及分析裝置關(guān)鍵技術(shù)

本文采用的電力設(shè)備狀態(tài)圖像采集裝置形態(tài)為高清網(wǎng)絡(luò)球機(jī)，按功能模塊劃分包括：機(jī)芯、音視頻、云臺(tái)、系統(tǒng)集成、存儲(chǔ)管理、硬件SPI加密、視頻智能分析、CS/BS客戶端、輔助應(yīng)用、協(xié)議接入十大模塊，模塊設(shè)計(jì)框圖如圖12所示。

圖12 采集裝置模塊設(shè)計(jì)框圖

電力設(shè)備狀態(tài)圖像分析裝置搭載CPU和GPU異構(gòu)硬件平臺(tái)，分析裝置提供WEB客戶端，具有系統(tǒng)配置、接入設(shè)備配置、配置檢測(cè)任務(wù)、統(tǒng)計(jì)和查看檢測(cè)結(jié)果等功能。裝置支持多廠商監(jiān)控?cái)z像機(jī)視頻圖像接入分析，支持用戶監(jiān)控?cái)z像機(jī)、機(jī)器人、無(wú)人機(jī)等多來(lái)源視頻圖像的導(dǎo)入和分析，其電力設(shè)備狀態(tài)分析功能包括刀閘分合狀態(tài)檢測(cè)、屏柜開(kāi)關(guān)狀態(tài)巡檢、表計(jì)讀數(shù)檢測(cè)、紅外測(cè)溫檢測(cè)、輸電線路樹(shù)障檢測(cè)、輸電線路大型車船靠近檢測(cè)、輸電線路異物懸掛檢測(cè)、螺栓閉口銷缺失檢測(cè)、絕緣子掉片檢測(cè)，模塊設(shè)計(jì)框圖如圖13所示。

5 電力設(shè)備狀態(tài)檢測(cè)和應(yīng)急處置中的示范應(yīng)用

圖13 分析裝置模塊設(shè)計(jì)框圖

針對(duì)運(yùn)維檢修工作需要，本文在技術(shù)研究基礎(chǔ)上，依托統(tǒng)一視頻監(jiān)控平臺(tái)，實(shí)現(xiàn)電力設(shè)備狀態(tài)圖像采集裝置、電力設(shè)備狀態(tài)圖像分析裝置、音視頻遠(yuǎn)程盒子的示范應(yīng)用，達(dá)到設(shè)備狀態(tài)自動(dòng)監(jiān)視、突發(fā)事件應(yīng)急處置、疑難問(wèn)題遠(yuǎn)程交流、歷史問(wèn)題研判分析的目標(biāo)。

如圖14所示，系統(tǒng)部署架構(gòu)主要包括主站側(cè)及站端側(cè)。主站側(cè)部署視頻監(jiān)控平臺(tái)，平臺(tái)新增大數(shù)據(jù)存儲(chǔ)與分析服務(wù)集群，包括管理節(jié)點(diǎn)服務(wù)和計(jì)算節(jié)點(diǎn)服務(wù)，基于大數(shù)據(jù)框架和深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)分類模型的訓(xùn)練算法、對(duì)象分類算法和設(shè)備狀態(tài)分析算法，以保證各算法在后端服務(wù)中運(yùn)行的高效性，實(shí)現(xiàn)對(duì)下載和導(dǎo)入的歷史視頻圖像的分析。平臺(tái)執(zhí)行分析任務(wù)，發(fā)現(xiàn)設(shè)備狀態(tài)異常時(shí)，歷史分析將以任務(wù)結(jié)果形式查閱；平臺(tái)新增網(wǎng)關(guān)服務(wù)、控制服務(wù)、部署盒子，從而實(shí)現(xiàn)視頻平臺(tái)資源與遠(yuǎn)程進(jìn)行整合，用戶可以靈活接入會(huì)場(chǎng)音視頻信號(hào)，與遠(yuǎn)程移動(dòng)終端進(jìn)行會(huì)話，并調(diào)用查看平臺(tái)監(jiān)控視頻、應(yīng)急處置等業(yè)務(wù)應(yīng)用中提供大量現(xiàn)場(chǎng)監(jiān)控圖像，服務(wù)于業(yè)務(wù)指揮。

站端側(cè)移動(dòng)終端安裝遠(yuǎn)程軟件實(shí)現(xiàn)與會(huì)場(chǎng)的遠(yuǎn)程視頻；部署電力設(shè)備狀態(tài)圖像采集及分析裝置，以滿足多種場(chǎng)景的應(yīng)用，一旦發(fā)生設(shè)備狀態(tài)問(wèn)題將立刻向平臺(tái)推送告警信息，啟動(dòng)遠(yuǎn)程查看、現(xiàn)場(chǎng)核實(shí)、遠(yuǎn)程會(huì)診等預(yù)案。電力設(shè)備狀態(tài)圖像分析裝置，實(shí)現(xiàn)對(duì)前端電力設(shè)備狀態(tài)圖像的實(shí)時(shí)監(jiān)視，發(fā)現(xiàn)設(shè)備狀態(tài)異常時(shí)，將向后臺(tái)推送告警信息。

6 結(jié)論

本文研究的電力設(shè)備狀態(tài)圖像采集及分析裝置等成果將直接應(yīng)用到電力設(shè)備狀態(tài)檢測(cè)和應(yīng)急處置中，實(shí)現(xiàn)對(duì)輸電線路、變電站等典型場(chǎng)景下的電力設(shè)備狀態(tài)的準(zhǔn)確監(jiān)控，保障電力設(shè)備正常運(yùn)轉(zhuǎn)，保障電網(wǎng)安全運(yùn)行，提高供電可靠性；同時(shí)可以改善電力設(shè)備巡檢模式，提升設(shè)備狀態(tài)管控力和運(yùn)檢決策水平，加快管理決策速度，進(jìn)一步提升電力生產(chǎn)管理水平。計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)是實(shí)踐性很強(qiáng)的學(xué)科，來(lái)自電力生產(chǎn)一線的視頻數(shù)據(jù)是檢驗(yàn)算法有效性的最好試金石，同時(shí)也為提升算法性能、算法改進(jìn)和算法創(chuàng)新提供了契機(jī)，對(duì)相關(guān)通用技術(shù)的發(fā)展進(jìn)步產(chǎn)生推進(jìn)作用，并可為類似應(yīng)用提供借鑒和啟發(fā)。

圖14 網(wǎng)絡(luò)拓?fù)?/p>