劉欣宇, 繆希仁， 莊勝斌， 江灝， 陳靜

(福州大學(xué)電氣工程與自動化學(xué)院， 福建 福州 350108)

0 引言

輸電線路巡檢是電力部門的日常工作， 絕緣子的狀態(tài)巡視是其中的重點項目， 若能在無人機巡檢圖像中自動定位并識別出絕緣子， 利用機載智能檢測終端完成初步的圖像篩選， 則可以極大地緩解線路運檢維護(hù)人員的工作壓力和強度， 并為后續(xù)絕緣子智能診斷技術(shù)的研究奠定基礎(chǔ)[1-2]. 然而， 輸電線路覆蓋范圍廣泛， 沿途地貌多樣， 無人機航拍條件復(fù)雜， 增加了絕緣子的檢測難度[3].

現(xiàn)有的絕緣子檢測方法大多需人工設(shè)計合適的特征提取器來獲得航拍的圖像特征， 用于區(qū)分前景與背景. 根據(jù)所提取圖像特征的不同， 絕緣子的人工特征可以分為顏色特征、 形狀特征和紋理特征[4]3類.

基于顏色特征方面， Reddy等[5]將原圖轉(zhuǎn)換到Lab色彩空間， 對此色彩空間上的顏色特征進(jìn)行K-means聚類， 然后應(yīng)用自適應(yīng)神經(jīng)模糊推理系統(tǒng)(adaptive network-based fuzzy inference system, ANFIS)檢測出11 kV配電網(wǎng)的絕緣子所在圖像區(qū)域. 在此基礎(chǔ)上， Reddy等[6]進(jìn)一步采用支持向量機SVM替換ANFIS作為特征分類器， 提高了檢測精度. 但此類基于顏色特征的方法對于絕緣子與背景的顏色區(qū)分度要求較高， 在實際復(fù)雜背景下檢測效果并不理想.

基于形狀特征和紋理特征的方法更能適應(yīng)背景的變化， 其魯棒性更高. Oberweger等[7]提出一個基于橢圓描述算子的檢測算法， 利用高斯差模型提取角點， 用K鄰近算法聚類所提取到的角點， 最后用橢圓描述算子判斷屬于絕緣子的角點. Zhao等[8]提出一種基于多角度檢測和二進(jìn)制形狀先驗知識的絕緣子檢測算法， 在灰度圖中提取形狀特征進(jìn)行基于先驗知識的分類. 彭向陽等[9]提出了基于梯度直方圖特征的絕緣子檢測算法， 自動提取和定位可見光圖像中的絕緣子. Wu等[10-11]利用半局部算子提取圖像的半局部紋理分布， 并利用全局最優(yōu)活動輪廓分割出絕緣子. 王萬國等[12]融合顏色、 形狀和紋理特征檢測絕緣子， 提取出圖像中的平行線段及利用局部二值模式和顏色連通域分析來檢測絕緣子所在區(qū)域.

然而， 上述方法均依賴手工設(shè)計特征， 一方面， 人工特征提取對圖像預(yù)處理的要求極高； 另一方面， 精細(xì)的特征提高了精度， 但犧牲了檢測速度. 因此， 特征提取器的設(shè)計需要權(quán)衡檢測速度與檢測精度之間的矛盾， 特別是面對海量的巡線圖像時， 高效率的檢測方法才能保證日常巡線工作的時效性， 以保障電力系統(tǒng)的安全可靠. 針對上述問題， 本研究面向航拍巡線圖像， 提出一種基于輕量級深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network， CNN)的絕緣子快速檢測方法， 利用可在無人機板載系統(tǒng)運行的輕量級卷積神經(jīng)網(wǎng)絡(luò)代替人工設(shè)計的特征提取器， 實現(xiàn)高效率的圖像特征提取. 同時， 使用深度目標(biāo)檢測網(wǎng)絡(luò) (single shot multibox detector, SSD)處理所提取特征， 快速檢測出航拍圖像中的絕緣子.

1 絕緣子檢測原理

圖1 絕緣子檢測算法原理圖

針對目前絕緣子檢測速度慢和魯棒性低的問題， 提出基于輕量級深度卷積神經(jīng)網(wǎng)絡(luò)的絕緣子快速檢測算法. 方法原理如圖1所示， 在離線訓(xùn)練階段中， 將歷史巡線影像作為原始數(shù)據(jù)庫， 通過數(shù)據(jù)預(yù)處理獲得訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集； 將訓(xùn)練數(shù)據(jù)集輸入構(gòu)建好的SSD網(wǎng)絡(luò)中進(jìn)行訓(xùn)練， 形成基礎(chǔ)模型并進(jìn)行固化操作， 以獲得檢測模型. 在檢測階段， 將待檢測數(shù)據(jù)直接輸入訓(xùn)練好的檢測模型中， 即可迅速得到絕緣子的檢測結(jié)果.

1.1 數(shù)據(jù)預(yù)處理

圖2 數(shù)據(jù)預(yù)處理流程圖

數(shù)據(jù)預(yù)處理的流程如圖2所示. 首先對圖像加以旋轉(zhuǎn)、 裁剪處理， 然后在圖像中標(biāo)注出絕緣子的種類名稱和所在位置并以XML文檔格式保存. 標(biāo)注完成后， 將圖像庫隨機抽出部分?jǐn)?shù)據(jù)(包括圖像與對應(yīng)的標(biāo)簽)作為訓(xùn)練圖像集用于模型訓(xùn)練， 剩下的另一部分作為測試圖像集用于驗證檢測結(jié)果. 最終， 將上述兩個圖像集轉(zhuǎn)換為用于高效計算的TFRecord文件格式.

1.2 深度目標(biāo)檢測網(wǎng)絡(luò)(SSD)

SSD旨在解決現(xiàn)有實時目標(biāo)檢測框架中速度和精度之間的權(quán)衡問題[13]. 與之前算法相比， SSD用卷積層替換全連接層， 實現(xiàn)任意尺寸的圖片輸入， 特別適用于目前無人機巡線尚未統(tǒng)一像素尺寸的情況[14]. SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示. 基礎(chǔ)網(wǎng)絡(luò)用于提取輸入圖像的特征， 輔助網(wǎng)絡(luò)采用3×3的小卷積核挖掘更深層的特征且在6個特征圖上生成了一系列固定尺寸的邊界框， 利用這些特征計算出絕緣子坐標(biāo)框的位置偏移量以及相應(yīng)的置信度， 在此基礎(chǔ)上， 采用非極大值抑制(non-maximum suppression， NMS) 生成最終的檢測結(jié)果.

基礎(chǔ)網(wǎng)絡(luò)用于提取高質(zhì)量圖像特征. 本研究采用輕量級網(wǎng)絡(luò)MobileNet作為基礎(chǔ)網(wǎng)絡(luò)， 網(wǎng)絡(luò)中的可分離卷積縮減了網(wǎng)絡(luò)參數(shù)和計算量[15]， 其示意圖如圖4所示. Depthwise卷積由M個3×3×1的卷積核構(gòu)成， 其中M是輸入數(shù)據(jù)的深度； Pointwise卷積由N個1×1×M的卷積核構(gòu)成， 其中N是輸出數(shù)據(jù)的深度. 輸入在兩種卷積操作后， 還需分別進(jìn)行批次歸一化(batch normalization， BN)正則化操作[16]和ReLU激活函數(shù)層的處理.

圖3 SSD網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 可分離卷積示意圖

MobileNet的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示. 第一層采用3×3的標(biāo)準(zhǔn)卷積核以及32的深度以提取圖像的淺層特征， 后續(xù)13層采用3×3的可分離卷積核， 以小尺寸卷積核的堆疊來代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)中的大尺寸卷積核， 同時利用步長為2的卷積層代替池化層， 此舉放緩了網(wǎng)絡(luò)的下采樣進(jìn)程并提取出表達(dá)能力更強的深層特征. 其中， 在可分離卷積層2、 4、 6、 13進(jìn)行下采樣并加深卷積層的深度， 以提取不同尺寸特征圖的深度圖像信息.

表1 基礎(chǔ)網(wǎng)絡(luò)MobileNet的模型參數(shù)

SSD模型在基礎(chǔ)網(wǎng)絡(luò)之后增加了額外的輔助網(wǎng)絡(luò)用以生成絕緣子檢測器， 預(yù)測絕緣子目標(biāo)位置和類別. 輔助網(wǎng)絡(luò)有以下3個關(guān)鍵.

1) 輔助網(wǎng)絡(luò)是在基礎(chǔ)網(wǎng)絡(luò)后增加的一系列卷積層. 這些卷積層在尺寸上遞減， 形成多范圍感受野的特征圖， 以預(yù)測多尺度的目標(biāo)物體. 如圖3所示， 淺層特征圖尺寸較大， 但是其感受野較?。?而深層特征圖的特性則反之. 這種特性使得網(wǎng)絡(luò)有能力對輸入圖片進(jìn)行多尺寸的深度特征提取， 提高絕緣子在尺寸較小情況下的識別準(zhǔn)確率.

2) 每個特征圖都對應(yīng)一系列默認(rèn)邊界框. 近年提出的區(qū)域提議網(wǎng)絡(luò)(region proposal network， RPN)利用區(qū)域提議的方法進(jìn)行輔助定位[17-18]， 與常規(guī)的后端找框方法不同， SSD在一開始就定義了一系列固定的默認(rèn)邊界框， 這些邊界框擁有不同的橫縱比和比例系數(shù). 假設(shè)有F(本研究F=6)個用于預(yù)測目標(biāo)的特征圖， 其中， 每個特征圖的默認(rèn)框比例系數(shù)依據(jù)如下公式生成

(1)

(2)

式中：N是匹配的默認(rèn)框個數(shù)；Lconf是置信度損失；Lloc是位置損失；β為位置損失的權(quán)重系數(shù)；x為輸入數(shù)據(jù)；c為置信度；l和g分別代表預(yù)測框和真實框. 其中，Lconf采用背景類和目標(biāo)類置信度之間的Softmax損失， 計算方式如下

(4)

(5)

(6)

(7)

輸入圖像經(jīng)過SSD模型計算后生成若干預(yù)測框， 這些預(yù)測框可能存在相互包含或交叉的情況， 因此需要利用非極大值抑制算法過濾掉多余的檢測結(jié)果. 非極大值抑制算法的核心是搜索局部極大值， 抑制非極大值元素， 通過框與框之間的交疊率來完成聚類劃分， 移除交疊率較高的預(yù)測框. 具體流程如下： 首先計算網(wǎng)絡(luò)輸出的每個預(yù)測框的置信度， 濾除置信度低于0.01的邊界框； 計算剩下的每個預(yù)測框面積并按置信度大小進(jìn)行排序； 選定置信度最高的預(yù)測框， 然后計算這個選定框與周圍預(yù)測框的交疊率， 移除大于設(shè)定IoU閾值的預(yù)測框.

2 實驗結(jié)果分析

研究的原始數(shù)據(jù)集圖片以山丘和樹林為主要背景， 絕緣子的種類包括瓷質(zhì)絕緣子和復(fù)合絕緣子， 所有圖片數(shù)據(jù)都來自實際的電網(wǎng)無人機巡線. 原圖像素尺寸為4 000 px×3 000 px， 經(jīng)過圖像預(yù)處理后的尺寸都小于1 000 px×1 000 px. 瓷質(zhì)絕緣子與復(fù)合絕緣子總共400張圖片， 隨機抽取出3/4作為訓(xùn)練集， 余下1/4作為測試集. 其中， 訓(xùn)練集包含瓷質(zhì)絕緣子圖片137張， 人工標(biāo)注的瓷質(zhì)絕緣子個數(shù)為144個； 包含復(fù)合絕緣子圖片163張， 人工標(biāo)注的復(fù)合絕緣子個數(shù)為179個. 測試集包含瓷質(zhì)絕緣子圖片40張， 標(biāo)注41個； 包含復(fù)合絕緣子圖片60張， 標(biāo)注61個.

2.1 模型訓(xùn)練過程

訓(xùn)練過程中的主要參數(shù)設(shè)置如下： 默認(rèn)框的橫縱比ar∈{1， 2， 3， 1/2， 1/3}； 模型的參數(shù)更新方式為均方根誤差優(yōu)化(RMSProp)， 其初始化的學(xué)習(xí)速率為0.004， 動量系數(shù)為0.9， 訓(xùn)練批次大小為24； NMS階段中的置信度閾值為0.01， IoU閾值為0.6； 訓(xùn)練迭代次數(shù)為3萬次. 算法使用TensorFlow深度學(xué)習(xí)框架[19], 在一臺服務(wù)器上實現(xiàn)， 服務(wù)器的環(huán)境是Ubuntu 16.04.3 LTS， Intel Core i7-6850@3.60 GHz 12 CPUs， NVIDIA GeForce GT 1080 Ti GPUs搭配8.0版本的CUDA和6.0 版本的cuDNN， 內(nèi)存共32 GB.

圖5 平均準(zhǔn)確率隨訓(xùn)練步數(shù)變化曲線

離線訓(xùn)練過程如圖5所示， 一個訓(xùn)練步數(shù)代表模型參數(shù)整體更新一次， 每步訓(xùn)練的平均時間為0.41 s. 由圖5可見， 在模型訓(xùn)練1萬步后， 兩類絕緣子在測試集上的平均準(zhǔn)確率已達(dá)到80%附近， 并隨著步數(shù)增加而穩(wěn)步上升， 2萬步后趨向平穩(wěn). 訓(xùn)練后的基礎(chǔ)模型占用內(nèi)存空間為98.5 MB， 經(jīng)過固化操作后， 模型大小僅有22.7 MB， 滿足嵌入式移植的要求.

2.2 瓷質(zhì)絕緣子檢測效果

研究對500 kV線路瓷質(zhì)絕緣子進(jìn)行實驗， 從測試集檢測出瓷質(zhì)絕緣子42個， 其中39個正確識別， 3個誤識別， 2個漏檢. 部分結(jié)果如圖6所示， 紅色框為人工標(biāo)注的真實框， 綠色框為結(jié)果框. 瓷質(zhì)絕緣子由白與紅的絕緣子片構(gòu)成， 與天空背景的區(qū)分度較低， 但本研究提出的檢測方法能較好地完成檢測任務(wù). 同時可以看出圖中的絕緣子都有著不同角度的傾斜， 而且絕緣子并非都處于圖像的正中心. 在這種情況下， 本方法檢測出的檢測框依然十分貼合真實框， 具有較高的交疊率.

圖6 500 kV線路瓷質(zhì)絕緣子檢測結(jié)果

2.3 復(fù)合絕緣子檢測效果

在220 kV線路復(fù)合絕緣子的實驗中， 算法從測試集中檢測出復(fù)合絕緣子57個， 其中52個正確識別， 5個誤識別， 9個漏檢， 部分結(jié)果如圖7所示. 由于復(fù)合絕緣子的絕緣子片是褐色的， 而且形狀上較為細(xì)窄， 導(dǎo)致絕緣子無論在簡單背景還是復(fù)雜背景中的區(qū)分度都很低， 特別容易受到顏色相近的鐵塔部件的干擾. 然而， 在這種檢測難度較高的情況下， 本方法依然能夠準(zhǔn)確檢測出橫、 豎不同角度的復(fù)合絕緣子.

圖7 220 kV線路復(fù)合絕緣子檢測結(jié)果

2.4 檢測結(jié)果定量分析

圖8 準(zhǔn)確率-召回率曲線圖

本研究采用3個常見評價指標(biāo), 即準(zhǔn)確率(P)、 召回率(R)以及平均準(zhǔn)確率(PA)[20]， 定量評估所提出算法的檢測精度. 結(jié)果如下： 瓷質(zhì)絕緣子的檢測準(zhǔn)確率為92.85%， 召回率為95.12%； 復(fù)合絕緣子的檢測準(zhǔn)確率為91.22%， 召回率為85.24%. 本方法的P-R曲線如圖8所示， 隨著召回率逐漸上升， 準(zhǔn)確率一直保持在較高數(shù)值， 當(dāng)召回率接近90%時有小幅度下降， 在召回率接近100%的極端情況下才急劇下降. 兩類絕緣子的P-R曲線都呈現(xiàn)右上凸，PA分別為： 瓷質(zhì)絕緣子96.29%， 復(fù)合絕緣子90.85%， 代表本方法在準(zhǔn)確率和召回率上有一個很好的平衡， 檢測精度性能出色. 此外， 采用每秒檢測幀數(shù)(F·s-1)作為算法速度的評價指標(biāo). 本方法在裁剪后的圖片(1 000 px×1 000 px)上的平均檢測速度為43 F·s-1； 在原圖(4 000 px×3 000 px)上依然能達(dá)到35 F·s-1； 在720 P和1 080 P的視頻上分別取得43 F·s-1和39 F·s-1的速度， 滿足實時檢測的速度要求. 方法的整體性能總結(jié)于表2. 表中TP表示絕緣子被正確識別的個數(shù)； FP表示絕緣子被誤檢的個數(shù)； FN表示絕緣子被漏檢的個數(shù).

表2 絕緣子檢測算法整體性能

為了測試SSD模型中默認(rèn)框比例系數(shù)的影響， 選取6種不同的系數(shù)組合進(jìn)行實驗， 結(jié)果如表3所示. 算法在smin=0.20，smax=0.95時取得最好效果. 當(dāng)smin減小， 網(wǎng)絡(luò)淺層的默認(rèn)框尺寸減小， 瓷質(zhì)絕緣子的檢測精度出現(xiàn)較大幅度下降， 復(fù)合絕緣子的檢測精度略微下降； 當(dāng)smax減小， 深層的默認(rèn)框尺寸縮小， 兩種類別的檢測精度均出現(xiàn)了較明顯的下滑. 這表明復(fù)合絕緣子的檢測更依賴網(wǎng)絡(luò)深層默認(rèn)框的圖像特征， 瓷質(zhì)絕緣子的檢測對淺層與深層默認(rèn)框均較為敏感. 但當(dāng)系數(shù)繼續(xù)增大時， 精度并沒有進(jìn)一步提升， 說明默認(rèn)框的尺寸與最終的檢測精度有密切關(guān)系， 一個合適的系數(shù)可以更好地擬合待檢測物體的尺寸， 使更多的默認(rèn)框能貼合圖像中的絕緣子目標(biāo)， 有助于網(wǎng)絡(luò)學(xué)習(xí)到絕緣子的圖像特征.

表3 默認(rèn)框比例系數(shù)分析

表4 深度學(xué)習(xí)算法對比

為驗證所提算法的優(yōu)勢， 額外測試兩個常用的深度目標(biāo)檢測算法Faster R-CNN[18]及R-FCN[21]， 實驗配置與本文算法一致， 測試結(jié)果如表4所示. 得益于區(qū)域提議網(wǎng)絡(luò)的使用， Faster R-CNN和R-FCN均取得了較高的精度， 其中R-FCN在復(fù)合絕緣子上獲得了最高精度， 這是由于R-FCN在網(wǎng)絡(luò)結(jié)構(gòu)中引入了全卷積網(wǎng)絡(luò)， 達(dá)成更多的網(wǎng)絡(luò)參數(shù)和特征共享， 強化了對復(fù)合絕緣子的特征表達(dá)能力. 但由于區(qū)域提議網(wǎng)絡(luò)需要較大的計算資源， 兩種對比算法的計算速度遠(yuǎn)遠(yuǎn)慢于本文所提算法. 本文算法的平均精度高于Faster R-CNN， 近似于R-FCN， 檢測速度是其他兩種算法的5倍以上， 更加符合巡線的實時檢測需求.

3 結(jié)語

針對航拍巡線圖像中的絕緣子檢測， 建立基于輕量級深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型. 該檢測模型無需人工設(shè)計特征提取器， 依靠卷積神經(jīng)網(wǎng)絡(luò)CNN提取特征、 處理特征， 形成端到端的檢測網(wǎng)絡(luò)， 并且擁有多類目標(biāo)檢測、 任意尺寸輸入的功能. 采用MobileNet作為目標(biāo)檢測算法的基礎(chǔ)網(wǎng)絡(luò)， 實現(xiàn)了絕緣子的高速高精度檢測. 實驗表明， 對500 kV線路上的瓷質(zhì)絕緣子和220 kV線路上的復(fù)合絕緣子的檢測精度分別達(dá)到了96.29%與90.85%， 平均檢測速度達(dá)到43 F·s-1， 能夠滿足絕緣子實時檢測的要求. 后續(xù)研究圍繞嵌入式算法移植以及更多類別部件的檢測與故障診斷展開， 逐步提升電力巡線系統(tǒng)的智能化水平.