單亞鋒，趙天宇，付 昱，付 華，王珂珂

（遼寧工程技術大學 電氣與控制工程學院，遼寧 葫蘆島 125105）

0 引言

輸電線路部件發(fā)生故障必然會威脅電力系統(tǒng)的穩(wěn)定，對用戶的用電可靠性造成影響，而且?guī)斫?jīng)濟損失.所以對輸電線路的定期巡檢與維護是智能電網(wǎng)建設過程中極其重要的內容[1].對于輸電線路的巡檢，目前越來越多的國家逐漸從傳統(tǒng)巡檢方式向無人機巡檢方式轉變，而無人機巡檢需要對大量的巡線航拍圖片進行準確地識別與分析，因此，在輸電線路目標識別領域基于深度學習的圖片識別方法發(fā)揮了至關重要的作用[2-5].在圖像識別領域，單階段（One-stage）檢測器以單激發(fā)多盒探測器SSD[6]、單次檢測（YOLO）[7]等為代表；雙階段（Two-stage）檢測器主要包括實例分割卷積神經(jīng)網(wǎng)絡（Mask R-CNN）[8]、區(qū)域推薦卷積神經(jīng)網(wǎng)絡（Faster R-CNN）等.單階段檢測算法雖然用時短，但在小尺度目標檢測識別領域，由于雙階段檢測算法檢測精度更高，所以有著更廣闊的應用前景.文獻[9]提出了一種基于樣本擴充以及Faster R-CNN的電網(wǎng)異物監(jiān)測的方法，但在所生成樣本的輸出質量方面還有一定的提升空間.文獻[10]、文獻[11]都將Faster R-CNN算法應用到了電力領域，驗證了在識別百量級圖像時該算法的適用性和穩(wěn)定性.其中文獻[11]驗證了Faster R-CNN模型能夠在復雜背景下以較高的精度和較低的時間成本檢測絕緣子.文獻[12]利用Faster R-CNN模型實現(xiàn)了航拍圖像中均壓環(huán)、間隔棒、防振錘等電力小部件的識別定位，并獲得93.5%準確率，但因為樣本量較小，在絕緣子之間存在互相遮擋時，識別效果還需要進一步改善，因此應使航拍圖像的樣本多樣性繼續(xù)提高.相比于Faster R-CNN兩階段目標識別算法，文獻[13]提出一種多階段級聯(lián)檢測框架即級聯(lián)卷積神經(jīng)網(wǎng)絡（Cascade R-CNN），在具有挑戰(zhàn)性的常見對象（COCO）數(shù)據(jù)集上，級聯(lián)卷積神經(jīng)網(wǎng)絡檢測效果超過了所有的單階段目標檢測器.文獻[14]驗證了Cascade R-CNN模型在交通標志檢測領域應用的可行性，識別準確率達到98%以上.

在圖片處理過程中，特征提取是影響目標識別準確率的關鍵步驟之一.相比于亞里克斯神經(jīng)網(wǎng)絡（AlexNet）[15]、視覺幾何神經(jīng)網(wǎng)絡（VGGNet）[16]等，深度殘差神經(jīng)網(wǎng)絡（ResNet）作為深度學習的前端具有更大的優(yōu)勢[17].ResNet101網(wǎng)絡可以有效地解決訓練過程中產(chǎn)生的梯度彌散問題[18-19]，但卷積計算可能存在低層信息丟失的現(xiàn)象.FPN[20]可在不同層特征融合的基礎上進行獨立預測，獲得較好的特征提取結果.

針對上述圖片識別存在的問題，利用基于圖像預處理的方式實現(xiàn)對航拍圖像中絕緣子及其缺陷、鳥巢、防振錘等9類目標數(shù)據(jù)集的擴充，設計和搭建ResNet-101網(wǎng)絡以及6層FPN網(wǎng)絡相結合的模型來提取輸入目標特征，在多階段級聯(lián)神經(jīng)網(wǎng)絡Four R-CNN模型訓練中，通過區(qū)域推薦網(wǎng)絡（RPN）生成錨點框輸入級聯(lián)的分類器與邊框回歸器進行訓練，根據(jù)分類器得分和邊框回歸結果確定絕緣子、防振錘、鳥窩等目標的分類與絕緣子缺陷定位.

1 圖像預處理

由于實驗使用的原始圖片為代碼托管（Github）平臺上公開的無人機航拍巡檢樣本，數(shù)量有限.對于小樣本問題，深度學習無法發(fā)揮出最大優(yōu)勢.因此，利用樣本生成技術擴充數(shù)據(jù)集，這對于所構建的深度學習模型起著至關重要的作用.

在擴充數(shù)據(jù)集的過程中，為更好提升多目標識別情況下的準確率，各類別圖像樣本不僅要達到一定數(shù)量級來滿足深度學習的訓練要求，而且要避免出現(xiàn)過擬合現(xiàn)象.針對無人機航拍的特點，在圖像預處理時通過亮度變換、尺度放縮等操作進行模擬.由于無人機在拍攝電網(wǎng)相關目標時不可避免的會抖動，故采用運動模糊算法進行模擬，在一定程度上對數(shù)據(jù)集的泛化性起到了提升作用.表1為圖像預處理參數(shù)設置.

表1 圖像預處理參數(shù)設置Tab.1 parameters of image preprocessing

2 基于Four R-CNN的多目標識別

2.1 特征提取網(wǎng)絡

以ResNet101網(wǎng)絡為特征提取網(wǎng)絡的主干，包括conv1、conv2_x、conv3_x、conv4_x、conv5_x等5層殘差模塊，每一層包含若干殘差學習結構.經(jīng)降采樣處理后，訓練圖片的像素為1 024×1 024，輸出像素分別為512×512×64、256×256×256、128×128×512、64×64×1 024、32×32×1 048.顯然，基于ResNet101網(wǎng)絡的特征提取過程，圖片尺寸不斷減小而通道數(shù)量不斷增加.隨著特征圖底層的丟失，圖片分辨率會逐級下降，導致檢測模型無法對輸電線路小目標進行有效識別與定位.常用的深度學習網(wǎng)絡能夠對大多數(shù)目標實現(xiàn)成功識別，但是由于遠景的圖像過于模糊，依然存在大量漏檢、錯檢的情況，所以常用的特征提取網(wǎng)絡對遠景小目標圖像的識別效果并不理想.

由于無人機拍攝的是輸電線路易損件的局部缺陷，為了提升小目標的識別效果，采用ResNet101和FPN網(wǎng)絡作為特征提取網(wǎng)絡，在殘差網(wǎng)絡的基礎上設計了2種FPN網(wǎng)絡，分別是5層FPN結構（P2層、P3層、P4層、P5層、P6層）和6層FPN結構（P2層、P3層、P4層、P5層、P6層、P7層），見表2.為驗證特征提取網(wǎng)絡的效果，采用Cascade R-CNN驗證表2的4種網(wǎng)絡模型.6層FPN網(wǎng)絡識別小目標的平均準確率值最高，達到89.3%，因此最終選擇6層FPN網(wǎng)絡.

表2 小目標檢測結果對比Tab.2 comparison of small target detection results

將ResNet101網(wǎng)絡和6層FPN網(wǎng)絡融合，P2層、P3層、P4層、P5層增加了自下而上帶有反向側邊連接的支路結構，與conv2_x、conv3_x、conv4_x、conv5_x相連.內容方面，P2層、P3層、P4層、P5層與conv2_x、conv3_x、conv4_x、conv5_x的圖片尺寸呈現(xiàn)一一對應的關系，但通道數(shù)量存在差異.P2層由conv2_x層1x1卷積內核和P3層以步幅為2像素的上采樣組成，像素為256×256×256，同理P3層為128×128×256，P4層為64×64×256，P5層為32× 32×256.P6層由P5層以步幅為2的下采樣得到，像素為16×16×256，同理P7層為8×8×256.因為低層具備高分辨率的特征，故P2層、P3層、P4層、P5層與低層融合后，能夠有效識別出航拍圖像中的電力小部件.由于神經(jīng)網(wǎng)絡的不斷加深，卷積運算和輪詢會使小目標的信息逐漸消失，應用深特征圖層的高語義信息，設計P6層和P7層有助于更加精確地檢測大目標.

2.2 基于Four R-CNN的輸電線路多目標識別模型

提出4層R-CNN（Four R-CNN）級聯(lián)網(wǎng)絡，ResNet101+FPN用于特征提取，生成特征幀.將不同的重疊度（IOU）設置為級聯(lián)R-CNN，并對預處理后的圖像進行訓練，以實現(xiàn)高質量的目標檢測.在每個檢測階段，包括一個分類器hi和一個回歸器fi，根據(jù)分類器與回歸器產(chǎn)生的損失來綜合判斷目標類別以及確定目標位置.Four R-CNN網(wǎng)絡總體損失函數(shù)為

式中，Lcls為分類損失；Lloc為定位損失；g為輸入圖片真實值；λ為權衡系數(shù)；xi為不同IOU閾值下的關鍵幀；yi為不同IOU閾值下各種輸入圖片的標簽類別；[·]為邊界框回歸IOU閾值，與分類用閾值相同.

Four R-CNN模型的分類損失使用Softmax損失函數(shù)代替，為

式中，aj為Softmax輸出向量第j個值，j=1，2，…，m.m為類別數(shù)，取9，則ak為輸出向量9個值.定位損失為

式中，bi為錨框，bi=(bx，by，bw，bh)；為標記框，為分類損失函數(shù)，使用 1LS函數(shù)代替R，

式中，x=.

基于4層R-CNN級聯(lián)算法的網(wǎng)絡框架模型見圖1.

圖1 4層 R-CNN級聯(lián)算法網(wǎng)絡框架模型Fig.1 network framework model of Four-layer R-CNN cascade algorithm

算法步驟如下．

（1）將COCO形式的數(shù)據(jù)集輸入到基于ResNet101和6層FPN的特征提取網(wǎng)絡，特征圖用于后續(xù)的RPN網(wǎng)絡，其中conv4_x作為邊界框回歸，conv5_x作為RPN網(wǎng)絡的輸入.

（2）未經(jīng)損失函數(shù)調整的原始邊框回歸（bbox_pred_0）輸入到Four R-CNN的網(wǎng)絡進行訓練，通過下采樣后送到RoI Pooling得到輸電線路目標分類得分Lcls_1以及邊框回歸Lbox_1，同理得到第2次調整的Lcls_2和Lbox_2，第3次調整的Lcls_3和Lbox_3，前3級檢測網(wǎng)絡IOU閾值分別設0.4、0.5、0.6.

（3）按照第3階段的過程將邊框回歸Lbox_3再次輸入，設定第4層R-CNN的IOU為0.7，最后得到分類得分Lcls_4和邊框回歸Lbox_4.期間網(wǎng)絡的訓練都是收斂的，得到檢測模型，最后得到電網(wǎng)檢測各類別的概率.

2.3 輸電線路多目標識別

輸線路多目標識別由圖像處理和圖像識別兩部分構成，基于樣本生成的Four R-CNN輸電線路多目標識別流程，見圖2.

圖2 輸電線路多目標識別流程Fig.2 flowchart of transmission lines multi-objective identification

輸電線路多目標識別主要流程如下.

（1）提取絕緣子、相間棒、防振錘、鳥窩和絕緣子缺陷樣本，利用旋轉、放縮等操作對原始圖像進行增強．

（2）利用圖像標注（Labellmg）進行目標標注，生成對應的可擴展標記語言（XML）文件．

（3）利用開源機器學習庫（PyTorch）搭建深度學習模型，把XML文件轉化COCO格式來滿足Four R-CNN模型的訓練要求．

（4）以模塊化封裝包mmdetection所包含的神經(jīng)網(wǎng)絡代碼為基礎，構建基于ResNet101和6層FPN的Four R-CNN訓練網(wǎng)絡．

（5）通過建立的數(shù)據(jù)集對模型進行訓練，優(yōu)化相關參數(shù)，使模型的識別效果達到最佳，最后以COCO檢測評價矩陣對模型性能進行評價.

3 實驗及結果分析

3.1 樣本準備

采用COCO格式制作數(shù)據(jù)集，共包含18 620張電網(wǎng)巡檢航拍圖像，其中16 320張是通過亮度的改變、尺寸的調整等方式進行數(shù)據(jù)擴充，再選出的圖像.為了更好地說明實驗的泛化性和檢測精度，采用不同季節(jié)、不同天氣、不同角度、不同時間段的航拍數(shù)據(jù).選擇2 000張航拍圖像作為測試集，在剩余的14 320張航拍圖像中，選取12 888張作為訓練集，1 432張作為驗證集.

3.2 Four R-CNN模型訓練

開發(fā)環(huán)境設備型號見表3，硬盤存儲空間為4 TB.

表3 開發(fā)環(huán)境Tab.3 development environment

實驗采用PyTorch實現(xiàn)雙路GPU分布式訓練.通過測試將imgs_per_gpu設為8，即每次加載8張樣本圖片，workers_per_gpu為2，即每個gpu分配線程數(shù)為2.num_classes設為10，即分為3種絕緣子、防震錘、相間棒、2類絕緣子缺陷、防震錘缺陷和鳥窩.采用SDG作基礎迭代器，初始學習率設為0.08，迭代1 000次后學習率設為0.001，動量因子設為0.9，權重衰減因子設為0.002.設P2層、P3層、P4層、P5層、P6層、P7層的錨步分別是10、15、22、33、50、77，框的大小通過K均值進行聚類，使用Four R-CNN以獲得較好的權重．

實驗以損失函數(shù)（Loss）作為評判算法收斂效果的依據(jù)，Loss值與算法的收斂效果高低成反比.經(jīng)過多次實驗，迭代3 500，損失函數(shù)見圖3.

圖3 損失函數(shù) Fig.3 loss function

由圖3可知，本文Loss值為0.023 1，略高于Four R-CNN（ResNet101）網(wǎng)絡的0.017 2，但均明顯低于其余網(wǎng)絡模型，表明ResNet101+FPN網(wǎng)絡模型的收斂效果較好，所采取的網(wǎng)絡模型在Four R-CNN（ResNet101）網(wǎng)絡模型的基礎上融合了特征金字塔FPN網(wǎng)絡，雖然犧牲了收斂效果，但更有利于提高輸電線路小目標或重疊目標識別的準確度.

3.3 小目標識別結果

由于深度學習對小目標檢測效果不理想，為了驗證小目標的檢測效果，采用Four R-CNN在不同的網(wǎng)絡模型下測試平均準確率，評價指標如下.

準確率（查準率）為

平均準確率為

式（5）～式（6）中，T為被檢正例的正確個數(shù)；F為被檢正例的錯誤個數(shù)；n為測試樣本總數(shù).

3.4 多目標識別結果

為了測試基于數(shù)據(jù)擴充的Four R-CNN輸電線路多目標識別技術在輸電線路目標識別和異物定位中的有效性，采用基于ResNet101和6層FPN網(wǎng)絡的Four R-CNN網(wǎng)絡，對2 000 張測試圖像，進行了多目標識別測試，隨機選擇了4 張圖像用于展示檢測結果，見圖4.其中綠色方框代表著候選區(qū)域的類別以及候選區(qū)域的準確位置，故障類別主要包括絕緣子缺陷、防振錘和鳥巢等.類別后面的百分數(shù)表示置信度，置信度越高，則識別率越高.輸電線路的目標識別結果見表4.

圖4 多目標識別結果Fig.4 detection results of multi-target

表4 9類數(shù)據(jù)驗證結果Tab.4 results of nine types of data validation

表4中平均準確率P越大說明模型越好，若P為1表明識別準確率100%.從驗證結果知，各類別準確率的平均值為95.8%.表明本算法可以精確識別出輸電線路各個目標情況，解決輸電線路多目標檢測任務.表5為算法對比表，采用ResNet101+FPN作為backbone的Four R-CNN在檢測精度上優(yōu)于其他算法，但是檢測速度不高.

表5 算法對比Tab.5 algorithm comparison

本網(wǎng)絡在訓練時間和測試速度方面略低于其它算法.Four R-CNN采用多尺度特征融合之后的特征來做預測，可以在不同層獨立的特征進行預測，并且上一級的輸出是下一級的輸入，輸入的精度提高，輸出結果的精度就會隨之提高.

4 結論

針對輸電線路上絕緣子、防振錘等易損件，以及鳥巢等異物的識別，提出了一種基于4層R-CNN的輸電線路多目標檢測方法，能對輸電線路巡檢圖像進行多目標分類與定位，并利用數(shù)據(jù)擴充技術構建的圖像數(shù)據(jù)集對所提方法進行實驗驗證.

（1）利用Four R-CNN網(wǎng)絡較強的深度學習能力，同時結合ResNet101網(wǎng)絡、6層FPN網(wǎng)絡的優(yōu)勢，提高輸電線路小目標識別準確度.所提出的訓練模型使遠景目標模糊、小目標漏檢以及目標重疊等問題得到有效解決.

（2）本文所提方法對3種絕緣子、相間棒、防振錘、鳥巢和2種絕緣子缺陷能夠實現(xiàn)端到端的識別，平均準確度達到95.8%.