劉業(yè)鵬，吳童桐，賈雪健，翟永杰

（華北電力大學(xué) 自動化系，河北 保定 071003）

0 引言

隨著智能電網(wǎng)和電力系統(tǒng)自動化的發(fā)展，計(jì)算機(jī)視覺技術(shù)越來越多地應(yīng)用在電力設(shè)備的智能巡檢和在線監(jiān)測中，目標(biāo)設(shè)備的識別和定位成為檢測技術(shù)的關(guān)鍵。輸電線路基本部件包括導(dǎo)線和防震錘、絕緣子、均壓環(huán)、桿塔等。據(jù)國家電力公司統(tǒng)計(jì)，因?yàn)榻^緣子斷裂引起的事故目前已成為電力系統(tǒng)故障率的第一位[1]。

目前在輸電線路部件的故障診斷領(lǐng)域，目標(biāo)如何精確定位成為了學(xué)者們研究的熱門問題[2]，以其中研究最多的絕緣子的目標(biāo)定位問題為例，可以分為以下3類方法：

1）基于輪廓提取的方法。文獻(xiàn)[2]基于非下采樣輪廓波變換提取絕緣子輪廓；文獻(xiàn)[8,9]通過檢測圖像中的圓形輪廓來對應(yīng)絕緣子片的圓形結(jié)構(gòu)；文獻(xiàn)[3]采用主動輪廓模型算法檢測絕緣子輪廓。以上方法在拍攝視角固定的情況下能得到理想的定位結(jié)果，但巡檢圖像的拍攝角度和拍攝距離的多變性導(dǎo)致了絕緣子輪廓的不確定性，使得輪廓提取算法的準(zhǔn)確度降低。

2）基于圖像匹配的方法。文獻(xiàn)[4,5]采用角點(diǎn)匹配方法，通過檢測圖像中Harris角點(diǎn)進(jìn)行絕緣子匹配定位，該算法在純凈背景下的準(zhǔn)確性高，但存在桿塔這類具備相似角點(diǎn)特征的偽目標(biāo)時(shí)容易誤檢。

3）采用深度學(xué)習(xí)的方法。文獻(xiàn)[6,7]采用的faster R-CNN的方法[8]對輸電線路部件進(jìn)行檢測。該方法較傳統(tǒng)的圖像處理方法而言在目標(biāo)檢測方面有了很好地提高，但是不適用多尺度下的巡檢圖像檢測。

目前的各種研究可以發(fā)現(xiàn)，傳統(tǒng)的輪廓提取、圖像匹配方法不適用于復(fù)雜背景下的電力小部件檢測。在2016年劉偉博士提出了基于SSD[9]的目標(biāo)檢測的方法，該方法具有檢測速度快、識別精度高等優(yōu)點(diǎn)，SSD在公開數(shù)據(jù)集VOC上的檢測精度已經(jīng)高于其他幾類深度學(xué)習(xí)方法[3]。但是直接利用SSD來檢測電力巡檢圖像效果并不是很好，主要是由于巡檢圖像中目標(biāo)尺度變化比較大，SSD對小目標(biāo)檢測精度不高，導(dǎo)致最終效果不是很理想。

因此，本文針對以上問題，提出了FP-SSD模型，該模型加強(qiáng)了深度學(xué)習(xí)網(wǎng)絡(luò)中上下層結(jié)構(gòu)的聯(lián)系，增強(qiáng)了對于淺層信息的利用，從而提高了網(wǎng)絡(luò)對于多尺度圖片的目標(biāo)檢測能力。

1 訓(xùn)練樣本擴(kuò)充方法

在深度學(xué)習(xí)的各種方法中往往會對訓(xùn)練樣本進(jìn)行樣本擴(kuò)充以得到更好的訓(xùn)練效果。Faster R-CNN[2]對訓(xùn)練樣本擴(kuò)充的方法是按照50%的概率對圖片進(jìn)行水平翻轉(zhuǎn)。SSD[1]中作者除了使用水平翻轉(zhuǎn)外，還按照50%的概率對訓(xùn)練圖片進(jìn)行隨機(jī)裁剪，論文中提到這樣的操作可以更好地提高訓(xùn)練的效果。

本文參考了SSD的樣本擴(kuò)充中對樣本進(jìn)行裁剪的思路，提出了一種自適應(yīng)裁剪算法。該算法會根據(jù)訓(xùn)練樣本中目標(biāo)框占畫幅的大小將小尺度的目標(biāo)裁剪出來，這樣擴(kuò)充后的訓(xùn)練樣本庫能夠提升檢測的精度。

1.1 樣本預(yù)處理流程

在制作訓(xùn)練樣本集時(shí)，首先會根據(jù)目標(biāo)占畫幅的大小將樣本分成3類：含大目標(biāo)的樣本、含中目標(biāo)的樣本、含小目標(biāo)的樣本。目標(biāo)的大小定義為3個(gè)等級，小目標(biāo)指的是占畫幅5%以下，中目標(biāo)指的是占畫幅5%～12%，大目標(biāo)指的是12%以上。本文將中目標(biāo)以及小目標(biāo)通過自適應(yīng)裁剪算法處理以后得到新的增廣樣本，與原始圖片一起進(jìn)行水平翻轉(zhuǎn)和亮度扭曲，最后的輸出結(jié)果作為訓(xùn)練樣本。

1.2 自適應(yīng)裁剪算法

本文采用的巡檢圖片是有DJl的FC550拍攝采集的，圖片尺寸為6000×4800，本文提出的自適應(yīng)裁剪算法主要針對大圖像中小目標(biāo)數(shù)目較多的情況，將圖片裁剪成一張或者兩張小圖片。裁剪后的圖片作為擴(kuò)充樣本添加到訓(xùn)練樣本庫里面，這樣的操作可以增強(qiáng)訓(xùn)練樣本所包含的有效信息。

該算法的流程如表1所示，首先在圖片中設(shè)置兩個(gè)初始聚類中心K1，K2（圖片的左下角和右上角），然后計(jì)算各個(gè)目標(biāo)框Objecti的中心離兩個(gè)初始聚類中心的距離distance1和distance2，通過比較這兩個(gè)距離確定這些目標(biāo)框離哪一個(gè)初始點(diǎn)更近，從而將所有目標(biāo)框分成兩類C1和C2。新的聚類中心由每一類的目標(biāo)框的中心坐標(biāo)的求均值所得。最后，通過衡量系數(shù)K是否大于設(shè)置的閾值來確定將原始圖片劃分成一張小圖或者兩張小圖。

系數(shù)K的計(jì)算公式如下：

其中，distance是類C1和C2的距離，計(jì)算得到的系數(shù)如果小于所設(shè)的閾值就意味著目標(biāo)分布的較為稀疏，需要分別以C1和C2的中心為裁剪小圖的中心，將原圖切分成2張小圖；如果系數(shù)K大于閾值，則意味著目標(biāo)框分布較為密集。因此，將原圖切分成1張小圖。

2 基于特征金字塔的目標(biāo)檢測算法

2.1 算法整體流程

SSD算法框架[2]采用VGG-16模型作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，本文在保留原有的SSD300[2]的目標(biāo)檢測基礎(chǔ)網(wǎng)絡(luò)上，特征提取網(wǎng)絡(luò)換成了resnet-101。針對原有的SSD模型在小目標(biāo)識別上精度不夠高的問題，本文參考了FPN特征金字塔的形式，對上下文的信息進(jìn)行了一個(gè)融合。其中，將conv2、conv3、conv4進(jìn)行了特征融合，融合后的特征層是FP_Conv_1,然后該層和SSD添加的Conv5_X、Conv6_X、Conv7_X、Conv8_X、Conv9_X作為預(yù)測的特征層，分別再通過3×3卷積核來進(jìn)行偏移和類別的預(yù)測，F(xiàn)P-SSD結(jié)構(gòu)如圖1所示。

本文選擇融合Conv2_X、Conv3_X以及Conv4_X組成特征金字塔，是為了改善原有結(jié)構(gòu)在低層信息上利用不足的缺點(diǎn)。本文融合了這3個(gè)特征層進(jìn)行實(shí)驗(yàn)，其中特征圖的最大尺度為75，最小尺度為20。考慮到電力部件中大部件的數(shù)量也有很多，后面高層的默認(rèn)框比較大，有利于大目標(biāo)的檢測。因此，未對后面高層的特征圖進(jìn)行信息融合處理。這樣的一個(gè)多尺度的特征融合能夠有利于多尺度目標(biāo)的檢測。

2.2 FPN特征融合結(jié)構(gòu)

FP_Conv_1特征層由Conv2_X、Conv3_X、Conv4_X三層的特征圖融合而成，其中高層Conv4_X的特征圖通過反卷積的操作擴(kuò)大了特征圖的尺度[5]，反卷積的計(jì)算如公式（1）所示，輸入尺寸是Finput，輸出尺寸是Foutput，步長為s，卷積核大小為k。本文中使用卷積核大小為2×2、步長為2進(jìn)行上采樣。低層Conv2_X是通過3×3的擴(kuò)張卷積計(jì)算而來，之所以選擇擴(kuò)張卷積是因?yàn)閿U(kuò)張卷積可以保存較大的感受野，遺失較少的信息。

本文在實(shí)驗(yàn)的過程中選取的dilation值為2，步長為2，pad為2。因此，將特征圖的尺寸縮小到和中間層一樣大小。

圖1 FP-SSD結(jié)構(gòu)圖Fig.1 FP-SSD Structure diagram

表1 閾值Q對檢測精度的影響Table 1 Effect of threshold Q on detection accuracy

2.3 訓(xùn)練損失函數(shù)定義

網(wǎng)絡(luò)訓(xùn)練時(shí)的損失函數(shù)還是依據(jù)SSD的結(jié)構(gòu)由兩部分組成，第一部分是回歸位置的損失，一部分是分類損失，總的損失函數(shù)可以表示為：

其中，N為默認(rèn)框與真實(shí)框相匹配的個(gè)數(shù)，是權(quán)重因子，一般設(shè)置為1；c為每一類的置信度；l和g分別為默認(rèn)框和真實(shí)框的參數(shù)，包括中心位置坐標(biāo)和寬高。為分類置信度損失，使用多類別Softmax損失，用來回歸bounding boxes的中心位置以及寬高,使用的Smooth L1計(jì)算。

3 實(shí)驗(yàn)結(jié)果與性能分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及檢測結(jié)果

本文的樣本集有訓(xùn)練圖片18000張，測試圖片10000張。檢測輸電線路中的5類目標(biāo)，包括絕緣子（insulator）、桿塔（Tower）、防震錘（damper）、均壓環(huán)（ring）、間隔棒（spacer）。

表2 不同方法的檢測精度Table 2 Detection accuracy of different methods

檢測在型號為GTX1080的GPU上進(jìn)行，使用的深度學(xué)習(xí)框架是Caffe，批處理大小設(shè)置為8。訓(xùn)練過程中判斷正負(fù)樣本的IOU閾值為0.5。采用目標(biāo)檢測精度mAP作為評價(jià)指標(biāo)。

3.2 樣本擴(kuò)充對檢測精度的影響

本文在圖像預(yù)處理階段加入自裁剪算法，對訓(xùn)練樣本進(jìn)行相應(yīng)的裁剪操作，根據(jù)標(biāo)注后的圖像中目標(biāo)的分布情況將訓(xùn)練樣本裁剪成一張或者多張圖。

其中，需要比較系數(shù)K與閾值Q的大小，確定裁剪成幾張小圖。因此，Q值的大小對檢測精度有一定的影響，實(shí)驗(yàn)采取的基礎(chǔ)網(wǎng)絡(luò)是resnet101+SSD，實(shí)驗(yàn)結(jié)果如表1所示。

通過表1可以發(fā)現(xiàn)檢測精度隨Q的增大先增后減，原因是當(dāng)Q增大時(shí)會裁剪出更多的小圖，但是由于目標(biāo)中存在各種尺度的物體都存在。因此，不是Q越大檢測精度越高。最終實(shí)驗(yàn)結(jié)果顯示閾值Q取0.24時(shí)結(jié)果較優(yōu)。

3.3 特征金字塔結(jié)構(gòu)對精度的影響

為了驗(yàn)證FP-SSD模型的特征金字塔結(jié)構(gòu)對檢測效果的影響，本文分別測試了5類部件的mAP值，實(shí)驗(yàn)結(jié)果如表2所示。

實(shí)驗(yàn)結(jié)果可以看出，對于均壓環(huán)這類偏小的部件，F(xiàn)P的結(jié)構(gòu)能夠有效提升檢測精度大約6%；對于絕緣子、桿塔這類尺度比較多的目標(biāo)檢測精度大概可以提升3%；但是對于防震錘、間隔棒檢測精度提升不高，因?yàn)檫@兩類物體體積最小，在巡檢圖像中主要以小尺度存在較多。實(shí)驗(yàn)結(jié)果證明，該方法對于多尺度的目標(biāo)提升效果較為明顯，對于尺度比較單一的目標(biāo)提升效果一般。

3.4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果表明，樣本擴(kuò)充的辦法對于模型精度提升有效，當(dāng)采用FP-Resnet+SSD結(jié)構(gòu)時(shí)，擴(kuò)充樣本前后精度能提高0.7%；將特征提取網(wǎng)絡(luò)由VGG16替換成Resnet后，精度能提升3.2%，這也說明網(wǎng)絡(luò)深度的增加對于特征的提取效果非常明顯；采用FP結(jié)構(gòu)可以有效結(jié)合上下文語義信息，能夠提升0.9%的精度。

4 結(jié)論

本文針對實(shí)際航拍圖像中多尺度目標(biāo)檢測方法進(jìn)行研究，提出了FP-SSD算法，在原始SSD目標(biāo)檢測算法上進(jìn)行了兩個(gè)方面的改進(jìn)：

1）對訓(xùn)練樣本進(jìn)行處理，采用自適應(yīng)裁剪算法裁剪訓(xùn)練樣本，以適應(yīng)單張圖片中不同尺度的目標(biāo)，同時(shí)擴(kuò)充訓(xùn)練樣本數(shù)量。

2）在整體網(wǎng)絡(luò)結(jié)構(gòu)中加入特征金字塔網(wǎng)絡(luò)，實(shí)現(xiàn)了上下文的特征融合。

針對實(shí)際巡檢圖像的應(yīng)用研究表明，本文所提出的目標(biāo)檢測方法，較原始SSD算法而言，基于自裁剪算法的擴(kuò)充樣本方法提升精度0.6%，加入FP網(wǎng)絡(luò)能夠提升0.9%。在小尺度目標(biāo)檢測方面精度有了明顯的提高，總體提升6.1%；同時(shí)，對大尺度目標(biāo)保持著良好的檢測效果，說明本方法對于多尺度目標(biāo)檢測有著更好的適用性。