劉高 饒成成 王昊

(1.廣東電網(wǎng)有限責(zé)任公司機(jī)巡管理中心，廣東廣州 510163;2.南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州 510700)

0 引言

隨著我國(guó)電網(wǎng)系統(tǒng)不斷擴(kuò)建和擴(kuò)容，傳統(tǒng)的人工巡檢方式已經(jīng)不能滿足維護(hù)電網(wǎng)系統(tǒng)正常穩(wěn)定運(yùn)行的需求。為了提高巡檢的效率和質(zhì)量國(guó)內(nèi)各電網(wǎng)公司已經(jīng)開(kāi)始逐步推廣無(wú)人機(jī)對(duì)輸電線路的巡檢作業(yè)方式；無(wú)人機(jī)巡檢雖然在很大程度上提高的巡檢的效率，降低了巡檢成本以及減少了野外作業(yè)的風(fēng)險(xiǎn)，但是無(wú)人機(jī)巡檢過(guò)程中會(huì)生成海量的關(guān)于輸電線路部件的圖像數(shù)據(jù)，如果通過(guò)人工的方式對(duì)這些數(shù)據(jù)進(jìn)行辨識(shí)那么也是一項(xiàng)巨大的工程。因此，研發(fā)智能化的識(shí)別輸電線路部件缺陷圖像的算法具有非常重要的意義，在數(shù)字圖像處理領(lǐng)域中基于深度學(xué)習(xí)思想的對(duì)象檢測(cè)框架已經(jīng)成為了主流的技術(shù)；數(shù)據(jù)的質(zhì)量直接關(guān)系到機(jī)器學(xué)習(xí)模型的識(shí)別性能，高質(zhì)量的數(shù)據(jù)往往可以帶來(lái)較高的缺陷識(shí)別率。

目前我們通過(guò)無(wú)人機(jī)搭載的攝像機(jī)對(duì)輸電線路進(jìn)行巡檢，在我們預(yù)先設(shè)置的位置和角度上進(jìn)行拍照，只保存單幀圖像沒(méi)有錄制視頻，所以不能進(jìn)行時(shí)間序列上的分析，這給精確缺陷檢測(cè)的工作帶來(lái)了很大的難度；此外由于無(wú)人機(jī)巡檢都是俯視拍攝，這樣巡檢圖像往往都有很復(fù)雜的背景；雖然無(wú)人機(jī)可以根據(jù)GPS信息大體的定位到作業(yè)對(duì)象如桿塔等對(duì)象的坐標(biāo)信息，在圖像識(shí)別領(lǐng)域內(nèi)從特征工程的角度來(lái)講，在早期研究者將目光集中在了圖像的低層次特征(如邊緣、輪廓)上，如對(duì)缺陷部件防震錘的識(shí)別，可以使用hough圓檢測(cè)算法獲取到防震錘的圓形部分[1]；劉營(yíng)軍等在文獻(xiàn)[2]中提出了通過(guò)圖像中的紋理特征來(lái)檢測(cè)直升機(jī)巡檢圖像中的絕緣子部件；付晶等在文獻(xiàn)[3]中提出利用層次模型與或圖對(duì)目標(biāo)進(jìn)行分解表達(dá)。從實(shí)際應(yīng)用的角度來(lái)講，這些方法在一定程度上提高了巡檢的效率，但是在缺陷識(shí)別的準(zhǔn)確度和時(shí)間效率上仍然存在很多局限性，因?yàn)橐陨系姆椒ǘ际莵?lái)自于特征工程的方法，這種方法的局限性在于這些特征都是由人工設(shè)計(jì)他們對(duì)缺陷的表達(dá)能力是有限的，不能從復(fù)雜的背景中檢測(cè)識(shí)別出輸電線路上的部件。

近年來(lái)深度學(xué)習(xí)技術(shù)的出現(xiàn)打破了特征表達(dá)能力不足的這種限制，在圖像識(shí)別和分類這個(gè)領(lǐng)域取得了舉世矚目的成就，將圖像分類任務(wù)的精度提升到了與人類相當(dāng)?shù)乃?。因?yàn)樵谏疃葘W(xué)習(xí)中特征提取的步驟是通過(guò)機(jī)器自動(dòng)完成的不在受人工的控制，特征表達(dá)器的節(jié)點(diǎn)達(dá)到了幾百萬(wàn)個(gè)甚至上億個(gè)[3]。目前，F(xiàn)aster Rcnn[4]模型在圖像識(shí)別和分類領(lǐng)域是最優(yōu)的模型，但是其在檢測(cè)效率上遠(yuǎn)遠(yuǎn)落后于SSD模型。王萬(wàn)國(guó)等在文獻(xiàn)[4]利用Faster RCNN模型識(shí)別輸電線路中的部件，分析了不同參數(shù)對(duì)間隔棒，均壓環(huán)和防震錘的識(shí)別效果進(jìn)行了分析，然而文獻(xiàn)中沒(méi)有進(jìn)行部件缺陷的判斷，而且分析中所使用的圖像數(shù)據(jù)都是經(jīng)過(guò)人工截取得到的，在定位的角度來(lái)說(shuō)缺少了全局信息。我們可以利用深度學(xué)習(xí)模型強(qiáng)大的特征表達(dá)和回歸能力檢測(cè)出復(fù)雜場(chǎng)景下物體對(duì)象，可以獲取到圖像中物體的尺度和位置信息利用這些信息對(duì)無(wú)人機(jī)上的云臺(tái)進(jìn)行控制，實(shí)現(xiàn)相機(jī)鏡頭的自動(dòng)對(duì)焦拍照獲取高清圖像數(shù)據(jù)用于做后續(xù)的對(duì)輸電線路部件檢測(cè)，本文中所提出算法的流程圖如圖1所示。

圖2 SSD物體檢測(cè)模型

1 自動(dòng)對(duì)焦拍照算法

1.1 自動(dòng)物體檢測(cè)模型

在基于圖像的物體對(duì)象檢測(cè)領(lǐng)域內(nèi)存在兩種主流的框架：基于背景差分技術(shù)的模型，基于深度神經(jīng)網(wǎng)絡(luò)框架的模型。屬于背景差分模型的技術(shù)有混合高斯背景建模，貝葉斯背景建模，碼書(shū)模型等，屬于深度神經(jīng)網(wǎng)絡(luò)的技術(shù)有SSD、YOLO、RCNN、faster RCNN等，而基于神經(jīng)網(wǎng)絡(luò)的模型又可以被分為兩個(gè)類型，SSD和YOLO為單階段網(wǎng)絡(luò)模型，RCNN和faster RCNN為二階段網(wǎng)絡(luò)模型。單階段網(wǎng)絡(luò)模型的檢測(cè)速度要遠(yuǎn)遠(yuǎn)快于二階段網(wǎng)絡(luò)模型，所以目前能夠?qū)旊娋€路部件進(jìn)行實(shí)時(shí)性檢測(cè)的只有SSD和YOLO模型，兩個(gè)模型在網(wǎng)絡(luò)的整體結(jié)構(gòu)上是一致的，SSD模型是在YOLO初級(jí)模型的基礎(chǔ)上加入了多尺度和多種層次信息融合的思想，故我們以SSD模型為例對(duì)基于深度神經(jīng)網(wǎng)絡(luò)模型的物體檢測(cè)框架做簡(jiǎn)要的介紹。

SSD物體識(shí)別模型的工作原理為：(1)輸入一張待識(shí)別的圖像和在訓(xùn)練過(guò)程中所標(biāo)識(shí)的每一個(gè)識(shí)別目標(biāo)的真實(shí)邊框；(2)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的方法來(lái)評(píng)價(jià)不同尺度的特征圖上每一個(gè)位置的不同縱橫比例的默認(rèn)邊框小集合，例如8×8的特征圖如圖2中右圖所示；(3)我們預(yù)測(cè)每一個(gè)默認(rèn)邊框的形狀偏移和與每個(gè)待識(shí)別目標(biāo)類的相似信度。

1.2 自動(dòng)對(duì)焦拍照

為了讓無(wú)人機(jī)在飛行過(guò)程中獲取到高清質(zhì)量的圖像，無(wú)人機(jī)在飛行過(guò)程中需要對(duì)云臺(tái)進(jìn)行實(shí)時(shí)控制，保持被檢測(cè)的物體出現(xiàn)在圖像的視場(chǎng)范圍內(nèi)，并對(duì)目標(biāo)物體進(jìn)行準(zhǔn)確的對(duì)焦和測(cè)光最后進(jìn)行拍照。一般情況下相機(jī)的自動(dòng)對(duì)焦和光測(cè)算法都是針對(duì)整幅圖像，無(wú)法根據(jù)需要拍攝的特定物體進(jìn)行對(duì)焦和測(cè)光，如果在大光比，復(fù)雜場(chǎng)景下出現(xiàn)對(duì)焦和測(cè)光錯(cuò)誤的情況時(shí)常發(fā)生，進(jìn)而生成質(zhì)量較差的圖像。

要準(zhǔn)確的獲取到高質(zhì)量的圖像我們必須設(shè)計(jì)一套可靠、準(zhǔn)確的視覺(jué)目標(biāo)識(shí)別跟蹤算法，識(shí)別出圖像中的目標(biāo)信息，才能進(jìn)行無(wú)人機(jī)云臺(tái)的自動(dòng)控制、對(duì)焦和測(cè)光。我們利用無(wú)人機(jī)搭載的物體檢測(cè)模型實(shí)時(shí)的對(duì)無(wú)人機(jī)實(shí)時(shí)運(yùn)行飛行過(guò)程中獲取到的圖像進(jìn)行分析處理，獲取到其中待識(shí)別物體的尺度和坐標(biāo)信息，并根據(jù)這些信息控制無(wú)人云臺(tái)的轉(zhuǎn)動(dòng)和相機(jī)鏡頭的自動(dòng)對(duì)焦光測(cè)拍照得到高清的圖像數(shù)據(jù)用于后續(xù)的缺陷檢測(cè)。

2 實(shí)驗(yàn)結(jié)果和分析

在本文中我們所使用的圖像數(shù)據(jù)均來(lái)自于大疆精靈4系列無(wú)人機(jī)巡檢輸電線路時(shí)候所拍攝的圖像。我們共計(jì)收集了5988張圖像對(duì)其中的23個(gè)類別部件進(jìn)行了標(biāo)記，再在其中隨機(jī)的抽取具有玻璃絕緣子、復(fù)合絕緣子、連接金具、均壓環(huán)和屏蔽環(huán)五種部件的子集進(jìn)行一下三種影響模型識(shí)別性能因素的測(cè)試實(shí)驗(yàn)，以及研究這些因素與模型最終識(shí)別精度的相關(guān)性。SSD模型的識(shí)別結(jié)果如圖2所示，其中，標(biāo)號(hào)1代表的是玻璃絕緣子，標(biāo)號(hào)2代表的是復(fù)合絕緣子，標(biāo)號(hào)3代表連接金具，標(biāo)號(hào)4代表均壓環(huán)，標(biāo)號(hào)5代表屏蔽環(huán)。在實(shí)驗(yàn)過(guò)程中我們使用的硬件配置為i7第八代12核，顯卡為GEFORCE GTX1080TI。

表1 不同卷積核尺寸下模型識(shí)別率

我們從總體樣本五個(gè)樣本子集，樣本容量分別為500、1000、2000、4000、5500。為了使模型在測(cè)試時(shí)有更好的泛化能，我們通過(guò)旋轉(zhuǎn)圖像的方法來(lái)擴(kuò)充樣本的數(shù)量，將圖像按逆時(shí)針?lè)较蛐D(zhuǎn)90°、180°、270°，并對(duì)目標(biāo)的坐標(biāo)進(jìn)行對(duì)應(yīng)的轉(zhuǎn)換即將旋轉(zhuǎn)后的坐標(biāo)變換為從左上頂點(diǎn)為原點(diǎn)的坐標(biāo)系中。

由于在整體的架構(gòu)上SSD模型是端到端的檢測(cè)思想；所以在研究卷積核的大小對(duì)神經(jīng)網(wǎng)絡(luò)檢測(cè)方法檢測(cè)精度的影響中，我們可以使用同樣的方法得出卷積核大小與SSD模型檢測(cè)精度的相關(guān)性。我們將SSD模型網(wǎng)絡(luò)的第一個(gè)卷積層的卷積核大小設(shè)置為7、5、3、1，其它參數(shù)保持不變，通過(guò)5000次的迭代訓(xùn)練，500條樣本數(shù)據(jù)進(jìn)行測(cè)試計(jì)算模型的檢測(cè)精度。實(shí)驗(yàn)結(jié)果如表1所示。

我們可以從表1中觀察到，對(duì)于不同的部件在相同迭代次數(shù)和參數(shù)下模型對(duì)它們的檢測(cè)率是不相同的；隨著模型卷積層卷積核尺寸的增大，模型對(duì)該部件的檢測(cè)率逐漸提高。導(dǎo)致以上現(xiàn)象的原因是在訓(xùn)練樣本中包含絕緣子數(shù)量最多，再次說(shuō)明訓(xùn)練數(shù)據(jù)豐富可以產(chǎn)生泛化能力好的模型；卷積核的尺寸越大可以捕獲圖像中更多的結(jié)構(gòu)信息，這樣可以產(chǎn)生更有區(qū)分度的特征進(jìn)行分類。從整體上來(lái)看，模型的識(shí)別精度和識(shí)別率與卷積核的尺寸呈現(xiàn)正相關(guān)性。

3 結(jié)語(yǔ)

隨著互聯(lián)的發(fā)展各種數(shù)據(jù)都以幾何式的增長(zhǎng)，硬件技術(shù)的發(fā)展使得運(yùn)算和存儲(chǔ)設(shè)備的性能有了極大的提升，基于以上兩方面的原因促使了大數(shù)據(jù)和人工智能時(shí)代的到來(lái)。智能輸電線路部件缺陷巡檢技術(shù)出現(xiàn)，并代替原有的人工巡檢已經(jīng)只是時(shí)間問(wèn)題。在本文中，我們利用實(shí)際無(wú)人機(jī)巡檢數(shù)據(jù)，通過(guò)人工挑選和標(biāo)注了輸電線路上五種常見(jiàn)的輸電線路對(duì)象，在不同樣本容量，不同圖像分辨率和不同卷積核的大小的情況下對(duì)SSD模型進(jìn)行了訓(xùn)練和測(cè)試，從橫向和縱向上對(duì)比了這三種參數(shù)對(duì)模型識(shí)別精度的影響。從實(shí)驗(yàn)結(jié)果上我們可以看到隨著樣本容量的增大，圖像分辨率的提高，卷積核尺寸的增大模型的檢測(cè)精度都有所提高，并且利用實(shí)時(shí)物體檢測(cè)的尺度和位置信息對(duì)云臺(tái)進(jìn)行控制和對(duì)鏡頭的焦距進(jìn)行對(duì)焦光測(cè)拍照可以有效的提高無(wú)人機(jī)所獲取到的圖像質(zhì)量。