裘瑾怡 任新新 陳希
技術(shù)應(yīng)用
基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測(cè)方法
裘瑾怡1任新新1陳希2
(1.新昌縣新明實(shí)業(yè)有限公司,浙江 新昌 312500 2.長(zhǎng)沙理工大學(xué),湖南 長(zhǎng)沙 410000)
針對(duì)架空輸電線路長(zhǎng)期處于惡劣、復(fù)雜的自然環(huán)境中,線路上的金具受氣候、地形、外力作用等影響出現(xiàn)的不同類(lèi)型缺陷,提出一種基于YOLO V3卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測(cè)方法。通過(guò)YOLO V3卷積神經(jīng)網(wǎng)絡(luò)提取不同類(lèi)型缺陷的特征,并對(duì)其進(jìn)行適應(yīng)性改進(jìn),識(shí)別與定位這些缺陷在輸電線路上的位置,可提高檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性,及時(shí)發(fā)現(xiàn)線路故障,確保輸電線路安全穩(wěn)定運(yùn)行,提高輸電線路巡檢的效率和電網(wǎng)的智能化程度。
輸電線路金具;YOLO V3卷積神經(jīng)網(wǎng)絡(luò);缺陷檢測(cè)
架空輸電線路長(zhǎng)時(shí)間暴露在自然環(huán)境中,輸電線路上的螺栓銹蝕、導(dǎo)線破損和防震錘形變等情況[1]時(shí)有發(fā)生,及時(shí)發(fā)現(xiàn)這些線路金具缺陷對(duì)電力系統(tǒng)安全穩(wěn)定運(yùn)行是非常必要的。傳統(tǒng)的輸電線路巡檢工作需要大量的人力和時(shí)間,并受限于交通、氣候等條件,無(wú)法滿足日益發(fā)展的電力系統(tǒng)需求。通過(guò)高清攝像頭采集輸電線路圖像,檢測(cè)金具缺陷的方式有無(wú)人機(jī)巡檢和帶電作業(yè)機(jī)器人巡檢[2]等,這些巡檢方式比人工巡檢更精準(zhǔn)、快捷、安全,可大面積、長(zhǎng)時(shí)間地巡檢,然而,仍需要人工肉眼觀察輸電線路圖像中的故障,無(wú)法實(shí)現(xiàn)自動(dòng)檢測(cè)。為此,本文提出采用視覺(jué)技術(shù)檢測(cè)輸電線路金具缺陷的方法,提高線路巡檢工作的智能化程度。
卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享和局部連接的特性,適合處理圖像問(wèn)題。隨著計(jì)算機(jī)算力的提升和深度學(xué)習(xí)的發(fā)展,使卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域得到充分應(yīng)用;同時(shí),降低了圖像分類(lèi)錯(cuò)誤率,提高目標(biāo)檢測(cè)準(zhǔn)確性,并逐步實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)。
本文采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的YOLO V3算法[3]識(shí)別輸電線路金具缺陷。YOLO V3算法將目標(biāo)檢測(cè)問(wèn)題處理為回歸問(wèn)題,直接從輸入圖像預(yù)測(cè)目標(biāo)的位置和類(lèi)別信息,網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,檢測(cè)速度快捷。在416×416輸入圖像分辨率下,對(duì)MS COCO數(shù)據(jù)集[4]實(shí)現(xiàn)了55.3%的mAP,速度達(dá)到35幀/s,檢測(cè)精度和檢測(cè)速度都超過(guò)SSD算法。針對(duì)本文的識(shí)別任務(wù),對(duì)YOLO V3算法的主體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行適應(yīng)性改進(jìn),使其在識(shí)別輸電線路金具缺陷時(shí),具有較高的準(zhǔn)確率和良好的實(shí)時(shí)性。
首先,在不同光照強(qiáng)度、背景、角度、遠(yuǎn)近的情況下,利用輸電線路帶電作業(yè)機(jī)器人或人工的拍攝方式,采集輸電線路上的螺栓(銹蝕螺栓、正常螺栓)、破損導(dǎo)線和防震錘的圖像各600幅;然后,整理采集的圖像并統(tǒng)一剪裁為416×416像素;最后,對(duì)圖像進(jìn)行±45°隨機(jī)旋轉(zhuǎn)、隨機(jī)水平/垂直翻轉(zhuǎn)和隨機(jī)裁剪,將螺栓、破損導(dǎo)線和防震錘的圖像分別擴(kuò)增至1 486幅。這些數(shù)據(jù)擴(kuò)展方式不僅不會(huì)影響目標(biāo)本身的特征信息,還可以在數(shù)據(jù)量不足的情況下,增加樣本的多樣性,提高檢測(cè)模型的泛化性。
用矩形框標(biāo)注1 468 × 3 = 4 458幅圖像中的螺栓、破損導(dǎo)線和防震錘,標(biāo)注過(guò)程如圖1所示。
圖1 數(shù)據(jù)集標(biāo)注過(guò)程
在CVPR2016上,REDMON J等[6]提出You Only Look Once(YOLO)算法。該算法沒(méi)有采用當(dāng)時(shí)盛行的Two Stage方法,放棄了在圖像上生成建議區(qū)域的過(guò)程,而是將整幅圖像作為一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)的輸入,直接在輸出層回歸邊界框的坐標(biāo)信息及其所屬的類(lèi)別信息,實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測(cè)任務(wù)。YOLO V3作為YOLO算法的第三個(gè)版本,繼承了其單階段檢測(cè)的特性。本文在YOLO V3算法的基礎(chǔ)上提出輸電線路金具缺陷檢測(cè)方法。
為達(dá)到更好的分類(lèi)效果,YOLO V3借鑒ResNet網(wǎng)絡(luò)結(jié)構(gòu),采用更深的卷積神經(jīng)網(wǎng)絡(luò)Darknet-53。Darknet-53網(wǎng)絡(luò)主要由1×1和3×3的卷積層組成,每個(gè)卷積層后都接一個(gè)批次歸一化層[7]和一個(gè)LeakyRelu激活層;引入ResNet[8]殘差模塊,解決網(wǎng)絡(luò)深度加大時(shí)出現(xiàn)的訓(xùn)練退化問(wèn)題;引入多尺度融合,改善YOLO算法識(shí)別小目標(biāo)的效果。Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,該網(wǎng)絡(luò)共進(jìn)行5次降采樣。
YOLO算法是在整幅輸入圖像上進(jìn)行預(yù)測(cè),導(dǎo)致其識(shí)別小目標(biāo)時(shí)效果不好。為此,YOLO V3借鑒了FPN網(wǎng)絡(luò)[9]的思想,將不同尺度的特征圖融合后再做預(yù)測(cè)。由于高層次特征圖包含的信息更抽象,表達(dá)的語(yǔ)義信息更強(qiáng),感受野更大,適合檢測(cè)大尺度目標(biāo);低層次特征圖含有目標(biāo)更多細(xì)節(jié),感受野較小,適合檢測(cè)小尺度目標(biāo)。因此,將高層次特征圖與低層次特征圖進(jìn)行特征融合,可充分利用圖像的低層語(yǔ)義信息,提升小目標(biāo)檢測(cè)效果。
圖2 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)
本文數(shù)據(jù)集是無(wú)人機(jī)拍攝的輸電線路圖像,屬于遠(yuǎn)視角圖像,而需要識(shí)別的目標(biāo)為螺栓、破損導(dǎo)線和防震錘,屬于小尺度目標(biāo)。YOLO V3算法融合的特征圖是針對(duì)MS COCO 數(shù)據(jù)集設(shè)計(jì)的,不適用于本文數(shù)據(jù)集的識(shí)別目標(biāo),易出現(xiàn)漏檢或誤檢情況。為此,本文針對(duì)輸電線路金具缺陷,對(duì)YOLO V3算法做了相應(yīng)改進(jìn)。
2.4.1 數(shù)據(jù)集標(biāo)注框維度聚類(lèi)的改進(jìn)
YOLO V3引入了Faster RCNN的錨框機(jī)制,將錨框作為先驗(yàn)框來(lái)預(yù)測(cè)目標(biāo)的邊界框。而Faster RCNN的錨框比例和大小是根據(jù)經(jīng)驗(yàn)而定,在訓(xùn)練過(guò)程中再調(diào)整。雖然過(guò)多的錨框可以保障檢測(cè)效果,但同時(shí)也會(huì)影響算法的檢測(cè)速度。因此,REDMON J等在YOLO V2算法中提出了維度聚類(lèi)方法[6]。利用K-means算法在數(shù)據(jù)集上聚類(lèi),得到合適的錨框個(gè)數(shù)和初始尺寸,并將簇中心的個(gè)數(shù)作為算法的錨框個(gè)數(shù)。
標(biāo)準(zhǔn)的K-means算法利用歐式距離衡量?jī)牲c(diǎn)間的距離,然而在邊框尺寸較大時(shí),其誤差也較大。為使先驗(yàn)框和預(yù)測(cè)框之間的交并比更大,且交并比與邊框尺寸無(wú)關(guān),本文通過(guò)交并比定義距離函數(shù)。計(jì)算公式為
對(duì)本文自制數(shù)據(jù)集進(jìn)行聚類(lèi)分析,聚類(lèi)過(guò)程中簇的中心個(gè)數(shù)K和平均交并比的關(guān)系如圖3所示。
由圖3可知,當(dāng)= 6時(shí),曲線開(kāi)始收斂,即當(dāng)錨框數(shù)為6時(shí),錨框可較好地貼合標(biāo)注框。本文數(shù)據(jù)集中聚類(lèi)得到的6種錨框尺寸分別為(29, 60)、(49, 92)、(85, 95)、(96, 153)、(130, 89)、(306, 152)。
2.4.2 多尺度融合的改進(jìn)
YOLO V3算法針對(duì)MS COCO數(shù)據(jù)集分別在13×13、26×26和52×52的尺度下進(jìn)行特征圖融合與預(yù)測(cè)。本文數(shù)據(jù)集包括3個(gè)小尺度目標(biāo),且尺度變化較大。因此,改進(jìn)的YOLO V3算法只在26×26和52×52的尺度下做預(yù)測(cè),這樣可以更加專(zhuān)注于小目標(biāo)檢測(cè)。每種尺度有3種錨框,以降低誤檢或漏檢情況。
首先,26×26特征圖經(jīng)過(guò)1×1的卷積核改變通道數(shù),使其與52×52特征圖的通道數(shù)相同;其次,做2倍上采樣(最鄰近上采樣法);再次,通過(guò)像素間加法將其與低層次特征融合;最后,融合后的特征圖經(jīng)過(guò)3×3卷積核處理,消除上采樣帶來(lái)的混疊效應(yīng)[9]。通過(guò)上采樣和特征融合,提高了小目標(biāo)的檢測(cè)效果。兩次預(yù)測(cè)總計(jì)10140個(gè)邊界框,在減少預(yù)測(cè)框個(gè)數(shù)的同時(shí),保證了對(duì)小目標(biāo)的檢測(cè)效果。改進(jìn)后的多尺度融合結(jié)構(gòu)如圖4所示。
圖4 改進(jìn)后的多尺度融合結(jié)構(gòu)
為充分利用低層次特征信息,針對(duì)本文自制數(shù)據(jù)集進(jìn)行相應(yīng)改進(jìn)。在兩種較大尺度的特征圖上利用特征圖融合方式進(jìn)行2次預(yù)測(cè),提高小目標(biāo)的檢測(cè)效果,同時(shí)降低網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性,從理論上提高檢測(cè)速度。
本文的實(shí)驗(yàn)環(huán)境如表1所示。
表1 實(shí)驗(yàn)環(huán)境
本文實(shí)驗(yàn)的數(shù)據(jù)集由螺栓、破損導(dǎo)線和防震錘的圖像各1 486幅及其標(biāo)注信息組成。隨機(jī)抽取螺栓、破損導(dǎo)線和防震錘圖像各1 000幅作為訓(xùn)練集,剩余圖像作為測(cè)試集。
在訓(xùn)練改進(jìn)的YOLO V3算法時(shí),載入原YOLO V3的權(quán)重文件。首先,訓(xùn)練網(wǎng)絡(luò)的最后三層80個(gè)迭代次數(shù),凍結(jié)其余層,得到較為穩(wěn)定的loss值,此階段訓(xùn)練的批次大小batch_size為16,RMSprop優(yōu)化算法設(shè)置初始學(xué)習(xí)率為0.001;然后,將網(wǎng)絡(luò)所有層訓(xùn)練100個(gè)迭代次數(shù),訓(xùn)練的批次大小batch_size為16,RMSprop優(yōu)化算法設(shè)置學(xué)習(xí)率為0.0001。訓(xùn)練28 h后loss基本收斂,得到最優(yōu)的訓(xùn)練模型。
本文實(shí)驗(yàn)利用486 × 3 = 1 458幅測(cè)試集圖像及其標(biāo)注信息進(jìn)行測(cè)試,采用召回率、準(zhǔn)確率和檢測(cè)速度評(píng)估改進(jìn)的YOLO V3算法性能,并與YOLO V3算法進(jìn)行對(duì)比,對(duì)比結(jié)果如表2所示,螺栓、破損導(dǎo)線、防震錘檢測(cè)結(jié)果分別如圖5、圖6、圖7所示。
表2 實(shí)驗(yàn)對(duì)比結(jié)果
圖5 螺栓的檢測(cè)結(jié)果
圖6 破損導(dǎo)線的檢測(cè)結(jié)果
圖7 防震錘的檢測(cè)結(jié)果
由表2可知,改進(jìn)的YOLO V3算法的召回率比YOLO V3算法降低了1.8%,準(zhǔn)確率提高了6.7%,僅用6種錨框做2次預(yù)測(cè),檢測(cè)速度達(dá)到32幀/s,驗(yàn)證本文對(duì)YOLO V3算法做適應(yīng)性改進(jìn)是有效、可行的。
改進(jìn)的YOLO V3算法在光照強(qiáng)度變化、大部分遮擋和多目標(biāo)檢測(cè)情況下,依然可以檢測(cè)出銹蝕螺栓、破損導(dǎo)線、防震錘變形,檢測(cè)結(jié)果分別如圖8、圖9、圖10所示,說(shuō)明該算法具有較強(qiáng)的泛化性和魯棒性。
圖8 部分遮擋的螺栓檢測(cè)結(jié)果
圖9 不同光照強(qiáng)度的破損導(dǎo)線檢測(cè)結(jié)果
圖10 多目標(biāo)的檢測(cè)結(jié)果
通過(guò)改進(jìn)的YOLO V3算法可識(shí)別與定位輸電線路的螺栓、破損導(dǎo)線和防震錘。由于是針對(duì)破損導(dǎo)線進(jìn)行模型訓(xùn)練,因此破損導(dǎo)線缺陷可以直接檢測(cè)。輸電線路的銹蝕螺栓和防震錘形變需利用改進(jìn)的YOLO V3算法進(jìn)一步檢測(cè)。
采用改進(jìn)的YOLO V3算法可以準(zhǔn)確、快速地檢測(cè)輸電線路上的螺栓,利用這個(gè)檢測(cè)結(jié)果可進(jìn)一步識(shí)別銹蝕螺栓情況。正常螺栓和銹蝕螺栓的表面顏色特征不同,正常螺栓表面多是銀色,而銹蝕螺栓表面多是暗紅色或黑色。因此,可以利用圖像處理技術(shù)識(shí)別螺栓銹蝕區(qū)域,從而判斷螺栓是否發(fā)生銹蝕。
采集的輸電線路圖像是RGB圖像,R(紅色)、G(綠色)、B(藍(lán)色)。RGB圖像易受光照影響,且無(wú)法直觀地表達(dá)人眼觀察的顏色。HSV圖像不受光照影響,是與人類(lèi)視覺(jué)感知接近的顏色模型。因此,本文利用螺栓的HSV圖像對(duì)螺栓銹蝕區(qū)域進(jìn)行識(shí)別。
螺栓銹蝕區(qū)域識(shí)別流程為:
1)根據(jù)YOLO V3算法的檢測(cè)結(jié)果,在輸電線路圖像中裁剪出螺栓圖像;
2)將裁剪的螺栓圖像從RGB顏色空間模型轉(zhuǎn)換為HSV顏色空間模型;
3)對(duì)螺栓HSV圖像進(jìn)行閾值分割,并通過(guò)大量實(shí)驗(yàn)確定銹蝕區(qū)域的、、分量的分割閾值為
式中,
——色度;
——飽和度;
——明度。
4)統(tǒng)計(jì)二值化后的螺栓圖像中銹蝕區(qū)域的面積。
正常螺栓銹蝕檢測(cè)結(jié)果如圖11所示,銹蝕螺栓銹蝕檢測(cè)結(jié)果如圖12所示。
圖11 正常的螺栓的檢測(cè)圖
圖12 銹蝕的螺栓的檢測(cè)圖
由圖12可知,輸電線路上正常螺栓經(jīng)過(guò)二值化處理后,識(shí)別為銹蝕區(qū)域的面積較?。欢P蝕螺栓經(jīng)過(guò)二值化處理后,識(shí)別為銹蝕區(qū)域的面積較大。因此,可通過(guò)銹蝕面積判斷螺栓是否銹蝕。
輸電線路上的防震錘因風(fēng)力或外力作用,使其兩側(cè)錘頭出現(xiàn)形變,影響防震效果。本文通過(guò)檢測(cè)防震錘兩側(cè)的錘頭頂點(diǎn)和線夾體中點(diǎn)這3個(gè)關(guān)鍵點(diǎn)來(lái)判斷防震錘是否形變。防震錘的3個(gè)關(guān)鍵點(diǎn)如圖13所示。
圖13 防震錘上的3個(gè)關(guān)鍵點(diǎn)
本文利用Mobilenet V2卷積神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練預(yù)測(cè)防震錘上的3個(gè)關(guān)鍵點(diǎn)。Mobilenet V2將標(biāo)準(zhǔn)卷積分解為深度卷積和逐點(diǎn)卷積,降低網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算量,從而提高檢測(cè)速度。利用YOLO V3算法檢測(cè)出輸電線路圖像中防震錘位置,然后將防震錘圖像及3個(gè)關(guān)鍵點(diǎn)的標(biāo)注信息作為Mobilenet V2網(wǎng)絡(luò)的輸入,利用RMSE損失函數(shù)計(jì)算預(yù)測(cè)關(guān)鍵點(diǎn)與標(biāo)注關(guān)鍵點(diǎn)的距離,從而識(shí)別防震錘3個(gè)關(guān)鍵點(diǎn)。防震錘關(guān)鍵點(diǎn)檢測(cè)結(jié)果如圖14所示。
圖14 防震錘關(guān)鍵點(diǎn)檢測(cè)結(jié)果
通過(guò)防震錘上3個(gè)關(guān)鍵點(diǎn)的坐標(biāo)信息,可判斷防震錘是否形變。
本文針對(duì)輸電線路的銹蝕螺栓、破損導(dǎo)線和防震錘形變等缺陷,提出基于YOLO V3的輸電線路金具缺陷檢測(cè)方法。根據(jù)本文的識(shí)別對(duì)象對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行相應(yīng)改進(jìn),利用K-means聚類(lèi)算法得到合適的錨框數(shù)目和錨框尺寸。通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比,改進(jìn)的YOLO V3算法相比于YOLO V3算法在準(zhǔn)確率和檢測(cè)速度上都有顯著提升。將該算法部署到帶電作業(yè)機(jī)器人或無(wú)人機(jī)上,可實(shí)現(xiàn)機(jī)器人自主巡檢輸電線路故障并實(shí)時(shí)監(jiān)控輸電線路狀況,取代人工巡檢,提高電網(wǎng)智能化程度。
[1] 胡毅,劉凱,吳田,等.輸電線路運(yùn)行安全影響因素分析及防治措施[J].高電壓技術(shù),2014,40(11):3491-3499.
[2] 肖曉暉,史鐵林,杜娥.高壓輸電線路巡線作業(yè)機(jī)器人的動(dòng)力學(xué)建模[J].機(jī)械與電子,2004(10):44-47.
[3] REDMON J, FARHADI A. Yolov3: an icrement-al improvement[C]//IEEE Conference on Com-puter Vision and Pattern Recognition,2018.
[4] LIN T Y, MAIRE M, BELONGIE S, et al. Micro-soft COCO: common objects in context[C]//Pro-ceedings of European Conference on Computer Vision. New York: Springer, 2014: 740-755.
[5] EVERINGHAM M, VAN COOL L,WILLIAMS C K I, et al. The pascal visual object classes(VOC) challenge[J]. International Journal of Computer Vision, 2010,88(2):303-338.
[6] REDMON J,FARHADI A.YOLO9000: better, faster, stronger [C]//Proceedings of IEEE Con-ference on Computer Vision and Pattern Reco-gnition. New York:IEEE Press,2017:101-110
[7] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep networ training by reduceoing interal covariate shift[C]// Proceedings of International Conference on Machine Learning. Heidelberg: Springer Press, 2015:448-456.
[8] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceed-ings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press, 2016:770-778.
[9] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Pr-oceedings of IEEE Conference on Computer Vi-sion and Pattern Recognition.New York:IEEE Press, 2017:936-944.
Detection Method of Transmission Line Fittings Defects Based on Convolution Neural Network
QIU Jinyi1REN Xinxin1CHEN Xi2
(1.Xinchang Xinming Industrial Co., Ltd. Zhejiang 312500, China 2.Changsha University of Technology, Changsha 410000, China)
Aiming at the different types of defects of the fittings on the overhead transmission line, which are affected by the climate, terrain and external force, a method for detecting the defects of the fittings on the transmission line based on YOLO V3 convolutional neural network is proposed. The YOLO V3 convolutional neural network is used to extract the characteristics of different types of defects and make adaptive improvement to them. Identifying and locating the positions of these defects on the transmission line can improve the accuracy and real-time of detection, timely detect line faults, ensure the safe and stable operation of the transmission line, improve the efficiency of transmission line inspection and the intelligence of the power grid.
transmission line fittings; YOLO V3 convolutional neural networks; defect detection
TP183
A
1674-2605(2022)04-0008-07
10.3969/j.issn.1674-2605.2022.04.008
裘瑾怡,任新新,陳希.基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路金具缺陷檢測(cè)方法[J].自動(dòng)化與信息工程,2022,43(4):36-41,47.
QIU Jinyi, REN Xinxin, CHEN Xi. Detection method of transmission line fittings defects based on convolution neural network[J]. Automation & Information Engineering, 2022,43(4):36-41,47.
裘瑾怡,女,1995年生,本科,助理工程師,主要研究方向:電力通信運(yùn)檢。E-mail: qjy081152@163.com
任新新,女,1989年生,碩士,工程師,主要研究方向:電力通信運(yùn)檢。E-mail: 807264446@qq.com
陳希,女,1997年生,碩士,主要研究方向:圖像處理。E-mail: 1430094269@qq.com