摘 要：針對當(dāng)前輸電線路無人機(jī)巡檢圖像中金具傾斜缺陷存在角度量化困難、判定主觀性強(qiáng)的問題，提出融合多尺度殘差網(wǎng)絡(luò)的金具傾斜類缺陷檢測技術(shù)。通過中心點坐標(biāo)和旋轉(zhuǎn)角結(jié)合的方式表示有向邊界框，實現(xiàn)設(shè)備傾斜角度的有效量化；利用角度回歸提高傾斜錨框檢測靈敏度，實現(xiàn)輸電線路傾斜類缺陷的識別和精確定位。經(jīng)現(xiàn)場驗證，線夾偏移類缺陷檢測準(zhǔn)確率由86.2%提升至95.02%，均壓環(huán)傾斜類缺陷檢測準(zhǔn)確率由87.76%提升至98.11%，絕緣子傾斜類缺陷檢測準(zhǔn)確率由85.34%提升至96.12%，滿足現(xiàn)場應(yīng)用需求。

關(guān)鍵詞：多尺度殘差網(wǎng)絡(luò)；旋轉(zhuǎn)錨框；均壓環(huán)傾斜檢測；線夾偏移缺陷；絕緣子傾斜檢測

中圖分類號：TP391.4； TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）16-0113-05

Research on Tilted Defect Detection Technology of Transmission Line Fitting Inspection Image

Abstract： Aiming at the problems of difficult angle quantification and strong subjectivity in determination of tilted defect of fitting in the current UAV inspection image of transmission line， the tilted defect detection technology of fitting tilted class is proposed by integrating Multi-scale Residual Network. Through the combination of cen145b1e8a0a34fc10d14bf916493ad273ter point coordinates and rotation angle to represent the directed bounding box， the effective quantification of the tilted angle of the equipment is realized. The angle regression is used to improve the detection sensitivity of the tilted anchor box， and to realize the identification and precise positioning of the tilted defect in transmission line. After on-site verification， the detection accuracy of clamp offset defect is increased from 86.2% to 95.02%， the detection accuracy of grading ring tilted defect is increased from 87.76% to 98.11%， and the detection accuracy of insulator tilted defect is increased from 85.34% to 96.12%， which meets the requirements of on-site application.

Keywords： Multi-scale Residual Network; rotate anchor box; grading ring tilted detection; clamp offset defect; insulator tilt detection

0 引 言

隨著輸電線路規(guī)模的不斷增長，輸電線路巡檢任務(wù)與人員配置不足的矛盾日益突出。輸電線路巡檢方式亟須由人工巡檢向大規(guī)模智能化巡檢方式轉(zhuǎn)變。輸電線路巡檢機(jī)器人、無人機(jī)等智能裝備的應(yīng)用，有效提升了巡檢效率，同時產(chǎn)生了海量圖像數(shù)據(jù)。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等深度網(wǎng)絡(luò)模型技術(shù)的發(fā)展，為海量數(shù)據(jù)智能分析提供了解決方案[1]，但隨著深度模型技術(shù)在輸電巡檢圖像分析中的應(yīng)用探索，輸電巡檢圖像中金具傾斜、污穢、松動等受拍攝角度、部件位置、周邊環(huán)境影響較大的缺陷，模型無法實現(xiàn)精準(zhǔn)檢測。如何對復(fù)雜環(huán)境下特征表現(xiàn)復(fù)雜、受巡檢人員主判別影響大的輸電線路設(shè)備缺陷進(jìn)行精確定位識別，是當(dāng)前輸電線路缺陷智能識別中亟待解決的重要問題。國內(nèi)外學(xué)者針對以上問題進(jìn)行了大量研究，文獻(xiàn)[2]使用最大類間方差法和霍夫變換結(jié)合的方法對絕緣子掉串缺陷進(jìn)行識別，但未對絕緣子故障精確定位。文獻(xiàn)[3]對絕緣子骨架進(jìn)行提取，實現(xiàn)絕緣子故障分類識別，因受航拍圖像中復(fù)雜背景的干擾存在局限性。文獻(xiàn)[4]根據(jù)RGB各分量閾值和范圍實現(xiàn)對目標(biāo)和背景的分割，根據(jù)紋理特征對絕緣子串進(jìn)行定位，該方法易受到天氣、光線影響將絕緣子串誤判為背景。文獻(xiàn)[5]使用Faster R-CNN（Fast Region-based Convolutional Network）算法，對輸電線路上防震錘進(jìn)行定位檢測，但未實現(xiàn)防震錘典型故障檢測。文獻(xiàn)[6]利用密集連接網(wǎng)絡(luò)替換SSD（Single Shot MultiBox Detector）模型的骨干網(wǎng)絡(luò)，結(jié)合特征金字塔，提升模型對小目標(biāo)的檢測能力。但小目標(biāo)受桿塔等背景的影響較大，缺乏缺陷檢測適用性。文獻(xiàn)[7]將真實巡檢影像和虛擬巡檢影像組成聯(lián)合訓(xùn)練集，利用Faster R-CNN模型對銷釘缺陷進(jìn)行檢測，但是存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，利用率低下問題。文獻(xiàn)[8]將SSD的VGG（Visual Geometry Group）主干網(wǎng)絡(luò)替換為Resnet50，在擴(kuò)大感受野的同時保留更多淺層語義信息，故障檢測精度有待提高。文獻(xiàn)[9]、文獻(xiàn)[10]使用多尺度區(qū)域建議網(wǎng)絡(luò)MS-RPN（Multi Scale-Region Proposal Network）替換RPN網(wǎng)絡(luò)，使用RoI（Region of Interest）卷積池化，提升鳥巢等小目標(biāo)檢測率，但該方法只針對少量類別進(jìn)行檢測，較難滿足實際應(yīng)用。文獻(xiàn)[11]通過改進(jìn)Faster R-CNN模型以解決輸電線路缺陷中金具的遮擋問題，主要解決遮擋的一系列金具故障問題，缺少對金具整體故障檢測效率的提升。文獻(xiàn)[12]根據(jù)溫度信息對懸式磁絕緣子的劣化狀態(tài)進(jìn)行判斷，該方法僅針對單個絕緣子紅外圖像進(jìn)行故障診斷，無法對原圖像的絕緣子故障進(jìn)行精確定位。文獻(xiàn)[13]為提高輪廓曲率的控制能力，使用融合Hessian矩陣的balloon Snake模型對防震錘缺陷進(jìn)行識別，使用傳統(tǒng)方法實現(xiàn)，實時性較差。

綜上所述，現(xiàn)有的目標(biāo)檢測算法均通過水平錨框進(jìn)行缺陷定位和識別，無法真實反映均壓環(huán)傾斜、線夾偏移等傾斜類的目標(biāo)形狀，因此對此類故障的識別效果較差。為解決輸電線路上傾斜類故障研究檢測困難、缺陷識別效率低下問題，擴(kuò)充傾斜類故障研究策略，本文以均壓環(huán)、線夾、絕緣子的缺陷檢測為主要目標(biāo)，受遙感目標(biāo)檢測方法的啟發(fā)[14]，通過分析旋轉(zhuǎn)樣本標(biāo)注方法，融合多尺度殘差網(wǎng)絡(luò)，結(jié)合SE（Squeeze and Excitation）注意力機(jī)制模塊、角度回歸等方法，對輸電線路傾斜類缺陷進(jìn)行檢測。

1 多尺度殘差網(wǎng)絡(luò)

Resnet網(wǎng)絡(luò)提出了殘差單元的跳層連接方式，將輸入單元直接與輸出單元加在一起，解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題和梯度消失問題。因此本文使用多尺度融合的殘差網(wǎng)絡(luò)對特征進(jìn)行提取。

Res2net重建普通的Resnet架構(gòu)，模塊架構(gòu)圖如圖1所示。在原有殘差單元中增加小殘差塊，改變其中的bottleneck block，在一個給定殘差塊中使用分層的、層疊的特征組，取代單個通用的3×3卷積核，增加每一層感受野的大小。為保證計算量不發(fā)生改變，Res2net結(jié)構(gòu)采用更小卷積組來代替bottleneck block中的3×3卷積，首先將經(jīng)過1×1輸出的特征圖按照通道數(shù)均分為s塊，每一部分為xi，每一部分為xi，i∈（1，s）。圖中，kj表示3×3卷積操作，其中j的取值范圍為（1，s-1）。除第一個x1直接輸出到對應(yīng)y1外，從x2開始，每一分塊均進(jìn)行3×3卷積，將卷積后的結(jié)果進(jìn)行兩次處理：一條線路將結(jié)果送入xi+1特征圖中，與xi+1特征相加后繼續(xù)進(jìn)行3×3卷積；另一條線路直接將特征圖向前傳播給yi。重復(fù)以上操作，直到處理完s個特征圖分塊。最后，將所有組輸出的yi連接起來送入到下一個1×1的模塊，進(jìn)行信息的完全融合。Res2net省略x1的3×3卷積，不僅在增加s的同時減少參數(shù)量，而且對提取的全局和本地信息進(jìn)行重復(fù)利用，增加了感受野大小。

2 算法改進(jìn)策略

2.1 SE（Squeeze and Excitation）模塊

輸電線路巡檢圖像，包含大量大視野圖像，大視野圖像背景極度復(fù)雜，在分辨率較高的圖像下，缺陷樣本的像素占比較小。Faster R-CNN、YOLO（You only look once）等識別方法對缺陷本身學(xué)習(xí)效果較差，復(fù)雜背景對其影響較高。SE模塊為通道注意力模塊，該模塊利用卷積特征通道之間的相互依賴關(guān)系，實現(xiàn)網(wǎng)絡(luò)的特征重新校準(zhǔn)機(jī)制。通過該機(jī)制，提升網(wǎng)絡(luò)使用全局信息的能力，選擇性的強(qiáng)調(diào)關(guān)鍵信息特征，抑制非關(guān)鍵特征。因此將Res2net網(wǎng)絡(luò)與注意力SE模塊融合，提高模型在復(fù)雜大視野下關(guān)鍵信息學(xué)習(xí)效率，抑制非關(guān)鍵信息。

Excitation操作銜接于Squeeze操作之后，該操作將1×1×C通道描述符作為輸入，產(chǎn)生每個通道調(diào)制權(quán)重的集合。生成的權(quán)重集合被應(yīng)用于原始的特征圖U上，以得到SE模塊的輸出結(jié)果，該結(jié)果將直接送到網(wǎng)絡(luò)后續(xù)層。

Squeeze操作利用全局平均池生成通道統(tǒng)計信息，將全局信息壓縮到通道描述符中。Zc為特征圖U通過其空間維度H×W收縮產(chǎn)生的，具體操作如下：

為充分利用Squeeze操作中聚合的全局信息，Excitation操作使用融合Sigmoid激活函數(shù)的篩選機(jī)制，用以獲取各通道之間的非線性關(guān)系。

將學(xué)習(xí)到的各個通道使用Sigmoid函數(shù)激活，乘以U上原始特征，獲得SE模塊的最終輸出：

在SE模塊中，全連接層和特征融合相乘是SE實現(xiàn)注意力機(jī)制的重要途徑。假設(shè)輸入1個H×W×C圖像，經(jīng)過全局池化和全連接層，輸出圖像為1×1×C，與原圖像相乘，對圖像每個通道賦上權(quán)重。為降低計算量，對每個噪聲點均賦予權(quán)重，并自動將低權(quán)重的噪聲點去除，保留高權(quán)重噪聲點，減少網(wǎng)絡(luò)運行所需時間。

SE模塊的整個操作學(xué)習(xí)到了各個通道權(quán)重系數(shù)，使模型對各個通道的特征更加具有辨識能力。

2.2 旋轉(zhuǎn)損失函數(shù)

目前，主流目標(biāo)檢測算法均使用邊界框回歸模塊進(jìn)行目標(biāo)定位。邊界框回歸方法使用矩形邊界框預(yù)測目標(biāo)對象在樣本圖像中的位置，使預(yù)測邊界框位置更加精細(xì)化，提升定位準(zhǔn)確率。該方法常見損失函數(shù)在水平目標(biāo)檢測中效果顯著，對于傾斜和密集物體檢測存在一定局限性。本文利用輸電線路典型缺陷存在的偏移角度特點，以Sigmoid函數(shù)與Focal Loss函數(shù)為基礎(chǔ)，結(jié)合帶有旋轉(zhuǎn)參數(shù)的OBB，引入多任務(wù)損失函數(shù)，對線夾偏移和均壓環(huán)移位缺陷進(jìn)行檢測。

為同時提高旋轉(zhuǎn)角度和IoU（Intersection over Union）準(zhǔn)確率，直接反應(yīng)物體間IoU的情況，在回歸子網(wǎng)絡(luò)中附加角度偏移。將地面真實矩形的八點坐標(biāo)作為輸入數(shù)據(jù)，使用最小外接矩形函數(shù)計算目標(biāo)的最小外接矩形，并返回x、y、w、h、θ五個參數(shù)，θ為最小外接矩形的角度信息，表示矩形的高w相對于X軸的銳角的角度，其數(shù)據(jù)范圍為[-π/2，0]。回歸邊界框計算方法如下：

其中（x，y）表示最小外接矩形中心點坐標(biāo)，w、h、θ分別表示最小外接矩形寬度、高度和角度。xa、ya、wa、ha、θa表示Anchor框中心點坐標(biāo)、寬度、高度、角度，x′、y′、w′、h′、θ′表示預(yù)測邊界框相關(guān)參數(shù)。角度示意圖如圖3所示。

多任務(wù)的損失函數(shù)如下：

其中，N表示Anchor的數(shù)目，tn’取值為0和1，當(dāng)為前景區(qū)域時取1，當(dāng)為背景區(qū)域時取0，即只對目標(biāo)區(qū)域進(jìn)行回歸。v’表示預(yù)測的偏移量，v表示地面真實框的信息，tn表示目標(biāo)對象的標(biāo)簽類別，pn表示用Sigmoid函數(shù)計的多個單獨類別的概率分布，配合Focal Loss使用。表示超參數(shù)，默認(rèn)為1，控制著Focal Loss和Smooth L1 Loss的平衡。Lcls、Lreg用Focal Loss和Smooth L1 Loss計算。

2.3 樣本處理策略

因訓(xùn)練樣本獲取過程中，拍攝角度和距離的原因，樣本圖片的分辨率較高，單張圖像包含的線路缺陷部件較少、且占原圖比例較小。為提高模型學(xué)習(xí)率，在輸入模型前對樣本進(jìn)行預(yù)處理。針對樣本缺陷數(shù)量較少的問題，使用缺陷隨機(jī)融合與切片的方法對圖像中的缺陷目標(biāo)進(jìn)行擴(kuò)充，提升缺陷數(shù)量，提高目標(biāo)缺陷特征學(xué)習(xí)率。主要思想如下：

1）創(chuàng)建一張與原圖相同大小的全黑圖片作為背景。

2）根據(jù)輸入樣本的標(biāo)注文檔，確定原圖中目標(biāo)區(qū)域。根據(jù)目標(biāo)區(qū)域坐標(biāo)將黑色背景中相同位置填充為白色，之后將原圖與黑色背景相與，在黑色背景上得到目標(biāo)區(qū)域。

3）之后根據(jù)原圖像和目標(biāo)包圍框的寬度和高度，設(shè)置待復(fù)制區(qū)域的復(fù)制范圍和復(fù)制次數(shù)。最后計算偏移后的目標(biāo)區(qū)域和其他目標(biāo)區(qū)域的IoU，避免重疊和遮擋。

為了解決目標(biāo)區(qū)域在全局圖像中所占比例較小、下采樣后目標(biāo)特征容易被忽略的問題。采用對大分辨率的圖像進(jìn)行切片的方法，例如8 230×3 260的原始圖像，切割成若干小圖像進(jìn)行推理。為防止某些目標(biāo)被分割和截斷，在兩個小圖像之間設(shè)置重疊區(qū)域。每張小圖檢測完成后，將所有box放在大圖上，對大圖進(jìn)行NMS（Non-maximum suppression）操作，去除重疊區(qū)域的重復(fù)box。圖5為切片后的樣本效果。

3 算法改進(jìn)策略

本文采用Resnet50為主干網(wǎng)絡(luò)，融合Res2net模塊和注意力機(jī)制的SE模塊；損失函數(shù)為帶有角度回歸的損失函數(shù)；訓(xùn)練數(shù)據(jù)集包含缺陷正負(fù)樣本訓(xùn)練正樣本類別為2類：均壓環(huán)傾斜和線夾偏移。為了更好驗證本文所提出方法對缺陷檢測的有效性，將本文方法與多階段檢測方法Cascade R-CNN進(jìn)行比較，采用同一批數(shù)據(jù)進(jìn)行訓(xùn)練和測試。本次訓(xùn)練共采集了5 700多個訓(xùn)練樣本，并選擇了430個樣本進(jìn)行測試，閾值設(shè)置為0.5。

表1呈現(xiàn)了改進(jìn)方法的實驗結(jié)果，使用AP值進(jìn)行了對比，AP值計算方法如下：

式中：TP表示正確正樣本值，F(xiàn)P表示錯誤正樣本值，TN表示正確負(fù)樣本值，F(xiàn)P表示錯誤負(fù)樣本值。pi表示第i類的精確度，ri表示第i類的召回率。得到的AP值為第i類的平均精度。

其中“√”表示檢測方法使用了該改進(jìn)策略。針對輸電線路設(shè)備存在多尺度及所處背景復(fù)雜等問題，引入SE模塊；利用傾斜類缺陷具有的角度特征，在損失函數(shù)中加入角度參數(shù)，使用五參數(shù)進(jìn)行回歸，使算法檢測的目標(biāo)邊界包圍框更加精細(xì)；針對數(shù)據(jù)量少和相對分辨率低下問題，使用復(fù)制和切片的數(shù)據(jù)處理方法。表1直觀的說明了引入SE模塊后，檢測方法的識別率有了明顯提升，相比于融合Res2net模塊的ResNet50模型，平均精確度提升了5.11%；引入角度參數(shù)后精確度提高了7.32%。經(jīng)實驗驗證，兩種方法的級聯(lián)效果優(yōu)于單一改進(jìn)方法的檢測效果。

從表2可以看出，本文對線夾偏移類和均壓環(huán)移位的缺陷識別具有較好的效果，AP值在0.85以上。在相同條件下相比于Cascade R-CNN算法，線夾偏移類和均壓環(huán)傾斜類分別提高了8.82%和10.35%。

為了證明本文缺陷識別的效果，圖6、圖7展示了兩類方法的可視化結(jié)果對比。根據(jù)圖中，Cascade R-CNN對于線夾傾斜和均壓環(huán)傾斜的缺陷檢測存在漏檢，加入SE模塊后，增加了召回。Res2net模塊增強(qiáng)了感受野，之后使用旋轉(zhuǎn)錨框的五參數(shù)進(jìn)行回歸，使樣本缺陷檢測精度提高8%～10%。

4 結(jié)  論

本文根據(jù)輸電線路中傾斜類目標(biāo)所具有的特點，構(gòu)建了一種基于多尺度殘差網(wǎng)絡(luò)的缺陷識別技術(shù)。采用SE模塊使網(wǎng)絡(luò)學(xué)習(xí)關(guān)鍵特征的能力得以提升；使用Res2net模塊替換Resnet-50網(wǎng)絡(luò)中的bottleneck block模塊，用以進(jìn)行各層信息之間的融合，提升了每一層的感受野；使用x、y、w、h、θ五個參數(shù)進(jìn)行有向錨表示，融合角度參數(shù)θ進(jìn)行損失函數(shù)的計算，提升對偏移多尺度缺陷識別的速率和魯棒性。根據(jù)實驗結(jié)果，本文針對輸電線路傾斜類缺陷的特點提出的改進(jìn)方法，更加準(zhǔn)確地對該類缺陷進(jìn)行了定位和識別，線夾偏移類和均壓環(huán)傾斜類精度分別提高8.82%和10.35%。下一步將繼續(xù)研究提高樣本質(zhì)量的方法，并提高傾斜錨框在輸電線路其他類缺陷識別中的適用性。

參考文獻(xiàn)：

[1] 姜浩然，金立軍，閆書佳.航拍圖像中絕緣子的識別與故障診斷 [J].機(jī)電工程，2015，32（2）：274-278.

[2] 翟永杰，王迪，伍洋，等.基于骨架提取的航拍絕緣子圖像分步識別方法 [J].華北電力大學(xué)學(xué)報：自然科學(xué)版，2015，42（3）：105-110.

[3] 唐波，覃喬，黃力.基于色彩模型和紋理特征的輸電線路絕緣子串航拍圖像識別 [J].電力科學(xué)與技術(shù)學(xué)報，2020，35（4）：13-19.

[4] 王萬國，田兵，劉越，等.基于RCNN的無人機(jī)巡檢圖像電力小部件識別研究 [J].地球信息科學(xué)學(xué)報，2017，19（2）：256-263.

[5] 譚紅臣，李淑華，劉彬，等.特征增強(qiáng)的SSD算法及其在目標(biāo)檢測中的應(yīng)用 [J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2019，31（4）：573-579.

[6] 談家英，付晶，蔡煥青，等.一種基于Faster R-CNN深度學(xué)習(xí)的銷釘缺陷檢測方法 [J].高電壓技術(shù)，2018，44（zk2）：100-104

[7] 李瑞生，張彥龍，翟登輝，等.基于改進(jìn)SSD的輸電線路銷釘缺陷檢測 [J].高電壓技術(shù)，2021，47（11）：3795-3802.

[8] 羅海保.基于改進(jìn)Faster R-CNN的多尺度小目標(biāo)檢測算法研究 [D].北京：北京交通大學(xué)，2019.

[9] 王紀(jì)武，羅海保，魚鵬飛，等.基于Faster R-CNN的無人機(jī)航拍圖像小目標(biāo)檢測 [J].測試科學(xué)與儀器：英文版，2020，11（1）：11-16.

[10] 趙振兵，李延旭，甄珍，等.結(jié)合KL散度和形狀約束的Faster R-CNN典型金具檢測方法 [J].高電壓技術(shù)，2020，46（9）：3018-3026.

[11] 高嵩，陸倚鵬，王笑倩，等.基于深度學(xué)習(xí)的懸式瓷絕緣子紅外圖像識別方法 [J].電力科學(xué)與技術(shù)學(xué)報，2020，35（5）：119-125.

[12] 戴永東，王茂飛，唐達(dá)獒，等.基于雙視卷積神經(jīng)網(wǎng)絡(luò)的輸電線路自動巡檢 [J].電力科學(xué)與技術(shù)學(xué)報，2021，36（5）：201-210.

[13] HAIBIN W，YANPING X，WEIMIN F，et al. Damper Detection in Helicopter Inspection of Power Transmission Line [C]//2014 Fourth International Conference on In-strumentation and Measurement， Computer， Communication and Control （IMCCC）.Harbin：IEEE，2014：628-632.

[14] HAN J，DING J，XUE N，et al. Redet： A Rotation-Equivariant Detector for Aerial Object Detection [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：2786-2795.