王楊楊，曹 暉，莫文昊

（1.西安交通大學(xué)電氣工程學(xué)院，陜西西安 710049；2.中國(guó)電力科學(xué)研究院有限公司，北京 100192）

0 引言

隨著輸電網(wǎng)絡(luò)的不斷深化和覆蓋區(qū)域的不斷擴(kuò)大，確保輸電線路可靠、有序、經(jīng)濟(jì)運(yùn)轉(zhuǎn)成為重中之重。輸電線路走廊上的鳥(niǎo)巢給電網(wǎng)設(shè)備帶來(lái)隱患，嚴(yán)重時(shí)甚至?xí)斐商l。為此，需要結(jié)合輸電線路實(shí)際情況，利用適宜的方式開(kāi)展定期巡檢。經(jīng)濟(jì)便捷的無(wú)人機(jī)智能巡檢是目前重要的方式之一[1-5]，無(wú)人機(jī)獲取的巡檢圖片，可以用于輸電線路環(huán)境和通道設(shè)備的智能分析與應(yīng)用。文獻(xiàn)[6]采用絕對(duì)誤差和算法建立圖像視差圖，然后利用閾值分割完成對(duì)輸電線路的提取。文獻(xiàn)[7]使用方向梯度直方圖法提取航拍圖像特征，基于增量特征選擇參數(shù)完成特征分類。

傳統(tǒng)檢測(cè)算法的特點(diǎn)是利用圖像特征分類器完成對(duì)象識(shí)別。文獻(xiàn)[8]采用自適應(yīng)二值化、樹(shù)干/分支檢測(cè)和模式學(xué)習(xí)的方法，對(duì)高鐵接觸網(wǎng)中出現(xiàn)的鳥(niǎo)巢進(jìn)行檢測(cè)，并以實(shí)驗(yàn)驗(yàn)證了其可行性。文獻(xiàn)[9]采用基于微結(jié)構(gòu)的Gabor 濾波方法與主成分分析法來(lái)更精確地進(jìn)行鳥(niǎo)巢的特征提取。文獻(xiàn)[10]提出了一種基于圖像配準(zhǔn)的固定場(chǎng)景電力設(shè)備缺陷定位方法。

深度學(xué)習(xí)算法憑借優(yōu)越的性能表現(xiàn)，在目標(biāo)檢測(cè)和視覺(jué)學(xué)習(xí)領(lǐng)域得到大規(guī)模應(yīng)用[11-13]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）能縮小權(quán)重參數(shù)范圍，提高算法的運(yùn)算速度[14-15]。R-CNN（Region CNN）對(duì)圖片生成若干候選框，利用CNN 提取特征向量，使用支持向量機(jī)進(jìn)行分類，通過(guò)非極大值提高檢測(cè)效率[16]。Fast R-CNN[17]在R-CNN 的基礎(chǔ)上，采用性能效果更優(yōu)的softmax，以降低時(shí)空復(fù)雜度，同時(shí)創(chuàng)新性地引入邊界框回歸技術(shù)，因此要比R-CNN 具有更高的魯棒性和精度。通過(guò)借鑒其他圖像識(shí)別算法中的結(jié)構(gòu)，學(xué)者們提出了以Mask R-CNN 為代表的眾多優(yōu)化算法[18]。文獻(xiàn)[19]提出一種基于Retina Net 和注意力機(jī)制的多級(jí)目標(biāo)檢測(cè)方法，文獻(xiàn)[20]對(duì)源圖像數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)處理，同時(shí)采用初級(jí)YOLOv3 網(wǎng)絡(luò)對(duì)鳥(niǎo)巢進(jìn)行預(yù)檢測(cè)，利用高級(jí)YOLOv3 網(wǎng)絡(luò)對(duì)鳥(niǎo)巢檢測(cè)結(jié)果進(jìn)行修正，兼顧了算法的精度與效率，提高了網(wǎng)絡(luò)性能。文獻(xiàn)[21]利用圖像增強(qiáng)和深度可分離卷積提高網(wǎng)絡(luò)的運(yùn)算速度，文獻(xiàn)[22]提出一種基于注意力機(jī)制和Squeeze Net 結(jié)構(gòu)的目標(biāo)檢測(cè)算法，文獻(xiàn)[23]提出一種基于多維特征融合的改進(jìn)YOLOv4 算法，文獻(xiàn)[24]提出一種基于多尺度池化核的TS-YOLO 結(jié)構(gòu)，提高了模型的檢測(cè)準(zhǔn)確率。

為了得到一種高效的多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)，本文提出了一種基于深度可分離卷積和最小凸集的改進(jìn)型YOLOv4 算法。首先，對(duì)CSPDarknet53 網(wǎng)絡(luò)中的CSP 塊·N模塊引入深度可分離卷積，得到DS-CSP 塊·N，以增強(qiáng)特征信息提??；其次，基于Kmeans 存在受初始聚類簇?cái)?shù)影響大的缺點(diǎn)，提出Kmeans++算法以優(yōu)化錨框尺寸和比例，基于最小凸集改進(jìn)回歸損失函數(shù)，改進(jìn)后的YOLO Head 稱為DS-YOLO Head；最后，為了能夠在多尺度目標(biāo)檢測(cè)中提取更多的特征信息，本文在PANet 和DSYOLO Head 之間增加SPP1 和SPP2 2 個(gè)新的空間金字塔池化模塊（Spatial Pyramid Pooling，SPP）。運(yùn)用巡檢無(wú)人機(jī)獲取線路通道圖片，得到不同規(guī)格的圖片集，經(jīng)過(guò)歸一化處理、數(shù)據(jù)增強(qiáng)和圖像標(biāo)注，得到模型所需格式的數(shù)據(jù)集。相較于改進(jìn)之前，準(zhǔn)確率和精度F1 值均得到有效提高；相較于其他算法，本文算法兼顧了精度和速度，具備更優(yōu)的綜合性能。

1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4 是一種多層級(jí)、多尺度的智能檢測(cè)算法，其結(jié)構(gòu)包括：（1）Head 模塊：采用多尺度滑動(dòng)窗口的Anchor 機(jī)制；（2）backbone 模塊：引入殘差結(jié)構(gòu)和softmax，采用輕量化的CSPDarknet53 結(jié)構(gòu)[25]，減少了網(wǎng)絡(luò)參數(shù)和計(jì)算開(kāi)銷，提升了檢測(cè)的速度和精度；（3）Neck 模塊。

其中，Neck 模塊包括：（1）SPP 模塊：采用3×3卷積核，能實(shí)現(xiàn)將規(guī)格各異的圖片處理成同一規(guī)格的功能，拓展感受野的同時(shí)挖掘更完善的語(yǔ)義信息，提高精度的同時(shí)減少時(shí)空開(kāi)銷；（2）PANet：一種雙向特征信息融合結(jié)構(gòu)，可以兼顧深層語(yǔ)義特征和淺層位置特征，提高多尺度目標(biāo)的檢測(cè)能力。

1.1 CSPDarknet53

CSPDarknet53 包含5 個(gè)CSP 塊·N模塊，每個(gè)CSP 塊·N模塊由N個(gè)Res unit 單元和若干CBM 單元 組 成，CBM 單 元 包 括 卷 積Conv，BN（Batch Normalization）和Mish 激活函數(shù)；Res unit 單元包含2 個(gè)CBM 單元，2 個(gè)CBM 單元之間通過(guò)殘差結(jié)構(gòu)連接；CBM 單元包含提取特征的Conv 卷積層、促進(jìn)收斂的BN 層和改善梯度的Mish 激活層。

1.2 空間金字塔池化

SPP 可以對(duì)任何大小、比例的輸入圖像進(jìn)行池化，以獲取維度一致的特征向量。SPP 利用不同規(guī)格的分割方式對(duì)輸入圖片進(jìn)行處理，從而得到SPP的不同層，如圖1 所示，其中d為維度。

圖1 SPP示意圖Fig.1 Schematic of SPP

在第1 層中，將整張圖片作為1 張?zhí)卣鲌D；在第2 層中，把整張圖片分為了4 張?zhí)卣鲌D；在第3層中，把整張圖片分為了16 張?zhí)卣鲌D。然后提取上述21 張?zhí)卣鲌D的特征向量，輸入全連接層中進(jìn)行訓(xùn)練。通過(guò)在YOLOv4 中添加SPP 結(jié)構(gòu)，可以增加感受野，同時(shí)提高檢測(cè)速度。

1.3 PANet

PANet 包括特征金字塔網(wǎng)絡(luò)（Feature Parymid Network，F(xiàn)PN）和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）兩部分，如圖2 所示。

圖2 PANet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 PANet network structure

FPN 通過(guò)橫向連接方式把采樣得到的特征圖與同等尺寸的特征圖融合，并且采用自頂向下的特征提取結(jié)構(gòu)，不僅可以改善特征圖的表征效果，還可以用于多尺度目標(biāo)檢測(cè)；PAN 以橫向連接方式把采樣得到的特征圖與同等尺寸的特征圖融合，并且采用自底向上的特征提取結(jié)構(gòu)，能夠兼顧上下文的定位信息和語(yǔ)義信息。

2 基于深度可分離卷積和最小凸集的改進(jìn)型YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

本文針對(duì)YOLOv4 存在的不足，基于低參數(shù)量的深度可分離卷積（Depthwise Separable Convolution，DSConv）和最小凸集技術(shù)，對(duì)YOLOv4 提出相應(yīng)的改善措施：

1）在YOLOv4 中，對(duì)CSPDark-net53 網(wǎng)絡(luò)中的CSP 塊·N模塊引入深度可分離卷積，得到DS-CSP塊·N，降低了網(wǎng)絡(luò)的參數(shù)量和計(jì)算開(kāi)銷，提高檢測(cè)速度。

2）利用K-means++算法對(duì)錨框尺寸和比例進(jìn)行優(yōu)化，克服了K-means 算法選擇初始點(diǎn)時(shí)人為因素的影響，避免陷入局部最優(yōu)困境；基于最小凸集建立回歸損失函數(shù)，克服了邊界框不重合時(shí)的缺陷，將改進(jìn)后的YOLO Head 稱為DS-YOLO Head。

3）在PANet 和DS-YOLO Head 之間增加SPP1和SPP2 2 個(gè)新的SPP 模塊。新的SPP 模塊改變了池化核大小，使得池化層能夠?qū)斎胩卣鲗舆M(jìn)行多尺度池化和信息融合，大大增強(qiáng)了網(wǎng)絡(luò)的接受域。

基于深度可分離卷積結(jié)構(gòu)和最小凸集技術(shù)的改進(jìn)型YOLOv4 算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 改進(jìn)型YOLOv4示意圖Fig.3 Schematic of improved YOLOv4

2.1 基于DSConv改進(jìn)的DS-CSP 塊·N

深度可分離卷積DSConv[26]結(jié)構(gòu)包括：（1）深度卷積層：每個(gè)卷積核各自對(duì)應(yīng)1 張通道特征圖，各自生成1 張?zhí)卣鲌D；（2）逐點(diǎn)卷積層：每個(gè)卷積核將3 通道特征圖拼接成1 張?zhí)卣鲌D。本文采用DSConv 替換CSP 塊·N中的Conv 卷積層，得到DSCSP 塊·N，以降低參數(shù)量和計(jì)算開(kāi)銷。

2.2 基于K-means++改進(jìn)的錨框

YOLOv4 利用錨框?qū)D像進(jìn)行分割，通過(guò)聚類的方式得到錨框的尺寸和比例，進(jìn)而檢測(cè)錨框中的物體。如圖4 所示。假設(shè)特征圖中被劃分到某一單元的左上角坐標(biāo)為()cx,cy，錨框的寬和高為bw和bh。通過(guò)網(wǎng)絡(luò)不斷學(xué)習(xí)，得到其坐標(biāo)和長(zhǎng)寬值。其中，tx，ty為坐標(biāo)偏移量，tw，th為寬和高縮放比，()bx,by,bw,bh為圖4中實(shí)線框的預(yù)測(cè)輸出坐標(biāo)和寬高；σ(tx)，σ(ty)為坐標(biāo)偏移量補(bǔ)償；為寬高縮放比補(bǔ)償；pw，ph為圖4 中虛線框的實(shí)際寬度和高度。

圖4 預(yù)測(cè)框示意圖Fig.4 Schematic diagram of bounding box

YOLOv4 網(wǎng)絡(luò)使用K-means 算法求解出Q個(gè)錨框的大小和比例，使用交并比OIU為距離指標(biāo)進(jìn)行聚類。K-means 算法需人為給定初始點(diǎn)，如果給定的初始點(diǎn)不合適，最后迭代得到的結(jié)果可能為局部最優(yōu)值。K-means++算法初始點(diǎn)的選取是從整個(gè)數(shù)據(jù)集隨機(jī)選取，因此跳出了初始簇的范圍，使得算法有很大的概率跳出局部最優(yōu)解，從而在迭代過(guò)程中得到全局最優(yōu)解，其具體計(jì)算步驟如下：

1）給定M個(gè)候選框。

2）任意挑選1 個(gè)候選框，作為第1 個(gè)簇心。

3）對(duì)余下的M-1 個(gè)候選框，從中選出與第1 個(gè)簇心最遠(yuǎn)（D(A,B)最大）的候選框，該候選框是第2 個(gè)簇心。

4）再次執(zhí)行以上步驟，最后從M個(gè)候選框中選出Q個(gè)簇心。

5）用選出的Q個(gè)簇心代替K-means 算法的初始點(diǎn)，按照算法流程選出Q個(gè)錨框。其中，D(A,B)的表達(dá)式為：

式中：A為候選框；B為簇心。

2.3 基于最小凸集改進(jìn)的回歸損失函數(shù)

回歸損失函數(shù)是衡量預(yù)測(cè)框和真實(shí)框之間相似度誤差的關(guān)鍵指標(biāo)之一，影響著目標(biāo)檢測(cè)的精度。YOLOv4 采用交并比計(jì)算回歸損失函數(shù)LO，LO主要考慮了預(yù)測(cè)框C和真實(shí)框D公共部分的面積，當(dāng)邊界框不重合時(shí)（此時(shí)LO的值為1）會(huì)造成很大誤差。為了解決這種不足，同時(shí)兼顧預(yù)測(cè)框縱橫比和真實(shí)框中心點(diǎn)之間的距離，提出基于最小凸集改進(jìn)的回歸損失函數(shù)LC；當(dāng)預(yù)測(cè)框C和真實(shí)框D的邊界框不重合時(shí)，OIU為0，LC大于1。最小凸集是包含C和D的最小外接矩形，基于最小凸集改進(jìn)的回歸損失函數(shù)LC，公式如下：

式中：ρ2(b,bgt)為C的幾何中心b和D的幾何中心bgt之間的歐氏距離；c為最小凸集的對(duì)角線距離；wgt和hgt分別為C的寬度和高度；w和h分別為D的寬度和高度。

3 仿真與分析

3.1 數(shù)據(jù)集建立與網(wǎng)絡(luò)參數(shù)設(shè)置

本文使用的圖像數(shù)據(jù)集是某省供電公司利用多臺(tái)無(wú)人機(jī)獲取的輸電線路高清照片。對(duì)于光線明暗程度和圖片大小不同的問(wèn)題，將原始圖片統(tǒng)一轉(zhuǎn)換為相同規(guī)格，大小為416 px×416 px。無(wú)人機(jī)獲取的有效照片僅為1 000 張，尚不足以滿足訓(xùn)練需求，因此通過(guò)引入Mosaic 圖像增強(qiáng)以豐富模型樣本集；通過(guò)縮放、平移、色域變化、旋轉(zhuǎn)等方式，將圖像數(shù)量擴(kuò)增到3 000 張。

使用LabelImg 軟件，標(biāo)注出數(shù)據(jù)集中鳥(niǎo)巢所處的位置和種類。將標(biāo)注好的數(shù)據(jù)集分為3 組：驗(yàn)證集480 幅；訓(xùn)練集1 920 幅；測(cè)試集600 幅。網(wǎng)絡(luò)參數(shù)上，采取Adam 優(yōu)化器。在前80 訓(xùn)練輪次中，學(xué)習(xí)率初值為0.01，每20 個(gè)訓(xùn)練輪次學(xué)習(xí)率減半，屬于模型粗調(diào)階段；81 到100 訓(xùn)練輪次的學(xué)習(xí)率為0.001，屬于模型微調(diào)階段；101 到120 訓(xùn)練輪次的學(xué)習(xí)率為0.000 1，屬于模型精調(diào)階段。批大小設(shè)置為25，共進(jìn)行120 個(gè)訓(xùn)練輪次訓(xùn)練。

3.2 模型性能評(píng)價(jià)指標(biāo)

本文采用評(píng)估準(zhǔn)確率Acc，F(xiàn)1 值、召回率Rec和每秒傳輸幀數(shù)FPS作為模型性能的指標(biāo)。TP和FN分別為“有鳥(niǎo)巢”樣本被模型正確和錯(cuò)誤評(píng)估的數(shù)量；TN和FP分別為“無(wú)鳥(niǎo)巢”樣本被模型正確或錯(cuò)誤評(píng)估的數(shù)量。

Acc，F(xiàn)1值，Rec的計(jì)算表達(dá)式如下：

3.3 實(shí)驗(yàn)結(jié)果及分析

利用標(biāo)注好的數(shù)據(jù)集對(duì)原始YOLOv4 和改進(jìn)型YOLOv4 進(jìn)行訓(xùn)練和驗(yàn)證，得到訓(xùn)練集和驗(yàn)證集的損失函數(shù)（無(wú)量綱），如圖5 所示。

圖5 訓(xùn)練集和驗(yàn)證集損失Fig.5 Loss of training set and verification set

由圖5（a）可知，深度可分離卷積的引入，使得改進(jìn)型YOLOv4 在大約50 個(gè)訓(xùn)練輪次后比原始YOLOv4 的損失更低；而最小凸集的引入，使得算法改進(jìn)后損失的梯度下降更快。

由圖5（b）可知，深度可分離卷積的引入，使得改進(jìn)型YOLOv4 的損失在大約10 個(gè)訓(xùn)練輪次后比原始YOLOv4 的損失更低；Adam 優(yōu)化器的引入，使得改進(jìn)后算法最終的損失大約是改進(jìn)前損失的一半。

改進(jìn)前后算法的準(zhǔn)確率Acc和F1 值變化曲線如圖6 所示。

圖6 精度指標(biāo)變化圖Fig.6 Curves for precision index

由圖6 可知，由于引入DSConv 結(jié)構(gòu)，減少了算法參數(shù)和運(yùn)算時(shí)空開(kāi)銷，同時(shí)使得算法F1的穩(wěn)定時(shí)間變長(zhǎng)。經(jīng)過(guò)逐次訓(xùn)練不斷優(yōu)化，改進(jìn)型YOLOv4的檢測(cè)精度和速度不斷改善，整體性能表現(xiàn)都優(yōu)于YOLOv4。因此，本文所提出的模型在鳥(niǎo)巢檢測(cè)方面具有良好性能。

利用本文提出的改進(jìn)型YOLOv4 和YOLOv4分別對(duì)輸電線路不同位置（間隔棒、均壓環(huán)和鐵塔橫擔(dān)）的鳥(niǎo)巢進(jìn)行檢測(cè)，結(jié)果如圖7 所示。圖7（a），（c），（e）分別為YOLOv4 對(duì)間隔棒、均壓環(huán)、鐵塔橫擔(dān)處的鳥(niǎo)巢檢測(cè)結(jié)果，圖7（b），（d），（f）分別為改進(jìn)型YOLOv4 對(duì)間隔棒、均壓環(huán)、鐵塔橫擔(dān)處的鳥(niǎo)巢檢測(cè)結(jié)果。

圖7 改進(jìn)型YOLOv4和YOLOv4鳥(niǎo)巢檢測(cè)結(jié)果Fig.7 Bird’s nest detection results with improved YOLOv4 and YOLOv4

此外，本文設(shè)計(jì)了消融實(shí)驗(yàn)，共分為6 組實(shí)驗(yàn)。第1 組為原始YOLOv4 算法，第2 組為引入DSConv 的YOLOv4 算法，第3 組為引入DSConv 和SPP 的YOLOv4 算法，第4 組為引入DSConv，SPP和Mosaic 圖像增強(qiáng)的YOLOv4 算法，第5 組為引入DSConv，SPP，Mosaic 圖像增強(qiáng)和K-means++的YOLOv4 算法，第6 組為采用了DSConv，SPP，Mosaic 圖像增強(qiáng)，K-means++和Adam 學(xué)習(xí)率衰減的改進(jìn)型YOLOv4 算法，結(jié)果如表1 所示。

表1 消融實(shí)驗(yàn)結(jié)果Table 1 Results of ablation experiment

由表1 可知，DSConv 在略微降低精度的情況下提升速度；SPP 略微降低了速度，但提升了精度，并顯著提升了準(zhǔn)確度；由于Mosaic 圖像增強(qiáng)技術(shù)的引入，各項(xiàng)精度指標(biāo)得到了改善；K-means++算法提升了精度，但速度略微降低；Adam 優(yōu)化器提升了精度，并顯著提升了召回率。

利用已標(biāo)注的數(shù)據(jù)集，把評(píng)估準(zhǔn)確率Acc，F(xiàn)1值，Rec和FPS作為模型性能的指標(biāo)，將所述的改進(jìn)型YOLOv4 算法與其他3 種進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2 所示，其中SSD 為單目標(biāo)多框檢測(cè)。

表2 對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Results of contrast experiment

分析可知，所述改進(jìn)型YOLOv4 算法的FPS不及YOLOv5，但是提高了算法的Rec和F1；在Acc，F(xiàn)1 值，Rec和FPS方面，所述改進(jìn)型YOLOv4 算法的表現(xiàn)均比SSD 有所提高；此外，相較于Faster RCNN，所述改進(jìn)型YOLOv4 算法除了F1 有輕微降低，其他性能表現(xiàn)更優(yōu)。綜合看來(lái)，改進(jìn)后的算法有更高的鳥(niǎo)巢檢測(cè)準(zhǔn)確度和更低的運(yùn)算開(kāi)銷。

4 結(jié)論

對(duì)于輸電線路無(wú)人機(jī)巡視圖像經(jīng)典鳥(niǎo)巢檢測(cè)算法權(quán)重參數(shù)范圍大、識(shí)別效率低、識(shí)別精度低的缺點(diǎn)，本文提出了一種改進(jìn)型YOLOv4 輸電線路鳥(niǎo)巢檢測(cè)與識(shí)別方法，通過(guò)仿真分析得到如下結(jié)論：

1）引入Mosaic 圖像增強(qiáng)技術(shù)，能夠?qū)?shù)據(jù)集施加多種變換，從而豐富訓(xùn)練樣本集，使網(wǎng)絡(luò)的F1 略有提高，準(zhǔn)確率提高了0.18%，召回率提高了0.22%。

2）深度可分離卷積的引入減少了算法參數(shù)和運(yùn)算時(shí)空開(kāi)銷，在維持和值相對(duì)穩(wěn)定的情況下，將召回率從89.52%提高到90.95%。

3）增加2 個(gè)SPP 模塊以改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，在召回率和略微降低的情況下，從91.58%提高到98.26%，值從0.90 提高到0.93。綜合看來(lái)，改進(jìn)后的算法有更高的鳥(niǎo)巢檢測(cè)準(zhǔn)確度和更低的運(yùn)算開(kāi)銷，整體性能優(yōu)于其他算法。

本文的探索為將來(lái)無(wú)人機(jī)大范圍巡檢和輸電線路異物檢測(cè)奠定了重要基礎(chǔ)。