吳 鵬 姜海波 王永強(qiáng) 高 超 孫凌卿 張永澤 王敏鑒 李淵博

（江蘇電力信息技術(shù)有限公司 南京 210000）

1 引言

輸電線路作為電力系統(tǒng)輸電模塊的載體，是供電、用電之間的橋梁［1］，其運轉(zhuǎn)的高效、安全與否直接決定著電力系統(tǒng)是否能夠穩(wěn)定運行［2］。隨著生態(tài)環(huán)境的不斷改善以及人們對野生動物保護(hù)意識的增強(qiáng)，鳥類數(shù)量逐漸增加，鳥類活動也更加頻繁，而且輸電線路大部分架設(shè)在野外環(huán)境，因此由鳥類引發(fā)的輸電線路跳閘事故也在不斷增加［3～4］。據(jù)統(tǒng)計資料表明，由于鳥類活動引起的線路故障僅次于雷害和外力破壞，占線路故障總數(shù)的第三位，已經(jīng)嚴(yán)重危害了輸電線路的安全運行［5～6］。因此，輸電線路鳥害問題亟待解決。

傳統(tǒng)的驅(qū)鳥方式多采用安裝防鳥刺、防鳥擋板，使用驅(qū)鳥劑等方法［7～8］，這些方法不僅需要大量的人力物力，而且效果并不是很好。隨著深度學(xué)習(xí)的興起，研究人員將其思想應(yīng)用于目標(biāo)檢測，由于深度學(xué)習(xí)提取的深度特征更加準(zhǔn)確并且表達(dá)能力更強(qiáng)，因而取得了很好的檢測效果［9］。因此，采用深度學(xué)習(xí)的方法對輸電線路鳥類進(jìn)行檢測，根據(jù)檢測結(jié)果啟動驅(qū)鳥器，在節(jié)省人力成本的同時又能精準(zhǔn)、高效地解決輸電線路的鳥害問題。

但是輸電線路鳥類檢測是一個典型的實時小目標(biāo)檢測任務(wù)，為了減少圖像傳輸?shù)街醒敕?wù)器過程中因網(wǎng)絡(luò)問題帶來的不可靠性和時延性，本文的鳥類檢測任務(wù)在移動終端內(nèi)實現(xiàn)。目前針對小目標(biāo)檢測問題，深度學(xué)習(xí)大多是通過結(jié)合不同層級特征的方式來實現(xiàn)［10～11］，但是該方法會額外增加大量的計算資源，與任務(wù)的實時檢測目的相違背，此外，目標(biāo)檢測任務(wù)包括檢測框預(yù)測和檢測框分類，其深度學(xué)習(xí)模型結(jié)構(gòu)較大，需要大量的計算資源，很難在移動端進(jìn)行應(yīng)用［12～13］。然而對于輸電線路驅(qū)鳥任務(wù)來說，任務(wù)的關(guān)鍵是檢測輸電線路是否存在鳥，并根據(jù)檢測結(jié)果啟動驅(qū)鳥器。因此，本文將輸電線路鳥類檢測任務(wù)轉(zhuǎn)化為分類任務(wù)，減少模型計算量，從而可將其應(yīng)用于移動端。基于此，本文提出了一種基于圖像切片的移動端輸電線路鳥類檢測算法，該算法首先對采集到的輸電線路圖像進(jìn)行切片，然后采用ResNet18識別每張切片是否有鳥，并根據(jù)檢測結(jié)果啟動驅(qū)鳥器。與直接采用原圖進(jìn)行ResNet18識別相比，切片會增加小目標(biāo)即鳥類的語義信息，可以有效提高識別的精度。本算法可實現(xiàn)在檢測到有一定數(shù)目鳥類活動時啟動驅(qū)鳥器對輸電線路上的鳥進(jìn)行驅(qū)趕，節(jié)約能源的同時實時、高效地解決了輸電線路的鳥害問題，具有良好的應(yīng)用前景。

2 研究內(nèi)容

2.1 基于圖像切片的移動端鳥類檢測模型介紹

本文提出的基于圖像切片的移動端輸電線路鳥類檢測模型的總體流程如圖1所示。

由圖1可看出，本算法的具體步驟如下：

圖1 鳥類檢測模型總體流程圖

1）建立比對模板庫。比對模板庫是特定場景特定時間不存在鳥的現(xiàn)場圖片，因為用于監(jiān)控鳥類的攝像頭是安裝在不同線路桿塔上的，因此每個攝像頭都需要維護(hù)一套獨立的模板庫。此外，由于從早晨到晚上的光照變化，反映在圖像上是圖像色彩、亮度的變化，因此需要在不同的時間段設(shè)置不同的對比模板。同時，由于本算法的主要思想是對圖片進(jìn)行切片，然后針對切片進(jìn)行鳥類識別，因此不僅原圖需要對比模板，而且切片也應(yīng)該設(shè)置對應(yīng)的對比模板。綜上所述，比對模板庫包括兩類模板：原圖比對模版和切片比對模版，每類模板還應(yīng)根據(jù)光照變化設(shè)置不同的模板圖片。

2）圖像采集。由安裝在不同桿塔的固定位置的攝像頭以固定時間間隔拍攝現(xiàn)場圖像，每次采集的圖像作為鳥類檢測算法的輸入信息，以判斷該圖像中是否存在鳥。

3）原圖對比。圖像采集完成后，為了加快鳥類檢測中無鳥的識別效率，首先通過編碼標(biāo)識在比對模板庫中查詢到該時段的模板原圖，將采集到的實時圖像與模板原圖進(jìn)行對比，兩張圖像差值計算的方法是計算所有像素點的像素值差值的均值，經(jīng)實驗得出，差值閾值為0.1時效果最好，如果兩者的差值大于閾值0.1，則進(jìn)行步驟4），否則，認(rèn)為該時間段輸電線路上沒有鳥，不啟動驅(qū)鳥器。

4）原圖切片。由于移動端計算資源較少，因此本文采用對切片進(jìn)行圖像分類代替對原圖的目標(biāo)檢測，因此該步驟需要對圖像進(jìn)行切片，即把原圖劃分成更小的區(qū)域。當(dāng)原圖和模板的差值小于閾值時，則可認(rèn)為原圖中可能存在鳥，為了定位引起相似度變化的區(qū)域，將實時圖像按n×n等分進(jìn)行切片處理。經(jīng)實驗驗證，將實時圖像按6×6等分進(jìn)行切片處理時，實驗效果最好。輸電線路實時圖像切片處理的結(jié)果如圖2所示。

圖2 經(jīng)切片處理的輸電線路實時圖像

5）選擇分塊。用滑動窗口的方式，以切片為單位，逐個選取每個切片進(jìn)行步驟6）的處理。如果所有切片都已選擇完成，則認(rèn)為該圖像沒有鳥，不啟動驅(qū)鳥器。

6）分塊對比。以切片為單位，查詢對應(yīng)的模板原圖切片，進(jìn)行切片之間的差值計算，計算方式和步驟3）保持一致，如果兩者的差值大于閾值0.1，則認(rèn)為該切片變化明顯，進(jìn)行步驟7），反之進(jìn)行步驟5）。

7）鳥類識別。若切片與模板的差值大于閾值，則該切片中包含鳥類的可能性很高，需要采用深度學(xué)習(xí)算法對該切片進(jìn)一步識別。本文采用輕量級的訓(xùn)練好的深度學(xué)習(xí)分類模型ResNet18對該切片進(jìn)行類別預(yù)測，如果分類結(jié)果為存在鳥類，則啟動驅(qū)鳥器，如果分類結(jié)果為沒鳥，則進(jìn)行步驟5）。

2.2 輕量級分類模型ResNet18介紹

ResNet分類網(wǎng)絡(luò)始提于2015年，是當(dāng)前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)，其主要思想是在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想［14］。此前的網(wǎng)絡(luò)結(jié)構(gòu)是對輸入直接進(jìn)行非線性變換，而Highway Network則允許保留之前網(wǎng)絡(luò)層的一定比例的輸出［15］。

ResNet又稱為“殘差網(wǎng)絡(luò)”，其主要是在網(wǎng)絡(luò)中使用了大量的殘差模塊作為網(wǎng)絡(luò)的基本組成部分，殘差模塊如圖3所示。

圖3 ResNet的殘差學(xué)習(xí)模塊

由圖3可以看到，殘差網(wǎng)絡(luò)與傳統(tǒng)的網(wǎng)絡(luò)相比，最大的變化是加入了一個恒等映射層y=x層，其最主要的作用是使得網(wǎng)絡(luò)隨著深度的增加不會產(chǎn)生權(quán)重衰減和梯度衰減或者消失這些問題。上圖中，F(xiàn)(x)表示的是殘差，F(xiàn)(x)+x是最終的映射輸出，設(shè)深度網(wǎng)絡(luò)中某隱含層為H(x)-x→F(x)，如果假設(shè)多個非線性組合可以近似于一個復(fù)雜函數(shù)，那么也同樣可以假設(shè)隱含層的殘差近似于某個復(fù)雜函數(shù)。因此可以得到網(wǎng)絡(luò)的最終輸出為H(x)=F(x)+x，而由于網(wǎng)絡(luò)框架中有兩個卷積層和兩個ReLU函數(shù)，因此最終的輸出結(jié)果可以表示為

其中H1(x)是第一層的輸出，H2(x)是第二層的輸出。

ResNet網(wǎng)絡(luò)一經(jīng)提出，就因其巧妙的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計以及極高的識別精度吸引了眾多學(xué)者的注意，因此很多實驗都開始采用ResNet作為backbone network，例如Faster rcnn［16］、Mask rcnn［17］等，其已成為在高性能服務(wù)器上進(jìn)行特征提取的標(biāo)桿網(wǎng)絡(luò)。但是，由于ResNet的網(wǎng)絡(luò)層數(shù)很深，計算量很大，因此無法在移動端直接使用。不過ResNet論文也提出了一種輕量級的模型ResNet18，其有自己獨特的殘差結(jié)構(gòu)，可以在損失一定精度的情況下運行在移動端，因此本文使用訓(xùn)練好的深度學(xué)習(xí)分類模型ResNet18對輸電線路圖像的切片進(jìn)行類別預(yù)測，其具體的殘差學(xué)習(xí)模塊如圖4所示。

圖4 ResNet18的殘差學(xué)習(xí)模塊

ResNet18的結(jié)構(gòu)組成如表1所示。

表1 ResNet18結(jié)構(gòu)組成

3 實驗與分析

3.1 數(shù)據(jù)集及實驗環(huán)境

本文采用的數(shù)據(jù)集由安裝在江蘇地區(qū)輸電線路桿塔上固定位置的攝像頭進(jìn)行采集，共8000張來自8個不同位置的攝像頭采集的圖像，圖像分辨率為1920×1080像素。在實際場景中雨天、霧天、雪天等特殊天氣、太陽日照情況及四季變化等自然因素會對模型訓(xùn)練和檢測效果產(chǎn)生一定影響，因此在制作數(shù)據(jù)集時，需要考慮上述自然條件的變化，因此按照不同時間段、不同季節(jié)、不同天氣情況以及不同地點合理地制作數(shù)據(jù)集，同時為了訓(xùn)練模型具有較好的魯棒性，在數(shù)據(jù)集中加入一些來自網(wǎng)絡(luò)的鳥類圖像。

實驗所使用的硬件環(huán)境如表2所示，此外軟件環(huán)境為Ubuntu16.04、Python、TensorFlow、TFrecords等。

表2 實驗硬件環(huán)境配置

3.2 模型訓(xùn)練

在進(jìn)行模型訓(xùn)練前，需要對數(shù)據(jù)集進(jìn)行預(yù)處理，在模型中進(jìn)行識別圖像為切片后圖像，因此將每張1920×1080像素的圖像用6×6的網(wǎng)格劃分為36張像素為320×180像素的圖像，共得到288000張圖像，再從中隨機(jī)等比例的選出正負(fù)樣本圖片8000張，按7∶1的比例劃分為訓(xùn)練集和測試集，即7000張訓(xùn)練集，1000張測試集，同時對圖片進(jìn)行標(biāo)注。

在模型訓(xùn)練中，超參數(shù)的設(shè)置對模型效果有著很大的影響，在經(jīng)過多次調(diào)整后，設(shè)置批次大小為64，初始學(xué)習(xí)率為0.001，為了防止網(wǎng)絡(luò)陷入局部最小，學(xué)習(xí)率隨著訓(xùn)練逐步減少，學(xué)習(xí)率最終值是0.0001，迭代次數(shù)為10000次，訓(xùn)練過程中l(wèi)oss值的變化如圖5所示。

圖5 loss值變化曲線圖

由圖5可知，模型迭代到4000次時開始收斂，在6000次左右loss值穩(wěn)定在0.3左右，不再有明顯的變化，所以本實驗選取迭代次數(shù)為6000次的模型進(jìn)行測試。

3.3 模型測試及效果

為了進(jìn)一步驗證模型的性能，本實驗中用精確率（Precision）和召回率（Recall）作為模型評價指標(biāo)。從測試集中隨機(jī)抽取500張圖片進(jìn)行10次測試，并計算精確率和召回率，結(jié)果如表3所示。

表3 測試實驗結(jié)果

從測試結(jié)果可知，該模型具有較好的穩(wěn)定性、實時性及準(zhǔn)確性，精確率在97%左右小幅波動，綜上所述該模型達(dá)到了應(yīng)用于輸電線路鳥類檢測任務(wù)的準(zhǔn)確性要求。

最后，對輸電線路鳥類檢測模型進(jìn)行測試，該模型部署在驅(qū)鳥器嵌入式主板上，硬件參數(shù)為CPU：聯(lián)發(fā)科MT6750CT 8核心ARM A53 1.5Hz，內(nèi)存：4GB LPDDR3 667MHz，存儲：16GB eMMC5.1，操作系統(tǒng)：Android 7.0。在實驗中，采用來自8個不同位置的攝像頭在實際場景中采集的視頻數(shù)據(jù)進(jìn)行測試，圖像抽取間隔為2min，經(jīng)測試模型平均精度達(dá)到85%，一張分辨率為1920×1080像素的圖片的平均檢測時間為9.7s，其中精度降低主要是由于數(shù)據(jù)集的內(nèi)容及圖像差值計算算法的影響。由實驗可知，本文提出的輸電線路鳥類檢測模型，可以滿足輸電線路鳥類檢測任務(wù)所需的準(zhǔn)確性和實時性要求。

4 結(jié)語

針對輸電線路的鳥害問題，本文提出了一種基于圖像切片的移動端鳥類檢測算法。為了實現(xiàn)移動端的鳥類識別，首先采用對比算法篩選出可能包含鳥的圖像，然后對這些圖像進(jìn)行切片，對切片先采用對比算法篩選可能有鳥的切片，然后再對這些切片采用ResNet18進(jìn)行識別，降低了檢測時間，提高了檢測精度，從實驗結(jié)果可知，ResNet18分類模型在輸電線路鳥類檢測任務(wù)中有著較好的準(zhǔn)確性和穩(wěn)定性。同時，本文提出的輸電線路鳥類檢測模型可運行在移動端嵌入式主板中，實現(xiàn)了鳥的實時檢測，避免了數(shù)據(jù)傳輸帶來的時延影響，具有較好的準(zhǔn)確性和實時性，滿足輸電線路鳥類檢測任務(wù)所需的基本要求。