王 南，徐世超，歐陽超，高 峰，3，魏昊焜，馬 磊，楊 彪

（1.國網(wǎng)陜西電力科學(xué)研究院，陜西西安 710100；2.哈爾濱工業(yè)大學(xué)（深圳）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東深圳 518055；3.西安交通大學(xué)，陜西西安 710048；4.江蘇復(fù)迪電氣科技有限公司，江蘇南通 226253；5.哈爾濱工業(yè)大學(xué)（深圳）建筑學(xué)院，廣東深圳 518055）

0 引言

電力網(wǎng)絡(luò)作為重要的能源輸送和配置平臺(tái)負(fù)責(zé)電力系統(tǒng)的穩(wěn)定運(yùn)行[1]。隨著智能電網(wǎng)技術(shù)快速發(fā)展，監(jiān)控?cái)z像機(jī)、無人機(jī)等自動(dòng)化設(shè)備被廣泛用于監(jiān)控電網(wǎng)的安全狀態(tài)[2-4]。傳統(tǒng)的監(jiān)控方式需要大量人員參與，人力成本增加的同時(shí)也存在監(jiān)控效率低下等問題[5-8]。因此，借助圖像識(shí)別技術(shù)對(duì)電網(wǎng)基礎(chǔ)設(shè)施進(jìn)行實(shí)時(shí)監(jiān)控，針對(duì)潛在風(fēng)險(xiǎn)劃分等級(jí)并及時(shí)預(yù)警對(duì)提高電網(wǎng)的安全性和巡檢效率有重要作用[9-10]。

基于計(jì)算機(jī)視覺的圖像識(shí)別模型[11-16]發(fā)展迅速，如深度殘差網(wǎng)絡(luò)系列模型[17-20]在物體識(shí)別等通用任務(wù)上效果較好。預(yù)警分類任務(wù)需要根據(jù)電網(wǎng)設(shè)施所處的環(huán)境預(yù)測(cè)發(fā)生潛在危險(xiǎn)的幾率，并從低到高給出無預(yù)警、藍(lán)、黃、橙和紅5 類預(yù)警級(jí)別，比物體識(shí)別等通用任務(wù)更加復(fù)雜。同時(shí)，由于監(jiān)控?cái)z像機(jī)采集到的大多是藍(lán)和橙預(yù)警級(jí)別的圖像，因此，預(yù)警分類任務(wù)的數(shù)據(jù)集存在嚴(yán)重的類別不平衡[21]現(xiàn)象。

現(xiàn)有模型較難解決類別分布不平衡的問題[22-24]，在訓(xùn)練過程中容易產(chǎn)生過擬合現(xiàn)象。模型對(duì)數(shù)據(jù)集頭部數(shù)量較多的圖像識(shí)別準(zhǔn)確率較高，但是較難識(shí)別尾部數(shù)量較少的圖像。此外，現(xiàn)有模型不能很好地克服電網(wǎng)場(chǎng)景復(fù)雜多變[25]的情況，容易產(chǎn)生錯(cuò)誤的預(yù)警分類結(jié)果，導(dǎo)致總體準(zhǔn)確率偏低。

針對(duì)此類問題，本文借鑒雙分支網(wǎng)絡(luò)[26]的思想提出了一種雙分支的預(yù)警識(shí)別模型，提高對(duì)尾部類圖像的分類能力。同時(shí)，本文在模型中使用融合動(dòng)態(tài)卷積和Inception 結(jié)構(gòu)[27]的動(dòng)態(tài)特征集成模塊，在提高特征提取能力和多尺度感知能力的同時(shí)，針對(duì)不同場(chǎng)景的圖像賦予不同的關(guān)注度，克服復(fù)雜場(chǎng)景對(duì)分類的干擾問題，提高預(yù)警的準(zhǔn)確率。最后，本文提出了基于Sigmoid 函數(shù)的分支融合策略，各分支權(quán)重在訓(xùn)練過程中按Sigmoid 型函數(shù)動(dòng)態(tài)改變。所提策略有效地融合了2 個(gè)分支的特征，進(jìn)而提高總體的分類準(zhǔn)確率。

1 預(yù)警識(shí)別模型及雙分支結(jié)構(gòu)

1.1 預(yù)警識(shí)別模型原理

圖像分類問題作為計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)發(fā)展迅速。從樂存手寫字體識(shí)別網(wǎng)絡(luò)（簡(jiǎn)稱LeNet）[12]發(fā)展到深度殘差網(wǎng)絡(luò)（簡(jiǎn)稱ResNet）[17]，通用圖像分類模型的精度得到了極大提升。然而，由于電網(wǎng)場(chǎng)景圖像的分辨率高，施工車輛等入侵目標(biāo)以及電網(wǎng)設(shè)施的尺度較小，這些模型在電網(wǎng)場(chǎng)景下的效果不佳。針對(duì)上述問題，基于從局部到全局感知的預(yù)警識(shí)別網(wǎng)絡(luò)（簡(jiǎn)稱EWNet）[25]進(jìn)行了初步的研究。

EWNet 針對(duì)圖像分辨率高，入侵目標(biāo)尺度較小的特點(diǎn)提出了從局部到全局感知的預(yù)警分類模型。模型分為局部響應(yīng)器、特征集成模塊（Feature Integration Module，F(xiàn)IM）和全局分類器3 部分。局部響應(yīng)器的輸入為存在入侵目標(biāo)的局部像素塊，負(fù)責(zé)提取局部區(qū)域和入侵目標(biāo)的特征。EWNet 中使用ResNet 作為局部響應(yīng)器；FIM 用于對(duì)局部響應(yīng)器提取的特征進(jìn)行多尺度特征融合。FIM 由3 種Inception 結(jié)構(gòu)組成，3 種結(jié)構(gòu)的卷積核尺寸分別為3×3，5×5 和7×7，能夠有效捕捉不同尺度的特征；全局分類器由帶有隨機(jī)失活模塊（Dropout）的全連接層組成。FIM 的輸出通過全局平均池化層和全局分類器，最終輸出整張圖像的預(yù)警級(jí)別。

1.2 雙分支結(jié)構(gòu)

雙分支網(wǎng)絡(luò)（Bilateral-Branch Network，BBN）[26]為緩解類別不平衡問題提出了雙分支結(jié)構(gòu)，結(jié)構(gòu)由傳統(tǒng)學(xué)習(xí)分支和重平衡分支組成。傳統(tǒng)學(xué)習(xí)分支的輸入來自均勻采樣器，保留了原始分布的特征。重平衡分支采用反向采樣器提高尾部類的抽樣概率，使尾部數(shù)據(jù)得到充分訓(xùn)練。

為使2 個(gè)分支得到充分訓(xùn)練，BBN 提出累積學(xué)習(xí)策略。傳統(tǒng)學(xué)習(xí)分支的權(quán)重隨訓(xùn)練輪數(shù)增加逐漸減小，而重平衡分支的權(quán)重逐漸增大。由此，模型的訓(xùn)練重心從傳統(tǒng)學(xué)習(xí)分支轉(zhuǎn)移到重平衡分支，從而提高尾部類的識(shí)別準(zhǔn)確率。累計(jì)學(xué)習(xí)策略的權(quán)重計(jì)算公式為：

式中：ε為傳統(tǒng)學(xué)習(xí)分支權(quán)重；T為當(dāng)前訓(xùn)練輪數(shù)；Tmax為最大訓(xùn)練輪數(shù)。

2 基于雙分支結(jié)構(gòu)改進(jìn)的預(yù)警識(shí)別網(wǎng)絡(luò)

2.1 基本框架

本文提出的雙分支預(yù)警識(shí)別網(wǎng)絡(luò)（Bilateral-Branch Early Warning Classification Network，BEWNet）分為隨機(jī)采樣分支和加權(quán)重采樣分支。每個(gè)分支有各自的采樣器，隨機(jī)采樣分支使用傳統(tǒng)的隨機(jī)抽樣采樣器，而加權(quán)重采樣分支使用增加尾部類圖像采樣概率的采樣器。通過不同的采樣策略使2 個(gè)分支的輸入具有不同的數(shù)據(jù)分布，以此負(fù)責(zé)不同預(yù)警級(jí)別的分類任務(wù)。

每個(gè)分支由3 個(gè)部分組成，分別為骨干網(wǎng)絡(luò)、動(dòng)態(tài)特征集成模塊（Dynamic Feature Integration Module，DFIM）和全局分類器。2 個(gè)分類器采用不同的采樣策略獲取各自分支的輸入圖像后，將圖像輸入骨干網(wǎng)絡(luò)。骨干網(wǎng)絡(luò)連接各自分支的動(dòng)態(tài)特征集成模塊，由該模塊得到輸入圖像的特征表示，其流程如式（2）所示：

式中：I為輸入圖像；F為骨干網(wǎng)絡(luò)；D為動(dòng)態(tài)特征集成模塊；fD為圖像I經(jīng)動(dòng)態(tài)特征集成模塊后的特征表示。

本文使用多路加和的深度殘差網(wǎng)絡(luò)（簡(jiǎn)稱ResNeXt50）[19]作為骨干網(wǎng)絡(luò)，2 個(gè)分支的骨干網(wǎng)絡(luò)共享權(quán)重參數(shù)，以加快推理速度、減少模型的訓(xùn)練參數(shù)，并且可以利用隨機(jī)采樣分支的特征加強(qiáng)加權(quán)重采樣分支的特征。

雙分支預(yù)警識(shí)別網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示，其中，Inception1，Inception2 和Inception3 分別代表使用3×3，5×5 和7×7 卷積核的Inception 結(jié)構(gòu)；I為隨機(jī)采樣分支權(quán)重；1-I為加權(quán)重采樣分支權(quán)重；Ir為隨機(jī)采樣分支的輸入圖像；Iw為加權(quán)重采樣分支的輸入圖像。

圖1 雙分支預(yù)警識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of bilateral-branch early warning classification framework

2.2 基于動(dòng)態(tài)卷積的特征集成模塊

電網(wǎng)場(chǎng)景下，入侵目標(biāo)的尺寸大小不一，且有相當(dāng)數(shù)量的小尺寸目標(biāo)。小尺寸目標(biāo)在進(jìn)行圖像縮放或者卷積操作時(shí)會(huì)造成信息丟失[28-30]。此外，電網(wǎng)圖像中的背景多為被草木覆蓋的山地或者遍布房屋的鄉(xiāng)鎮(zhèn)，施工車輛等入侵目標(biāo)混雜在復(fù)雜的背景中容易被忽略。

針對(duì)這些問題，本文改進(jìn)了EWNet 的特征集成模塊，設(shè)計(jì)了DFIM。DFIM 在Inception 結(jié)構(gòu)的基礎(chǔ)上通過動(dòng)態(tài)卷積[31]融入注意力機(jī)制。

Inception 結(jié)構(gòu)使用不同大小的卷積核，其感受野大小不同，因而可以在多個(gè)尺度上提取圖像特征。同時(shí)，DFIM 在不同Inception 結(jié)構(gòu)的連接處使用帶有注意力機(jī)制的動(dòng)態(tài)卷積。動(dòng)態(tài)卷積擁有多個(gè)并行的卷積核，并在這些卷積核上引入了注意力機(jī)制。對(duì)于不同的輸入圖像，注意力機(jī)制生成不同的卷積核權(quán)重。這些卷積核通過加權(quán)融合組裝在一起作用于特征圖上。因此，動(dòng)態(tài)卷積可以將不同的權(quán)重賦予不同感受野的卷積核，在Inception 結(jié)構(gòu)的基礎(chǔ)上進(jìn)一步增強(qiáng)了模型對(duì)于不同尺度的目標(biāo)的感知能力。由于注意力機(jī)制的非線性，這些卷積核融合后的表征能力更強(qiáng)。同時(shí)，動(dòng)態(tài)卷積雖有多個(gè)卷積核，但相比于多個(gè)卷積核的直接拼接，動(dòng)態(tài)卷積只增加了少量的計(jì)算開銷（即浮點(diǎn)運(yùn)算次數(shù)）。

動(dòng)態(tài)卷積的結(jié)構(gòu)如圖2 所示。其中，If為Inception 結(jié)構(gòu)提取出的特征；Ou為輸出；ReLu 為線性整流激活函數(shù)；Πs（s=1，2…k）為softmax 函數(shù)的輸出值。

圖2 動(dòng)態(tài)卷積結(jié)構(gòu)圖Fig.2 Structure of dynamic convolution

電網(wǎng)圖像經(jīng)過骨干網(wǎng)絡(luò)提取特征后，DFIM 利用不同卷積核對(duì)特征圖進(jìn)行多尺度處理，在一定程度上提高了模型處理復(fù)雜背景的能力。同時(shí)，借助注意力機(jī)制，DFIM 對(duì)圖像中存在潛在風(fēng)險(xiǎn)的局部區(qū)域具有更高的關(guān)注度。

2.3 雙分支結(jié)構(gòu)采樣器

電網(wǎng)場(chǎng)景下，監(jiān)控?cái)z像機(jī)自然采集到的圖像大多集中于藍(lán)和橙預(yù)警級(jí)別，對(duì)于其它預(yù)警級(jí)別的圖像數(shù)據(jù)采集困難。因此，訓(xùn)練預(yù)警分類任務(wù)的數(shù)據(jù)集存在嚴(yán)重的類別不平衡現(xiàn)象。

針對(duì)此問題，本文設(shè)計(jì)了帶有隨機(jī)采樣分支和加權(quán)重采樣分支的雙分支結(jié)構(gòu)（Bilateral-Branch Structure，BBS）。隨機(jī)采樣分支采用隨機(jī)采樣器，所有圖像等概率地參與訓(xùn)練。由于在電網(wǎng)場(chǎng)景下不同預(yù)警級(jí)別的圖像數(shù)量分布不平衡，所以隨機(jī)采樣分支對(duì)圖像數(shù)量多的預(yù)警級(jí)別更加敏感，而忽略了部分?jǐn)?shù)量少但潛在風(fēng)險(xiǎn)更大的高預(yù)警級(jí)別圖像。

加權(quán)重采樣分支聚焦于隨機(jī)采樣分支中采樣率較低的類別。對(duì)于預(yù)警級(jí)別為i的圖像，其在加權(quán)重采樣分支中的采樣概率pi如式（3）所示：

式中：ωi=1/ni，ωj=1/nj，ni,nj為預(yù)警級(jí)別為i，j的圖像在訓(xùn)練集中的數(shù)量；C=5，為預(yù)警級(jí)別的數(shù)量。由此可見，加權(quán)重采樣分支中尾部類圖像參與訓(xùn)練的概率更大，該分支對(duì)尾部類圖像的表征能力也更強(qiáng)。

2.4 基于Sigmoid函數(shù)的分支融合策略

雙分支結(jié)構(gòu)具有多目標(biāo)學(xué)習(xí)的特點(diǎn)，隨機(jī)采樣分支對(duì)通用特征的表征能力更強(qiáng)，加權(quán)重采樣分支更加關(guān)注尾部類的特征。由于2 個(gè)分支的表征能力各有側(cè)重，直接加和等簡(jiǎn)單的融合方式容易使某個(gè)分支的性能大幅下降，進(jìn)而降低整體的分類準(zhǔn)確率。

本文設(shè)計(jì)了基于Sigmoid 函數(shù)的分支融合策略（Sigmoid Increment，SI），模型對(duì)訓(xùn)練集訓(xùn)練的輪數(shù)（epoch）確定了2 個(gè)分支進(jìn)行特征融合的權(quán)重。設(shè)隨機(jī)采樣分支的權(quán)重為I，加權(quán)重采樣分支的權(quán)重為1-I。隨機(jī)采樣分支權(quán)重I隨訓(xùn)練次數(shù)的增加而增大，在訓(xùn)練過程中按Sigmoid 型函數(shù)動(dòng)態(tài)改變，具體計(jì)算公式為：

式中：α為控制隨機(jī)采樣分支權(quán)重I上界的系數(shù)，本文取0.85；β為控制權(quán)重I從0 變到1 的步伐的系數(shù)，本文取5。

訓(xùn)練結(jié)束后，隨機(jī)采樣分支的權(quán)重為α，加權(quán)重采樣分支的權(quán)重為1-α。α越大，訓(xùn)練結(jié)束后隨機(jī)采樣分支占的權(quán)重越大；β越大，步伐越大，2 個(gè)分支進(jìn)行融合訓(xùn)練的輪數(shù)越少，單獨(dú)訓(xùn)練的時(shí)間越長(zhǎng)。

如圖1 所示，隨機(jī)采樣分支的輸入圖像Ir和加權(quán)重采樣分支的輸入圖像Iw經(jīng)過骨干網(wǎng)絡(luò)、DFIM和全局平均池化層，分別得到特征向量fr和fw。在融合階段，2 個(gè)分支使用各自權(quán)重對(duì)特征向量以元素相加的形式進(jìn)行加權(quán)融合。其融合公式為：

式中：W為全局分類器向量；p∈in為預(yù)測(cè)輸出向量；?n為實(shí)數(shù)域。

在訓(xùn)練初期，隨機(jī)采樣分支的權(quán)重接近0。由于尾部類特征較難學(xué)習(xí)，借助Sigmoid 型函數(shù)的飽和區(qū)，模型主要進(jìn)行尾部類特征的學(xué)習(xí)，這一階段受β影響。此后進(jìn)入特征融合階段，訓(xùn)練重心逐漸從加權(quán)重采樣分支轉(zhuǎn)移到隨機(jī)采樣分支。

與其它分支融合策略，例如分支權(quán)重相等的分支融合策略（Equal Weight，EW）、基于線性函數(shù)的分支融合策略（Linear Increment，LI）、基于拋物線型函數(shù)的分支融合策略（Parabolic Increment，PI）相比，SI 優(yōu)點(diǎn)為：Sigmoid 函數(shù)在其值域（0，1）區(qū)間內(nèi)具有2 段變化速率較為平緩的區(qū)域。其中，在第1段區(qū)域，模型可以充分學(xué)習(xí)并微調(diào)尾部類特征，而不會(huì)因?yàn)闄?quán)重變化速率過大導(dǎo)致尾部類特征未得到充分學(xué)習(xí)時(shí)，模型就已經(jīng)側(cè)重于學(xué)習(xí)通用特征；同理，在第2 段區(qū)域，模型可以充分學(xué)習(xí)通用特征，并能將尾部類特征和通用特征進(jìn)行有效融合。

2.5 雙分支加權(quán)融合的交叉熵?fù)p失

本文提出的BEWNet 采用雙分支加權(quán)融合的交叉熵?fù)p失（Bilateral Weighted Cross Entropy Loss，BWCEL）作為損失函數(shù)。與單分支結(jié)構(gòu)的模型不同，雙分支模型在訓(xùn)練階段需要同時(shí)輸入2 張圖像，這2 張圖像相互獨(dú)立，可能具有不同的預(yù)警級(jí)別。BWCEL 結(jié)合2 張圖像的預(yù)警級(jí)別以及2 個(gè)分支各自的權(quán)重計(jì)算損失，以此實(shí)現(xiàn)2 個(gè)分支同時(shí)訓(xùn)練。BWCEL 如式（6）所示：

式中：L為BWCEL；yr為Ir的預(yù)警級(jí)別；yw為Iw的預(yù)警級(jí)別；LC為交叉熵?fù)p失函數(shù)，如式（7）所示：

式中：y為圖像的預(yù)警級(jí)別；My為類別y的預(yù)測(cè)輸出值；Mt為類別t的預(yù)測(cè)輸出值。

傳統(tǒng)的交叉熵?fù)p失函數(shù)使分類器關(guān)注單張輸入圖像的預(yù)警級(jí)別。而在BEWNet 中，需要同時(shí)兼顧2 張圖像的預(yù)警級(jí)別及雙分支權(quán)重。BWCEL 能使2 個(gè)分支同時(shí)得到充分訓(xùn)練，從而使模型的全局分類器具有更強(qiáng)的分類能力。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用的數(shù)據(jù)集EWSPG1.0[25]采集自安裝在電網(wǎng)基礎(chǔ)設(shè)施上的監(jiān)控?cái)z像頭，共采集到8 968 張圖像，圖像分辨率為1 200×900。數(shù)據(jù)集根據(jù)圖像中的潛在風(fēng)險(xiǎn)從低到高定義了無預(yù)警、藍(lán)、黃、橙、紅5 個(gè)預(yù)警級(jí)別。含有火災(zāi)的圖像的預(yù)警級(jí)別為紅。由于火災(zāi)圖像采集難度較大，數(shù)據(jù)集共合成3 195 張帶有火災(zāi)的圖像。加上合成數(shù)據(jù)，數(shù)據(jù)集共有12 163 張圖像。其中，9 654 張圖像作為訓(xùn)練集，2 459 張圖像作為測(cè)試集。數(shù)據(jù)集中各預(yù)警級(jí)別圖像的數(shù)量統(tǒng)計(jì)如表1 所示。

表1 預(yù)警級(jí)別樣本數(shù)量統(tǒng)計(jì)表Table 1 Table of sample numbers with different early warning levels 張

3.2 對(duì)比實(shí)驗(yàn)

本文提出的BEWNet 主要包括BBS，SI 及DFIM。為證明BEWNet 在性能上的優(yōu)越性，以分類準(zhǔn)確率和推理速度作為性能指標(biāo)進(jìn)行了對(duì)比實(shí)驗(yàn)，推理速度單位為幀每秒（Frames Per Second，F(xiàn)PS）。其中，EWNet 做了額外的數(shù)據(jù)增廣操作（Data augmentation，DA）。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 不同模型結(jié)構(gòu)在電網(wǎng)數(shù)據(jù)集上的性能比較Table 2 Performance comparison of different models on grid dataset

從表2 可知，EWNet 使用ResNeXt50 作為骨干網(wǎng)絡(luò)時(shí)的性能最好，其分類準(zhǔn)確率為70.80%；本文提出的BEWNet 在同樣使用ResNeXt50 的情況下分類準(zhǔn)確率為71.98%，且使用ResNet50 時(shí)取得最高的分類準(zhǔn)確率，為72.67%。無論骨干網(wǎng)絡(luò)使用哪種網(wǎng)絡(luò)，相同條件下BEWNet 的分類準(zhǔn)確率均高于EWNet。在推理速度方面，BEWNet 相對(duì)于EWNet 并未下降過多，維持了分類準(zhǔn)確率和推理速度的平衡。

圖3 為最優(yōu)性能下BEWNet 和EWNet 模型的宏觀及微觀的受試者工作特征（Receiver Operating Characteristic，ROC）曲線對(duì)比圖。其中，曲線下方與坐標(biāo)軸圍成的面積記為AUC（Area Under the Curve）。從圖3 可知，本文所提模型在宏觀ROC 曲線下的AUC 值為0.815，在微觀ROC 曲線下的AUC 值為0.911，相比EWNet 模型均有所提升。

圖3 EWNet和BEWNet的ROC曲線對(duì)比Fig.3 Comparison of ROC curves between EWNet and BEWNet

本文針對(duì)不同預(yù)警級(jí)別對(duì)最優(yōu)性能下的EWNet 和BEWNet 模型做了進(jìn)一步的分析，并繪制出各個(gè)預(yù)警級(jí)別下的宏觀ROC 曲線，如圖4 所示。從圖4 可知，BEWNet 模型在藍(lán)預(yù)警級(jí)別下的AUC值由0.816 提升至0.826，在無預(yù)警等數(shù)量較少的預(yù)警級(jí)別下也均取得AUC 值的提升。證明了BEWNet 在尾部類的識(shí)別性能上更具優(yōu)勢(shì)。

圖4 EWNet和BEWNet在不同預(yù)警級(jí)別下的ROC曲線對(duì)比Fig.4 Comparison of ROC curves of EWNet and BEWNet with different early warning levels

3.3 消融實(shí)驗(yàn)

本文以EWNet為基準(zhǔn)模型（Baseline），對(duì)BEWNet 進(jìn)行了多組消融實(shí)驗(yàn)分析。如表3 所示，在消融實(shí)驗(yàn)中以ResNet50 為骨干網(wǎng)絡(luò)，通過對(duì)改進(jìn)的模塊進(jìn)行不同的組合對(duì)模型各個(gè)改進(jìn)模塊的有效性進(jìn)行分析。其中，√表示該組實(shí)驗(yàn)中使用了相應(yīng)的改進(jìn)模塊，×表示該組實(shí)驗(yàn)中未使用相應(yīng)的改進(jìn)模塊。

表3 ResNet50為骨干網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiments based on ResNet50

為證明BEWNet 所改進(jìn)的模塊帶來的性能提升具有普適性，本文以ResNeXt50 為骨干網(wǎng)絡(luò)，通過增量添加各模塊的形式進(jìn)行消融實(shí)驗(yàn)分析，如表4 所示。

表4 ResNeXt50為骨干網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation experiments based on ResNeXt50

通過消融實(shí)驗(yàn)可知，添加各改進(jìn)模塊后，模型的性能逐步提升。同時(shí)使用3 個(gè)改進(jìn)模塊的模型達(dá)到了最好的分類效果，由此證明了本文提出的各模塊的有效性。

此外，為緩解類別不平衡問題，EWNet 做了額外的數(shù)據(jù)增廣工作。而本文提出的BEWNet 無需進(jìn)行數(shù)據(jù)增廣，且在分類準(zhǔn)確率上有所提升。

3.4 雙分支融合策略及分支有效性分析

為證明改進(jìn)的融合策略的有效性，本文在雙分支融合階段進(jìn)行了不同的策略研究，包括EW，LI，PI 和SI。實(shí)驗(yàn)以ResNeXt50 為骨干網(wǎng)絡(luò)。為避免動(dòng)態(tài)集成模塊帶來的影響，實(shí)驗(yàn)在未使用動(dòng)態(tài)集成模塊的雙分支模型上進(jìn)行。

如表5 所示，采用不同的融合策略會(huì)給模型性能帶來不同影響，且性能變化較為明顯。說明融合策略對(duì)于雙分支模型是重要的。模型使用SI 時(shí)達(dá)到了71.23%的分類準(zhǔn)確率，證明了SI 的有效性。

表5 融合策略實(shí)驗(yàn)結(jié)果Table 5 Experiments results of fusion strategy

為了進(jìn)一步研究雙分支結(jié)構(gòu)中2 個(gè)分支的作用，本文通過多次改變2 個(gè)分支的權(quán)重進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過程使用ResNeXt50 作為骨干網(wǎng)絡(luò)，并繪制了混淆矩陣?；煜仃嚍槊總€(gè)類的預(yù)測(cè)結(jié)果，其中，Pre 為預(yù)測(cè)值，GT 為真值。首先將2 個(gè)分支的權(quán)重設(shè)為0.5，此時(shí)分類準(zhǔn)確率為71.43%，混淆矩陣如表6 所示。

表6 隨機(jī)采樣分支權(quán)重為0.5時(shí)的混淆矩陣Table 6 Confusion matrix when the weight of random sampling branch is 0.5

相比于原來71.98%的準(zhǔn)確率，調(diào)整權(quán)重后準(zhǔn)確率下降了0.55%，沒有造成模型性能的顯著下降。然后將隨機(jī)采樣分支的權(quán)重設(shè)為0.25，加權(quán)重采樣分支設(shè)為0.75。在此設(shè)置下，模型的分類準(zhǔn)確率為67.67%，混淆矩陣結(jié)果如表7 所示。

表7 隨機(jī)采樣分支權(quán)重為0.25時(shí)的混淆矩陣Table 7 Confusion matrix when the weight of random sampling branch is 0.25

當(dāng)隨機(jī)采樣分支的權(quán)重設(shè)為0 時(shí)，混淆矩陣結(jié)果如表8 所示，此時(shí)分類準(zhǔn)確率為64.82%，模型性能顯著下降。這證明了隨機(jī)采樣分支對(duì)頭部類的表征能力較強(qiáng)。

表8 隨機(jī)采樣分支權(quán)重為0時(shí)的混淆矩陣Table 8 Confusion matrix when the weight of random sampling branch is 0

由表6—8 可知，隨著加權(quán)重采樣分支權(quán)重的升高，頭部類的分類效果會(huì)下降，但尾部類的分類效果得到提升。由此可知，加權(quán)重采樣分支的確能提取到隨機(jī)采樣分支忽略的尾部類特征，具備一定的尾部類數(shù)據(jù)的表征能力。

4 結(jié)語

針對(duì)電網(wǎng)場(chǎng)景下外部入侵目標(biāo)的預(yù)警識(shí)別問題，本文提出了一種雙分支結(jié)構(gòu)的預(yù)警識(shí)別模型。模型利用不同的采樣器提高了尾部類圖像的采樣概率，在不使用增廣數(shù)據(jù)的情況下取得分類準(zhǔn)確率的提升。同時(shí)，針對(duì)電網(wǎng)圖像中背景復(fù)雜及車輛等外部入侵目標(biāo)尺度大小不一的問題，結(jié)合Inception結(jié)構(gòu)和動(dòng)態(tài)卷積操作提出了動(dòng)態(tài)特征集成模塊。

此外，提出了基于Sigmoid 函數(shù)的分支融合策略和基于加權(quán)融合的交叉熵?fù)p失函數(shù)，并分析了雙分支結(jié)構(gòu)的各類融合策略的有效性以及雙分支結(jié)構(gòu)對(duì)尾部類數(shù)據(jù)提取的有效性。

本文提出的模型的分類準(zhǔn)確率為72.67%，高于其它對(duì)比模型。同時(shí)，本文通過消融實(shí)驗(yàn)驗(yàn)證了各個(gè)模塊的有效性。本模型可提前感知電網(wǎng)周圍的潛在風(fēng)險(xiǎn)并給出預(yù)警級(jí)別，在保障電網(wǎng)安全運(yùn)行方面有重要意義。