李良超, 劉海軍*, 單維鋒, 雷東興, 袁靜,陳俊, 王浩然, 袁國(guó)銘

1 防災(zāi)科技學(xué)院, 河北廊坊 065201

2 安徽省地震局, 合肥 230031

0 引言

地磁學(xué)是以觀測(cè)為基礎(chǔ)的學(xué)科,地磁觀測(cè)數(shù)據(jù)是開(kāi)展地球基本磁場(chǎng)變化規(guī)律、震磁關(guān)系及地震預(yù)報(bào)等領(lǐng)域研究工作的基礎(chǔ)(姚休義,2015;姚休義等,2018)．我國(guó)已經(jīng)建成了數(shù)字化地磁前兆觀測(cè)網(wǎng)絡(luò),積累了大量的地磁時(shí)變觀測(cè)數(shù)據(jù)(姚休義等,2018)．高壓直流(High Voltage Direct Current,HVDC)輸電技術(shù)以其輸電損耗低和輸電距離遠(yuǎn)等優(yōu)點(diǎn),在電網(wǎng)建設(shè)中廣泛使用．高壓直流輸電線和換流站周圍會(huì)產(chǎn)生干擾磁場(chǎng),這種干擾信號(hào)與地磁場(chǎng)正常信號(hào)一起被儀器記錄下來(lái)(戴琛,2008;于長(zhǎng)春等,2011)．這種干擾磁場(chǎng)疊加在正常磁場(chǎng)之上,形成高壓直流輸電干擾．識(shí)別并清除地磁時(shí)變觀測(cè)數(shù)據(jù)中的高壓直流輸電干擾,得到干凈的地磁時(shí)變觀測(cè)數(shù)據(jù)十分重要．由于高壓直流輸電干擾持續(xù)時(shí)間長(zhǎng)短各異、干擾形態(tài)不一(楊興悅等, 2020),在海量地磁時(shí)變觀測(cè)數(shù)據(jù)中,其準(zhǔn)確識(shí)別十分困難．

目前高壓直流輸電干擾事件識(shí)別方法主要有三類：(1)基于統(tǒng)計(jì)的方法(陳俊等,2014;楊學(xué)慧等,2020);(2)基于機(jī)器學(xué)習(xí)(Fan et al.,2022;Li,2016;Hsu et al.,2015)的方法;(3)基于深度學(xué)習(xí)的方法(Wang et al.,2017;Cui et al.,2016)．基于統(tǒng)計(jì)的方法主要包括一階差分、快速傅里葉變換、小波變換等方法．陳俊等(2014)通過(guò)挑選輸電線兩側(cè)的臺(tái)站作為基準(zhǔn)臺(tái)站,利用一階差分計(jì)算觀測(cè)值與基準(zhǔn)臺(tái)站的差值,當(dāng)差值達(dá)到閾值時(shí),將其識(shí)別為高壓直流輸電干擾,利用該方法識(shí)別高壓直流輸電干擾,其準(zhǔn)確率達(dá)到了95%．楊學(xué)慧等(2020)使用一階差分、參考分量斜率反算和線性插值等方法形成了一套自動(dòng)識(shí)別地磁干擾的方法．基于統(tǒng)計(jì)方法的高壓直流輸電干擾識(shí)別方法均需要選擇基準(zhǔn)臺(tái)站作為背景場(chǎng),將地磁時(shí)變觀測(cè)數(shù)據(jù)與背景場(chǎng)進(jìn)行對(duì)比、統(tǒng)計(jì),該類方法需要假設(shè)基準(zhǔn)臺(tái)站不受干擾,但對(duì)于很多地區(qū)來(lái)說(shuō),選擇合適的基準(zhǔn)臺(tái)站十分困難．基于機(jī)器學(xué)習(xí)算法有支持向量機(jī)(Support Vector Machine, SVM)、動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping,DTW)、公共主成分分析等．Fan等(2022)使用帶有徑向基函數(shù)核函數(shù)的SVM設(shè)計(jì)了一個(gè)干擾識(shí)別模型．Hsu等(2015)提出動(dòng)態(tài)時(shí)間規(guī)整算法,通過(guò)伸縮時(shí)間序列匹配計(jì)算兩個(gè)時(shí)間序列之間的相似度來(lái)識(shí)別干擾波形．Li(2016)提出了一種基于公共主成分分析的多元時(shí)間序列準(zhǔn)確高效的分類方法,試驗(yàn)結(jié)果表明該方法處理不同長(zhǎng)度的多元時(shí)間序列更靈活和高效．王靜等(2020)提出基于離散Gabor變換的磁暴識(shí)別算法．首先對(duì)地磁數(shù)據(jù)進(jìn)行Gabor變換得到Gabor譜圖,然后選擇Gabor譜圖的均值和方差作為特征,最后通過(guò)SVM實(shí)現(xiàn)對(duì)正常樣本和磁暴樣本的自動(dòng)分類識(shí)別．算法對(duì)榆林等4個(gè)臺(tái)站的正常與磁暴干擾樣本進(jìn)行分類,結(jié)果表明該算法對(duì)地磁正常樣本和磁暴主相樣本識(shí)別效果更好,而磁暴的初相和恢復(fù)相樣本譜圖的特征不明顯,導(dǎo)致算法出現(xiàn)錯(cuò)誤識(shí)別,因此該算法的識(shí)別性能受到人工特征設(shè)計(jì)的局限性影響．徐鵬深等(2018)提出了一種基于信號(hào)指紋的地磁異常識(shí)別算法．該算法包含指紋提取和指紋匹配兩個(gè)階段：在指紋提取階段,采用短時(shí)傅里葉變換、小波變換和文本相似性哈希計(jì)算,將一定時(shí)間長(zhǎng)度內(nèi)的地磁波形數(shù)據(jù)轉(zhuǎn)換為指紋;在指紋匹配階段,對(duì)指紋索引進(jìn)行聚類,使得波形相似的波形具有相同的指紋．在紅山地磁臺(tái)的地磁時(shí)變觀測(cè)數(shù)據(jù)中的異常數(shù)據(jù)識(shí)別結(jié)果表明,該算法在識(shí)別干擾信號(hào)類型方面表現(xiàn)出色．對(duì)比基于統(tǒng)計(jì)方法,該方法避免了選擇基準(zhǔn)臺(tái)站的困難問(wèn)題．然而,該方法對(duì)于在指紋聚類后,異常數(shù)據(jù)的指紋類型需要人工判斷,且對(duì)于頻率單一的異常波形,需要研究者有針對(duì)的調(diào)整參數(shù)．人工干預(yù)一方面效率低下,另一方面,受研究人員主觀因素影響較大,容易出現(xiàn)漏檢、誤檢．地磁時(shí)變觀測(cè)數(shù)據(jù)屬于時(shí)間序列數(shù)據(jù),而高壓直流輸電干擾的識(shí)別屬于時(shí)間序列分類問(wèn)題．目前深度學(xué)習(xí)中的一維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(Hochreiter and Schmidhuber,1997)以其出色的自動(dòng)特征提取功能,被廣泛應(yīng)用于時(shí)間序列分類．目前應(yīng)用于時(shí)間序列分類的一維卷積神經(jīng)網(wǎng)絡(luò)主要有全卷積網(wǎng)絡(luò)模型(Full Convolutional Neural Networks,FCN)(Wang et al.,2017)、殘差神經(jīng)網(wǎng)絡(luò)(Residual Network,ResNet)(Wang et al., 2017)等．近年來(lái),國(guó)內(nèi)的研究者將深度學(xué)習(xí)技術(shù)應(yīng)用于高壓直流輸電干擾事件識(shí)別中．王軍等(2021)將地震前兆臺(tái)網(wǎng)觀測(cè)時(shí)序數(shù)據(jù)保存為圖像,通過(guò)CNN網(wǎng)絡(luò)模型自動(dòng)識(shí)別異常圖像,驗(yàn)證了CNN網(wǎng)絡(luò)應(yīng)用于異常識(shí)別的可行性．Liu等(2022)則通過(guò)支持向量機(jī)、多層感知機(jī)和CNN分別構(gòu)建了3種地磁干擾事件識(shí)別模型,結(jié)果顯示CNN模型在地磁干擾事件的準(zhǔn)確識(shí)別方面表現(xiàn)良好．本研究團(tuán)隊(duì)中的單維鋒等(2023)將卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)合起來(lái),提出了IICM-HVDCT-CNN-LSTM模型,并將其應(yīng)用于高壓直流輸電干擾識(shí)別,其識(shí)別準(zhǔn)確率達(dá)到92.94%．然而,這些深度學(xué)習(xí)模型雖然實(shí)現(xiàn)了高壓直流輸電干擾自動(dòng)特征提取,卻未考慮到干擾事件持續(xù)時(shí)間的差異,只能提取到固定時(shí)間尺度的干擾特征,導(dǎo)致模型在識(shí)別持續(xù)時(shí)間差異較大的高壓直流輸電干擾事件時(shí),準(zhǔn)確率不高．為了解決這一問(wèn)題,Cui等(2016)提出了多尺度卷積網(wǎng)絡(luò)(Multi-Scale Convolutional Neural Networks),通過(guò)等間隔降采樣的方法得到輸入樣本的多尺度表示,并將多尺度樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中自動(dòng)特征提取,并將多尺度特征融合,提高了識(shí)別的準(zhǔn)確率(Zou et al.,2019),然而,通過(guò)等間隔降采樣的方法生成多尺度數(shù)據(jù)時(shí),原始數(shù)據(jù)中的噪聲依然被保留下來(lái),這會(huì)影響模型的識(shí)別性能．

為了能自動(dòng)識(shí)別持續(xù)時(shí)間長(zhǎng)短不一的高壓直流輸電干擾事件,本文先將地磁時(shí)變觀測(cè)數(shù)據(jù)進(jìn)行多尺度表示,再對(duì)每個(gè)尺度分別進(jìn)行特征提?。紤]到數(shù)據(jù)中包含噪聲,會(huì)干擾特征提取及分類效果,為盡可能抑制數(shù)據(jù)中的噪聲,本文采用小波技術(shù)對(duì)地磁時(shí)變觀測(cè)數(shù)據(jù)進(jìn)行多尺度分解,保留每次小波分解后的低頻分量作為地磁時(shí)變觀測(cè)數(shù)據(jù)的多尺度表示．同時(shí)設(shè)計(jì)了含有多個(gè)輸入分支的卷積網(wǎng)絡(luò)模型,每個(gè)輸入分支分別接收小波分解后的不同尺度的地磁時(shí)變觀測(cè)樣本,并采用卷積層對(duì)其進(jìn)行特征提取,采用池化層對(duì)提取的特征進(jìn)行降維,并添加CBAM(Convolutional Block Attention Module)注意力機(jī)制對(duì)不同尺度的特征進(jìn)行自適應(yīng)加權(quán),最后利用全連接層和SoftMax函數(shù)進(jìn)行分類．

1 數(shù)據(jù)及其預(yù)處理

1.1 樣本制作與數(shù)據(jù)預(yù)處理

本文試驗(yàn)數(shù)據(jù)由中國(guó)地震前兆臺(tái)網(wǎng)中心提供,包含3年全國(guó)地磁時(shí)變觀測(cè)數(shù)據(jù)干擾事件處理日志．其中地磁時(shí)變觀測(cè)數(shù)據(jù)包含地磁場(chǎng)多個(gè)測(cè)項(xiàng)分量,包括水平H分量、垂直Z分量、磁偏角D分量和總強(qiáng)度F分量．蔣延林等(2014)和鮑海英等(2020)的研究工作表明,高壓直流輸電干擾主要表現(xiàn)在地磁時(shí)變觀測(cè)數(shù)據(jù)垂直Z分量上,其他分量表現(xiàn)不明顯(林秀娜等,2020)．因此,本文選擇地磁時(shí)變觀測(cè)數(shù)據(jù)垂直Z分量數(shù)據(jù)作為試驗(yàn)數(shù)據(jù)．干擾事件處理日志包含由中國(guó)地震前兆臺(tái)網(wǎng)中心標(biāo)注的干擾開(kāi)始時(shí)間、結(jié)束時(shí)間、臺(tái)站、測(cè)點(diǎn)、測(cè)項(xiàng)和干擾類別等信息．本文只對(duì)高壓直流輸電干擾事件進(jìn)行識(shí)別,因此制作樣本時(shí),干擾樣本只選擇高壓直流輸電干擾事件．

采用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別高壓直流輸電干擾事件時(shí),需要截取固定長(zhǎng)度的地磁時(shí)變觀測(cè)數(shù)據(jù)垂直Z分量作為樣本的特征x．因此,需要確定合適的樣本長(zhǎng)度,樣本長(zhǎng)度過(guò)長(zhǎng),則會(huì)導(dǎo)致計(jì)算時(shí)間復(fù)雜度過(guò)高;樣本長(zhǎng)度過(guò)短,則無(wú)法包含完整的高壓直流輸電干擾事件．本文樣本長(zhǎng)度參考單維鋒等(2023)的處理方法,對(duì)于正常地磁時(shí)變觀測(cè)樣本,選擇連續(xù)2個(gè)小時(shí)沒(méi)有任何干擾的地磁時(shí)變觀測(cè)數(shù)據(jù)垂直Z分量,對(duì)于高壓直流輸電干擾樣本,選擇從干擾事件處理日志中,包含干擾起止位置的長(zhǎng)度為2個(gè)小時(shí)的觀測(cè)數(shù)據(jù)．最終,制作高壓直流輸電干擾事件樣本和正常地磁時(shí)變觀測(cè)樣本各12896條,總計(jì)25792條樣本．

樣本制作完成后,接下來(lái)對(duì)樣本特征x和樣本的類別進(jìn)行預(yù)處理．為了提高數(shù)據(jù)的可比較性,本文對(duì)特征x采用z-score進(jìn)行規(guī)范化處理,如公式(1)所示：

(1)

其中,xi為第i個(gè)樣本的特征,x′i為特征規(guī)范化后第i個(gè)樣本特征,μ為所有樣本特征的均值,σ為所有樣本特征的標(biāo)準(zhǔn)差．

對(duì)類別的預(yù)處理為對(duì)類別進(jìn)行編碼．本文中的類別為兩類,分別為正常地磁時(shí)變觀測(cè)樣本和高壓直流輸電干擾事件．本文將正常地磁時(shí)變觀測(cè)樣本編碼為“0”,高壓直流輸電干擾事件編碼為“1”．

數(shù)據(jù)處理完成后,接著劃分樣本集．本文采用分層采樣的方法,在正常地磁時(shí)變觀測(cè)樣本和高壓直流輸電干擾樣本中各隨機(jī)選擇80%作為訓(xùn)練樣本,其余作為測(cè)試樣本．最終的數(shù)據(jù)集如表1所示.

1.2 地磁時(shí)變觀測(cè)樣本的多尺度表示

由于高壓直流輸電干擾事件持續(xù)時(shí)間不確定,為了自適應(yīng)識(shí)別持續(xù)時(shí)間不同的高壓直流輸電干擾事件,需要生成多尺度樣本．Cui等(2016)使用多次等間隔降采樣的方法,對(duì)樣本進(jìn)行多尺度表示．這種等間隔降采樣的方法不能抑制原始數(shù)據(jù)的噪聲,影響識(shí)別性能．本文采用小波技術(shù)生成多尺度地磁時(shí)變觀測(cè)樣本,一方面實(shí)現(xiàn)了樣本的多尺度表示,另一方面可以抑制噪聲．圖1展示了利用小波技術(shù)和等間隔降采樣進(jìn)行多尺度表示的對(duì)比效果．可以看出,直接采用等間隔降采樣對(duì)數(shù)據(jù)進(jìn)行多尺度表示時(shí),原始樣本中的噪聲依然保留．而采用小波技術(shù)對(duì)樣本進(jìn)行多尺度表示時(shí),原始數(shù)據(jù)中的噪聲得到了一定程度的抑制,尤其是第三次采用小波技術(shù)分解與第三次等間隔降采樣對(duì)比,小波技術(shù)抑制噪聲效果尤其明顯．

表1 高壓直流輸電干擾數(shù)據(jù)集Table 1 HVDC transmission disturbance dataset

小波技術(shù)通過(guò)將尺度函數(shù)和小波函數(shù)分別與樣本進(jìn)行卷積處理．尺度函數(shù)相當(dāng)于一個(gè)低通濾波器,將尺度函數(shù)與樣本進(jìn)行卷積處理,然后進(jìn)行一次下采樣,得到地磁樣本下采樣后的近似部分(低頻);而小波函數(shù)相當(dāng)于一個(gè)高通濾波器,將小波函數(shù)與樣本進(jìn)行卷積處理,然后進(jìn)行一次下采樣,得到地磁時(shí)變觀測(cè)樣本下采樣后的細(xì)節(jié)部分(高頻)．每進(jìn)行一次小波分解,相當(dāng)于進(jìn)行一次高通濾波和一次低通濾波．在做完一次高低通的濾波操作之后,再對(duì)低頻部分進(jìn)行小波分解,直到分解到我們需要到的尺度為止．小波分解詳細(xì)過(guò)程如圖2所示,其中H和G代表尺度函數(shù)(低通濾波器)和小波函數(shù)(高通濾波器)．濾波器將樣本中的高、低頻信息分離,cDi為第i次分解的高頻部分,包含原始樣本的細(xì)節(jié)部分,細(xì)節(jié)部分包含了樣本的噪聲;cAi是第i次分解的低頻部分,包含原始樣本的近似部分,近似部分蘊(yùn)含著信號(hào)的特征(張學(xué)軍等,2021)．地磁時(shí)變觀測(cè)垂直Z分量樣本每經(jīng)過(guò)1次小波分解,其近似部分長(zhǎng)度均為上一次的一半．原始樣本經(jīng)過(guò)多次小波分解后,就得到多個(gè)長(zhǎng)短不一的近似部分,在每次小波分解時(shí),丟棄高頻部分,只保留近似部分,將其作為原始樣本的多尺度表示,抑制了原始樣本中的噪聲．圖3展示了一個(gè)高壓直流輸電干擾事件樣本及其經(jīng)過(guò)三次離散小波分解后的近似部分．可以看出,一個(gè)樣本進(jìn)行3次離散小波分解后,樣本的長(zhǎng)短發(fā)生了變化,可以看作是3個(gè)不同尺度的樣本,這3個(gè)不同尺度的樣本均保留了原始高壓直流輸電干擾事件的“臺(tái)階”特征．

圖1 小波技術(shù)與等間隔降采樣方法對(duì)地磁時(shí)變觀測(cè)樣本多尺度表示效果對(duì)比

圖2 地磁時(shí)變觀測(cè)數(shù)據(jù)垂直Z分量離散小波分解過(guò)程

圖3 高壓直流輸電干擾事件原始數(shù)據(jù)及經(jīng)過(guò)3次小波分解的近似部分

2 CBAM-MCNN高壓直流輸電干擾識(shí)別模型

地磁時(shí)變觀測(cè)樣本經(jīng)過(guò)小波分解,得到原始樣本的多尺度表示．為了提取每個(gè)尺度樣本的特征,論文設(shè)計(jì)了一個(gè)含有多個(gè)輸入分支的卷積神經(jīng)網(wǎng)絡(luò),每個(gè)輸入分支接收一個(gè)尺度的樣本,使用卷積層和池化層的組合對(duì)其進(jìn)行特征提取,最后,將每個(gè)分支提取到的特征連接起來(lái),形成一個(gè)包含多個(gè)尺度特征的特征向量．通過(guò)這種模型設(shè)計(jì),解決了高壓直流輸電干擾持續(xù)時(shí)間長(zhǎng)短不一、特征提取困難的問(wèn)題．

2.1 多輸入卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)具有自動(dòng)特征提取功能,廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域．CNN的基本結(jié)構(gòu)由輸入層、卷積層(Conv layer)、池化層(Pooling layer)、全連接層(Dense layer)和輸出層等組成(LeCun et al.,1989;Krizhevsky et al.,2017)．輸入層接收需要卷積層提取特征的樣本;卷積層通過(guò)多個(gè)卷積核與樣本進(jìn)行卷積,來(lái)提取輸入樣本的局部特征,生成帶有特征信息的特征圖;池化層通過(guò)降采樣的方式減少特征圖的空間尺寸并降低模型的計(jì)算量,池化層包含最大池化層和平均池化層,本文采用最大池化層(MaxPooling layer);全連接層由多個(gè)神經(jīng)元構(gòu)成,通過(guò)學(xué)習(xí)特征圖的重要程度來(lái)執(zhí)行分類任務(wù),在CNN中起到分類器的作用;輸出層采用SoftMax函數(shù),計(jì)算每個(gè)類別的概率,并輸出模型對(duì)每個(gè)類別的預(yù)測(cè)概率．多輸入卷積神經(jīng)網(wǎng)絡(luò)(Multi-input Convolutional Neural Network,MCNN)是包含多個(gè)輸入分支、多分支并行提取特征的卷積神經(jīng)網(wǎng)絡(luò), MCNN通過(guò)輸入多組數(shù)據(jù),提取更多特征來(lái)提高分類性能．在本文高壓直流輸電干擾事件識(shí)別中,將小波分解的多尺度地磁時(shí)變觀測(cè)樣本作為MCNN的輸入,每個(gè)分支通過(guò)堆疊卷積層和最大池化層來(lái)提取多尺度地磁時(shí)變觀測(cè)樣本的特征,得到多個(gè)特征圖．通過(guò)堆疊多個(gè)卷積層和池化層,能提取到更高級(jí)的特征(王先圣和嚴(yán)珂, 2022),然后通過(guò)特征融合層(Concatenate layer),將多尺度特征進(jìn)行融合．

2.2 卷積神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制

每個(gè)卷積層中包含多個(gè)卷積核,每個(gè)卷積核都會(huì)輸出一個(gè)特征圖,因此,每個(gè)卷積層會(huì)輸出多個(gè)通道的特征圖．特征圖的空間維度表示了一個(gè)卷積核在該樣本提取的全部特征信息．在沒(méi)有注意力機(jī)制的CNN中,經(jīng)過(guò)卷積、池化層提取的特征圖的權(quán)重是相同的(Hu et al.,2018;時(shí)文華等,2019),無(wú)法體現(xiàn)特征圖的哪些通道、哪些空間特征更有助于分類．為了增強(qiáng)特征選擇能力,本文在每個(gè)池化層后添加了CBAM(Convolutional Block Attention Module,CBAM)層(Woo et al., 2018)．CBAM層包含通道注意力模塊和空間注意力模塊兩個(gè)部分,接受前面池化層傳遞過(guò)來(lái)的特征圖,分別在特征圖的通道和空間兩個(gè)獨(dú)立的維度上自適應(yīng)調(diào)整特征圖的權(quán)重,并用該權(quán)重對(duì)特征圖進(jìn)行加權(quán)處理,來(lái)強(qiáng)化特征圖中更有利于模型識(shí)別性能的特征,實(shí)現(xiàn)自適應(yīng)特征細(xì)化．CBAM注意力機(jī)制結(jié)構(gòu)如圖4所示．

圖5 CBAM-MCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.3 CBAM-MCNN模型結(jié)構(gòu)

本文把MCNN模型與CBAM注意力層相結(jié)合,稱為CBAM-MCNN(Multi-input Convolutional Neural Networks based CBAM,CBAM-MCNN),其詳細(xì)結(jié)構(gòu)如圖5所示．該模型包含多個(gè)輸入分支,分別接受經(jīng)過(guò)離散小波分解后得到的不同尺度的地磁時(shí)變觀測(cè)樣本,受VGG網(wǎng)絡(luò)(Simonyan and Zisserman,2015)啟發(fā),本文在設(shè)計(jì)CBAM-MCNN時(shí),每個(gè)分支包含3個(gè)特征提取單元,每個(gè)特征提取單元由2個(gè)一維卷積層、1個(gè)最大池化層和1個(gè)CBAM注意力層堆疊組成,其中,每個(gè)卷積層的卷積核尺寸全部設(shè)置為3×1,使用小尺寸的卷積核能提取到更細(xì)致的特征．在兩個(gè)卷積層后使用最大池化層對(duì)卷積層提取的特征圖進(jìn)行降采樣,新的特征圖被輸入到CBAM注意力層中,模型訓(xùn)練過(guò)程中,CBAM注意力層不斷調(diào)整特征圖的權(quán)重,使模型更關(guān)注重要特征．MCNN模型的每個(gè)分支都設(shè)置3個(gè)特征提取單元,這種組合實(shí)現(xiàn)了地磁時(shí)變觀測(cè)樣本特征的整合和增強(qiáng)．同時(shí),參考VGG模型,本文在不同特征提取單元中卷積層卷積核數(shù)量分別為32,64和128．利用多個(gè)分支分別提取到不同尺度樣本的特征后,用拼接層將所有分支的特征拼接起來(lái),作為最終的特征向量,該向量包含了輸入樣本的多個(gè)尺度的特征．最后將該多尺度特征輸入全連接層和輸出層,輸出層激活函數(shù)選擇SoftMax,用于對(duì)樣本進(jìn)行分類．

3 試驗(yàn)與結(jié)果分析

3.1 模型評(píng)價(jià)標(biāo)準(zhǔn)

為了驗(yàn)證CBAM-MCNN模型的識(shí)別性能,論文采用準(zhǔn)確率(Accuracy)和F1值作為模型性能的評(píng)價(jià)指標(biāo)．這兩個(gè)指標(biāo)均可以從高壓直流輸電干擾事件識(shí)別結(jié)果的混淆矩陣中得出．表2為高壓直流輸電干擾事件識(shí)別結(jié)果的混淆矩陣,用于展示高壓直流輸電干擾事件測(cè)試樣本的分類情況．其中TP(True Positive)表示真實(shí)類別和預(yù)測(cè)類別都是高壓直流輸電干擾事件的樣本數(shù)量,TN(True Negative)表示真實(shí)類別和預(yù)測(cè)類別都為正常地磁時(shí)變觀測(cè)樣本的數(shù)量,FN(False Negative)為將高壓直流輸電干擾事件識(shí)別為正常地磁時(shí)變觀測(cè)樣本的數(shù)量,FP(False Positive)為將正常地磁時(shí)變觀測(cè)樣本識(shí)別為高壓直流輸電干擾事件的數(shù)量．

從表2的混淆矩陣中可以衍生出四個(gè)評(píng)價(jià)指標(biāo)：準(zhǔn)確率(Accuracy)、查全率(Recall)、查準(zhǔn)率(Precision)和F1值．準(zhǔn)確率表示模型分類正確的樣本占總樣本的比例,其定義如公式(2)所示;查全率如公式(3)所示,反映了測(cè)試集中所有的高壓直流輸電干擾樣本中正確識(shí)別出來(lái)的比例．查全率越高,則代表測(cè)試樣本中越多的高壓直流干擾樣本被識(shí)別出來(lái);查準(zhǔn)率如公式(4)所示,反應(yīng)了模型識(shí)別為高壓直流干擾事件的樣本中,真正是高壓直流輸電干擾樣本所占的比例．查準(zhǔn)率和查全率是一對(duì)矛盾的指標(biāo),查準(zhǔn)率高時(shí),查全率往往偏低,反之亦然,因此論文評(píng)估模型時(shí),沒(méi)有采用查準(zhǔn)率和查全率,而采用了F1值．F1值是查準(zhǔn)率(Precision)和查全率的調(diào)和平均,其計(jì)算如公式(5)所示．

(2)

(3)

(4)

(5)

3.2 試驗(yàn)條件

本文所有試驗(yàn)均在Windows操作系統(tǒng)下使用Keras深度學(xué)習(xí)框架完成,運(yùn)行設(shè)備的硬件配置為Intel core i7-8700k,顯卡為GTX 1070Ti．訓(xùn)練過(guò)程使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.0005,模型迭代40次,使用交叉熵作為損失函數(shù),交叉熵用來(lái)衡量類別標(biāo)簽和概率之間的距離,交叉熵值越小,分類效果越好．交叉熵計(jì)算如公式(5)所示：

(6)

其中yi為第i個(gè)樣本的類別(0或1),n為訓(xùn)練樣本數(shù)量,pi為模型將第i個(gè)樣本的預(yù)測(cè)為高壓直流輸電干擾的概率．

3.2.1 小波基函數(shù)與分解次數(shù)的選擇

在使用離散小波對(duì)地磁時(shí)變觀測(cè)樣本進(jìn)行多尺度表示時(shí),需要選擇小波基函數(shù)及確定分解次數(shù),由此確定CBAM-MCNN模型的輸入分支數(shù)量．本文使用Haar小波、Daubechies小波族(db1、db2、db3)、Symlets小波族(sym2、sym3)和Biorthogonal小波族(bior1.1、bior1.3)共8個(gè)小波基函數(shù)對(duì)地磁時(shí)變觀測(cè)樣本進(jìn)行多尺度分解,每種小波基函數(shù)分別對(duì)樣本進(jìn)行4次分解,得到4個(gè)尺度的近似部分cA1、cA2、cA3和cA4．為了確定最優(yōu)分解次數(shù),本文共設(shè)置了三種多輸入模型：

(1)雙輸入模型：包含2個(gè)輸入分支,分別接收小波分解后的cA1和cA2;

(2)三輸入模型：包含3個(gè)輸入分支,分別接收cA1、cA2、cA3;

(3)四輸入模型：包含4個(gè)輸入分支,分別接收cA1、cA2、cA3、cA4．

試驗(yàn)結(jié)果如表3所示.從表3可以看到,采用db3小波三次分解,構(gòu)造三輸入的CBAM-MCNN模型識(shí)別效果最好,其準(zhǔn)確率為97.14%,F1值為97.12%．因此,本文選擇使用db3小波基函數(shù)對(duì)原始地磁時(shí)變觀測(cè)樣本進(jìn)行連續(xù)三次分解,將三次分解的近似部分cA1、cA2和cA3作為原始樣本3個(gè)不同尺度的表示,輸入到含有3個(gè)分支的CBAM-MCNN模型進(jìn)行特征提取和識(shí)別．最終的CBAM-MCNN模型結(jié)構(gòu)如圖6所示．

表3 不同小波基函數(shù)與不同模型結(jié)構(gòu)下識(shí)別結(jié)果對(duì)比Table 3 Comparison of recognition results using different wavelet basis functions and model structures

圖6 三輸入CBAM-MCNN模型結(jié)構(gòu)

3.2.2 不同多尺度表示方法的識(shí)別性能對(duì)比

論文對(duì)比了使用等間隔降采樣和離散小波分解兩種多尺度表示方法下模型識(shí)別效果．其中,等間隔降采樣方法使用間隔為2的降采樣方法,對(duì)原始樣本連續(xù)降采樣3次,以此保證與離散小波分解具有相同的數(shù)據(jù)長(zhǎng)度,等間隔降采樣方法選擇第1至3次降采樣得到的三組尺度數(shù)據(jù)作為模型輸入;離散小波分解方法則使用3.2.1節(jié)的db3小波基分解3次的多尺度數(shù)據(jù)．兩種方法生成的多尺度數(shù)據(jù)均用于3.2.1節(jié)的三輸入模型的訓(xùn)練,識(shí)別結(jié)果如表4所示,可以看出,與等間隔降采樣相比,使用離散小波分解方法進(jìn)行多尺度表示時(shí),模型的識(shí)別準(zhǔn)確率提高了1.75%,F1值提高了1.78%．

表4 采用不同多尺度表示方法的識(shí)別效果對(duì)比Table 4 Comparison of recognition performance using different multi-scale representation methods

3.2.3 CBAM-MCNN試驗(yàn)結(jié)果

根據(jù)前面的試驗(yàn)結(jié)果,本文最終確定使用db3小波基函數(shù),連續(xù)分解三次,將分解得到的cA1,cA2,cA3作為3個(gè)尺度地磁樣本,分別輸入到本文所設(shè)計(jì)的CBAM-MCNN模型中進(jìn)行訓(xùn)練,并且在測(cè)試集上進(jìn)行預(yù)測(cè)．模型預(yù)測(cè)結(jié)果的混淆矩陣如圖7所示,測(cè)試集中高壓直流輸電干擾事件共2612條,其中有2543條被CBAM-MCNN模型正確識(shí)別,占測(cè)試集中高壓直流輸電干擾事件樣本總數(shù)的97.35%,只有2.65%的高壓直流輸電干擾樣本被錯(cuò)誤識(shí)別為正常地磁時(shí)變觀測(cè)樣本;正常地磁時(shí)變觀測(cè)樣本中96.92%被正確識(shí)別,3.08%被錯(cuò)誤識(shí)別．CBAM-MCNN模型的準(zhǔn)確率和F1值分別達(dá)到了97.14%和97.12%．

圖7 CBAM-MCNN在測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣

3.2.4 識(shí)別結(jié)果分析

為了查明本文模型的不足之處,論文對(duì)漏檢樣本(將高壓直流輸電干擾事件識(shí)別為正常地磁時(shí)變觀測(cè)樣本)、誤檢樣本(將正常地磁時(shí)變觀測(cè)樣本識(shí)別為高壓直流輸電干擾事件)進(jìn)行進(jìn)一步分析．

漏檢樣本分析：圖8(a—d)展示了部分未被正確識(shí)別的高壓直流輸電干擾事件樣本．從圖中可以看到,未被正確識(shí)別的高壓直流干擾樣本主要分為3類,第1類為干擾持續(xù)時(shí)間過(guò)短,模型不容易捕捉干擾特征,例如圖8a和圖8b．圖8a中的地磁時(shí)變觀測(cè)樣本在400～1000 s時(shí)間內(nèi)出現(xiàn)了一個(gè)階梯狀的高壓直流輸電干擾,干擾持續(xù)時(shí)間占樣本總長(zhǎng)度的1/12,圖8b中高壓直流輸電干擾發(fā)生在0～300 s期間,干擾持續(xù)時(shí)間占總長(zhǎng)度的1/24,這兩個(gè)樣本中高壓直流干擾事件持續(xù)時(shí)間較短,在經(jīng)過(guò)多次小波分解后,持續(xù)時(shí)間更短,導(dǎo)致模型漏檢;第2類中,高壓直流輸電干擾持續(xù)時(shí)間夠長(zhǎng),但干擾的波形為緩變,例如圖8c,干擾的“上凸”波形從600 s開(kāi)始,在2400 s結(jié)束,干擾起止處的上升和下降變化比較緩慢;未被正確識(shí)別的第3類為干擾的幅度比較小的樣本,例如圖8d．從該圖可以看到,從第4300 s開(kāi)始,樣本記錄出現(xiàn)了多個(gè)階梯波形,但每個(gè)波形的幅度不大,導(dǎo)致被漏檢．綜上,可以得出,本文所提出的CBAM-MCNN模型,在識(shí)別持續(xù)時(shí)間特別短、干擾幅度特別小、干擾波形變化緩慢的樣本時(shí),存在漏檢問(wèn)題．對(duì)于圖8中(a)、(b)兩種情況,此時(shí),干擾幅度夠大,只是持續(xù)時(shí)間過(guò)短,可以采用一階差分配合閾值的方法來(lái)輔助識(shí)別,較短的高壓直流干擾事件的波形一階差分會(huì)出現(xiàn)短期內(nèi)成對(duì)的足夠大的正負(fù)邊緣,可以利用該特點(diǎn)有效識(shí)別．對(duì)于圖8c中的樣本,由于高壓直流輸電干擾波形比較緩慢,接近正常地磁時(shí)變觀測(cè)樣本波形,因此現(xiàn)有的機(jī)器學(xué)習(xí)辦法無(wú)法有效解決;對(duì)于圖8d第3種情況,干擾幅度較小,此時(shí)可以通過(guò)數(shù)據(jù)增強(qiáng)的辦法來(lái)提高干擾的振幅,再進(jìn)行識(shí)別．

誤檢樣本分析：圖9展示了部分誤檢樣本,即正常地磁時(shí)變觀測(cè)樣本被模型識(shí)別為高壓直流輸電干擾樣本．可以看出,樣本(a)、(b)中,密集出現(xiàn)數(shù)據(jù)突跳,雖然突跳幅度不大,但是非常密集;樣本(d)中,出現(xiàn)局部出現(xiàn)連續(xù)較大的數(shù)據(jù)突跳．這些突跳是由不明原因引起的噪聲,且均呈現(xiàn)臺(tái)階狀,與高壓直流輸電干擾事件的臺(tái)階狀特征非常類似,因此被模型誤分類．樣本(c)中,干擾數(shù)據(jù)較少,但是在5700～6300 s之間,數(shù)據(jù)短時(shí)間內(nèi)出現(xiàn)較大波動(dòng),因此被模型誤分類．可見(jiàn)本文提出的模型在噪聲較小時(shí)性能較好,但在出現(xiàn)較大的噪聲、密集出現(xiàn)較小噪聲或短時(shí)間數(shù)據(jù)出現(xiàn)較大波動(dòng)時(shí),處理能力還不夠．

3.3 不同模型識(shí)別性能對(duì)比

本文將CBAM-MCNN模型與不加注意力機(jī)制的MCNN模型、全卷積網(wǎng)絡(luò)模型(Full Convolutional Neural Networks,FCN)、殘差神經(jīng)網(wǎng)絡(luò)(Residual network,ResNet)(Wang et al.,2017)、IICM-HVDCT-CNN-LSTM(單維鋒等,2023)進(jìn)行了對(duì)比試驗(yàn)．其中,MCNN模型為圖7中不加入CBAM層的模型,輸入數(shù)據(jù)仍使用由db3小波對(duì)樣本進(jìn)行多尺度分解得到的cA1、cA2和cA3．

圖8 未被正確識(shí)別的高壓直流輸電干擾樣本示例(a—b) 干擾持續(xù)時(shí)間過(guò)短的樣本; (c) 緩變波形的樣本; (d) 干擾幅度較小的樣本.

圖9 誤被識(shí)別為高壓直流輸電干擾事件的正常樣本

圖10 FCN和ResNet模型結(jié)構(gòu)

FCN模型結(jié)構(gòu)如圖10a所示,FCN由三組基本塊組成,每個(gè)基本塊包含一個(gè)卷積層,一個(gè)批量歸一化層(Batch Normalization,BN),該層采用ReLU激活函數(shù),之后是全局池化層(Global Pooling),再通過(guò)SoftMax層輸出樣本所屬類別概率．該模型為單輸入模型,試驗(yàn)時(shí)選擇小波分解后的cA3輸入到模型中．

ResNet模型結(jié)構(gòu)如圖10b所示,ResNet的基本塊包括3組特征提取單元,每個(gè)單元包括3組卷積層、批量歸一化層(Batch Normalization,BN)和ReLU激活函數(shù)的組合,ResNet模型的每個(gè)單元還使用跳路連接,即存在一條支路跳過(guò)一個(gè)特征提取單元,通過(guò)這種設(shè)計(jì)可以將網(wǎng)絡(luò)結(jié)構(gòu)拓展更深(He et al.,2016)．該模型也為單輸入模型,試驗(yàn)時(shí)選擇小波分解后的cA3輸入到模型中．

表5為FCN、ResNet、MCNN、IICM-HVDCT-CNN-LSTM和CBAM-MCNN的識(shí)別結(jié)果．從表5可以看出：(1)多輸入模型識(shí)別性能優(yōu)于單輸入模型.FCN、ResNet和IICM-HVDCT-CNN-LSTM模型為單輸入模型,三者均使用單一尺度地磁時(shí)變觀測(cè)樣本進(jìn)行訓(xùn)練,其準(zhǔn)確率分別為82.07%、86.11%和92.86%,F1值分別為83.58%、85.06%和92.87%;MCNN和CBAM-MCNN為多輸入模型,其準(zhǔn)確率和F1值均明顯的高于三種單輸入模型,達(dá)到了94.33%和97.14%．這表明通過(guò)離散小波對(duì)地磁時(shí)變觀測(cè)樣本進(jìn)行多尺度表示,并將多尺度數(shù)據(jù)分別輸入到包含多個(gè)分支結(jié)構(gòu)的模型中,對(duì)多尺度數(shù)據(jù)分別特征提取和融合,模型識(shí)別高壓直流輸電干擾事件的性能明顯提高．(2)CBAM注意力機(jī)制明顯提高識(shí)別性能.通過(guò)對(duì)比未添加注意力機(jī)制的MCNN模型與添加了注意力機(jī)制的CBAM-MCNN模型的識(shí)別結(jié)果,可以看出,CBAM-MCNN模型識(shí)別準(zhǔn)確率和F1值分別達(dá)到了97.14%和97.12%,相比無(wú)注意力機(jī)制的MCNN模型的準(zhǔn)確率提升了 2.81%,F1值提高了2.9%,識(shí)別性能明顯提高．這表明,添加了CBAM注意力機(jī)制后,模型自適應(yīng)調(diào)整特征圖的權(quán)重,強(qiáng)化了特征圖中更有利于模型識(shí)別性能的特征,增強(qiáng)了模型特征選擇能力,提高了模型識(shí)別性能．

表5 五種模型的識(shí)別性能對(duì)比Table 5 Comparison of recognition performance among five models

4 結(jié)論

高壓直流輸電干擾事件識(shí)別是提高地磁時(shí)變觀測(cè)數(shù)據(jù)質(zhì)量的重要環(huán)節(jié)．目前有研究者將深度學(xué)習(xí)技術(shù)引入高壓直流輸電干擾事件識(shí)別中,但其只針對(duì)單一尺度的原始樣本進(jìn)行特征提取,在干擾持續(xù)時(shí)間、干擾幅度變化較大時(shí),漏檢、誤檢率較高,本文采用小波分解技術(shù)得到高壓直流輸電干擾樣本的多尺度表示,然后設(shè)計(jì)了包含多個(gè)輸入分支的卷積神經(jīng)網(wǎng)絡(luò),每個(gè)分支接收小波分解后的不同尺度樣本,利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)特征提取功能,得到高壓直流輸電干擾樣本的多尺度特征,解決了高壓直流輸電干擾持續(xù)時(shí)間長(zhǎng)短不一,特征提取困難的問(wèn)題．論文分別采用Haar小波、Daubechies小波族(db1, db2, db3)、Symlets小波族(sym2, sym3)和Biorthogonal小波族(bior1.1, bior1.3)共8個(gè)小波基函數(shù),對(duì)地磁時(shí)變觀測(cè)樣本進(jìn)行多次分解,試驗(yàn)結(jié)果表明,采用db3小波基對(duì)地磁時(shí)變觀測(cè)樣本進(jìn)行3次分解,識(shí)別準(zhǔn)確率最高．論文對(duì)比了采用db3小波及采用等間隔降采樣對(duì)樣本進(jìn)行多尺度表示的識(shí)別效果,以及單一尺度的識(shí)別效果,發(fā)現(xiàn)：(1)多尺度優(yōu)于單一尺度;(2)采用db3進(jìn)行多尺度表示,優(yōu)于采用等間隔降采樣的多尺度表示．本文還在模型中添加了CBAM注意力機(jī)制,使模型能自適應(yīng)計(jì)算每一特征圖的重要程度,為其分配相應(yīng)的權(quán)重,使模型在識(shí)別時(shí),能更關(guān)注重要的特征．論文對(duì)比了CBAM-MCNN與不添加注意力機(jī)制的MCNN模型的識(shí)別效果,試驗(yàn)結(jié)果表明添加CBAM注意力機(jī)制能夠顯著地提高模型識(shí)別性能．

本文提出了一種高壓直流輸電干擾識(shí)別模型,試驗(yàn)表明,該模型性能明顯優(yōu)于對(duì)比模型,但是在實(shí)際應(yīng)用中,該模型仍然存在以下幾個(gè)問(wèn)題：

(1)應(yīng)用深度學(xué)習(xí)解決高壓直流輸電干擾識(shí)別問(wèn)題的時(shí),要求樣本長(zhǎng)度一致,本文對(duì)三年中高壓直流輸電干擾事件持續(xù)時(shí)間進(jìn)行統(tǒng)計(jì),發(fā)現(xiàn)2小時(shí)之內(nèi)的高壓直流輸電干擾樣本占74.7%,故論文選擇樣本長(zhǎng)度為2小時(shí)．對(duì)于超過(guò)2小時(shí)的干擾數(shù)據(jù),選擇了前2小時(shí),但是在具體應(yīng)用時(shí),可以采用長(zhǎng)度為2小時(shí)的滑動(dòng)窗口來(lái)分割數(shù)據(jù),制作樣本,這樣確保干擾事件起點(diǎn)或者終點(diǎn)能落入某一樣本窗口內(nèi);

(2)在數(shù)據(jù)多尺度表示時(shí),本文只對(duì)比了離散小波技術(shù)和等間隔降采樣技術(shù),沒(méi)有考慮其他多尺度表示方法,未來(lái)將嘗試采用經(jīng)驗(yàn)?zāi)B(tài)分解等其他數(shù)據(jù)多尺度表示方法;

(3)本文所提出的模型在噪聲較大,或者小幅度噪聲出現(xiàn)較密集,以及短時(shí)間內(nèi)數(shù)據(jù)波動(dòng)幅度較大時(shí)會(huì)造成誤檢．

(4)本文只討論了在地磁時(shí)變觀測(cè)Z分量上的高壓直流輸電干擾事件識(shí)別方法,未來(lái)將考慮將更多地磁時(shí)變觀測(cè)分量聯(lián)合起來(lái),研究更高效的地磁時(shí)變觀測(cè)數(shù)據(jù)干擾識(shí)別算法．