李 偉 霍雪松 張 明 朱紅勤

(1 東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，南京211189)(2 國(guó)網(wǎng)江蘇省電力有限公司，南京210000)

近年來(lái)，隨著各類網(wǎng)絡(luò)化應(yīng)用的不斷拓展和深化，蠕蟲病毒、木馬、黑客攻擊等惡意網(wǎng)絡(luò)行為日益猖獗，網(wǎng)絡(luò)安全事件進(jìn)入高發(fā)期.作為電力系統(tǒng)的關(guān)鍵信息基礎(chǔ)設(shè)施，電力監(jiān)控系統(tǒng)是確保電網(wǎng)安全穩(wěn)定運(yùn)行的核心，已被不少國(guó)家視為網(wǎng)絡(luò)戰(zhàn)的首選攻擊目標(biāo).2017年烏克蘭、2019年委內(nèi)瑞拉等均已相繼發(fā)生了嚴(yán)重的電力工控網(wǎng)絡(luò)安全事件，給當(dāng)?shù)厣鐣?huì)經(jīng)濟(jì)造成極大損失[1].隨著能源互聯(lián)網(wǎng)的全面推進(jìn)，我國(guó)電力監(jiān)控系統(tǒng)的智能化、網(wǎng)絡(luò)化程度不斷提升，同時(shí)網(wǎng)絡(luò)攻擊行為新變種也層出不窮，亟需實(shí)現(xiàn)快速、準(zhǔn)確的電力監(jiān)控系統(tǒng)異常行為檢測(cè)，提升電力監(jiān)控系統(tǒng)的安全防護(hù)能力.

早期通常采用人工分析的方式獲取異常行為特征，隨著網(wǎng)絡(luò)攻擊行為的不斷變化，依靠人工方式獲取異常行為特征的代價(jià)越來(lái)越高甚至不可行[2].機(jī)器學(xué)習(xí)技術(shù)能夠從網(wǎng)絡(luò)數(shù)據(jù)中自動(dòng)提取異常行為特征，產(chǎn)生檢測(cè)規(guī)則，識(shí)別未知行為，已成為近些年網(wǎng)絡(luò)異常行為檢測(cè)的研究重點(diǎn)[3].依據(jù)是否需要對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)記，相關(guān)工作主要分為無(wú)監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí).無(wú)監(jiān)督學(xué)習(xí)利用無(wú)標(biāo)記樣本數(shù)據(jù)通過(guò)聚類[4-5]等方法實(shí)現(xiàn)異常行為識(shí)別，算法簡(jiǎn)單且無(wú)需標(biāo)記樣本數(shù)據(jù)，但識(shí)別準(zhǔn)確率低.有監(jiān)督學(xué)習(xí)基于標(biāo)記樣本數(shù)據(jù)，采用隱馬爾可夫[6]、決策樹[7]、支持向量機(jī)[8]等模型進(jìn)行訓(xùn)練獲取行為特征，識(shí)別準(zhǔn)確率優(yōu)于無(wú)監(jiān)督學(xué)習(xí)，但要求對(duì)所有訓(xùn)練樣本數(shù)據(jù)進(jìn)行標(biāo)記，開銷巨大.半監(jiān)督學(xué)習(xí)只需部分標(biāo)記樣本數(shù)據(jù)，通過(guò)生成若干成員分類器進(jìn)行集成學(xué)習(xí)，降低訓(xùn)練樣本數(shù)據(jù)標(biāo)記開銷的同時(shí)，提升了異常行為識(shí)別準(zhǔn)確率.文獻(xiàn)[9]提出了一種自適應(yīng)集成學(xué)習(xí)模型，通過(guò)調(diào)整訓(xùn)練數(shù)據(jù)比例，構(gòu)造一個(gè)多決策樹算法實(shí)現(xiàn)網(wǎng)絡(luò)入侵行為檢測(cè)；文獻(xiàn)[10]提出了一種基于集成的半監(jiān)督學(xué)習(xí)方法，采用隨機(jī)森林、支持向量機(jī)、決策樹等多種分類器實(shí)現(xiàn)網(wǎng)絡(luò)異常行為的分布式檢測(cè).該類方法多采用支持向量機(jī)、決策樹等傳統(tǒng)機(jī)器學(xué)習(xí)模型構(gòu)建成員分類器，其識(shí)別準(zhǔn)確率受人工經(jīng)驗(yàn)選取的特征指標(biāo)影響較大.

深度學(xué)習(xí)通過(guò)深層次神經(jīng)網(wǎng)絡(luò)逐層學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，完成復(fù)雜的分類學(xué)習(xí)任務(wù)，解決了傳統(tǒng)機(jī)器學(xué)習(xí)模型中需要人工設(shè)計(jì)特征的問(wèn)題，已廣泛應(yīng)用于圖像識(shí)別、目標(biāo)檢測(cè)、個(gè)性化推薦等領(lǐng)域[11].文獻(xiàn)[12]對(duì)多種基于深度學(xué)習(xí)的網(wǎng)絡(luò)異常檢測(cè)方法進(jìn)行了分析比較，指出深度學(xué)習(xí)模型層次越深，對(duì)各類型特征的抽象提取越細(xì)致，異常行為的識(shí)別準(zhǔn)確率就越高.但是，模型深度的增大會(huì)導(dǎo)致梯度爆炸或梯度消失問(wèn)題，使有效信息被過(guò)分夸大或隱瞞，嚴(yán)重影響了深度神經(jīng)網(wǎng)絡(luò)模型的識(shí)別精度與收斂速度.為解決該問(wèn)題，文獻(xiàn)[13]率先在圖像識(shí)別領(lǐng)域提出了將底層信息越過(guò)中間層直接送至高層的殘差思想，通過(guò)構(gòu)建殘差卷積神經(jīng)網(wǎng)絡(luò)，使得網(wǎng)絡(luò)高層可以對(duì)其鄰接層的輸出和底層的輸出進(jìn)行綜合分析，從而提升圖像識(shí)別的精準(zhǔn)度.

本文將深度學(xué)習(xí)模型與半監(jiān)督學(xué)習(xí)方法相結(jié)合，提出了一種基于殘差全連接神經(jīng)網(wǎng)絡(luò)的電力監(jiān)控系統(tǒng)異常行為檢測(cè)方法.該方法選取能夠反映電力監(jiān)控系統(tǒng)異常行為的流量特征、系統(tǒng)日志、系統(tǒng)告警等歷史數(shù)據(jù)來(lái)構(gòu)建訓(xùn)練樣本并進(jìn)行部分標(biāo)記，基于殘差思想構(gòu)建兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型，并將其作為構(gòu)建成員分類器的核心分類模型；然后，采用混合擾動(dòng)方法生成具有差異性的成員分類器，利用有標(biāo)記樣本數(shù)據(jù)進(jìn)行離線訓(xùn)練；最后，基于有標(biāo)記訓(xùn)練樣本，計(jì)算各成員分類器的識(shí)別誤差率，通過(guò)加權(quán)多數(shù)表決法對(duì)無(wú)標(biāo)記訓(xùn)練樣本進(jìn)行增量學(xué)習(xí)，進(jìn)一步強(qiáng)化成員分類器的識(shí)別能力，形成集成分類器，實(shí)現(xiàn)電力監(jiān)控系統(tǒng)異常行為的快速、準(zhǔn)確識(shí)別，同時(shí)降低了對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行人工標(biāo)記的開銷.

1 基于殘差全連接神經(jīng)網(wǎng)絡(luò)的核心分類模型

為了能夠快速準(zhǔn)確地檢測(cè)出電力監(jiān)控系統(tǒng)的異常行為，首先需要選擇能夠反映電力監(jiān)控系統(tǒng)行為的歷史數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，獲取電力監(jiān)控系統(tǒng)的行為特征.當(dāng)電力監(jiān)控系統(tǒng)受到網(wǎng)絡(luò)攻擊時(shí)，系統(tǒng)中的流量特征往往會(huì)伴隨著某種異常行為的出現(xiàn)而發(fā)生變化；當(dāng)電力監(jiān)控系統(tǒng)存在非法操作或誤操作時(shí)，這些異常操作均會(huì)記錄在設(shè)備或系統(tǒng)的日志中，嚴(yán)重時(shí)還會(huì)產(chǎn)生告警信息.因此，本文選取能夠反映電力監(jiān)控系統(tǒng)異常行為的流量特征、系統(tǒng)日志、系統(tǒng)告警等已采集的歷史行為數(shù)據(jù)，通過(guò)清洗、歸一化等預(yù)處理操作，生成電力監(jiān)控系統(tǒng)行為樣本數(shù)據(jù).在此基礎(chǔ)上，根據(jù)監(jiān)管經(jīng)驗(yàn)和是否已造成危害等事實(shí)，選取部分樣本數(shù)據(jù)進(jìn)行標(biāo)記.異常行為對(duì)應(yīng)的樣本數(shù)據(jù)標(biāo)記為0，正常行為對(duì)應(yīng)的樣本數(shù)據(jù)標(biāo)記為1.最終構(gòu)成的訓(xùn)練樣本T為

(1)

式中，ti(i∈[1，m])為經(jīng)過(guò)預(yù)處理和標(biāo)注的反映電力監(jiān)控系統(tǒng)歷史行為的第i條訓(xùn)練樣本數(shù)據(jù)；tij為第i條訓(xùn)練樣本數(shù)據(jù)中第j(j∈[1，n])個(gè)特征值，即電力監(jiān)控系統(tǒng)的流量特征、系統(tǒng)日志、系統(tǒng)告警等行為特征樣本數(shù)據(jù)；yi為第i條訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的電力監(jiān)控系統(tǒng)行為類別標(biāo)記，異常行為取值為0，正常行為取值為1.

在對(duì)訓(xùn)練樣本進(jìn)行半監(jiān)督學(xué)習(xí)過(guò)程中，成員分類器所采用的核心分類模型的性能和學(xué)習(xí)效果直接影響著電力監(jiān)控系統(tǒng)異常行為檢測(cè)的準(zhǔn)確性.為了提升核心分類模型的識(shí)別準(zhǔn)確率，解決深度全連接神經(jīng)網(wǎng)絡(luò)梯度消失、梯度爆炸導(dǎo)致的算法收斂慢等問(wèn)題，本文將殘差思想引入全連接神經(jīng)網(wǎng)絡(luò)模型，將底層信息越過(guò)中間層直接送至高層，借助中間層對(duì)信息進(jìn)行有效提煉分析的同時(shí)，加入原始信息避免有效信息在中間層被隱瞞篡改，構(gòu)建兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型，并將其作為構(gòu)建成員分類器的核心分類模型.該模型由輸入層、殘差全連接層、輸出層和Softmax層4部分組成(見(jiàn)圖1).

圖1 兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型

1.1 輸入層

輸入層負(fù)責(zé)將有標(biāo)記的訓(xùn)練樣本數(shù)據(jù)中反映電力監(jiān)控系統(tǒng)行為的流量特征、系統(tǒng)日志、系統(tǒng)告警等特征樣本數(shù)據(jù)組織成輸入向量x={x1，x2，…，xn}，以便后續(xù)殘差全連接層進(jìn)行訓(xùn)練學(xué)習(xí)，其中xj(j∈[1，n])為電力監(jiān)控系統(tǒng)行為特征數(shù)據(jù)的第j個(gè)特征值.

1.2 殘差全連接層

殘差全連接層是整個(gè)核心分類模型識(shí)別精度的根本保證，可根據(jù)需要設(shè)置多個(gè)殘差全連接層.層數(shù)越多，分類模型對(duì)電力監(jiān)控系統(tǒng)行為特征的抽取越細(xì)致，分類模型的識(shí)別精準(zhǔn)度越高.為了解決殘差全連接層層數(shù)增加帶來(lái)的梯度消失、梯度爆炸等問(wèn)題，本文采用兩級(jí)殘差結(jié)構(gòu)對(duì)輸入數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí).每個(gè)殘差全連接層由3個(gè)殘差全連接塊組成，第3個(gè)殘差全連接塊的輸入由第1個(gè)殘差全連接塊的輸入與第2個(gè)殘差全連接塊的輸出共同構(gòu)成；每個(gè)殘差全連接塊由3個(gè)隱含層和1個(gè)批標(biāo)準(zhǔn)化(batch normalization，BN)層構(gòu)成，第3隱含層的輸入由第1隱含層的輸入與第2隱含層的輸出共同構(gòu)成(見(jiàn)圖2).兩級(jí)殘差結(jié)構(gòu)的使用可以使訓(xùn)練樣本數(shù)據(jù)蘊(yùn)含的信息在全連接神經(jīng)網(wǎng)絡(luò)隱含層之間更加充分地進(jìn)行交互，從而避免有效信息在隱含層之間傳遞過(guò)程中被夸大或隱瞞.

圖2 殘差全連接塊結(jié)構(gòu)圖

殘差全連接塊中第1隱含層的計(jì)算公式為

(5)

式中，向量x為第1隱含層的輸入向量，可以來(lái)自整個(gè)殘差全連接神經(jīng)網(wǎng)絡(luò)模型的輸入層，也可以來(lái)自鄰居殘差全連接塊的輸出；w[i]、b[i]、a[i]分別為第i隱含層的權(quán)重矩陣、偏置向量和輸出向量；z[i]為第i隱含層對(duì)其輸入向量進(jìn)行線性連接操作的輸出向量；BN(·)為對(duì)輸入?yún)?shù)進(jìn)行歸一化處理的函數(shù)；O為經(jīng)過(guò)BN層進(jìn)行歸一化處理后的輸出向量，并作為該殘差全連接塊的輸出向量提供給下一層做進(jìn)一步的特征抽象處理；leaky_ReLU(f)為激活函數(shù)，實(shí)現(xiàn)對(duì)輸入?yún)?shù)f的非線性轉(zhuǎn)換，即

(6)

與其他激活函數(shù)相比，該激活函數(shù)既具有非線性函數(shù)的處理效果，又具有線性函數(shù)收斂速度較快的優(yōu)勢(shì)，還能夠避免出現(xiàn)反向傳播梯度消失問(wèn)題.

訓(xùn)練樣本數(shù)據(jù)具有一定的波動(dòng)性，如果不加處理，層與層之間的訓(xùn)練存在級(jí)聯(lián)關(guān)系，相互影響較大，從而導(dǎo)致訓(xùn)練過(guò)程出現(xiàn)震蕩現(xiàn)象，模型無(wú)法快速收斂.通過(guò)在每個(gè)殘差全連接塊內(nèi)增加1個(gè)BN層[14]，對(duì)輸出數(shù)據(jù)做歸一化處理，可以使每個(gè)殘差全連接塊的輸出數(shù)據(jù)在[-1,1]區(qū)間內(nèi)波動(dòng)，削弱了殘差全連接塊之間的級(jí)聯(lián)影響，使得各殘差全連接塊能夠相對(duì)獨(dú)立地進(jìn)行訓(xùn)練，從而加快整個(gè)分類模型的收斂速度.

1.3 輸出層

輸出層根據(jù)殘差全連接層的輸出結(jié)果，分別計(jì)算訓(xùn)練樣本數(shù)據(jù)與電力監(jiān)控系統(tǒng)異常行為和正常行為的對(duì)應(yīng)值并輸出，計(jì)算公式為

P=woutα[h]+bout

(7)

式中，α[h]為第h個(gè)殘差全連接層的輸出向量；wout為輸出層的權(quán)重矩陣；bout為輸出層的偏置向量；P={P0,P1}，其中P0、P1分別為電力監(jiān)控系統(tǒng)異常行為和正常行為的對(duì)應(yīng)值.

1.4 Softmax層

Softmax層根據(jù)輸出層的計(jì)算結(jié)果，計(jì)算訓(xùn)練樣本數(shù)據(jù)中的每一條記錄分別對(duì)應(yīng)電力監(jiān)控系統(tǒng)異常行為和正常行為的概率值并輸出.由于輸出層得到的訓(xùn)練樣本數(shù)據(jù)與電力監(jiān)控系統(tǒng)異常或正常行為對(duì)應(yīng)值Pk(k∈{0,1})的取值范圍均為(-∞，+∞)，為了得到對(duì)應(yīng)每個(gè)行為類別的概率值，先通過(guò)ePk將對(duì)應(yīng)值映射到(0，+∞)，然后再歸一化到(0，1)，其計(jì)算公式為

(8)

式中，S0表示輸入的訓(xùn)練樣本數(shù)據(jù)中每一條電力監(jiān)控系統(tǒng)行為數(shù)據(jù)對(duì)應(yīng)異常行為的概率值；S1表示其對(duì)應(yīng)正常行為的概率值.

為了衡量分類模型的分類準(zhǔn)確性，需要綜合評(píng)價(jià)模型各層在各自權(quán)重矩陣w和偏置向量b作用下訓(xùn)練T中m條樣本數(shù)據(jù)時(shí)產(chǎn)生的平均損失值.平均損失值越小，模型的分類準(zhǔn)確性就越高.本文選取交叉熵函數(shù)作為損失函數(shù)，即

(9)

整個(gè)模型的訓(xùn)練過(guò)程為，采用反向傳播的梯度下降法進(jìn)行優(yōu)化調(diào)整，找到每層最佳的(w,b)組合，使得整個(gè)分類模型的平均損失值L(w,b)最小.

2 基于混合擾動(dòng)和加權(quán)多數(shù)表決的集成分類器

2.1 基于混合擾動(dòng)的成員分類器構(gòu)建

對(duì)于半監(jiān)督學(xué)習(xí)方法而言，用于訓(xùn)練的有標(biāo)記樣本數(shù)據(jù)規(guī)模較小，雖然能夠降低標(biāo)記訓(xùn)練樣本數(shù)據(jù)所產(chǎn)生的開銷，但是往往會(huì)導(dǎo)致分類器的識(shí)別準(zhǔn)確率較低.集成分類則可以將一定數(shù)量具有差異性的弱分類器通過(guò)集成學(xué)習(xí)訓(xùn)練成一個(gè)強(qiáng)分類器.因此，本文以兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型為核心分類模型，選取不同的訓(xùn)練樣本特征子空間、訓(xùn)練樣本子集、殘差全連接層層數(shù)進(jìn)行多種組合，采用混合擾動(dòng)的方法對(duì)核心分類模型進(jìn)行離線訓(xùn)練，生成多個(gè)具有差異性的成員分類器G(x).在構(gòu)建成員分類器時(shí)，要確保生成的成員分類器對(duì)相同電力監(jiān)控系統(tǒng)行為數(shù)據(jù)的類型識(shí)別結(jié)果具有一定差異性，從而提升在對(duì)成員分類器進(jìn)行集成學(xué)習(xí)時(shí)進(jìn)行集體決策的準(zhǔn)確性.基于混合擾動(dòng)的成員分類器構(gòu)造算法見(jiàn)算法1.

算法1 基于混合擾動(dòng)的成員分類器構(gòu)造算法

輸入：表征電力監(jiān)控系統(tǒng)行為的特征指標(biāo)集D={d1，d2，…，dn}，訓(xùn)練樣本T.

輸出：成員分類器集合Gall(x).

Gall(x) =?；

foru=1 toN

{從特征指標(biāo)集D中隨機(jī)選取q項(xiàng)特征指標(biāo)，生成特征指標(biāo)子集Du；

forv=1 toM

{從訓(xùn)練樣本T中隨機(jī)選取60%的訓(xùn)練樣本數(shù)據(jù)，生成訓(xùn)練樣本子集Tv；

根據(jù)特征指標(biāo)子集Du，對(duì)訓(xùn)練樣本子集Tv進(jìn)行投影，得到與特征指標(biāo)子集Di對(duì)應(yīng)的樣本子集Tuv；

構(gòu)建W個(gè)殘差全連接層數(shù)兩兩不同的兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型F1，F(xiàn)2，…，F(xiàn)W；

forl=1 toW

}

}

}

2.2 基于加權(quán)多數(shù)表決的集成分類器

在成員分類器生成后，采用加權(quán)多數(shù)表決法將多個(gè)識(shí)別能力較弱的成員分類器線性組合成一個(gè)識(shí)別能力較強(qiáng)的集成分類器.

首先，基于相同的測(cè)試樣本數(shù)據(jù)集，分別計(jì)算訓(xùn)練后每一個(gè)成員分類器的分類誤差率.第k個(gè)成員分類器Gk(x)的分類誤差率rk為分類錯(cuò)誤的測(cè)試樣本數(shù)據(jù)條數(shù)與測(cè)試樣本數(shù)據(jù)總條數(shù)的比值，則第k個(gè)成員分類器Gk(x)的投票表決權(quán)重ck為

(10)

成員分類器的分類誤差率越小，說(shuō)明識(shí)別結(jié)果越可靠，則相應(yīng)的投票權(quán)重就越大；反之，投票權(quán)重越小.

然后，基于投票表決權(quán)重將多個(gè)成員分類器線性組合成一個(gè)強(qiáng)分類器G(x)，即

(11)

式中，K為組成強(qiáng)分類器的成員分類器個(gè)數(shù).式(11)的意義是將所有成員分類器對(duì)電力監(jiān)控系統(tǒng)行為樣本數(shù)據(jù)x的識(shí)別結(jié)果(即將其判斷為電力監(jiān)控系統(tǒng)正常行為和異常行為的概率值)分別乘以該成員分類器的投票表決權(quán)重，再將所有成員分類器判斷其屬于某一種行為的概率值分別進(jìn)行線性累加，取累加結(jié)果最大值對(duì)應(yīng)的電力監(jiān)控系統(tǒng)行為類型作為識(shí)別結(jié)果輸出.

2.3 基于無(wú)標(biāo)記樣本數(shù)據(jù)的增量學(xué)習(xí)

為了進(jìn)一步挖掘無(wú)標(biāo)記的電力監(jiān)控系統(tǒng)行為樣本數(shù)據(jù)中蘊(yùn)含的行為特征，可利用生成的集成分類器對(duì)無(wú)標(biāo)記樣本數(shù)據(jù)進(jìn)行分類識(shí)別，根據(jù)設(shè)定的概率閾值和識(shí)別結(jié)果對(duì)相應(yīng)的無(wú)標(biāo)記樣本數(shù)據(jù)進(jìn)行自動(dòng)標(biāo)記，形成新增訓(xùn)練樣本集，再將其作為有標(biāo)記的訓(xùn)練樣本對(duì)集成分類器進(jìn)行增量學(xué)習(xí)，強(qiáng)化各成員分類器的識(shí)別能力，從而進(jìn)一步提升集成分類器的識(shí)別準(zhǔn)確率.在進(jìn)行增量學(xué)習(xí)過(guò)程中，若每次只對(duì)單個(gè)訓(xùn)練樣本進(jìn)行學(xué)習(xí)，則會(huì)導(dǎo)致分類模型更新頻繁，不易收斂.因此，本文在對(duì)無(wú)標(biāo)記樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)時(shí)，采用Minibatch優(yōu)化方法[15]，每次新增訓(xùn)練樣本數(shù)量達(dá)到一定規(guī)模時(shí)才對(duì)成員分類器進(jìn)行增量學(xué)習(xí)訓(xùn)練，從而避免單個(gè)訓(xùn)練樣本的隨機(jī)性對(duì)增量學(xué)習(xí)造成影響，具體學(xué)習(xí)過(guò)程見(jiàn)圖3.

圖3 基于無(wú)標(biāo)記樣本數(shù)據(jù)的增量學(xué)習(xí)

3 電力監(jiān)控系統(tǒng)異常行為檢測(cè)

基于殘差全連接神經(jīng)網(wǎng)絡(luò)的電力監(jiān)控系統(tǒng)異常行為檢測(cè)過(guò)程主要分為數(shù)據(jù)采集、模型訓(xùn)練、行為識(shí)別3個(gè)環(huán)節(jié)(見(jiàn)圖4).

圖4 電力監(jiān)控系統(tǒng)異常行為檢測(cè)過(guò)程

在數(shù)據(jù)采集階段，主要采集能夠反映電力監(jiān)控系統(tǒng)異常行為的流量特征、系統(tǒng)日志、系統(tǒng)告警等系統(tǒng)行為原始數(shù)據(jù)，一方面用于構(gòu)建分類模型學(xué)習(xí)所用的訓(xùn)練樣本數(shù)據(jù)，另一方面用于生成系統(tǒng)行為識(shí)別樣本數(shù)據(jù).

在模型訓(xùn)練階段，對(duì)已積累的歷史行為原始數(shù)據(jù)進(jìn)行清洗，刪除含有缺失值和異常值的記錄，并進(jìn)行歸一化等數(shù)據(jù)預(yù)處理操作，選取部分預(yù)處理后的數(shù)據(jù)進(jìn)行人工標(biāo)記，構(gòu)建訓(xùn)練分類模型所需的訓(xùn)練樣本數(shù)據(jù).然后，對(duì)基于混合擾動(dòng)方法構(gòu)建的若干成員分類器進(jìn)行訓(xùn)練和學(xué)習(xí)，采用加權(quán)多數(shù)表決的方式，根據(jù)設(shè)定的概率閾值和識(shí)別結(jié)果，對(duì)無(wú)標(biāo)記的樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，最終生成分類識(shí)別能力較強(qiáng)的集成分類器.

在行為識(shí)別階段，對(duì)實(shí)時(shí)采集的反映電力監(jiān)控系統(tǒng)行為的流量特征、系統(tǒng)日志、系統(tǒng)告警等原始數(shù)據(jù)進(jìn)行清洗，刪除含有缺失值和異常值的記錄，進(jìn)行歸一化等數(shù)據(jù)預(yù)處理操作，生成電力監(jiān)控系統(tǒng)行為識(shí)別樣本數(shù)據(jù)，通過(guò)預(yù)先離線訓(xùn)練構(gòu)建的集成分類器對(duì)電力監(jiān)控系統(tǒng)異常行為進(jìn)行在線識(shí)別.若識(shí)別結(jié)果判斷為異常行為，則向系統(tǒng)管理員發(fā)出告警.

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的性能，通過(guò)實(shí)驗(yàn)從模型檢測(cè)準(zhǔn)確率和模型收斂速度2個(gè)方面，分別與決策樹模型、多SVM協(xié)同學(xué)習(xí)模型、淺層人工神經(jīng)網(wǎng)絡(luò)模型、基于Adam優(yōu)化的全連接神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比分析.其中，實(shí)驗(yàn)數(shù)據(jù)采用國(guó)網(wǎng)江蘇省電力有限公司南京供電分公司電力調(diào)度控制中心提供的經(jīng)脫密處理的包含流量特征、系統(tǒng)日志、系統(tǒng)告警等信息的電力監(jiān)控系統(tǒng)行為原始數(shù)據(jù)集，具體采用的特征指標(biāo)集見(jiàn)表1.經(jīng)過(guò)預(yù)處理后選擇1×105條數(shù)據(jù)，分別按照5%、10%、15%、20%、25%、30%的比例進(jìn)行樣本數(shù)據(jù)標(biāo)記，構(gòu)成5個(gè)不同的訓(xùn)練樣本集，選擇5 000條數(shù)據(jù)并全部進(jìn)行樣本數(shù)據(jù)標(biāo)記構(gòu)成測(cè)試樣本集.采用TensorFlow、SKlean、Numpy等機(jī)器學(xué)習(xí)開源框架構(gòu)建上述各種機(jī)器學(xué)習(xí)模型.本文方法的核心分類模型采用3層殘差全連接層.實(shí)驗(yàn)硬件環(huán)境為英特爾Core i7-3770(四核)、16 GB內(nèi)存、Windows 7平臺(tái).

表1 實(shí)驗(yàn)采用的特征指標(biāo)集

圖5給出了不同標(biāo)記數(shù)據(jù)規(guī)模下模型檢測(cè)準(zhǔn)確率的對(duì)比結(jié)果.由圖可知，在不同樣本標(biāo)記規(guī)模情況下，本文方法的異常行為檢測(cè)準(zhǔn)確率最高.究其原因在于，該方法將基于殘差思想的深度學(xué)習(xí)模型與半監(jiān)督學(xué)習(xí)方法相結(jié)合，前者具有較深的網(wǎng)絡(luò)層次保證，可以學(xué)習(xí)到更加細(xì)致的系統(tǒng)行為特征信息，后者則增加了基于無(wú)標(biāo)記樣本數(shù)據(jù)的增量學(xué)習(xí)功能，降低了對(duì)標(biāo)記樣本數(shù)據(jù)的需求，同時(shí)強(qiáng)化了各成員分類器的識(shí)別能力.

圖5 不同標(biāo)記數(shù)據(jù)規(guī)模下模型檢測(cè)準(zhǔn)確率對(duì)比

圖6給出了標(biāo)記數(shù)據(jù)比例為20%時(shí)模型訓(xùn)練收斂速度的對(duì)比結(jié)果.由圖可知，基于Adam優(yōu)化的全連接神經(jīng)網(wǎng)絡(luò)模型的收斂速度較慢，在訓(xùn)練開始20 min內(nèi)，模型的檢測(cè)準(zhǔn)確率始終在85%左右波動(dòng)；訓(xùn)練28 min后，模型檢測(cè)準(zhǔn)確率才達(dá)到90%以上，且訓(xùn)練過(guò)程中模型準(zhǔn)確率出現(xiàn)較大波動(dòng).而本文方法在訓(xùn)練開始6 min后，模型檢測(cè)準(zhǔn)確率便超過(guò)90%；訓(xùn)練過(guò)程中，檢測(cè)準(zhǔn)確率未出現(xiàn)較大波動(dòng)，且始終高于基于Adam優(yōu)化的全連接神經(jīng)網(wǎng)絡(luò)模型.這說(shuō)明本文方法引入的殘差思想和BN層能夠有效解決梯度消失、梯度爆炸、數(shù)據(jù)波動(dòng)等問(wèn)題，使模型訓(xùn)練收斂速度更迅速.

圖6 標(biāo)記數(shù)據(jù)比例為20%時(shí)模型訓(xùn)練收斂速度對(duì)比

5 結(jié)論

1) 為了提升電力監(jiān)控系統(tǒng)的安全防護(hù)能力，本文將深度學(xué)習(xí)模型與半監(jiān)督學(xué)習(xí)方法相結(jié)合，引入殘差思想，提出了一種基于殘差全連接神經(jīng)網(wǎng)絡(luò)的電力監(jiān)控系統(tǒng)異常行為檢測(cè)方法，實(shí)現(xiàn)電力監(jiān)控系統(tǒng)異常行為的快速、準(zhǔn)確識(shí)別，同時(shí)降低了對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行人工標(biāo)記的開銷.

2) 采用混合擾動(dòng)方法，基于兩級(jí)殘差全連接神經(jīng)網(wǎng)絡(luò)模型構(gòu)建具有差異性的成員分類器集群.在利用有標(biāo)記樣本數(shù)據(jù)進(jìn)行離線集成學(xué)習(xí)的基礎(chǔ)上，通過(guò)加權(quán)多數(shù)表決法，根據(jù)無(wú)標(biāo)記訓(xùn)練樣本數(shù)據(jù)對(duì)集成分類器進(jìn)行增量學(xué)習(xí)，強(qiáng)化各成員分類器的識(shí)別能力，從而進(jìn)一步提升集成分類器的識(shí)別準(zhǔn)確率.

3) 實(shí)驗(yàn)結(jié)果表明，本文方法在無(wú)需對(duì)所有訓(xùn)練樣本數(shù)據(jù)進(jìn)行人工標(biāo)記的情況下，其檢測(cè)準(zhǔn)確率和模型訓(xùn)練收斂速度明顯優(yōu)于其他已有方法.