趙文清，沈哲吉，李 剛

華北電力大學(xué) 控制與計算機(jī)工程學(xué)院，河北 保定 071003)

0 引言

配電側(cè)電力用戶的竊電、欺詐等一系列欺騙性用電行為所導(dǎo)致的損失統(tǒng)稱為非技術(shù)性損失NTL(Non-Technical Loss)。非技術(shù)性損失對電網(wǎng)的正常運行會產(chǎn)生嚴(yán)重的影響，擾亂地區(qū)電網(wǎng)的正常調(diào)度，甚至?xí)捎谟脩羲阶愿慕泳€路而引發(fā)安全事故。非技術(shù)性損失在實際運行的電網(wǎng)中普遍存在，在某些國家中，非技術(shù)性損失約占用電總量的12.5%～25%[1]。在印度、巴西和墨西哥，非技術(shù)性損失分別占其全國用電量的26.2%、16.85%和15.83%[2]。我國的非技術(shù)性損失相對較低，占全國用電總量的6.42%[2]。 但由于我國電能需求總體龐大，且近年來用電量不斷攀升[3]，在2016年由非技術(shù)性損失所帶來的經(jīng)濟(jì)損失高達(dá)190億元。因此，研究降低非技術(shù)性損失有著非常重要的現(xiàn)實社會意義。

當(dāng)今電網(wǎng)公司主要通過加強(qiáng)計量設(shè)備管理、采用專用計量箱或采用防撬鉛封和選擇合理電流互感器倍率等方法來降低非技術(shù)性損失[4]。但這些方法需要投入額外的人力物力，且不能及時發(fā)現(xiàn)非技術(shù)性損失。隨著電網(wǎng)的智能化程度不斷提高，以及遠(yuǎn)程用電信息采集系統(tǒng)的使用與推廣，電網(wǎng)公司可以通過分析遠(yuǎn)程用電信息采集系統(tǒng)中的數(shù)據(jù)來降低非技術(shù)性損失[5]。但是，目前依然存在一些問題。首先，電網(wǎng)公司中用戶用電數(shù)據(jù)非常龐大。文獻(xiàn)[6-7]中指出截至2013年年底，國家電網(wǎng)公司累計安裝智能電表1.82億只，實現(xiàn)用電信息采集1.91億戶。如果一個地區(qū)以100萬只智能電表來計算，一年積累的數(shù)據(jù)量就可高達(dá)3.18 TB。其次，由于某些因素會使得數(shù)據(jù)出現(xiàn)缺失和錯誤，甚至在國外存在一些黑客組織專門針對智能電表發(fā)動網(wǎng)絡(luò)攻擊[8]。

為解決非技術(shù)性損失檢測問題，國內(nèi)外學(xué)者進(jìn)行了許多研究，提出了各種模型。這些模型可概括性地歸為3類：基于統(tǒng)計學(xué)的模型、基于專家知識的模型和基于數(shù)據(jù)驅(qū)動的模型。文獻(xiàn)[9-10]通過帶權(quán)最小二乘法和高斯核函數(shù)分析用戶用電數(shù)據(jù)，從而判斷出可疑的交易信息記錄。這種方法的誤報率較高，不適合電網(wǎng)的大規(guī)模實際應(yīng)用。為提高模型的準(zhǔn)確性，文獻(xiàn)[11]基于人工經(jīng)驗規(guī)則庫，實現(xiàn)對于異常交易記錄與異常用戶的識別工作。這種模型依賴專家知識規(guī)則，因此通用性不高。數(shù)據(jù)驅(qū)動模型具有更好的準(zhǔn)確性和通用性，文獻(xiàn)[12-13]使用歷史數(shù)據(jù)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)和用戶行為分析模型，以實現(xiàn)異常用電模式的檢測。文獻(xiàn)[13-16]都是對用戶交易記錄信息進(jìn)行數(shù)據(jù)挖掘，得到用戶用電數(shù)據(jù)的特征，以實現(xiàn)異常用電模式的檢測，但這些方法難以從大量高維度數(shù)據(jù)中提取出數(shù)據(jù)的特征和特征匹配。

為克服上述缺點，本文提出一種基于深度學(xué)習(xí)的用戶異常用電模式檢測的模型。利用TensorFlow框架構(gòu)建深度學(xué)習(xí)模型，主要由兩部分組成，分別是基于長短期記憶(LSTM)的特征提取網(wǎng)絡(luò)和基于全連接網(wǎng)絡(luò)(FCN)的多層特征匹配網(wǎng)絡(luò)。由于用戶用電數(shù)據(jù)主要為時間序列數(shù)據(jù)，而LSTM網(wǎng)絡(luò)相對于其他網(wǎng)絡(luò)(卷積神經(jīng)網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò))更適合處理時間序列數(shù)據(jù)[17]。在特征提取網(wǎng)絡(luò)中，通過多個特征提取模塊，以實現(xiàn)輸入數(shù)據(jù)的特征提取。在多層特征匹配網(wǎng)絡(luò)中，通過FCN處理特征序列，以實現(xiàn)用戶用電模式的特征匹配，完成用戶用電模式的異常檢測。

1 相關(guān)技術(shù)介紹

1.1 TensorFlow框架

TensorFlow框架是谷歌基于DistBelief研發(fā)的人工智能學(xué)習(xí)系統(tǒng)，具有高度的靈活性和可移植性。目前，TensorFlow框架是主要的深度學(xué)習(xí)框架之一。本文通過TensorFlow框架建立基于深度學(xué)習(xí)的用戶異常用電模式檢測的模型，實現(xiàn)對用戶用電數(shù)據(jù)的異常模式的檢測。

1.2 LSTM結(jié)構(gòu)和結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)

LSTM結(jié)構(gòu)通常由一個或者多個長短期記憶塊(LSTM block)組成。長短期記憶塊結(jié)構(gòu)由四部分組成，分別為輸入門、輸出門、遺忘門和長短期記憶單元(LSTM cell)。長短期記憶塊組成結(jié)構(gòu)如附錄中圖A1所示。

結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RNN(Recursive Neural Network)是利用多個相似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遞歸構(gòu)造更為復(fù)雜的深度網(wǎng)絡(luò)，其結(jié)構(gòu)在2維平面上類似于樹結(jié)構(gòu)。附錄中圖A2為一種結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)的示意圖。

通常情況下，在遞歸過程中易發(fā)生權(quán)重指數(shù)級爆炸或消失的問題，使結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)難以捕捉數(shù)據(jù)之間的關(guān)聯(lián)。而基于LSTM的結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)能較好地避免上述問題，并且在基因分類和機(jī)器翻譯等領(lǐng)域取得了不錯的成績[18-19]。

2 基于深度學(xué)習(xí)的用戶異常用電模式檢測模型

為了更好地完成異常用電模式檢測，本文提出一種基于深度學(xué)習(xí)的用戶異常用電模式檢測的模型，如圖1所示。該模型通過深度學(xué)習(xí)找出用電數(shù)據(jù)與用戶用電模式之間的關(guān)系，分析出異常的用電數(shù)據(jù)。

圖1 基于深度學(xué)習(xí)的用戶異常用電模式檢測模型Fig.1 Anomaly power consumption detection model based on deep learning

2.1 數(shù)據(jù)源與數(shù)據(jù)集

本文使用的數(shù)據(jù)源來自于某防竊電公司采集的用戶電表數(shù)據(jù)，數(shù)據(jù)采集的時間間隔為15 min，數(shù)據(jù)樣本為數(shù)據(jù)源部分?jǐn)?shù)據(jù)。取某電表一天的三相電流數(shù)據(jù)構(gòu)成一條樣本數(shù)據(jù)，數(shù)據(jù)維度為288維。標(biāo)簽數(shù)據(jù)來自于該公司專家分析與現(xiàn)場稽查的結(jié)果。為保證數(shù)據(jù)的安全性，數(shù)據(jù)集均經(jīng)過脫敏處理；為能更接近實際情況，在訓(xùn)練集中降低異常用電數(shù)據(jù)比例；為測試模型學(xué)習(xí)異常用電數(shù)據(jù)特征的能力，在測試集中適當(dāng)增加異常數(shù)據(jù)。

2.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)可能出現(xiàn)重復(fù)、缺失甚至錯誤等問題，因此對數(shù)據(jù)進(jìn)行預(yù)處理。本文所用的預(yù)處理方法主要為數(shù)據(jù)的清洗與歸一化處理。數(shù)據(jù)清洗主要是刪除重復(fù)信息、填補缺失信息和糾正錯誤信息等。數(shù)據(jù)歸一化處理如式(1)所示。

(1)

2.3 特征提取網(wǎng)絡(luò)

2.3.1 特征提取模塊

2.3.2 特征提取網(wǎng)絡(luò)的結(jié)構(gòu)

在許多實際問題中，模型需要處理高維度數(shù)據(jù)。一般地，有多種不同的特征以及特征之間的關(guān)系隱含在高維度數(shù)據(jù)中，這些特征和關(guān)系能有效地反映數(shù)據(jù)的特性。從數(shù)據(jù)中提取的特征以及特征之間的關(guān)系越多，將越有利于模型做出準(zhǔn)確的判斷。而在很多情況下，單一的特征提取模塊難以從高維度數(shù)據(jù)中提取多種特征以及特征之間的關(guān)系。

為解決上述問題，本文將輸入的高維度數(shù)據(jù)x劃分成為3個大小相同的子數(shù)據(jù)：x1、x2和x3(xa∩xb=?；x1∪x2∪x3=x。其中?(a,b),a≠b；a=1,2,3；b=1,2,3)。針對子數(shù)據(jù)，利用由10個特征提取模塊所構(gòu)建的結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)，實現(xiàn)輸入的高維度數(shù)據(jù)x的特征提取。特征提取網(wǎng)絡(luò)結(jié)構(gòu)如附錄中圖A4所示。圖中，x(t)為時刻t輸入的數(shù)據(jù)，x(t)被分解為3個子數(shù)據(jù)x1、x2和x3；FEMi,j表示第j層的第i個特征提取模塊；hi,j表示FEMi,j的輸出數(shù)據(jù)；s(t)表示FEM4,1的輸出數(shù)據(jù)，也表示從x(t)中提取得到的特征數(shù)據(jù)。本文中，h1,j(j=1,2,3)均為64維輸出數(shù)據(jù)，h2,j(j=1,2,3)均為48維輸出數(shù)據(jù)，h3,j(j=1,2,3)均為32維輸出數(shù)據(jù)，F(xiàn)EM4,1輸出96維特征數(shù)據(jù)。

通過如附錄中圖A4所示的特征提取網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)從高維度(如2.1節(jié)所述，288維)數(shù)據(jù)x中提取出特征數(shù)據(jù)。首先，從輸入數(shù)據(jù)x的子集數(shù)據(jù)(x1、x2和x3)中提取特征；然后，通過多層結(jié)構(gòu)遞歸的特征提取，逐漸壓縮特征數(shù)據(jù)的維度并維持特征間關(guān)系，從而使提取的特征數(shù)據(jù)具有整體性，能較為完整地反映輸入數(shù)據(jù)特性；最后，F(xiàn)EM4,1輸出96維數(shù)據(jù)s=[s1,s2,…,s96]，該96維數(shù)據(jù)就是所需要的特征數(shù)據(jù)，從而完成了高維度數(shù)據(jù)的特征提取。

2.4 多層特征匹配網(wǎng)絡(luò)

使用2.3節(jié)中特征提取網(wǎng)絡(luò)所得到的特征數(shù)據(jù)，實現(xiàn)用戶用電模式的特征匹配，進(jìn)而完成數(shù)據(jù)類型的標(biāo)注。為實現(xiàn)該目的，本文利用一個由3層全連接的隱含層組成的神經(jīng)網(wǎng)絡(luò)實現(xiàn)用戶特征數(shù)據(jù)的匹配工作。多層特征匹配網(wǎng)絡(luò)結(jié)構(gòu)如附錄中圖A5所示。圖中，s=[s1,s2,…,s96]表示特征提取網(wǎng)絡(luò)所得到的96維特征數(shù)據(jù)；λk表示第k層網(wǎng)絡(luò)到第k+1層網(wǎng)絡(luò)的偏置；Lk,n表示第k層隱含層的第n個節(jié)點;Output表示輸出層。

該特征匹配模型中，輸入層輸入數(shù)據(jù)為96維，第1層隱含層輸出數(shù)據(jù)為64維，第2層隱含層輸出數(shù)據(jù)為32維，第3層隱含層輸出數(shù)據(jù)為16維，輸出層輸出數(shù)據(jù)為2維，該2維數(shù)據(jù)為不同標(biāo)注類型的權(quán)值，最終完成分類。

2.5 損失計算與梯度優(yōu)化

本文使用損失函數(shù)來計算當(dāng)前模型的損失偏差程度。通過損失函數(shù)的計算，進(jìn)行反饋調(diào)節(jié)，調(diào)整各個神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置。本文中所用損失函數(shù)如式(2)所示。

fLoss=-mean[yrealln(yclass)]

(2)

其中，yreal表示實際的分類標(biāo)簽；yclass表示分類結(jié)果。

對于上述損失函數(shù)，本文使用適應(yīng)性矩陣估計進(jìn)行優(yōu)化，得到最小化損失函數(shù)值。反饋調(diào)節(jié)部分由TensorFlow框架完成。

2.6 模型評價方法

本文使用混淆矩陣[20]對模型的結(jié)果進(jìn)行評價。定義異常用電數(shù)據(jù)為負(fù)類，正常用電數(shù)據(jù)為正類。分類結(jié)果用混淆矩陣表示，如附錄中表A1所示，行(Positive/Negative)對應(yīng)實際所屬的類別，列(True/False)表示分類器預(yù)測的類別。在混淆矩陣的基礎(chǔ)上，可以產(chǎn)生多種模型評價指標(biāo)。本文使用準(zhǔn)確率fMetric1和漏警率fMetric2進(jìn)行評價，具體定義如下：

(3)

(4)

其中，nTP為將正常數(shù)據(jù)分類為正常的數(shù)目；nTN為將異常數(shù)據(jù)分類為異常的數(shù)目;nFP為將正常數(shù)據(jù)分類為異常的數(shù)目;nFN為將異常數(shù)據(jù)分類為正常的數(shù)目。

準(zhǔn)確率是正確識別數(shù)目占測試樣本的比率，這個指標(biāo)越高，反映出模型錯誤識別用電模式為異常的可能性越低。漏警率是模型錯誤識別異常用電數(shù)據(jù)占總的異常數(shù)據(jù)的比率，這個指標(biāo)越低，反映出模型錯誤識別用電模式為正常的可能性越低。

3 實驗分析

為了驗證本文所提模型的有效性，與其他非深度學(xué)習(xí)模型(支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò))進(jìn)行對比實驗。該實驗進(jìn)行5次，取平均值。此外，該模型也與常規(guī)的多層LSTM所構(gòu)成的深度學(xué)習(xí)模型進(jìn)行對比實驗。該實驗進(jìn)行5次，2個模型運行周期均為15 000。

3.1 實驗數(shù)據(jù)與實驗環(huán)境

本文采用的數(shù)據(jù)集為2.1節(jié)中所介紹的數(shù)據(jù)樣本。數(shù)據(jù)樣本包含若干電力用戶2個月內(nèi)的三相電流數(shù)據(jù)，總計3 863條數(shù)據(jù)。訓(xùn)練集中異常用電數(shù)據(jù)有309條，正常數(shù)據(jù)有3 422條，異常數(shù)據(jù)占訓(xùn)練集的8.28%。測試集中異常用電數(shù)據(jù)有51條，正常數(shù)據(jù)有81條，異常數(shù)據(jù)占測試集的38.64%。算法運行平臺為已經(jīng)搭建好的TensorFlow深度學(xué)習(xí)平臺。實驗平臺為一臺PC，其中央處理器(CPU)為Intel E3 4核，內(nèi)存(RAM)為8G，顯卡(GPU)為NVIDIA GTX 960。

3.2 實驗結(jié)果與分析

3.2.1 本文所提模型實驗結(jié)果

文本所提模型在測試集上的分類結(jié)果如下：TP類平均為80.6條，F(xiàn)P類平均為0.4條，TN類平均為46條，F(xiàn)N類平均為5條。由此可得本文所提模型的準(zhǔn)確率和漏警率指標(biāo)如下：模型準(zhǔn)確率為95.90%，漏警率為9.80%。

3.2.2 與非深度學(xué)習(xí)模型的對比

為驗證本文所提模型的有效性，與非深度學(xué)習(xí)模型(支持向量機(jī)模型和BP神經(jīng)網(wǎng)絡(luò)模型)進(jìn)行了對比實驗。非深度學(xué)習(xí)模型在測試集上的分類結(jié)果如下：非深度學(xué)習(xí)模型能正確識別TP類數(shù)據(jù)81條；而對于異常數(shù)據(jù)，支持向量機(jī)模型識別TP類25條，F(xiàn)N類 26條，BP神經(jīng)網(wǎng)絡(luò)模型識別TP類17條，F(xiàn)N類34條。

計算各模型的準(zhǔn)確率和漏警率，得到評價指標(biāo)結(jié)果如下：本文所提模型的準(zhǔn)確率為95.90%，高于支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)的81.06%和87.12%;本文所提模型漏警率為9.80%，低于支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)的50.98%和66.67%。由此說明，本文所提模型相對于支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)具有更好的性能。

3.2.3 與多層LSTM深度學(xué)習(xí)模型的對比

本文所提模型與常規(guī)的多層LSTM模型[17]進(jìn)行了對比實驗。其相應(yīng)的混淆矩陣對比結(jié)果如下：多層LSTM模型識別TP類平均為75.4條，F(xiàn)P類平均為5.6條，TN類平均為45.2條，F(xiàn)N類平均為5.8條；而本文所提模型識別TP類平均為80.6條，F(xiàn)P類平均為0.4條，TN類平均為46條，F(xiàn)N類平均為5條。

計算各模型的準(zhǔn)確率和漏警率，得到評價指標(biāo)結(jié)果對比如下：本文所提模型準(zhǔn)確率為95.90%，高于多層LSTM模型的91.36%；本文所提模型的漏警率為9.80%，低于多層LSTM模型的11.37%。由此可知，本文所提模型相對于多層LSTM模型具有更好的性能。此外，為了能夠體現(xiàn)模型的魯棒性，記錄了2個模型在15 000個訓(xùn)練周期中，在測試集上的準(zhǔn)確率，如圖2所示。

圖2 2個模型的準(zhǔn)確率對比Fig.2 Comparison of accuracy between two models

從圖2可以看出，本文模型和多層LSTM模型在大約5 000個周期后，2個模型準(zhǔn)確率變化程度變小，可認(rèn)為2個模型生成趨于穩(wěn)定；在大約5 000個周期后，本文所提模型的準(zhǔn)確率比多層LSTM模型高；本文所提模型在大約5 000個周期后，模型準(zhǔn)確率變化幅度比多層長短期LSTM小。

綜上所述，本文所提模型相對于多層LSTM模型，具有更好的準(zhǔn)確性和魯棒性。

4 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的用戶異常用電模式檢測的模型。該模型能從實際的用戶數(shù)據(jù)中檢測得到用電模式存在異常的數(shù)據(jù)。所做工作如下：利用TensorFlow框架，成功構(gòu)建了一個基于深度學(xué)習(xí)的用戶異常用電模式檢測模型；利用多個特征提取模塊構(gòu)建了基于結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)；利用3層全連接神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個數(shù)據(jù)特征匹配的神經(jīng)網(wǎng)絡(luò)。

將本文所提模型與支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對比實驗。實驗結(jié)果說明，本文提出的模型相對于非深度學(xué)習(xí)模型有更好的性能，能夠發(fā)現(xiàn)用電模式存在異常的數(shù)據(jù)，具有更高的準(zhǔn)確性。此外，本文所提模型相對于多層LSTM模型具有更好的準(zhǔn)確性和魯棒性。

在后續(xù)工作中，將研究如何加快深度學(xué)習(xí)模型的學(xué)習(xí)速度，縮減模型生成所需要的時間，更為有效地提取用戶用電模式特征和優(yōu)化特征匹配，以滿足實際需求。

致 謝

本文中實驗方案的制定和實驗數(shù)據(jù)的測量記錄工作是在保定市新源綠網(wǎng)電力科技有限公司的工作人員的大力支持下完成的，在此向他們表示衷心的感謝。

附錄見本刊網(wǎng)絡(luò)版(http:∥www.epae.cn)。