晏 鵬，黃曉旭，黃玉輝，晏 瑾，汪 適，羅 磊

基于BERT-DSA-CNN和知識庫的電網(wǎng)調(diào)控在線告警識別

晏 鵬1，黃曉旭1，黃玉輝2，晏 瑾1，汪 適1，羅 磊1

(1.貴州電網(wǎng)有限責任公司銅仁供電局，貴州 銅仁 554300；2.上海交通大學電子信息與電氣工程學院，上海 200240)

電網(wǎng)調(diào)控告警識別是實現(xiàn)智能電網(wǎng)調(diào)度的重要環(huán)節(jié)。為提高電網(wǎng)調(diào)控告警識別的準確率，針對電網(wǎng)數(shù)據(jù)量龐大、有效信息提取困難、傳統(tǒng)知識庫知識遷移能力較差等問題，提出一種基于BERT-DSA-CNN和知識庫的電網(wǎng)調(diào)控在線告警識別方法。首先在自然語言處理-深度學習的文本數(shù)據(jù)挖掘架構基礎上，經(jīng)過分詞、去停用詞等步驟，利用BERT模型獲取電網(wǎng)調(diào)控告警信息詞向量。然后將詞向量輸入CNN深度學習模型進行訓練，并根據(jù)電網(wǎng)告警信息的特點引入DSA機制對CNN模型進行改進。最后提出了融合深度學習模型和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案。通過大量的算例結(jié)果分析得出，該方法相比Word2vec、傳統(tǒng)CNN、傳統(tǒng)知識庫、離線學習等方法，具有更高的準確性和有效性，對不同的故障類型均具有較好的識別能力，為工程應用提供了一種思路。

告警識別；BERT；深度學習；卷積神經(jīng)網(wǎng)絡；DSA；知識庫

0 引言

隨著智能電網(wǎng)的快速發(fā)展，大量的新能源發(fā)電、變電站、智能電表、傳感器、電動汽車等接入電網(wǎng)，電力系統(tǒng)的數(shù)據(jù)規(guī)?？焖僭鲩L[1-7]。這為電網(wǎng)調(diào)控帶來了嚴峻的挑戰(zhàn)，特別是出現(xiàn)異常和故障時，大量SCADA(Supervisory Control And DataAcquisition)系統(tǒng)的報警信息涌入調(diào)度控制中心，調(diào)控人員很難快速篩選出關鍵信息以供決策[8-9]。另一方面，海量的文本蘊含著豐富的數(shù)據(jù)信息，如果能有效地挖掘電力大數(shù)據(jù)，提取重要信息，就能夠?qū)崿F(xiàn)電網(wǎng)調(diào)控告警信息高效識別，進一步提升智能電網(wǎng)的管理水平[10]。

電網(wǎng)調(diào)控告警識別技術是提高調(diào)控智能化水平、解決大數(shù)據(jù)信息挖掘的有效手段之一，已受到國內(nèi)外學者的普遍重視。目前其主要的研究方向有：(1) 在調(diào)度端告警信息的基礎上，基于專家系統(tǒng)或人工智能算法建立電網(wǎng)的智能故障診斷模型，通過分析多個保護裝置的告警信息和上下游電氣量，推斷故障位置及類型[11-15]。如文獻[11]利用Petri網(wǎng)圖論工具對電網(wǎng)系統(tǒng)建模，引入補充弧元組和動態(tài)自適應策略，適配專家系統(tǒng)的模糊知識更新，并利用BP神經(jīng)網(wǎng)絡算法訓練模型參數(shù)。文獻[12]利用故障與保護動作、保護動作和繼電器跳閘等的時序信息，建立了基于時序貝葉斯知識庫的電網(wǎng)故障診斷模型，以此判斷故障元件和正確動作/誤動/拒動的保護裝置與斷路器。(2) 采用人工智能或深度學習算法進行告警文本信息的深入挖掘，提取重要信息，實現(xiàn)在線告警識別[16-20]。如文獻[16]采用語義分析技術解析電網(wǎng)遙信信息，在人工預設模板的基礎上，通過字符串分段匹配語義分析模塊，實現(xiàn)單條遙信告警信息的解析，在此基礎上進一步建立遙信信息間的關聯(lián)關系，將關聯(lián)結(jié)果提供給診斷程序使用。但是，隨著告警文本數(shù)量和種類的增多，單純依靠人工預設模板將面臨規(guī)則難以提煉和維護的難題，模型也不具備自學習功能。文獻[17]采用Word2vec和深度學習算法解決電網(wǎng)監(jiān)控告警事件的智能識別問題，并提出了融合知識庫和深度學習模型的電網(wǎng)監(jiān)控智能告警的思路和框架。Word2vec是谷歌公司在2013年提出的一種無監(jiān)督的自然語言處理(Natural Language Processing, NLP)模型，具有生成詞向量速度快、通用性強的優(yōu)點。該文通過Word2vec模型將告警信息向量化，在其基礎上建立卷積神經(jīng)網(wǎng)絡告警事件識別模型，通過仿真驗證了模型的有效性。

計算機技術的發(fā)展日新月異，2018年底谷歌公司又提出了一種新的NLP模型——基于Transformer的雙向解碼器表示(Bidirectional Encoder Rep-resentation from Transformers, BERT)模型[21]。該模型作為Word2vec的替代者，在一詞多義和上下文聯(lián)系兩個方面取得重大突破，并在Machine Trans-lation的最高水平測試的11個方向中均創(chuàng)出了最佳成績。本文將BERT模型引入到電網(wǎng)調(diào)控智能告警系統(tǒng)中，實現(xiàn)電網(wǎng)調(diào)控告警信息的向量化，然后將向量化的信息輸入卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)深度學習模型進行訓練，并根據(jù)電網(wǎng)告警信息的特點引入雙重自注意力機制(Double Self Attention, DSA)對CNN模型進行改進。算例驗證了模型的準確性和有效性。提出了融合BERT-DSA-CNN模型和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案，為工程應用提供了一種思路。

1 自然語言處理-深度學習的文本數(shù)據(jù)挖掘架構

文本數(shù)據(jù)挖掘是一種從文本數(shù)據(jù)流中提取和挖掘有效信息的計算機處理技術，廣泛應用于搜索引擎檢索、智能電子商務等領域中。電網(wǎng)調(diào)控在線告警識別是從海量調(diào)控告警數(shù)據(jù)中提取故障相關信息，診斷故障事件的類型，符合文本數(shù)據(jù)挖掘的定義。因此本文將文本數(shù)據(jù)挖掘技術應用于電網(wǎng)調(diào)控在線告警識別中，其基本架構如下所述。

1) 文本屬于自然語言，需要使用自然語言處理技術將文本信息轉(zhuǎn)換為數(shù)字信息，通常需要經(jīng)過分詞、去除停用詞、建立向量三個步驟。

分詞：基于標準語料庫的樣本統(tǒng)計，將句信息分解為詞信息。例如“xx變2號主變3號電容器保護動作”可分詞為“xx變 2號主變 3號電容器保護動作”。

去除停用詞：去除出現(xiàn)頻率較高、對文本分析無幫助的詞語，以增加模型的泛化能力，例如“中”、“和”、“或”、“.”等字詞和符號。

建立向量：將非結(jié)構的文本信息轉(zhuǎn)變?yōu)榻Y(jié)構化的向量信息，為深度學習模型提供輸入變量。

2) 構建深度學習模型，設置超參數(shù)和目標函數(shù)訓練模型，在測試集中檢驗模型效果。

2 基于BERT模型的電網(wǎng)調(diào)控告警信息向量化

BERT是一種用于對自然語言進行編碼的模型，它提供了一種動態(tài)的預訓練技術方案，堪稱自然語言處理領域的重要里程碑，在多個下游任務上的表現(xiàn)相比Word2vec、Glove等靜態(tài)技術有很大的進步。其主要優(yōu)點有：

1) 采用MLM(masked LM)預訓練方法，該方法隨機屏蔽(masking)部分詞，然后只預測那些被屏蔽的詞，引入噪聲機制增強了模型的魯棒性。

2)借鑒ULMFiT(Universal Language Model Fine-tuning)的訓練策略，一共分為3個階段，一是語言模型的預訓練，二是語言模型的調(diào)整，三是分類任務的調(diào)整，模型易于訓練。

3) 模型遷移能力強，能有效處理一詞多義問題，帶給下游任務的提升更多。

BERT的源碼和模型均已在Github網(wǎng)站上開源，本文使用其開源代碼建模。

圖1 BERT模型

3 DSA-CNN深度學習模型

卷積神經(jīng)網(wǎng)絡CNN是一種擅長提取局部特征的深度學習模型，相比傳統(tǒng)神經(jīng)網(wǎng)絡具有訓練參數(shù)少、抑制模型過擬合等優(yōu)點，適用于挖掘具有上下文聯(lián)系的相鄰調(diào)控告警信息之間的關聯(lián)性特征，從而識別告警事件的類別。

傳統(tǒng)CNN模型包含輸入層、卷積層、池化層、全連接層四層結(jié)構。在文本數(shù)據(jù)挖掘問題中，輸入層為輸入詞向量矩陣，卷積層提取不同層面的特征，池化層在保留主要特征的同時減少參數(shù)和計算量，防止模型過擬合，全連接層起到“分類器”的作用，輸出分類結(jié)果。在輸入層向卷積層過渡的過程中，所有輸入詞向量被視為同等重要，其權重相同，并未考慮到關鍵告警信息對告警事件判別的重要程度，例如帶有“動作”“開關”“斷路器”等的告警信息比一般告警信息更重要。因此本文引入雙重自注意力機制DSA[22]，在輸入層和池化層對重要詞向量賦予更高的權重，以提升CNN的語義捕捉能力，提高模型正確率。注意力機制在計算機領域被廣泛應用于深度學習中，其本質(zhì)是一系列鍵值對()組成的數(shù)據(jù)源，通過計算元素Query和各個Key之間的相關性得到Key-Value的權重系數(shù)，經(jīng)過加權求和計算出反映重要程度的注意力數(shù)值Attention[23-25]。DSA-CNN模型如圖2所示。

圖2 DSA-CNN模型

式中，為輸入中第個詞的維詞向量。輸入層的作用是將向量化的文本數(shù)據(jù)傳入DSA-CNN模型，并和注意力層連接。

第2層(注意力層)：注意力層為每一個告警詞向量引入自注意力評分機制，生成變換上下文向量，并與原詞向量拼接后輸入卷積層。詞向量對應的變換上下文向量可表示為

最后將變換上下文向量和原詞向量串聯(lián)拼接，作為新的輸入傳送至卷積層。

式中：為激活函數(shù)；b為偏置項。

第4層(池化層)：池化層的作用是特征降維，壓縮數(shù)據(jù)和參數(shù)，抑制過擬合現(xiàn)象。本文在池化層引入了第2層自注意力機制，對卷積層輸入矩陣分配注意力權重系數(shù)，經(jīng)過變換、拼接后再進行池化操作。池化方法選用最大池化法，形成全連接層輸入向量。

第5層(全連接層)：全連接層起到分類器的作用，輸入向量經(jīng)全連接層后使用Softmax分類，其結(jié)果可表示為

式中：為事件的類別概率；0為全連接層輸入向量的權重；0為偏置項。

4 基于BERT-DSA-CNN的電網(wǎng)調(diào)控在線告警識別

本文提出了一種基于BERT-DSA-CNN的電網(wǎng)調(diào)控在線告警識別模型，如圖3所示，其主要步驟如下：

1) 建立電力詞典。收集資料形成專業(yè)電力詞庫，并導入調(diào)控告警信息中的線路名稱，形成電力詞典。

2) 告警信息分詞。利用分詞工具進行分詞操作。

3) 告警信息去停用詞。去除出現(xiàn)頻率較高、對文本分析無幫助的詞語，增加模型的泛化能力。

4) BERT生成告警信息詞向量。采用BERT方法生成涵蓋告警信息特征的高位詞向量，作為深度學習模型的輸入。

5) DSA-CNN深度學習模型訓練。模型以告警信息詞向量為輸入，以從歷史告警和調(diào)度日志中提取出的故障信息事件樣本類別為輸出，搭建DSA-CNN模型，選取算法訓練優(yōu)化模型參數(shù)。

6) 電網(wǎng)調(diào)控在線告警識別測試。在測試集中對DSA-CNN的識別效果進行測試。

7) 模型評價。采用多項分類評估指標對模型的識別效果進行評價，驗證模型的準確性。

圖3 BERT-DSA-CNN流程圖

5 算例分析

5.1 算例描述

為確保與實際電力調(diào)度的運行情況相符，本文選取某市電力調(diào)控中心2019年全年約800萬條歷史監(jiān)控告警信息作為算例的數(shù)據(jù)來源，按照圖3的流程對模型進行訓練和識別。其中，從歷史告警和調(diào)度日志中提取出4類事故跳閘事件，其故障分類統(tǒng)計如表1所示。

表1 故障分類統(tǒng)計

為驗證本文模型的有效性，本文選取未引入雙重自注意力機制的BERT-CNN模型、HMM-VSM-SVM模型、Word2vec-CNN模型、Word2vec-DSA-CNN模型作為對照組，對比各模型的識別效果。模型評價采用準確率、精確率、召回率和1值四項指標，取值范圍均為[0,1]，值越大代表模型識別效果越好。指標計算公式如下。

式中：為每類事件的數(shù)量；、、、服從表2的混淆矩陣。

表2 分類混淆矩陣

5.2 算例結(jié)果對比

各模型的識別準確率結(jié)果如表3所示。由表3可以得出以下結(jié)論：

1) 本文BERT-DSA-CNN模型在各類故障識別場景下，準確率均優(yōu)于BERT-CNN模型，且Word2vec-DSA-CNN模型在各類故障識別場景下，準確率均優(yōu)于Word2vec-CNN，這說明引入DSA機制可以提升CNN的識別精度。

2) 本文BERT-DSA-CNN模型在各類故障識別場景下，準確率均優(yōu)于Word2vec-DSA-CNN模型，且BERT-CNN模型在各類故障識別場景下，準確率均優(yōu)于Word2vec-CNN，驗證了BERT模型相比Word2vec具有更高的詞向量精度。

3) 本文BERT-DSA-CNN模型在各類故障識別場景下，準確率優(yōu)于其他四類對比模型，驗證了模型在準確率指標上的有效性和優(yōu)越性。

表3 各模型準確率對比

同理，對比各模型的精確率、召回率和1值，其結(jié)果分別如表4、表5、表6所示。

表4 各模型精確率對比

表5 各模型召回率對比

表6 各模型F1值對比

觀察表4、表5、表6可知，除了直流換流站故障場景下各模型均未發(fā)生誤判，精確率均為100%以外，其他場景下本文BERT-DSA-CNN模型均優(yōu)于其他四種對比模型，驗證了本文模型在精確率、召回率和1值三類指標上的有效性和優(yōu)越性。同時，BERT-DSA-CNN模型的三類指標大多優(yōu)于BERT-CNN模型，Word2vec-DSA-CNN模型大多優(yōu)于Word2vec-CNN模型，進一步說明了引入DSA機制可以提升CNN的識別精度。此外，BERT-DSA- CNN模型大多優(yōu)于Word2vec-DSA-CNN模型，BERT-CNN模型大多優(yōu)于Word2vec-CNN模型，進一步說明了BERT模型相比Word2vec具有更高的詞向量精度，這一現(xiàn)象與BERT模型在Machine Translation的最高水平測試的11個方向中均創(chuàng)出了最佳成績的事實是吻合的。

6 融合深度學習和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案

6.1 組合電網(wǎng)調(diào)控在線告警識別方案

傳統(tǒng)知識庫具有業(yè)務數(shù)據(jù)豐富、系統(tǒng)知識完備的優(yōu)點，但缺乏自學習能力，知識遷移能力較差。深度學習方法具有較好的學習能力和魯棒性，但模型訓練時間較長，并且在不重新訓練的情況下無法修正學習結(jié)果。兩者的優(yōu)缺點在一定程度上可以互補，因此本文提出一種融合深度學習和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案，旨在通過這種組合方法進一步提升告警識別的正確率。方案流程圖如圖4所示。

圖4 融合深度學習和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案流程圖

融合本文BERT-DSA-CNN模型和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案步驟如下：

1) 利用歷史監(jiān)控告警信息作為訓練數(shù)據(jù)，訓練本文BERT-DSA-CNN模型，在訓練過程中仍采用傳統(tǒng)知識庫模型進行在線監(jiān)控告警。

2) 本文模型訓練完畢后，采用雙告警識別聯(lián)合判別機制，首先由傳統(tǒng)知識庫判別是否發(fā)生故障，無論判別結(jié)果如何，均由BERT-DSA-CNN模型進行二次判別。若兩者判別結(jié)果一致，則推送告警結(jié)果或不告警；若判別結(jié)果不一致，直接由調(diào)度員進行人工干預判斷，并將結(jié)果更新至知識庫和BERT- DSA-CNN模型的故障信息事件樣本集中。

3) 系統(tǒng)運行一定時間后，積累了較多的故障信息事件樣本集，此時由程序?qū)崿F(xiàn)定期在線重新訓練BERT-DSA-CNN模型，達到修正學習結(jié)果的目的。

按照這種方案，隨著在線告警識別系統(tǒng)的運行時間不斷增加，模型的有效樣本數(shù)量也會增加，模型在自學習機制下其準確率將不斷地得到提升。

6.2 算例結(jié)果對比

為驗證該組合告警識別方案，以某市電力調(diào)控中心2020年全年約1 000萬條歷史監(jiān)控告警信息作為算例的數(shù)據(jù)來源，分別采取如下四種模型進行電網(wǎng)調(diào)控告警識別：

1) 本文提出的單BERT-DSA-CNN深度學習模型，記為模型A。

2) 單傳統(tǒng)知識庫模型，記為模型B。

3) 融合BERT-DSA-CNN和傳統(tǒng)知識庫的組合模型，但不引入在線學習機制，記為模型C。

4) 融合BERT-DSA-CNN和傳統(tǒng)知識庫的組合模型，且引入在線學習機制，記為模型D。

各模型針對故障告警的識別結(jié)果如表7所示。

表7 各模型F1值對比

由表7可以得出以下結(jié)論：

1) 模型A的準確率、精確率、召回率、1值優(yōu)于模型B，說明本文提出的深度學習模型比傳統(tǒng)知識庫的告警識別準確性和有效性更高。

2) 模型C的準確率、精確率、召回率、1值優(yōu)于模型A和模型B，說明本文提出的融合深度學習模型和傳統(tǒng)知識庫的組合告警識別方法可以有效提升單一識別方法的準確性和有效性。

3) 模型D的準確率、精確率、召回率、1值優(yōu)于模型C，說明引入在線學習機制，定期在線重新訓練BERT-DSA-CNN模型，可以有效修正學習結(jié)果，提升識別精度。本文提出的融合深度學習和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案具有較好的準確性和有效性。

7 結(jié)論

本文提出了一種基于BERT-DSA-CNN和知識庫的電網(wǎng)調(diào)控在線告警識別方法，旨在結(jié)合傳統(tǒng)知識庫業(yè)務數(shù)據(jù)豐富、系統(tǒng)知識完備的優(yōu)點和深度學習模型較好的學習能力和魯棒性的優(yōu)點，為解決電網(wǎng)調(diào)控告警識別問題提供一種新的思路。首先借鑒計算機科學領域的文本數(shù)據(jù)挖掘流程，利用BERT模型實現(xiàn)電網(wǎng)調(diào)控告警信息向量化；然后將向量信息作為CNN深度學習模型的輸入，并且引入DSA機制對CNN模型進行改進。仿真結(jié)果表明，本文所提BERT-DSA-CNN方法具有更優(yōu)的準確性和有效性，具有良好的應用價值。

本文最后提出了一種融合BERT-DSA-CNN模型和傳統(tǒng)知識庫的電網(wǎng)調(diào)控在線告警識別方案。該方案可以實現(xiàn)定期在線重新訓練，修正學習結(jié)果，從而使系統(tǒng)的準確率不斷地得到提升。關于該方案如何在工程實踐中落地，以及解決實踐中遇到的具體問題，將是后續(xù)研究的方向。

[1] 白浩, 袁智勇, 梁朔, 等.基于大數(shù)據(jù)處理的配網(wǎng)運行效率關聯(lián)性分析[J].電力系統(tǒng)保護與控制, 2020, 48(6): 61-67.

BAI Hao, YUAN Zhiyong, LIANG Shuo, et al.Correlation analysis of distribution network operation efficiency based on big data processing[J].Power System Protection and Control, 2020, 48(6): 61-67.

[2] 方靜, 彭小圣, 劉泰蔚, 等.電力設備狀態(tài)監(jiān)測大數(shù)據(jù)發(fā)展綜述[J].電力系統(tǒng)保護與控制, 2020, 48(23): 176-186.

FANG Jing, PENG Xiaosheng, LIU Taiwei, et al.Development trend and application prospects of big data-based condition monitoring of power apparatus[J].Power System Protection and Control, 2020, 48(23): 176-186.

[3] 呂夢平, 段斌, 蔣海輝, 等.基于知識圖譜技術的風電數(shù)據(jù)管理與應用研究[J].電力系統(tǒng)保護與控制, 2021, 49(6): 167-173.

Lü Mengping, DUAN Bin, JIANG Haihui, et al.Research on management and application of wind power data based on knowledge graph technology[J].Power System Protection and Control, 2021, 49(6): 167-173.

[4] 華志剛, 范佳卿, 郭榮, 等.人工智能技術在火電行業(yè)的應用探討[J].中國電力, 2021, 54(7): 198-207.

HUA Zhigang, FAN Jiaqing, GUO Rong, et al.Discussionon application of artificial intelligence technology in thermal power industry[J].Electric Power, 2021, 54(7): 198-207.

[5] 孫立明, 楊博.蓄電池/超導混合儲能系統(tǒng)非線性魯棒分數(shù)階控制[J].電力系統(tǒng)保護與控制, 2020, 48(22): 76-83.

SUN Liming, YANG Bo.Nonlinear robust fractional-order control of battery/SMES hybrid energy storage systems[J].Power System Protection and Control, 2020, 48(22): 76-83.

[6] BAKEER A, HOSSAM S, SALAMA, et al.Integration of PV system with SMES based on model predictive control for utility grid reliability improvement.[J].Protection and Control of Modern Power Systems, 2021, 6(2): 191-213.

[7] 楊家然, 王興成, 蔣程, 等.計及風力發(fā)電風險的電力系統(tǒng)多目標動態(tài)優(yōu)化調(diào)度[J].電力系統(tǒng)保護與控制, 2016, 44(7): 25-31.

YANG Jiaran, WANG Xingcheng, JIANG Cheng, et al.Multi-objective dynamic optimal scheduling of power system considering wind power risk[J].Power System Protection and Control, 2016, 44(7): 25-31.

[8] 林佳, 劉涌, 陳冰斌, 等.基于隨機機會約束規(guī)劃的冷熱電聯(lián)供微電網(wǎng)能量優(yōu)化調(diào)度[J].電測與儀表, 2019, 56(19): 85-90.

LIN Jia, LIU Yong, CHEN Bingbin, et al.Micro-grid energy optimization dispatch of combined cold and heat power supply based on stochastic chance-constrained programming[J].Electrical Measurement & Instrumentation, 2019, 56(19): 85-90.

[9] 張心潔, 王建.基于語義分析的D5000遙信信息生成與校核方法[J].中國電力, 2019, 52(5): 134-141.

ZHANG Xinjie, WANG Jian.A method for generating and checking D5000 alarm information based on semantic analysis[J].Electric Power, 2019, 52(5): 134-141.

[10] 葉康, 冷喜武, 肖飛, 等.基于大數(shù)據(jù)標簽技術的電網(wǎng)監(jiān)控智能分析方法[J].電測與儀表, 2019, 56(4): 75-79.

YE Kang, LENG Xiwu, XIAO Fei, et al.Intelligent analysis method of power grid monitoring based on big data label technology[J].Electrical Measurement & Instrumentation, 2019, 56(4): 75-79.

[11] 謝敏, 吳亞雄, 閆圓圓, 等.基于改進動態(tài)自適應模糊Petri網(wǎng)與BP算法的電網(wǎng)故障診斷[J].中國電機工程學報, 2015, 35(12): 3008-3017.

XIE Min, WU Yaxiong, YAN Yuanyuan, et al.Power system fault diagnosis based on improved dynamic adaptive fuzzy Petri nets and back propagation algorithm[J].Proceedings of the CSEE, 2015, 35(12): 3008-3017.

[12] 孫明蔚, 童曉陽, 劉新宇, 等.運用時序貝葉斯知識庫的電網(wǎng)故障診斷方法[J].電網(wǎng)技術, 2014, 38(3): 715-722.

SUN Mingwei, TONG Xiaoyang, LIU Xinyu, et al.A power system fault diagnosis method using temporal Bayesian knowledge bases[J].Power System Technology, 2014, 38(3): 715-722.

[13] 胡玨, 韋鋼, 謝素娟, 等.基于人工魚群算法的主動配電網(wǎng)故障定位[J].智慧電力, 2020, 48(6): 112-118, 124.

HU Jue, WEI Gang, XIE Sujuan, et al.Active distribution network fault location method based on artificial fish swarm algorithm[J].Smart Power, 2020, 48(6): 112-118, 124.

[14] 戴彥, 王劉旺, 李媛, 等.新一代人工智能在智能電網(wǎng)中的應用研究綜述[J].電力建設, 2018, 39(10): 1-11.

DAI Yan, WANG Liuwang, LI Yuan, et al.A brief survey on applications of new generation artificial intelligence in smart grids[J].Electric Power Construction, 2018, 39(10): 1-11.

[15] 甘錫淞, 李云, 傅成華, 等.基于信息融合和CS-SVM的變壓器繞組變形故障診斷方法研究[J].電力系統(tǒng)保護與控制, 2018, 46(1): 156-161.

GAN Xisong, LI Yun, FU Chenghua, et al.Information fusion and CS-SVM based research on diagnosis method for transformer winding deformation fault[J].Power System Protection and Control, 2018, 46(1): 156-161.

[16] 張旭, 魏娟, 趙冬梅, 等.一種用于電網(wǎng)故障診斷的遙信信息解析方法[J].中國電機工程學報, 2014, 34(22): 3824-3833.

ZHANG Xu, WEI Juan, ZHAO Dongmei, et al.An analytic alarm information method for power grid fault diagnosis[J].Proceedings of the CSEE, 2014, 34(22): 3824-3833.

[17] 劉振華, 蘇立偉, 蘇華權.自然語言處理技術下電網(wǎng)敏感客戶畫像多特征提取方法[J].電網(wǎng)與清潔能源, 2021, 37(6): 60-67.

LIU Zhenhua, SU Liwei, SU Huaquan.Multi feature extraction method of power grid sensitive customer portrait based on natural language processing technology[J].Power System and Clean Energy, 2021, 37(6): 60-67.

[18] 魯華永, 袁越, 郭泓佐, 等.基于正則表達式的變電站集中監(jiān)控信息解析方法[J].電力系統(tǒng)自動化, 2017, 41(5): 78-83.

LU Huayong, YUAN Yue, GUO Hongzuo, et al.Feature selection strategy for electricity consumption behavior analysis in smart grid[J].Automation of Electric Power Systems, 2017, 41(5): 78-83.

[19] 閃鑫, 戴則梅, 張哲, 等.智能電網(wǎng)調(diào)度控制系統(tǒng)綜合智能告警研究及應用[J].電力系統(tǒng)自動化, 2015, 39(1): 65-72.

SHAN Xin, DAI Zemei, ZHANG Zhe, et al.Research on and application of integrated smart alarm based on smart grid dispatching and control systems[J].Automation of Electric Power Systems, 2015, 39(1): 65-72.

[20] 陳文實, 劉心惠, 魯明羽.面向多標簽文本分類的深度主題特征提取[J].模式識別與人工智能, 2019, 32(9): 785-792.

CHEN Wenshi, LIU Xinhui, LU Mingyu.Feature extraction of deep topic model for multi- label text classification[J].Pattern Recognition and Artificial Intelligence, 2019, 32(9): 785-792.

[21] DEVLIN J, CHANG M, LEE K, et al.BERT: pre-training of deep bidirectional transformers for language understanding[C] // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics.Stroudsburg, PA: Association for Computational Linguistics, 2019: 4171-4186.

[22] 熊寬.基于深度學習和注意力機制的文本分類方法研究[D].南昌: 江西師范大學, 2020.

XIONG Kuan.Research on text classification method based on deep learning and attention mechanism[D].Nanchang: Jiangxi Normal University, 2020.

[23] 鄭偉, 姚遠, 代邦武, 等.基于數(shù)據(jù)挖掘的燃煤機組廠級負荷經(jīng)濟調(diào)度[J].熱力發(fā)電, 2021, 50(7): 78-83.

ZHENG Wei, YAO Yuan, DAI Bangwu, et al.Economic load dispatch of coal-fired power plant based on data mining technology[J].Thermal Power Generation, 2021, 50(7): 78-83.

[24] 楊秀, 曹澤棋, 張美霞, 等.基于Attention-LSTM的商業(yè)建筑負荷分解研究[J].智慧電力, 2020, 48(9): 89-95.

YANG Xiu, CAO Zeqi, ZHANG Meixia, et al.Energy disaggregation of commercial buildings based on attention-LSTM[J].Smart Power, 2020, 48(9): 89-95.

[25] 章昊, 田宏強, 王磊, 等.基于Seq2Seq技術的電力系統(tǒng)暫態(tài)穩(wěn)定評估方法[J].電網(wǎng)與清潔能源, 2021, 37(4): 23-31.

ZHANG Hao, TIAN Hongqiang, WANG Lei, et al.A power system transient stability assessment method based on Seq2Seq technology[J].Power System and Clean Energy, 2021, 37(4): 23-31.

[26] 莊家懿, 楊國華, 鄭豪豐, 等.基于多模型融合的 CNN-LSTM-XGBoost 短期電力負荷預測方法[J].中國電力, 2021, 54(5): 46-55.

ZHUANG Jiayi, YANG Guohua, ZHENG Haofeng, et al.Short-term load forecasting method based on multi-model fusion using CNN-LSTM-XGBoost framework[J].Electric Power, 2021, 54(5): 46-55.

Online alarm recognition of power grid dispatching based on BERT-DSA-CNN and a knowledge base

YAN Peng1, HUANG Xiaoxu1, HUANG Yuhui2,YAN Jin1, WANG Shi1, LUO Lei1

(1.Tongren Power Supply Bureau, Guizhou Power Grid Co., Ltd., Tongren 554300, China; 2.School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China)

Power grid control alarm recognition is an important aspect of realizing smart grid dispatching.In order to improve the accuracy of power grid control alarm recognition, in view of the huge amount of grid data, the difficulty of extracting effective information, and the poor ability of traditional knowledge base knowledge migration, a power grid control online alarm recognition method based on BERT-DSA-CNN and knowledge base is proposed.First, using natural language processing-deep learning text data mining architecture, after the steps of word segmentation and removal of stop words, the BERT model is used to obtain the word vector of the power grid control warning information.Then the word vector is input into the CNN deep learning model for training, and the DSA mechanism is introduced according to the characteristics of the power grid warning information.Finally, an online warning recognition scheme for power grid regulation is proposed, one which combines the deep learning model and the traditional knowledge base.Through the analysis of a large number of calculation examples, it is concluded that this method has higher accuracy and effectiveness than Word2vec, traditional CNN, traditional knowledge base, offline learning and other methods, and has better recognition ability for different types of faults, providing a basis for engineering application.This work is supported by the National Key Research and Development Program of China (No.2018YFB2100103).

alarm recognition; BERT; deep learning; convolutional neural network; DSA; knowledge base

10.19783/j.cnki.pspc.210705

2021-06-15；

2021-08-26

晏 鵬(1993—)，男，本科，工程師，從事電網(wǎng)自動化運行和繼電保護管理方面的工作。E-mail: 1655494259@ qq.com

國家重點研發(fā)計劃項目資助(2018YFB2100103)；貴州電網(wǎng)公司科技項目資助(060500KK52190006)

(編輯 張愛琴)