康鵬 劉康 湯瑋 劉旭 張光輝

摘要：目前電網(wǎng)調(diào)度平臺的數(shù)據(jù)分析存在數(shù)據(jù)冗余、系統(tǒng)處理成本高等問題，為了解決這些問題，本文中進行了調(diào)度平臺全景調(diào)控統(tǒng)一數(shù)據(jù)模型的構(gòu)建與研究，介紹了調(diào)度自動化平臺架構(gòu)，以及調(diào)度平臺數(shù)據(jù)自動化識別、分析關鍵技術，實現(xiàn)了調(diào)度平臺各類異構(gòu)數(shù)據(jù)的快速處理，為調(diào)度平臺的應用提供了必要的技術支撐手段。

關鍵詞：調(diào)度平臺;自動化;Map Reduce;ETL

中圖分類號：TP301.6

文獻標識碼：A

文章編號：1001-5922（2020）12-0037-04

南方電網(wǎng)具有交直流混合運行、距離遠、容量大等特點，在電網(wǎng)的發(fā)展和技術進步的同時，電力系統(tǒng)中的各種問題逐漸暴露。一方面，隨著用電需求的逐漸增大，電力系統(tǒng)逐漸復雜，電力系統(tǒng)在安全運行過程中面臨的壓力越來越大，為了適應科學發(fā)展理念，電力系統(tǒng)需要不斷進行資源的優(yōu)化配置，實現(xiàn)發(fā)電過程中的節(jié)能減排，還要面對各種復雜的環(huán)境因素等，目前的電力系統(tǒng)迫切需要革新;另一方面，隨著電網(wǎng)的逐步擴大，其運行過程中所產(chǎn)生的數(shù)據(jù)也在不斷增加，合理分析和處理大規(guī)模的數(shù)據(jù)，提高電網(wǎng)的運行效率是目前電力系統(tǒng)發(fā)展中的重大課題。

在解決上述問題的過程中，人們開發(fā)設計了可以自動進行電力調(diào)度的平臺，基于計算機、數(shù)據(jù)庫以及各種類型電力電子等相關技術的支持構(gòu)建智能自動化操作系統(tǒng)，而與各項技術突飛猛進式發(fā)展以及優(yōu)化相伴隨，這種自動化調(diào)度平臺必須提高自身的專業(yè)度以及運作效率，通過對新技術、新手段等的合理與有效利用，在相關設備與工具的支持下為電網(wǎng)調(diào)度及監(jiān)控工作的順利與健康開展提供切實有效的手段。但是，數(shù)據(jù)的不斷累積，目前調(diào)度平臺在數(shù)據(jù)分析方面也面臨以下問題。①數(shù)據(jù)表現(xiàn)出程度不一的冗余性，且這一冗余問題存在的范圍比較廣泛，如量測設備內(nèi)部、不同的量測裝備之間以及具有相鄰關系的子站之間均或多或少地受到數(shù)據(jù)冗余情況的困擾。②在進行數(shù)據(jù)的處理與分析之時，所采用的方法依舊以常規(guī)形式的數(shù)據(jù)存儲以及管理為主，同時，所采用的基礎架構(gòu)主要還是大型服務器，它們往往需要支付較高的費用才可獲得，在存儲硬件上，所采用的是磁盤陣列，無法保證較好的系統(tǒng)擴展性，且同樣不具備價格優(yōu)勢。在此背景下，就調(diào)度平臺中所需要的海量數(shù)據(jù)而言，急需挖掘并引入新的計算技術實現(xiàn)對上述問題的解決[1]如劉曉明等研究了基于全景監(jiān)測暨運維調(diào)度平臺的手持設備，金剛基于規(guī)則設計了用戶全景視圖。

因此，本文構(gòu)建調(diào)度平臺的全景調(diào)控統(tǒng)一數(shù)據(jù)模型，基于Map Reduce的數(shù)據(jù)運算技術、ETL的多源異構(gòu)數(shù)據(jù)處理技術實現(xiàn)調(diào)度平臺的數(shù)據(jù)自動化識別、分析。

1 調(diào)度自動化平臺架構(gòu)

遵循“統(tǒng)一調(diào)度、分級管理”的劃分與管理原則，可以將電網(wǎng)調(diào)度控制機構(gòu)由上至下劃分為國調(diào)、網(wǎng)調(diào)、省調(diào)、地調(diào)以及縣調(diào)5個不同的等級。此處用上級調(diào)度控制中心來代表調(diào)度自動化平臺的主站，它由在各個安全區(qū)分布的子系統(tǒng)共同組成，主要包括計算機硬件、計算機軟件以及相應的通信設備等組件，在監(jiān)視并分析各項數(shù)據(jù)信息的同時，還將對數(shù)據(jù)的處理與儲存任務承擔起來，同時，根據(jù)各項信息準確、有效下達調(diào)度控制命令。表1所示為主站業(yè)務子系統(tǒng)域的安全分區(qū)以及區(qū)域內(nèi)所包含的業(yè)務系統(tǒng)。

以業(yè)務所表現(xiàn)出來的不同的重要程度為依據(jù)，調(diào)度自動化主站可劃分為不同的安全區(qū)域，各區(qū)域中有其相應的業(yè)務系統(tǒng)，表1所示的I區(qū)、Ⅱ區(qū)之間進行了防火墻的設立，目的在于實現(xiàn)邏輯層面的隔離。在縱向上，不同類型的業(yè)務系統(tǒng)會在交換機中被劃分到不同的虛擬局域網(wǎng)中，在對信息進行分類的同時執(zhí)行對流量的控制任務，同時，基于縱向加密裝置與防火墻的支持同實時與非實時的VPN通道建立連接[4-5]，以此實現(xiàn)同遠方子站之間的實時、有效通信。

在調(diào)度自動化系統(tǒng)內(nèi)部，經(jīng)由子站傳輸給主站的各類數(shù)據(jù)在從路由器接人之后，需要在表1所示的I區(qū)經(jīng)過縱向認證裝置，以此實現(xiàn)同對應區(qū)域交換機的連接，這是一個必要條件，而在表l所示II區(qū)，其與交換機的連接又需要經(jīng)過防火墻過濾，這也是一個必要條件。2個必要條件的存在要求內(nèi)部網(wǎng)絡對雙星型接線的百兆或千兆帶寬的以太網(wǎng)予以采用。

2 調(diào)度平臺數(shù)據(jù)自動化識別、分析關鍵技術

2.1全景調(diào)控統(tǒng)一數(shù)據(jù)模型

就電力調(diào)度控制系統(tǒng)而言，其大數(shù)據(jù)來源相對廣泛，包括SCADA、EMS等不下10套應用系統(tǒng)，每一套系統(tǒng)均具有不依賴于其他系統(tǒng)獨自運行、不對其他系統(tǒng)產(chǎn)生干擾的能力，不同系統(tǒng)集中了不同來源多種類型的數(shù)據(jù)，具有自己的獨立性，各應用系統(tǒng)之間的數(shù)據(jù)口徑并不一樣，這就信息的共享以及數(shù)據(jù)潛在價值的挖掘與發(fā)揮來說并不是有利條件。而另一方面，各系統(tǒng)中還擁有十分大的數(shù)據(jù)量，這存在顯而易見的覆蓋有效信息的風險與不足。與調(diào)控多元異構(gòu)數(shù)據(jù)所具有的相應特征以及大數(shù)據(jù)具備的數(shù)據(jù)層面的特征相結(jié)合，調(diào)控大數(shù)據(jù)表現(xiàn)出很明顯的數(shù)據(jù)量大、數(shù)據(jù)類型多、價值密度低、真實性可以保證等特點。

為了做好電力調(diào)度自動化工作，在數(shù)據(jù)處理過程中，首先要有規(guī)范統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，執(zhí)行對電力調(diào)度自動化系統(tǒng)中各項數(shù)據(jù)信息的統(tǒng)一任務，同時，為不同變電站信息類型同數(shù)據(jù)之間的相互對應提供可靠保證，使每一項涉及的到的數(shù)據(jù)信息在上傳之時均能實現(xiàn)對電力企業(yè)相應需求的有效滿足，統(tǒng)一于國家電網(wǎng)發(fā)布的對應數(shù)據(jù)。只有將這些工作做好、做實，電力調(diào)度自動化系統(tǒng)中的數(shù)據(jù)信息的匯報以及分析等效率才能得到切實有效的保證，系統(tǒng)在使用過程中才具有安全性可言。文章設計了電網(wǎng)調(diào)度自動化平臺中設計了調(diào)控全景數(shù)據(jù)模型，實現(xiàn)了調(diào)控大數(shù)據(jù)統(tǒng)一管理、組織，模型的框架如圖1所示。

根據(jù)圖1，構(gòu)成該調(diào)控全景數(shù)據(jù)核心數(shù)據(jù)模型的分別有SCADA、WAMS、EMS等，它們的獲取相對方便，可通過對各個應用系統(tǒng)中的相關信息與數(shù)據(jù)模型進行融合來完成獲取任務。

建立全景調(diào)控統(tǒng)一數(shù)據(jù)模型之后，數(shù)據(jù)分析任務的實現(xiàn)便可通過以Hadoop為基礎的調(diào)控大數(shù)據(jù)系統(tǒng)來完成，分層次來看，即分別將以Map Reduce為基礎的數(shù)據(jù)運算技術、以ETL為基礎的多元異構(gòu)數(shù)據(jù)處理技術以及以HDFS與HBase為基礎的數(shù)據(jù)存儲技術作為對數(shù)據(jù)進行處理、對數(shù)據(jù)進行集成以及對數(shù)據(jù)進行調(diào)控的處理、集成以及存儲框架。

2.2 基于Map Reduce的數(shù)據(jù)處理框架

作為一個能夠為大數(shù)據(jù)集的計算工作提供便利的分布式平臺，Hadoop可以在集群中采用并行的工作方式將計算速度提升，縮短計算時間。NameNode與DataNode共同構(gòu)成Hadoop集群，前者的任務在于對資源進行調(diào)度，同時，執(zhí)行對文件目錄結(jié)構(gòu)的管理操作;后者功能則體現(xiàn)在對數(shù)據(jù)存儲的管理之上。而作為Hadoop中的一個子項目，MapReduce的作用為并行計算大數(shù)據(jù)集，它能夠提供有足夠效率的并行計算能力以及并不復雜的通用并行算法設計環(huán)境，這于電力設備的故障診斷而言是非常方便的。圖2所示為MapReduce的工作流程示意圖。

在數(shù)據(jù)的分割、負載均衡以及容錯處理等問題上，MapReduce運行模式極具優(yōu)勢，這些任務可通過MapReduce自動完成。在對MapReduce程序進行設計之時，所需做的工作比較簡單，具體地，分解數(shù)據(jù)并行計算問題，將它們用許多可以并行執(zhí)行的子問題表示出來，同時，進行相應Map與Reduce函數(shù)的設計，保證程序可以良好地在分布式系統(tǒng)上運行。在一個MapReduce模型中，輸入的數(shù)據(jù)文件可以被分割為很多有著相同大小的數(shù)據(jù)片段，它們會由Hadoop集群中的不同存儲節(jié)點保存下來，并經(jīng)過之前所設計好的Map函數(shù)得到相應的運算結(jié)果，在排序與合并等一系列操作之后，相同的key值運算結(jié)果會向相同的Reduce函數(shù)傳送，并統(tǒng)一接受數(shù)據(jù)的歸并處理。最終，以Reduce函數(shù)結(jié)果作為依據(jù)，在分布式集群上完成對各項結(jié)果數(shù)據(jù)的保存。如此一來，很多計算的執(zhí)行效率都得到了有效的保證，它們還彰顯出可以拓展的特點，在大規(guī)模數(shù)據(jù)的計算上體現(xiàn)出更加明顯的優(yōu)勢[6-7]。

MapReduce模型Map任務將每個系統(tǒng)一段時間內(nèi)的歷史數(shù)據(jù)和該時間段內(nèi)實時數(shù)據(jù)作為輸入，經(jīng)過數(shù)據(jù)的篩選、檢驗等過程生成映射數(shù)據(jù)對，等所有Map任務完成后，系統(tǒng)會生成若干個Reduce任務，將相同的數(shù)據(jù)進行總結(jié)，更新平臺數(shù)據(jù)庫[8]。

2.3基于ETL的多源異構(gòu)數(shù)據(jù)處理技術

服務器端主要由接口層、統(tǒng)一數(shù)據(jù)模型管理模塊以及ETL執(zhí)行引擎構(gòu)成，用于調(diào)控多源異構(gòu)數(shù)據(jù)ETL處理的實現(xiàn)。在服務器端各個組成部分中，接口層的功能在于提供數(shù)據(jù)操作的接口，用戶可在這些接口的支持下完成相應任務，如對ETL流程的設計等。統(tǒng)一數(shù)據(jù)模型管理模塊在ETL框架中所發(fā)揮的作用是基礎性的，它對數(shù)據(jù)的模式、數(shù)據(jù)的結(jié)構(gòu)等進行清晰地描述，可以為元數(shù)據(jù)提供存儲以及訪問等相關服務。另外，作為ETL框架的核心模塊，ETL執(zhí)行引擎對流程解析以及執(zhí)行2個環(huán)節(jié)均有涉及。若數(shù)據(jù)屬于小量的結(jié)構(gòu)化數(shù)據(jù)類型，可選擇利用本地計算機實施ETL流程;若數(shù)據(jù)屬于大量的結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化數(shù)據(jù)，則需要通過以Hadoop大數(shù)據(jù)分析平臺為基礎的MapReduce技術對ETL中的數(shù)據(jù)轉(zhuǎn)換以及解析等各類問題進行處理。MapReduce對并行數(shù)據(jù)ETL的主要方法如下。

1）抽取有用數(shù)據(jù)：結(jié)合數(shù)據(jù)源所表現(xiàn)出來的特點，將其加載至能夠進行業(yè)務系統(tǒng)運行的對應數(shù)據(jù)庫中。在訪問數(shù)據(jù)文件之時不會對數(shù)據(jù)庫有所涉及，數(shù)據(jù)的加載大致與數(shù)據(jù)文件的MapReduce讀取相類似。 2）清洗與轉(zhuǎn)換需要的數(shù)據(jù);訪問各個數(shù)據(jù)，將與修補數(shù)據(jù)源中不一樣、無法保證完整性以及準確性的數(shù)據(jù)剔除出去，實現(xiàn)對數(shù)據(jù)類型以及粒度的有效轉(zhuǎn)換。之后，通過MapReduce的并行操作來處理各個文件中涉及到的全部數(shù)據(jù)，在MapReduce中添加檢查數(shù)據(jù)格式的函數(shù)指令，達到不完整、不一致、噪音處理各項數(shù)據(jù)的目的，基于此，實現(xiàn)對數(shù)據(jù)的清洗、不一致轉(zhuǎn)換以及商務規(guī)則計算等。偽代碼如下：

3）數(shù)據(jù)裝載：數(shù)據(jù)抽取、清洗轉(zhuǎn)換之后進行數(shù)據(jù)裝載，關鍵代碼如下：

3 結(jié)語

在電網(wǎng)運行過程中，電網(wǎng)調(diào)度發(fā)揮著核心作用，目前，我國電網(wǎng)將堅強、智能的電網(wǎng)建設作為總的發(fā)展目標，這使得電網(wǎng)調(diào)度自動化的研究成為一個必然趨勢。文章在分析了電網(wǎng)智能調(diào)度平臺的總體結(jié)構(gòu)之后，主要對調(diào)度平臺的數(shù)據(jù)自動化識別分析進行研究，提出了全景調(diào)控統(tǒng)一數(shù)據(jù)模型及基于Map Reduce的數(shù)據(jù)運算技術、ETL的多源異構(gòu)數(shù)據(jù)處理技術的數(shù)據(jù)集成框架，實現(xiàn)了調(diào)度平臺各類異構(gòu)數(shù)據(jù)的快速處理，為調(diào)度平臺的應用提供了必要的技術支撐手段。

參考文獻

[1]曲朝陽，朱莉，張士林.基于Hadoop的廣域測量系統(tǒng)數(shù)據(jù)處理[J].電力系統(tǒng)自動化，2013，37（04）：92-97.

[2]劉曉明，王娟，葛健.基于全景監(jiān)測暨運維調(diào)度平臺的手持設備應用研究[J].自動化應用，2017，（11）：131-132+134.

[3]金剛.基于規(guī)則的用戶全景視圖的設計與實現(xiàn)[D].上海：上海交通大學，2015.

[4]李紅.電力調(diào)度自動化網(wǎng)絡運維平臺的設計與應用[J].機電工程技術，2019，48（06）：205-206+259.

[5]羅小杰.一體化技術在電力調(diào)度自動化系統(tǒng)的應用[J].電子技術與軟件工程，2017（ 20）：115.

[6]曲朝陽，陳帥，楊帆，等，基于云計算技術的電力大數(shù)據(jù)預處理屬性約簡方法[J].電力系統(tǒng)自動化，2014，38（08）：67-71.

[7]王波，王懷彬，張超.基于MapReduce的頻繁模式挖掘算法的優(yōu)化[J].天津理工大學學報，2018，34（01）：6-11.

[8]肖文，胡娟，周曉峰.基于MapReduce計算模型的并行關聯(lián)規(guī)則挖掘算法研究綜述[J].計算機應用研究，2018，35（01）：13-23.