曹明良 李國和 馮崢 郭陽 羅艷 李晉先

摘? ?要：針對電力系統(tǒng)中出現(xiàn)的數(shù)據(jù)種類多、尋找困難等問題，提出了新型的大數(shù)據(jù)治理方法。該方法設(shè)計出新型的S-BDMP數(shù)據(jù)軟件平臺，該平臺應(yīng)用Hadoop分布式存儲方式和Spark計算技術(shù)實(shí)現(xiàn)電力系統(tǒng)中各種大數(shù)據(jù)的存儲和計算。在架構(gòu)上，該軟件平臺集成設(shè)計有應(yīng)用程序、數(shù)據(jù)服務(wù)中心、數(shù)據(jù)提成/合成模塊、數(shù)據(jù)分析模塊，能夠?qū)崿F(xiàn)底層電力設(shè)備各種數(shù)據(jù)的接收、存儲和處理。本研究還應(yīng)用隨機(jī)矩陣?yán)碚撏诰蚋鞣N大數(shù)據(jù)之間的關(guān)聯(lián)，通過發(fā)現(xiàn)電力系統(tǒng)不同大數(shù)據(jù)之間的關(guān)系，進(jìn)而研究出電力系統(tǒng)設(shè)備運(yùn)行狀態(tài)的分析。試驗表明，本研究的方法效果直觀，數(shù)據(jù)治理程度強(qiáng)。

關(guān)鍵詞：大數(shù)據(jù)治理;Hadoop分布式存儲;Spark計算技術(shù);隨機(jī)矩陣?yán)碚?/p>

中圖分類號：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

Design and Research of Software Data Platform Based

on Power System Big Data Governance

CAO Ming-liang1?，LI Guo-he1，F(xiàn)ENG Zheng2，GUO Yang1，LUO Yan1，LI Jin-xian3

（1. State Grid Xinyuan Holdings Co.，Ltd，Beijing 100761，China

2. Huadong Laoshan Pumped Storage Co.，Ltd.，Chuzhou，Anhui 239000，China;

3. Hebei Fengning Pumped Storage Co.，Ltd，F(xiàn)engning，Hebei 068350，China）

Abstract：Aiming at the problems of various types of data and difficulty in searching in the power system，a new type of big data governance method is proposed. This method designs a new S-BDMP data software platform，which applies Hadoop distributed storage and Spark computing technology to realize the storage and calculation of various big data in the power system. In terms of architecture，the software platform is integrated and designed with applications，data service centers，data commission/synthesis modules，and data analysis modules，which can realize the reception，storage and processing of various data from the underlying power equipment. This research also uses random matrix theory to mine the associations between various big data，and through discovering the relationship between different big data in the power system，and then study the analysis of the operation status of the power system equipment. Experiments show that the method is intuitive and has a strong degree of data governance.

Key words：big data governance;hadoop distributed storage;Spark computing teehnology;random matrix theory

電力系統(tǒng)在越來越多應(yīng)用過程中輸出各種各種的數(shù)據(jù)信息，比如運(yùn)行數(shù)據(jù)、故障數(shù)據(jù)、設(shè)備數(shù)據(jù)、維護(hù)數(shù)據(jù)、環(huán)境數(shù)據(jù)等，不同的數(shù)據(jù)類型直接或者間接地反映電力系統(tǒng)的運(yùn)行狀況 [1]。在大數(shù)據(jù)技術(shù)猛烈發(fā)展的形勢下，將電力系統(tǒng)運(yùn)行狀況的宏觀表現(xiàn)通過直觀的大數(shù)據(jù)分析已經(jīng)成為新時代電力發(fā)展的標(biāo)志 [2]。相對于現(xiàn)有技術(shù)，通過數(shù)據(jù)庫的方式或者人工管理的方式，這種技術(shù)具有不可比擬的技術(shù)優(yōu)勢 [3]。

在這種發(fā)展形勢下，提出了電力營銷分析決策的方法實(shí)現(xiàn)大數(shù)據(jù)的分析，這種方法使電力營銷的發(fā)展走上了新的臺階，使用戶能夠從雜亂無章的數(shù)據(jù)信息中快速找到目標(biāo)數(shù)據(jù)信息，但是無法分析數(shù)據(jù)之間存在的關(guān)系[4]。通過將電力系統(tǒng)產(chǎn)生的各種大數(shù)據(jù)技術(shù)通過計算機(jī)仿真技術(shù)的方式來反映電力系統(tǒng)的運(yùn)行情況，這種方式也在一定程度上解決了現(xiàn)有技術(shù)存在的不足，但是仍舊無法獲取電力數(shù)據(jù)之間的數(shù)據(jù)關(guān)系。這就需要一種新型的軟件數(shù)據(jù)管理方法實(shí)現(xiàn)各種數(shù)據(jù)之間的關(guān)系[5]。

1? ?大數(shù)據(jù)治理軟件平臺構(gòu)架設(shè)計

設(shè)計的大數(shù)據(jù)治理軟件平臺構(gòu)架能夠?qū)崿F(xiàn)電力系統(tǒng)數(shù)據(jù)的在線安全預(yù)警，并且能夠直接根據(jù)傳遞的在線數(shù)據(jù)或量測數(shù)據(jù)進(jìn)行計算、分析和挖掘，通過機(jī)械學(xué)習(xí)、數(shù)據(jù)挖掘等手段進(jìn)一步分析電力系統(tǒng)相關(guān)的識別指標(biāo)、數(shù)據(jù)或規(guī)則，從而使用戶進(jìn)一步快速分析電力系統(tǒng)[6]。其構(gòu)架結(jié)構(gòu)示意圖如圖1所示。

在本系統(tǒng)設(shè)計中，在基于S-BDMP的大數(shù)據(jù)治理管理平臺中采用隨機(jī)矩陣?yán)碚搶邮盏降臄?shù)據(jù)進(jìn)行建模與分析。由于電力數(shù)據(jù)的龐大，采用了Hadoop分布式大數(shù)據(jù)存儲的方式實(shí)現(xiàn)各種電力數(shù)據(jù)信息的存儲和管理，并設(shè)計出新型的Spark大數(shù)據(jù)計算管理平臺，將大數(shù)據(jù)分布式結(jié)構(gòu)數(shù)據(jù)信息和非結(jié)構(gòu)數(shù)據(jù)信息融合起來，便于用戶的管理。在本研究設(shè)計的S-BDMP平臺中，其包括主節(jié)點(diǎn)、輔助節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)，其還設(shè)置有Hadoop平臺和Spark平臺，Hadoop平臺內(nèi)設(shè)置有Hbase、Hive數(shù)據(jù)庫[7]。

在Spark大數(shù)據(jù)計算管理平臺中，還集成設(shè)計了內(nèi)存管理模塊、查詢處理模塊、緩存管理模塊、分布式內(nèi)存共享模塊以及彈性分布數(shù)據(jù)集等。通過多種模塊設(shè)計，實(shí)現(xiàn)大數(shù)據(jù)的多種管理功能。本研究中的S-BDMP平臺能夠與MapReduce在同集群中共存，并且能夠集中存儲資源，在數(shù)據(jù)倉庫Spark實(shí)現(xiàn)時采用Hive，能夠與Hive完美結(jié)合。在集成HBase利用Hadoop HDFS作為HBase的文件存儲系統(tǒng)，在運(yùn)行計算時，采用Hadoop MapReduce[8]。Hive數(shù)據(jù)庫以HDFS的數(shù)據(jù)形式存在，在S-BDMP平臺中，其不僅能夠批量性處理各種不同的數(shù)據(jù)，兼容性、容錯性和分布性計算比較強(qiáng)。

本研究在分析電力系統(tǒng)大數(shù)據(jù)信息時，利用了隨機(jī)矩陣?yán)碚撍惴ǎㄟ^構(gòu)建大數(shù)據(jù)關(guān)聯(lián)算法模型，對各種大數(shù)據(jù)之間的相關(guān)性、特征表征等方面進(jìn)行深入挖掘，將電力系統(tǒng)表現(xiàn)出的復(fù)雜、宏觀以及多維度數(shù)據(jù)信息通過隨機(jī)矩陣算法模型構(gòu)建起來，通過電力系統(tǒng)運(yùn)行期間產(chǎn)生的數(shù)據(jù)情況進(jìn)一步考究電力系統(tǒng)的運(yùn)行狀態(tài)。針對該技術(shù)，下一步詳細(xì)介紹。

2? ?隨機(jī)矩陣?yán)碚摰慕：蛻?yīng)用

2.1? ?隨機(jī)矩陣?yán)碚摻?/p>

隨機(jī)矩陣?yán)碚撌腔陔娏ο到y(tǒng)運(yùn)行過程中輸出的各種不同種類的數(shù)據(jù)信息為樣本，利用統(tǒng)計學(xué)原理對計算的電力系統(tǒng)數(shù)據(jù)信息的特征進(jìn)行提取，計算各種數(shù)據(jù)類型特征之間的關(guān)系，通過這些關(guān)系的研究，衡量電力系統(tǒng)運(yùn)行過程中容易受到某些因素的制約，用戶在使用過程中，最大程度地避免這些影響因素[9]。進(jìn)而發(fā)現(xiàn)電力系統(tǒng)工作過程中存在的各種問題，為了更為準(zhǔn)確地分析電力系統(tǒng)運(yùn)行中的各種數(shù)據(jù)信息，下面通過引入公式的方式進(jìn)行說明。隨機(jī)矩陣公式如以下公式（1）所示。

在式（1）中，通過矩陣D將電力系統(tǒng)本身輸出數(shù)據(jù)信息和運(yùn)行數(shù)據(jù)信息結(jié)合起來。如何映射各種數(shù)據(jù)之間的關(guān)系，下面進(jìn)行詳細(xì)說明。

在公式（2），假設(shè)影響電力系統(tǒng)正常運(yùn)行的參數(shù)有M中，諸如電網(wǎng)紋波、電路電流、電路電壓、諧波、雜波干涉等，將這些影響因素的數(shù)據(jù)集合為：{P1，P2，P3 ……PM}，電力系統(tǒng)設(shè)備的參數(shù)數(shù)據(jù)有N種，諸如電流、電壓、功率等，將這些數(shù)據(jù)集合為： {Q1，Q2，Q3 ……QN}，假設(shè)將電力系統(tǒng)設(shè)備造成誤差的數(shù)據(jù)集合劃分為為矩陣D1[10]，

表示為影響電力系統(tǒng)運(yùn)行的各種數(shù)據(jù)信息。通過上述公式描述，影響電力系統(tǒng)正常運(yùn)行的參數(shù)Pij為第i個參數(shù)檢測時，在j時間下測量而測量的測量值。

由于電力系統(tǒng)種類繁多，類型多樣，通過標(biāo)準(zhǔn)化為Dstd的矩陣進(jìn)行描述。則通過公式將標(biāo)準(zhǔn)化矩陣積Dstd的特征值分布記做為公式（4）所示的數(shù)據(jù)集合。

式（5）表示通用化公式，可適用任意一種形式的電力系統(tǒng)。其中 xi = （ xi1，xi2，xi3……xiT）同，假設(shè)標(biāo)準(zhǔn)化后的矩陣為D3，則D3 = （yij）

在公式（6）到（8）中，其中式6表示電力系統(tǒng)該數(shù)據(jù)信息在上沿時間軸滑動時，在窗內(nèi)呈現(xiàn)出的電力數(shù)據(jù)信號段轉(zhuǎn)換到頻率域范圍內(nèi)的情況，在上述公式說明中，用Tw表示為時間窗，用 表示為在時刻ti下的電力系統(tǒng)初始數(shù)據(jù)信息，在計算出標(biāo)準(zhǔn)化矩陣積Dstd的特征值分布值后，通過計算出的特征值分布情況，進(jìn)一步計算出電力設(shè)備周圍存在的干擾因素影響電力系統(tǒng)設(shè)備運(yùn)行的程度[11]。

2.2? ?大數(shù)據(jù)治理方法

利用上述隨機(jī)矩陣?yán)碚撃Ｐ椭卫黼娏ο到y(tǒng)運(yùn)行數(shù)據(jù)，以便于評估其運(yùn)行狀態(tài)的影響量評估，具體步驟如圖2所示。

（1）在進(jìn)行大數(shù)據(jù)分析時，首選抽取數(shù)據(jù)信息，比如電力系統(tǒng)運(yùn)行過程中產(chǎn)生的數(shù)據(jù)信息、影響電力系統(tǒng)運(yùn)行的數(shù)據(jù)信息等。更具體的數(shù)據(jù)信息，比如磁場、外界干擾度、負(fù)載、振動、紋波、雜波、功率、電壓或者電流等多種數(shù)據(jù)信息[12]。

（2）數(shù)據(jù)的篩選和處理;為了提高數(shù)據(jù)的計算精度，在所有的數(shù)據(jù)樣本信息中，將數(shù)據(jù)信息進(jìn)行過濾和篩選，選取有用的數(shù)據(jù)信息。

（3）將數(shù)據(jù)信息輸入至隨機(jī)矩陣模型大數(shù)據(jù)模型中進(jìn)行計算，公式如圖下所示。

在以下公式中，將公式

下面對本研究的方法進(jìn)行示例性說明，以更好地理解本計算方法的應(yīng)用效果。計算方法如圖3所示。

具體計算過程參考圖3所示。

（4）在對電力系統(tǒng)的信息進(jìn)行計算時，通常通過計算 Dstd的特征值，通過特征值分布情況實(shí)現(xiàn)電力設(shè)備各種數(shù)據(jù)的讀取和計算，以進(jìn)一步判斷估電力系統(tǒng)中遇到的干擾因素影響電力系統(tǒng)誤差的程度。

（5）分析、計算治理大數(shù)據(jù)，利用上述公式啟動隨機(jī)矩陣模型對大數(shù)據(jù)進(jìn)行計算，以獲得用戶需求的數(shù)據(jù)。

3? ?方案實(shí)驗及分析

在試驗時，在Hadoop、MapReduce 等并行通訊數(shù)據(jù)處理的框架作為基礎(chǔ)平臺，在電力系統(tǒng)中，仿真計算包括多種不同的類型，比如潮流計算、暫態(tài)穩(wěn)定計算、振動、溫度、諧波、磁場數(shù)據(jù)干擾、濕度、小擾動分析等[13-14]。利用矩陣?yán)碚摲治鯷15]能夠?qū)崿F(xiàn)不同因素影響因子的計算結(jié)果，根據(jù)不同的結(jié)果能夠分析、判斷電力系統(tǒng)不同方面的性能特征。

假設(shè)規(guī)模矩陣D1=50*120，D2=30*40，分別分析電力系統(tǒng)運(yùn)行過程中進(jìn)行的潮流計算、數(shù)量暫態(tài)穩(wěn)定計算、振動、諧波因素對電力系統(tǒng)運(yùn)行過程中存在的影響因素。即D1中各個參數(shù)表示潮流計算、暫態(tài)穩(wěn)定計算、振動、諧波構(gòu)成的矩陣。根據(jù)公式Dstd = [w1，w1，w1，…，wM+N]T 進(jìn)行計算，得出表1的試驗數(shù)據(jù)表。

為了更好地理解影響參數(shù)之間的關(guān)系，下面根據(jù)表1中的試驗數(shù)據(jù)信息，通過曲線圖以更好地反映各種數(shù)據(jù)之間的關(guān)系。

在圖4中，以潮流計算作為影響電力系統(tǒng)運(yùn)行狀況的誤差因素進(jìn)行分析、判斷，其影響的曲線圖如下圖所示。

在圖5中，以暫態(tài)穩(wěn)定計算作為影響電力系統(tǒng)運(yùn)行狀況的誤差因素進(jìn)行分析、判斷，其影響的曲線圖如下圖所示。

在圖6中，以振動作為影響電力系統(tǒng)運(yùn)行狀況的誤差因素進(jìn)行分析、判斷，其影響的曲線圖如下圖所示。

在圖7中，以諧波作為影響電力系統(tǒng)運(yùn)行狀況的誤差因素進(jìn)行分析、判斷，其影響的曲線圖如下圖所示。

通過試驗曲線圖，用戶能夠直觀地觀察到各種外界影響因子對電力系統(tǒng)運(yùn)行的影響關(guān)系。

4? ?結(jié)? ?論

針對電力系統(tǒng)中存在的各種數(shù)據(jù)信息，設(shè)計了新型的大數(shù)據(jù)治理管理平臺，通過大數(shù)據(jù)信息的采集、傳遞、存儲和計算，實(shí)現(xiàn)電力系統(tǒng)運(yùn)行過程中各種數(shù)據(jù)信息處理。通過數(shù)據(jù)計算、分析和挖掘，使得電力系統(tǒng)運(yùn)行過程中的宏觀數(shù)據(jù)信息轉(zhuǎn)換為數(shù)據(jù)微觀量，提高了電力系統(tǒng)運(yùn)行過程中安全分析能力。本研究在一定程度上解決了電力系統(tǒng)運(yùn)行過程中存在的問題，但是仍舊存在一些不足，比如設(shè)備信息的分類、影響因子屬性劃分等，這需要進(jìn)一步的研究，本研究技術(shù)方案為下一步相關(guān)技術(shù)的研究奠定了基礎(chǔ)。

參 考 文 獻(xiàn)

[1]? ? 曹皖誠，湯少卿，尤鋆 . 大數(shù)據(jù)平臺在電力系統(tǒng)中的應(yīng)用研究[J]. 江蘇科技信息，2016，（29）：53-56.

[2]? ? 王健，宋述停，蘭俊美，等.電力需求側(cè)大數(shù)據(jù)應(yīng)用模型的建立[J]. 電力與能源，2014，（3）.283-286.

[3]? ? 徐霞軍，任增朋，秦緒濤，等. 核電企業(yè)面向開放架構(gòu)的大數(shù)據(jù)平臺的研究與應(yīng)用[J]. 電力大數(shù)據(jù)，2018，（10）.53-56，71.

[4]? ? 魏艷平. 基于大數(shù)據(jù)平臺的電力營銷分析決策系統(tǒng)的研究與設(shè)計[J]. 西華大學(xué)學(xué)報， 2017， （6）：1-83.

[5]? ? 黃彥浩， 于之虹， 謝昶， 等. 電力大數(shù)據(jù)技術(shù)與電力系統(tǒng)仿真計算結(jié)合問題研究[J]. 中國電機(jī)工程學(xué)報， 2015， （1）：13-22.

[6]? ? 黃彥浩， 于之虹， 謝昶， 等. 電力大數(shù)據(jù)技術(shù)與電力系統(tǒng)仿真計算結(jié)合問題研究[J]. 中國電機(jī)工程學(xué)報， 2015， （1）：13-22.

[7]? ? 李志勇，郭一通. 大數(shù)據(jù)背景下電力行業(yè)數(shù)據(jù)應(yīng)用研究[J].自動化技術(shù)與應(yīng)用，2018，（9）：53-56.

[8]? ? 馮懿.電力大數(shù)據(jù)技術(shù)與電力系統(tǒng)仿真計算的融合研究[J]. 通訊世界，2018，（1）. 53-56.

[9]? ? 江櫻， 黃慧， 盧文達(dá)， 等. 基于大數(shù)據(jù)技術(shù)的電力全業(yè)務(wù)數(shù)據(jù)運(yùn)營管理平臺研究[J]. 自動化技術(shù)與應(yīng)用， 2018， 37（9）：60-65.

[10]? 賀紅燕. 基于大數(shù)據(jù)的智能電網(wǎng)關(guān)鍵技術(shù)研究[J]. 電源技術(shù)， 2016， 40（8）：1713-1714.

[11]? 廖繼軍. 大數(shù)據(jù)在電力系統(tǒng)中的應(yīng)用現(xiàn)狀及發(fā)展前景研究[J]. 通訊世界，2018，（6）.53-56.

[12]? 孟祥萍， 周來， 王暉， 等. 云計算技術(shù)在未來智能電網(wǎng)信息處理平臺中的應(yīng)用[J]. 計算機(jī)測量與控制， 2015， 23（10）：265-268.

[13]? 鞠冬彬. 基于大數(shù)據(jù)的電力系統(tǒng)運(yùn)維技術(shù)研究[J]. 通信電源技術(shù)? ， 2016， 36（6）： 194-202.

[14]? 徐重酉， 韓翊， 賀興，等. 基于隨機(jī)矩陣?yán)碚摰呐潆娋W(wǎng)陣列薄弱性評估系統(tǒng)設(shè)計[J]. 電器與能效管理技術(shù)， 2018， （9）： 522-526.

[15]? 魏艷平. 基于大數(shù)據(jù)平臺的電力營銷分析決策系統(tǒng)的研究與設(shè)計[J]. 西華大學(xué)學(xué)報，2017， （6）：1-83.