張銳 趙瑞鋒 王海柱 郭文鑫

摘要

隨著電網(wǎng)信息化系統(tǒng)建設(shè)規(guī)模的不斷擴展，不斷積累的電網(wǎng)運行數(shù)據(jù)呈現(xiàn)異構(gòu)特征和海量化特征，本文依托大數(shù)據(jù)技術(shù)，提出一種新的調(diào)度大數(shù)據(jù)統(tǒng)一存儲架構(gòu)，實現(xiàn)海量分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析的目標(biāo)，并且具有良好的可拓展性和兼容性。

【關(guān)鍵詞】統(tǒng)一模型 海量分布異構(gòu) 存儲架構(gòu)數(shù)據(jù)分析

隨著電網(wǎng)技術(shù)的不斷發(fā)展，信息化水平的逐步提升，電網(wǎng)各類數(shù)據(jù)持續(xù)增加，數(shù)據(jù)不斷積累并呈現(xiàn)出海量化特征，同時電網(wǎng)數(shù)據(jù)呈現(xiàn)出明顯的分布異構(gòu)特征。面對海量分布異構(gòu)的數(shù)據(jù)，亟待依托大數(shù)據(jù)分析技術(shù)提升電力調(diào)度運行數(shù)據(jù)的潛在價值，但是在實際應(yīng)用過程中，存在以下問題：

（1）分布異構(gòu)數(shù)據(jù)難以統(tǒng)一建模、統(tǒng)一分析的問題;

（2）海量數(shù)據(jù)背景下，高性能分析及可拓展性的問題;

（3）人機交互與電網(wǎng)運行人員嚴(yán)重脫節(jié)及知識共享的問題。

本文以實現(xiàn)分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析為目標(biāo)，研究分布數(shù)據(jù)整合、異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能計算等相關(guān)技術(shù)，依托大數(shù)據(jù)技術(shù)，提出一種新的調(diào)度大數(shù)據(jù)統(tǒng)一存儲架構(gòu)，支持海量分布異構(gòu)數(shù)據(jù)統(tǒng)一分析的大數(shù)據(jù)軟件平臺，實現(xiàn)海量分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析的目標(biāo)，并且具有良好的可拓展性和兼容性。同時，將業(yè)務(wù)人員深度使用數(shù)據(jù)進(jìn)行數(shù)據(jù)分析所積累的經(jīng)驗逐步形成共享的知識平臺，將為電網(wǎng)業(yè)務(wù)運行提供良好的支撐作用。

1 系統(tǒng)架構(gòu)

大數(shù)據(jù)存儲和分析技術(shù)是新一代電網(wǎng)調(diào)度運行數(shù)據(jù)分析系統(tǒng)的基礎(chǔ)，也是大數(shù)據(jù)在電網(wǎng)調(diào)度業(yè)務(wù)深度挖掘的關(guān)鍵因素，其應(yīng)用架構(gòu)如圖1所示。

基于大數(shù)據(jù)技術(shù)，實現(xiàn)具有復(fù)雜數(shù)據(jù)分析能力的時序數(shù)據(jù)庫，系統(tǒng)具有高度可拓展性，支持任意時間維度、復(fù)雜數(shù)據(jù)分析，支持BIGTable技術(shù)，實現(xiàn)測點無限列，提高系統(tǒng)易用性基于Web行業(yè)算法管理工具與知識管理平臺，業(yè)務(wù)人員擺脫IT人員，深度使用數(shù)據(jù)分析，支撐電網(wǎng)調(diào)度業(yè)務(wù)。

2 關(guān)鍵技術(shù)

2.1 基于統(tǒng)一模型的數(shù)據(jù)存儲與分析

電網(wǎng)調(diào)度業(yè)務(wù)數(shù)據(jù)來源于多地，物理分散廣泛，并且不同源數(shù)據(jù)的異構(gòu)性很大，包括存儲結(jié)構(gòu)、硬軟件支持平臺、業(yè)務(wù)模型等多方面的異構(gòu)性。傳統(tǒng)數(shù)據(jù)庫自身局限性導(dǎo)致數(shù)據(jù)存儲模型與前端語義模型的不一致，業(yè)務(wù)人員在進(jìn)行數(shù)據(jù)分析的過程中，不可避免需要借助IT技能進(jìn)行相應(yīng)的數(shù)據(jù)分析支撐業(yè)務(wù)。鑒于此，本項目實現(xiàn)了前后端業(yè)務(wù)與數(shù)據(jù)存儲的統(tǒng)一，以CIM模型所定義的業(yè)務(wù)語義作為數(shù)據(jù)分析的直接入口，使業(yè)務(wù)人員無需過多借助IT技術(shù)，采用可視化的方式定義數(shù)據(jù)統(tǒng)計分析過程，支持業(yè)務(wù)決策，消除業(yè)務(wù)人員使用數(shù)據(jù)分析的人機交互障礙。

結(jié)合大數(shù)據(jù)技術(shù)特點與電力系統(tǒng)對象特征，基于CIM規(guī)范的調(diào)度數(shù)據(jù)存儲模型以及異構(gòu)數(shù)據(jù)存儲模型統(tǒng)一建模方法，構(gòu)建一種基于CIM的統(tǒng)一電力系統(tǒng)數(shù)據(jù)模型，支持面向業(yè)務(wù)人員的數(shù)據(jù)分析，弱化業(yè)務(wù)人員對IT技術(shù)的依賴。

2.2 高性能大數(shù)據(jù)存儲與分析

目前的調(diào)度海量數(shù)據(jù)分析性能和可拓展能力瓶頸主要在于傳統(tǒng)技術(shù)難以同時兼容OLTP和OLAP場景，無法滿足統(tǒng)一模型、統(tǒng)一存儲場景下統(tǒng)一數(shù)據(jù)分析。隨著近些年來大數(shù)據(jù)技術(shù)的迅猛發(fā)展，尤其是分布式內(nèi)存計算技術(shù)的引入，可以完美解決兩種分析場景對于系統(tǒng)I/O的不同需求，向量計算以及GPU計算硬件的引入可以滿足兩種場景下計算性能的需求。

基于電力行業(yè)CIM模型，結(jié)合大數(shù)據(jù)BigTable模型，兼顧海量數(shù)據(jù)存儲與分析效率，實現(xiàn)基于大數(shù)據(jù)平臺的統(tǒng)一建模。借鑒主流大數(shù)據(jù)技術(shù)，結(jié)合調(diào)度業(yè)務(wù)需求，提出面向調(diào)度運行數(shù)據(jù)特性的大數(shù)據(jù)統(tǒng)一存儲與分析平臺架構(gòu)設(shè)計，實現(xiàn)OLTP與OLAP數(shù)據(jù)分析場景的融合，解決目前大數(shù)據(jù)平臺技術(shù)局限性帶來的數(shù)據(jù)分析性能和可拓展性瓶頸。

2.3 電力應(yīng)用商店

基于大數(shù)據(jù)技術(shù)的電網(wǎng)應(yīng)用商店具備電力行業(yè)算法庫、電網(wǎng)調(diào)度專業(yè)模塊的管理功能，基于行為推薦和基于內(nèi)容推薦結(jié)合成推薦模型，實現(xiàn)調(diào)度業(yè)務(wù)模型與知識橫向共享，加速業(yè)務(wù)部門之間協(xié)同與數(shù)據(jù)支撐業(yè)務(wù)的升級。同時，結(jié)合微服務(wù)架構(gòu)，基于電網(wǎng)數(shù)據(jù)分析接口規(guī)范，促進(jìn)業(yè)務(wù)功能建設(shè)在不同業(yè)務(wù)系統(tǒng)建設(shè)的共享，避免相同業(yè)務(wù)功能的重復(fù)投資。

面向調(diào)度業(yè)務(wù)的數(shù)據(jù)分析應(yīng)用商店，形成一套應(yīng)用功能管理、發(fā)布和使用機制，實現(xiàn)電網(wǎng)調(diào)度運行數(shù)據(jù)分析的省地橫向業(yè)務(wù)部門之間經(jīng)驗及知識共享與管理，通過知識傳播提升數(shù)據(jù)分析水平與效率，通過知識復(fù)用降低數(shù)據(jù)分析成本，不斷積累為業(yè)務(wù)運行提供持續(xù)推力。從根本上解決了目前調(diào)度業(yè)務(wù)海量數(shù)據(jù)管理與分析系統(tǒng)的性能與可拓展性瓶頸，填補了電力行業(yè)業(yè)務(wù)人員數(shù)據(jù)分析接口標(biāo)準(zhǔn)的空白，推動了橫向業(yè)務(wù)部門之間數(shù)據(jù)分析經(jīng)驗共享和協(xié)同。

3 總結(jié)

通過本項目的研究和工程示范，將電網(wǎng)調(diào)度運行數(shù)據(jù)分析領(lǐng)域采用的傳統(tǒng)關(guān)系型數(shù)據(jù)庫模式變革為基于大數(shù)據(jù)的數(shù)據(jù)共享平臺，保障廣東電網(wǎng)全面安全運行，滿足電網(wǎng)全面、實時的安全預(yù)警的要求。

參考文獻(xiàn)

[1]丁兆明，杜學(xué)軍，王治平，胡捷.大數(shù)據(jù)存儲和分析技術(shù)應(yīng)用及標(biāo)準(zhǔn)化[J].信息技術(shù)與標(biāo)準(zhǔn)化，2013.

[2]葛磊蛟，王守相，瞿海妮.智能配用電大數(shù)據(jù)存儲架構(gòu)設(shè)計[J].電力自動化設(shè)備，2016.