于璟璟
摘 要:電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的全面建設,提出了”全覆蓋 全采集 全費控”的要求,這對現(xiàn)有采集系統(tǒng)的數(shù)據(jù)項、采集頻度、數(shù)據(jù)完整性以及及時性都提出了更高的要求?,F(xiàn)有采集系統(tǒng)的架構和性能已經(jīng)不滿足新形勢下各類業(yè)務日益增長的數(shù)據(jù)要求。本文就用電采集系統(tǒng)系統(tǒng)架構、用電采集系統(tǒng)現(xiàn)狀、改進方案等方面進行分析。
關鍵詞:電力系統(tǒng)監(jiān)控;數(shù)據(jù)采集;系統(tǒng)架構
隨著深入推進電力體制改革、建設能源互聯(lián)網(wǎng)、實施大數(shù)據(jù)創(chuàng)新應用等國家戰(zhàn)略的推進,計量傳統(tǒng)業(yè)務向新型業(yè)務拓展,營銷業(yè)務向社會化全業(yè)務鏈延伸??鐚I(yè)協(xié)同持續(xù)深化,對電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的支撐能力提出新的要求。面對新形勢新挑戰(zhàn),全面總結采集系統(tǒng)建設的基本情況和主要成效,梳理系統(tǒng)建設過程中的不足,分析面臨的內(nèi)外部形勢,結合業(yè)界成熟的新技術,提出新一代電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)。
一、用電采集系統(tǒng)架構
系統(tǒng)基本架構分為采集系統(tǒng)主站、通信信道、采集設備三個層面。其中采集系統(tǒng)主站的功能是實現(xiàn)系統(tǒng)數(shù)據(jù)交互、存儲和采集業(yè)務流程管理,主要包括數(shù)據(jù)采集服務、數(shù)據(jù)存儲、主站應用等部分;通信信道包括遠程通信和本地通信兩部分,遠程通信有自建的230M無線專網(wǎng)、GPRS等無線公網(wǎng)、光纖專網(wǎng)等信道,本地通信包括窄帶載波、寬帶載波、微功率無線、485總線等信道;采集設備是現(xiàn)場計量設備、采集終端的集合,主要包括電能表、集中器、專變終端等設備。
二、用電采集系統(tǒng)現(xiàn)狀
采集系統(tǒng)主站現(xiàn)狀及問題分析主要圍繞數(shù)據(jù)采集服務、數(shù)據(jù)存儲、及主站應用三個方面。
(一)數(shù)據(jù)采集服務
數(shù)據(jù)采集服務主要負責通訊前置、報文解析、數(shù)據(jù)入庫。在海量數(shù)據(jù)接入的情況下,高峰負荷期間,單臺采集前置需要處理的通訊報文數(shù)量可能是現(xiàn)在的幾十倍乃至上百倍,對采集前置的并發(fā)處理能力帶來巨大壓力。雖然當前采集前置一般采用分布式架構,但每個采集節(jié)點承擔了任務生成、邏輯控制以及數(shù)據(jù)入庫等多個業(yè)務,造成單個節(jié)點承擔的業(yè)務過于繁重,尤其是數(shù)據(jù)入庫效率更是限制了采集前置的線性擴展能力。
(二)數(shù)據(jù)存儲
數(shù)據(jù)庫讀寫性能存在瓶頸。采集系統(tǒng)建設規(guī)模不斷擴大,系統(tǒng)日數(shù)據(jù)量處理增多,需要采集的數(shù)據(jù)呈線性增長,傳統(tǒng)關系型數(shù)據(jù)庫在數(shù)據(jù)入庫、讀取效率等方面均存在性能瓶頸,無法滿足數(shù)據(jù)存儲及應用開展的需要。同時,龐大數(shù)據(jù)量對數(shù)據(jù)備份造成很大壓力,數(shù)據(jù)庫備份耗時越來越長,數(shù)據(jù)恢復可能需要花費數(shù)以天計的時間,影響核心業(yè)務的開展。
(三)主站應用
主站應用主要是實現(xiàn)采集業(yè)務流程管理以及基于采集數(shù)據(jù)開展的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計分析等相關應用。主要存在的問題是接口缺乏有效管理,加大采集系統(tǒng)負載壓力。采集系統(tǒng)為其他業(yè)務應用系統(tǒng)提供大量的數(shù)據(jù)支撐,目前眾多接口采用的方式不盡相同,各業(yè)務系統(tǒng)間數(shù)據(jù)需求存在交叉,一對一方式的接口應用導致接口開發(fā)重復無度,對采集系統(tǒng)本身造成了很大的接口服務壓力,影響采集系統(tǒng)對外提供數(shù)據(jù)。
三、改進方案
現(xiàn)有采集系統(tǒng)的架構和性能已經(jīng)不滿足新形勢下各類業(yè)務日益增長的數(shù)據(jù)要求。全面分析采集系統(tǒng)現(xiàn)有框架存在的薄弱環(huán)節(jié),利用大數(shù)據(jù)、云計算、人工智能等新技術,設計了新一代電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng),能支撐海量用能信息與設備運行監(jiān)測信息的采集與存儲,實現(xiàn)分布式數(shù)據(jù)分析與采集網(wǎng)絡狀態(tài)智能感知。
通信層的通訊框架,使用基于NIO的客戶/服務器端編程框架,具有異步、事件驅(qū)動特性的網(wǎng)絡應用程序,例如目前比較主流的Netty和MINO??梢蕴岣咄ㄐ艑拥墓?jié)點間的報文收發(fā)效率和服務端接入客戶端并發(fā)數(shù)量,還可以降低編碼難度,提高程序的效率和穩(wěn)定性。通信層消息隊列集群使用Kafka分布式消息發(fā)布訂閱系統(tǒng),實現(xiàn)通信層、應用層、存儲層之間的數(shù)據(jù)總線功能。
存儲層由生產(chǎn)數(shù)據(jù)庫(即傳統(tǒng)關系型數(shù)據(jù)庫)及云平臺兩部分組成。其中,生產(chǎn)數(shù)據(jù)庫包括:主應用數(shù)據(jù)庫集群、歷史數(shù)據(jù)庫、災備數(shù)據(jù)庫;云平臺主要包括:分布式文件存儲、分布式報文數(shù)據(jù)庫和分布式內(nèi)存數(shù)據(jù)庫。分布式數(shù)據(jù)庫采用MySQL關系型數(shù)據(jù)庫,能有效解決從消息隊列發(fā)送過來的大量報文數(shù)據(jù)高速并行存儲,以及靈活的數(shù)據(jù)查詢。分布式文件存儲采用基于Hadoop的HBase非關系型數(shù)據(jù)庫??蔀橛秒娦畔⒉杉到y(tǒng)提供一個安全可靠、高效寫入、同時可擴展性強的全量數(shù)據(jù)存儲解決方案。
統(tǒng)一接口服務平臺實現(xiàn)靜態(tài)數(shù)據(jù)發(fā)布、實時數(shù)據(jù)發(fā)布、外部數(shù)據(jù)獲取、特定交互接口等四類接口應用。針對實時性要求不高的統(tǒng)一接口平臺的靜態(tài)數(shù)據(jù)及統(tǒng)計指標數(shù)據(jù),其對外發(fā)布采用跨平臺、低耦合的WebService技術實現(xiàn)??蛻舳撕头掌饔肧OAP協(xié)議通過HTTP來交互,客戶端根據(jù)WSDL描述文檔生成SOAP請求消息發(fā)送到服務端,服務端解析收到的SOAP請求,調(diào)用Web service,然后再生成相應的SOAP應答送回到客戶端。對大數(shù)據(jù)量的請求,采用客戶端發(fā)起WebService調(diào)用請求,服務端生成約定格式(XML/JSON)的數(shù)據(jù)文件,客戶端通過HTTP/HTTPS形式下載數(shù)據(jù)文件。
四、結語
綜上所述,隨著電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)的全面建設,提升系統(tǒng)海量數(shù)據(jù)處理及分析性能,實現(xiàn)采集網(wǎng)絡狀態(tài)智能感知,是電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)發(fā)展趨勢。電力監(jiān)控采集系統(tǒng)憑借自身優(yōu)勢,融合先進的計算機技術,能很好的滿足電氣企業(yè)發(fā)展和使用需求。
參考文獻:
[1]何鎮(zhèn)庭.電力系統(tǒng)監(jiān)控和數(shù)據(jù)采集系統(tǒng)研究[J].中國戰(zhàn)略新興產(chǎn)業(yè),2017(08):185-186+189.