鄒京希+曹敏+王德傾

伴隨著社會經(jīng)濟(jì)和信息技術(shù)的快速發(fā)展，電力光纖到戶的發(fā)展為電力監(jiān)控設(shè)備主站系統(tǒng)或用戶對實(shí)時(shí)信息的監(jiān)測查詢成為現(xiàn)實(shí)，本文基于電力光纖入戶獲取的大量設(shè)備終端實(shí)時(shí)數(shù)據(jù)信息，結(jié)合電網(wǎng)公司內(nèi)部系統(tǒng)相關(guān)歷史存儲數(shù)據(jù)，運(yùn)用大數(shù)據(jù)分析計(jì)算技術(shù)，構(gòu)建大數(shù)據(jù)分析服務(wù)應(yīng)用。

【關(guān)鍵詞】電力光纖 光纖入戶 大數(shù)據(jù)應(yīng)用

電力光纖到戶是指在使用低壓通信的同時(shí)接入網(wǎng)中使用光纖復(fù)合低壓電纜，將光纖隨低壓電力線敷設(shè)，實(shí)現(xiàn)電力與通信雙業(yè)務(wù)，配合開展智能電網(wǎng)發(fā)展的重要技術(shù)。

國家發(fā)展改革委、國家能源局下發(fā)《關(guān)于促進(jìn)智能電網(wǎng)發(fā)展的指導(dǎo)意見》，要求加快智能電網(wǎng)的建設(shè)，開展智能計(jì)量技術(shù)應(yīng)用，完善多元化計(jì)量模式和互動功能。推動智能電網(wǎng)建設(shè)，電力光纖到戶是關(guān)鍵，電力光纖到戶搭建了小區(qū)公共服務(wù)平臺，為智能電網(wǎng)配用電側(cè)的信息采集、智能互動用電等業(yè)務(wù)應(yīng)用提供了有力支持，同時(shí)利用富余帶寬為社區(qū)公共服務(wù)建設(shè)提供基礎(chǔ)。電力光纖到戶將獲取配網(wǎng)線路的監(jiān)控設(shè)備、用戶端智能電表、家庭智能用電設(shè)備等大量實(shí)時(shí)數(shù)據(jù)，特別是智能電表上的電流、電壓及每15分鐘的凍結(jié)表底電量數(shù)據(jù)及時(shí)上傳至主站系統(tǒng)，實(shí)現(xiàn)信息的實(shí)時(shí)采集、監(jiān)測，并結(jié)合電力企業(yè)的內(nèi)部營銷業(yè)務(wù)域、生產(chǎn)業(yè)務(wù)域及計(jì)量自動化業(yè)務(wù)域數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)構(gòu)建智能分析服務(wù)應(yīng)用，將優(yōu)化電網(wǎng)的運(yùn)行和管控，提高供電可靠性，提升客戶服務(wù)水平。

1 現(xiàn)狀分析

面對新形勢新挑戰(zhàn)，我國提出了加快建設(shè)以特高壓電網(wǎng)為骨干網(wǎng)架，各級電網(wǎng)協(xié)調(diào)發(fā)展，形成以信息化、自動化、互動化為特征的智能電網(wǎng)，努力實(shí)現(xiàn)我國傳統(tǒng)電網(wǎng)到現(xiàn)代電網(wǎng)的升級和跨越。

國家電網(wǎng)已開展電力光纖入戶智能小區(qū)/樓宇建設(shè)，基本通過在低壓通信接入網(wǎng)中采用光纖復(fù)合低壓電纜（OPLC），將光纖隨低壓電力線鋪設(shè)。光纖到戶主要集中在新小區(qū)，老舊小區(qū)智能電網(wǎng)的需求大多依靠電力線寬帶載波實(shí)現(xiàn)。南方電網(wǎng)在電力光纖入戶上已做好頂層設(shè)計(jì)，并開展相關(guān)課題研究和示范應(yīng)用，按照規(guī)劃預(yù)計(jì)到2020年，全網(wǎng)電表自動抄表率達(dá)到95%。

通過電力光纖到戶，可發(fā)揮光纖信息通道功能，實(shí)現(xiàn)居民家里用水、用電、用氣等信息的快速采集，為電力用戶用電情況查詢、業(yè)務(wù)辦理及用電分析服務(wù)等基本服務(wù)功能，但目前基于大數(shù)據(jù)技術(shù)的光纖入戶應(yīng)用基本處于探索研究階段，本文將根據(jù)云南電網(wǎng)有限責(zé)任公司的信息化現(xiàn)狀對基于光纖入戶的大數(shù)據(jù)技術(shù)服務(wù)分析應(yīng)用進(jìn)行研究探索，以構(gòu)建大數(shù)據(jù)的光纖入戶信息分析服務(wù)應(yīng)用平臺，提供電網(wǎng)運(yùn)營管控和客戶服務(wù)功能應(yīng)用。

2 技術(shù)架構(gòu)設(shè)計(jì)

光纖入戶信息的大數(shù)據(jù)技術(shù)應(yīng)用架構(gòu)設(shè)計(jì)分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層及服務(wù)應(yīng)用層構(gòu)成，如圖1信息服務(wù)分析應(yīng)用總體設(shè)計(jì)所示。

信息服務(wù)分析應(yīng)用總體設(shè)計(jì)主要針對電力行業(yè)的營銷數(shù)據(jù)、計(jì)量自動化數(shù)據(jù)、生產(chǎn)數(shù)據(jù)及現(xiàn)場設(shè)備數(shù)據(jù)的不同數(shù)據(jù)形式進(jìn)行集成，包括關(guān)系型、非關(guān)系型及流數(shù)據(jù)等，通過技術(shù)組件MapReduce、Spark、Storm等大數(shù)據(jù)技術(shù)，并結(jié)合聚類（距離算法、kmeans算法）和關(guān)聯(lián)（邏輯樹、神經(jīng)網(wǎng)絡(luò)）等算法實(shí)現(xiàn)信息的分析，為應(yīng)用提供實(shí)時(shí)信息查詢、設(shè)備狀態(tài)監(jiān)測及用電分析服務(wù)等功能應(yīng)用。

2.1 離線數(shù)據(jù)集成實(shí)現(xiàn)

2.1.1 集成架構(gòu)設(shè)計(jì)

離線數(shù)據(jù)主要包含各子系統(tǒng)存量數(shù)據(jù)及增量數(shù)據(jù)，數(shù)據(jù)集成主要通過ETL實(shí)現(xiàn)跨系統(tǒng)、異構(gòu)數(shù)據(jù)集成?？鐦I(yè)務(wù)系統(tǒng)的異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)差異性大，不僅存在結(jié)構(gòu)化數(shù)據(jù)，而且存在大量半結(jié)構(gòu)數(shù)據(jù)及非結(jié)構(gòu)數(shù)據(jù)；同時(shí)，異構(gòu)數(shù)據(jù)的ETL操作要求數(shù)據(jù)在抽取和加載的過程中進(jìn)行遠(yuǎn)程傳輸，本方案針對離線跨系統(tǒng)異構(gòu)數(shù)據(jù)采用基于Kettle構(gòu)建ETL集成模型。對分散在各業(yè)務(wù)系統(tǒng)中的現(xiàn)有數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗和加載。如圖2離線數(shù)據(jù)集成架構(gòu)所示。

數(shù)據(jù)抽取過程包括數(shù)據(jù)剖析、增量數(shù)據(jù)捕獲以及數(shù)據(jù)抽取三個(gè)環(huán)節(jié)。數(shù)據(jù)剖析是對源數(shù)據(jù)中數(shù)據(jù)結(jié)構(gòu)及其內(nèi)容的統(tǒng)計(jì)分析；增量數(shù)據(jù)捕獲是實(shí)現(xiàn)增量數(shù)據(jù)抽取的解決方案；數(shù)據(jù)獲取則是對源數(shù)據(jù)的獲取。

2.1.2 離線數(shù)據(jù)計(jì)算

針對系統(tǒng)應(yīng)用到的離線數(shù)據(jù)計(jì)算框架主要采用MapReduce及Spark組件。離線批量處理主要針對營銷客戶用電相關(guān)數(shù)據(jù)和計(jì)量自動化設(shè)備監(jiān)測歷史數(shù)據(jù)，由于其數(shù)據(jù)的有序性和準(zhǔn)確性相對較高，能充分挖掘用戶用電行為習(xí)慣及設(shè)備運(yùn)行特征，使數(shù)據(jù)分析挖掘價(jià)值更貼近實(shí)際，為決策等提供有效的數(shù)據(jù)依據(jù)。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，適用于分析如電力企業(yè)的幾年?duì)I銷業(yè)務(wù)域、生產(chǎn)業(yè)務(wù)域或計(jì)量自動化等大量歷史存儲數(shù)據(jù)，其技術(shù)實(shí)現(xiàn)原理如圖3所示。

Spark是UC Berkeley AMP lab所開源的類HadoopMapReduce的通用并行框架，Spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法，其技術(shù)實(shí)現(xiàn)原理如圖4所示。

2.2 實(shí)時(shí)數(shù)據(jù)集成實(shí)現(xiàn)

2.2.1 集成架構(gòu)設(shè)計(jì)

用電用戶對用電信息的實(shí)時(shí)信息查詢及電力企業(yè)內(nèi)部人員對設(shè)備的實(shí)時(shí)運(yùn)行監(jiān)測是電力行業(yè)實(shí)時(shí)性要求較高的常規(guī)業(yè)務(wù)工作，特別是對設(shè)備實(shí)時(shí)運(yùn)行的分析統(tǒng)計(jì)和故障預(yù)測應(yīng)用是保證供電可靠性重要手段，實(shí)時(shí)數(shù)據(jù)集成架構(gòu)如圖5所示，服務(wù)應(yīng)用分析平臺實(shí)時(shí)數(shù)據(jù)集成主要針對光纖通道直接接入智能電表數(shù)據(jù)、家庭智能家居和配網(wǎng)線路上的各類監(jiān)測設(shè)備數(shù)據(jù)，基于SOA的Web service集成接口實(shí)現(xiàn)數(shù)據(jù)的采集，再通過多任務(wù)進(jìn)程及分區(qū)方式進(jìn)行流數(shù)據(jù)的接入計(jì)算。

2.2.2 流式數(shù)據(jù)計(jì)算

流式計(jì)算中，無法確定數(shù)據(jù)的到來時(shí)刻和到來順序，也無法將全部數(shù)據(jù)存儲起來。因此，不再進(jìn)行流式數(shù)據(jù)的存儲，而是當(dāng)流動的數(shù)據(jù)到來后在內(nèi)存中直接進(jìn)行數(shù)據(jù)的實(shí)時(shí)計(jì)算。流式計(jì)算主要針對計(jì)量設(shè)備的電流、電壓、表底數(shù)據(jù)及潮流等信息通過電力光纖通道傳輸至服務(wù)分析應(yīng)用主站平臺服務(wù)器進(jìn)行實(shí)時(shí)流式計(jì)算，通過移動應(yīng)用及系統(tǒng)主站提供可視化展示。

2.3 數(shù)據(jù)處理

信息服務(wù)分析服務(wù)平臺建立不同的數(shù)據(jù)分析處理模型，主要包括聚類和分類算法模型的應(yīng)用，找出用電行為和設(shè)備運(yùn)行的規(guī)律特征，并不斷的訓(xùn)練和驗(yàn)證分析模型的準(zhǔn)確度，實(shí)現(xiàn)電力數(shù)據(jù)的大數(shù)據(jù)價(jià)值挖掘。

聚類分析能將高維數(shù)據(jù)集合劃分為很多類，使得同一類內(nèi)數(shù)據(jù)對象相似度最高，類與類之間的數(shù)據(jù)對象的相似度最小即相異度最大。kmeans算法的應(yīng)用以用電用戶用電量為分類依據(jù)，設(shè)定0-50、50-100等不同層次的用電量，即為K值，建立相似或相似關(guān)系，通過計(jì)算機(jī)對所有用戶進(jìn)行逐一比對；將所有用戶進(jìn)行歸類，以繳費(fèi)時(shí)間為分類依據(jù)進(jìn)行二次聚類，根據(jù)繳費(fèi)的及時(shí)率設(shè)置用電用戶的優(yōu)質(zhì)等級，經(jīng)過二次組合分類即可快速的在所有用電用戶中科學(xué)的篩選出優(yōu)質(zhì)的用電用戶，實(shí)現(xiàn)用電行為特征的分析挖掘。

根據(jù)主站系統(tǒng)獲取的大量的設(shè)備運(yùn)行數(shù)據(jù)和非運(yùn)行數(shù)據(jù)，采用設(shè)備狀態(tài)評估大數(shù)據(jù)挖掘分析方法，基于多元多維度數(shù)據(jù)進(jìn)行狀態(tài)評估，重點(diǎn)考察設(shè)備狀態(tài)量（ 包括設(shè)備權(quán)限、故障的結(jié)果性狀態(tài)量） 之間的關(guān)聯(lián)性。根據(jù)配網(wǎng)線路監(jiān)測設(shè)備、智能電表、家庭智能用電設(shè)備等實(shí)時(shí)信息的采集，結(jié)合歷史運(yùn)行計(jì)量設(shè)備數(shù)據(jù)實(shí)現(xiàn)大數(shù)據(jù)的設(shè)備狀態(tài)運(yùn)行評估等應(yīng)用，為運(yùn)行決策提供重要數(shù)據(jù)支撐，提高供電可靠性。

3 結(jié)語

本文基于電力光纖通道獲取的生產(chǎn)設(shè)備運(yùn)行實(shí)時(shí)數(shù)據(jù)，并結(jié)合電力營銷、生產(chǎn)及計(jì)量業(yè)務(wù)相關(guān)歷史數(shù)據(jù)，采用大數(shù)據(jù)挖掘分析技術(shù)，通過對實(shí)時(shí)運(yùn)行數(shù)據(jù)流式處理和歷史數(shù)據(jù)的批量處理，構(gòu)建大數(shù)據(jù)分析服務(wù)應(yīng)用并進(jìn)行示范，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)在電力光纖入戶領(lǐng)域的應(yīng)用，增強(qiáng)電網(wǎng)運(yùn)行管控和客戶服務(wù)能力。

參考文獻(xiàn)

[1]趙丹陽，帥繼先，郝婷婷.關(guān)于電力光纖到戶關(guān)鍵技術(shù)的綜述[J].商品與質(zhì)量，2016（40）.

[2]國家發(fā)展改革委 國家能源局.《關(guān)于促進(jìn)智能電網(wǎng)發(fā)展的指導(dǎo)意見》.發(fā)改運(yùn)行[2015]1518號.

[3] 喬學(xué)明，翟穎，孟平，張蓉蓉，王超.基于光纖到戶的智能互動用電技術(shù)研究與應(yīng)用[J].電力信息與通信技術(shù)，2013（10）.

[4]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014（25）.

[5]劉莉，王剛，翟登輝.k-means 聚類算法在負(fù)荷曲線分類中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制，2011（23）.

[6]宮宇，呂金壯.大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評估中的應(yīng)用[J].南方電網(wǎng)技術(shù)，2014（06）.

作者單位

1.云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院 云南省昆明市 650217

2.云南云電同方科技有限公司 云南省昆明市 650217