王小龍

（國(guó)網(wǎng)遼寧省電力有限公司營(yíng)口供電公司）

0 引言

我國(guó)電力輸送網(wǎng)絡(luò)主要以智能電網(wǎng)為核心，把現(xiàn)代化控制技術(shù)應(yīng)用到電網(wǎng)管理中，借助計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)發(fā)電、輸電、用電、調(diào)度等環(huán)節(jié)的數(shù)據(jù)采集、分析和處理，為電力企業(yè)各項(xiàng)管理決策提供信息依據(jù)，優(yōu)化各個(gè)系統(tǒng)運(yùn)行環(huán)節(jié)，提高供電效率，保證智能電網(wǎng)運(yùn)行的安全性和穩(wěn)定性，進(jìn)而滿足用戶的多元化用電需求。由此可見(jiàn)電力數(shù)據(jù)無(wú)論是智能電網(wǎng)運(yùn)行還是在電力企業(yè)經(jīng)營(yíng)管理中都占據(jù)重要的地位，在此背景下，探究基于云計(jì)算的電力數(shù)據(jù)分析技術(shù)具有重要的現(xiàn)實(shí)意義［1］。

1 現(xiàn)代電力大數(shù)據(jù)的主要特征

（一）數(shù)量化

隨著智能電網(wǎng)的普及范圍逐漸擴(kuò)大，搭建面積也在增加，各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備數(shù)量也在增多，形成了龐大的數(shù)據(jù)資源體系。這些龐大而繁雜的數(shù)據(jù)，給數(shù)據(jù)搜集工作和數(shù)據(jù)分析工作帶來(lái)了一定的難度。對(duì)此，相關(guān)管理部門(mén)要進(jìn)行大量的數(shù)據(jù)分析。目前，我國(guó)電力大數(shù)據(jù)級(jí)別由TB上升到PB級(jí)別，假設(shè)某地區(qū)電力客戶為2200萬(wàn)戶，全部設(shè)置現(xiàn)代智能電表，每15分鐘搜集一條數(shù)據(jù)，該地區(qū)每天就會(huì)產(chǎn)生21億條電力數(shù)據(jù)，可見(jiàn)電力數(shù)據(jù)的龐大性，這也就賦予現(xiàn)代電力大數(shù)據(jù)的數(shù)量化特征。

（二）多元化

現(xiàn)代電力大數(shù)據(jù)的多元化主要體現(xiàn)在數(shù)據(jù)種類的多元化，由于先進(jìn)技術(shù)和相關(guān)設(shè)備的投入使用，使得計(jì)算機(jī)數(shù)據(jù)由傳統(tǒng)單一化結(jié)構(gòu)性數(shù)據(jù)發(fā)展為現(xiàn)代各類數(shù)據(jù)并存的數(shù)據(jù)體系，包含非結(jié)構(gòu)性數(shù)據(jù)和結(jié)構(gòu)性數(shù)據(jù)，其中非結(jié)構(gòu)性數(shù)據(jù)的數(shù)量比例在日益提升，賦予現(xiàn)代電力大數(shù)據(jù)多元化特征。現(xiàn)代電力大數(shù)據(jù)多元化特征，也表示傳統(tǒng)的數(shù)據(jù)分析方式無(wú)法適應(yīng)數(shù)據(jù)變化，需要對(duì)數(shù)據(jù)分析技術(shù)進(jìn)行創(chuàng)新和改革，進(jìn)而達(dá)到最佳的應(yīng)用效果。

（三）高速化

現(xiàn)代電力大數(shù)據(jù)無(wú)論是從數(shù)據(jù)采集方面還是從數(shù)據(jù)分析方面上看，都具備高速化特征，以高速狀態(tài)迅速完成，這主要是由用戶終端數(shù)量的不斷增加所決定的，要求國(guó)內(nèi)電網(wǎng)內(nèi)大數(shù)據(jù)分析設(shè)備能夠滿足每秒數(shù)十萬(wàn)次的計(jì)算和分析［2］。

2 基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)

電力數(shù)據(jù)除了傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)之外，還包括一些無(wú)法處理的文件，例如誒之文件、監(jiān)控視頻以及故障照片等，數(shù)據(jù)結(jié)構(gòu)種類不單一，對(duì)大數(shù)據(jù)分析技術(shù)有很高的要求，而基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)很好地解決了這一問(wèn)題，具體分析技術(shù)如下所示：

（一）多維索引技術(shù)

傳統(tǒng)Hive系統(tǒng)索引功能過(guò)于單一，無(wú)法實(shí)現(xiàn)電力大數(shù)據(jù)搜索的具體化與細(xì)致化，造成CPU資源的浪費(fèi)，降低了電力大數(shù)據(jù)分析效率。電力大數(shù)據(jù)具備多維區(qū)間查詢特征，各個(gè)維度查詢較為固定。例如浙江省電力系統(tǒng)，是一種以單位代碼與時(shí)間代碼為標(biāo)準(zhǔn)的索引方式，結(jié)合實(shí)際情況，采用各個(gè)維度輔助的形式開(kāi)展電力大數(shù)據(jù)多維索引，自動(dòng)過(guò)濾干擾數(shù)據(jù)和無(wú)用數(shù)據(jù)，有效提高了大數(shù)據(jù)索引效率與利用效率。當(dāng)前，多維索引技術(shù)應(yīng)用范圍較廣，形成以多維索引技術(shù)為核心的分布式多維索引系統(tǒng)，依托于Hive命令，通過(guò)HQL解析器，實(shí)現(xiàn)代碼解析，使得可索引的維度區(qū)間更加豐富，還可以根據(jù)實(shí)際需求，把索引數(shù)據(jù)放置到Hadoop分析系統(tǒng)中綜合處理。

（二）翻譯工具

傳統(tǒng)Hive系統(tǒng)運(yùn)行中，利用HQL索引語(yǔ)言進(jìn)行數(shù)據(jù)分析，HQL索引語(yǔ)言屬于SQL的分支，但二者間的語(yǔ)法差異較大?，F(xiàn)代化電力大數(shù)據(jù)中含有很多SQL語(yǔ)言儲(chǔ)存信息，這就是傳統(tǒng)Hive系統(tǒng)無(wú)法滿足數(shù)據(jù)分析要求，在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析上效率較低。在基于云計(jì)算的環(huán)境下 ，電力數(shù)據(jù)的SQL語(yǔ)言會(huì)直接翻譯為HQL語(yǔ)言，但是這一手動(dòng)翻譯方式由于處理內(nèi)容較大，會(huì)消耗大量的時(shí)間，人工翻譯的錯(cuò)誤率也很高。對(duì)此，為了提高翻譯效率，要應(yīng)用自動(dòng)化翻譯工具，自動(dòng)分析SQL語(yǔ)句中的語(yǔ)言數(shù)據(jù)，一旦滿足設(shè)定的翻譯條件，就會(huì)形成多個(gè)HQL語(yǔ)段，對(duì)這一語(yǔ)段進(jìn)行分析和處理，不僅避免了人工翻譯的錯(cuò)漏，還降低時(shí)間消耗量，提高翻譯效率和系統(tǒng)分析效率［3］。

（三）混合存儲(chǔ)技術(shù)

在傳統(tǒng)Hive系統(tǒng)運(yùn)行中，無(wú)法為數(shù)據(jù)更新與刪除提供支持，只能依靠重寫(xiě)來(lái)實(shí)現(xiàn)間接性數(shù)據(jù)更新。由于現(xiàn)代電力大數(shù)據(jù)分析中，智能電網(wǎng)每天需要處理的數(shù)據(jù)容量較大，無(wú)論是數(shù)據(jù)更新還是數(shù)據(jù)刪除，都需要快速處理，效率要求較高，而且每個(gè)操作數(shù)據(jù)比例小，若繼續(xù)使用重新方式進(jìn)行數(shù)據(jù)更新，會(huì)造成大量數(shù)據(jù)資源的占用，降低系統(tǒng)的整體運(yùn)行效率。對(duì)此，應(yīng)用混合儲(chǔ)存技術(shù)，借助主表與附表的輔助與支持，記錄實(shí)時(shí)更新數(shù)據(jù)與不需要實(shí)時(shí)更新的數(shù)據(jù)，根據(jù)運(yùn)行要求進(jìn)行數(shù)據(jù)處理，進(jìn)而提高數(shù)據(jù)分析處理的有效性，保證資源利用效率的最大化。

（四）分層次處理技術(shù)

在云計(jì)算技術(shù)的支持下，引入分層次數(shù)據(jù)技術(shù)進(jìn)行綜合數(shù)據(jù)分析處理，在智能電網(wǎng)中，形成電力信息搜集、儲(chǔ)存、應(yīng)用等功能為一體的結(jié)構(gòu)化管理系統(tǒng)，結(jié)合電力供應(yīng)情況，建設(shè)大數(shù)據(jù)管理系統(tǒng)分支化管理體系，加強(qiáng)電力供應(yīng)系統(tǒng)間的關(guān)聯(lián)性和獨(dú)立性，保證電力系統(tǒng)資源在各個(gè)電力供應(yīng)系統(tǒng)中的流轉(zhuǎn)和共享，提高資源利用效率。同時(shí)，借助云計(jì)算SQL系統(tǒng)，保證電力大數(shù)據(jù)分析計(jì)算的同步性，有效提高電力大數(shù)據(jù)分析處理效果和效率，實(shí)現(xiàn)智能電網(wǎng)的電力大數(shù)據(jù)層次化分析管理［4］。

3 基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)應(yīng)用效益分析

早在2013年，浙江省首次提出基于云計(jì)算電力大數(shù)據(jù)分析技術(shù)，并嘗試性應(yīng)用在電網(wǎng)供電運(yùn)行中，使得浙江省成為我國(guó)電力大數(shù)據(jù)分析技術(shù)應(yīng)用的核心地區(qū)，借助前置群分析與緩沖，分析和處理電力大數(shù)據(jù)，幫助用戶索引各類數(shù)據(jù)。特別是在云計(jì)算平臺(tái)的支持下，各類數(shù)據(jù)在數(shù)據(jù)庫(kù)中儲(chǔ)存，借助以太網(wǎng)來(lái)實(shí)現(xiàn)實(shí)時(shí)連接與同步更新，提高電力大數(shù)據(jù)的準(zhǔn)確性，運(yùn)行速度快，大大提高了電力大數(shù)據(jù)分析的綜合水平。

（一）提高處理速率

在應(yīng)用基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)后，以計(jì)算機(jī)內(nèi)部數(shù)據(jù)處理系統(tǒng)為主，輔助虛擬數(shù)據(jù)挖掘技術(shù)，促進(jìn)計(jì)算系統(tǒng)的完善和優(yōu)化，提高虛擬空間的利用效率，形成以云計(jì)算為基礎(chǔ)的電力大數(shù)據(jù)分析處理平臺(tái)，提高電力大數(shù)據(jù)處理速率，將整體數(shù)據(jù)劃分成各個(gè)層次的數(shù)據(jù)，同步處理，解決由于數(shù)據(jù)龐大而造成分析處理效率低的問(wèn)題，進(jìn)而提高了電力大數(shù)據(jù)分析處理的綜合速率。

（二）強(qiáng)化系統(tǒng)兼容性

在應(yīng)用基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)后，有效提高了電力大數(shù)據(jù)分析系統(tǒng)的兼容性，利用分布式處理系統(tǒng)，實(shí)現(xiàn)各類電力大數(shù)據(jù)信息的控制，多種電力大數(shù)據(jù)分析系統(tǒng)協(xié)同處理，對(duì)信息管理資源進(jìn)行綜合探索，應(yīng)用效益較為明顯。

（三）擴(kuò)展數(shù)據(jù)儲(chǔ)存空間

電力資源是社會(huì)發(fā)展的動(dòng)力，而大容量大力資源提高了電力系統(tǒng)建設(shè)難度。在應(yīng)用基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)后，通過(guò)多維索引技術(shù)、翻譯技術(shù)、混合存儲(chǔ)技術(shù)、分層次處理技術(shù)，增加了虛擬空間的利用率，并在云計(jì)算技術(shù)的支持下，實(shí)現(xiàn)虛擬空間的進(jìn)一步擴(kuò)展，提高電力大數(shù)據(jù)分析處理的高效性和完整性，達(dá)到最佳的應(yīng)用效益［5］。

4 結(jié)束語(yǔ)

本文通過(guò)對(duì)基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)的分析，明確了現(xiàn)代電力大數(shù)據(jù)的主要特征，以此為依據(jù)，應(yīng)用多維索引技術(shù)、翻譯工具、混合存儲(chǔ)技術(shù)、分層次處理技術(shù)，特別是在云計(jì)算平臺(tái)的支持下，各類數(shù)據(jù)在數(shù)據(jù)庫(kù)中儲(chǔ)存，借助以太網(wǎng)來(lái)實(shí)現(xiàn)實(shí)時(shí)連接與同步更新，提高電力大數(shù)據(jù)分析的準(zhǔn)確性、高效性和完整性，達(dá)到最佳的應(yīng)用效益。