王建璽，岳 圓

（1.平頂山學(xué)院計(jì)算機(jī)學(xué)院，河南 平頂山 467000；2.中國人民解放軍61267 部隊(duì)，北京 101114）

1 基于云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)

云計(jì)算作為分布式計(jì)算的未來發(fā)展方向，有效融合了虛擬技術(shù)、計(jì)算機(jī)通信技術(shù)，有效實(shí)現(xiàn)了任何人在任何時(shí)間、地點(diǎn)內(nèi)借助于計(jì)算機(jī)最大限度地利用虛擬云計(jì)算的資源[[1-3]。

圖1 分布式哈希表（DHT）以及網(wǎng)格文件軟件結(jié)構(gòu)

1.1 基于網(wǎng)格文件的多維索引

由于Hive 對于索引功能的支持、回復(fù)功能比較弱，因此只能利用全表掃描獲得需要的大數(shù)據(jù)信息，浪費(fèi)了巨額CPU 和IO 數(shù)據(jù)資源且極大地影響了大數(shù)據(jù)的分析、整理功能屬性[4]。電力大數(shù)據(jù)具備多維區(qū)域查詢特點(diǎn)較為清晰、查詢維度比較穩(wěn)定的特征。針對Hive 對索引支持力度比較差的限制性以及電力大數(shù)據(jù)查詢的一系列特征，本文處理技術(shù)基于網(wǎng)格文件（GridFile）的分布式多維索引特征，即DG FI （Distributed Grid File Index），主要用于提高多維區(qū)域內(nèi)的查詢功能。DG FI（Distributed Grid File Index）基于分布式哈希表（DHT）以及網(wǎng)格文件的重構(gòu)，其軟件結(jié)構(gòu)如圖1 所示。

借助于擴(kuò)展的Hive 命令和HQL 解析器，Hive 分辨并解析出與索引相關(guān)的一系列命令。按照查詢列表中涉及到的表頭、字段、長度以及查詢條件等，查找出索引數(shù)據(jù)的基本結(jié)構(gòu)，在短時(shí)間內(nèi)定位出需要的數(shù)據(jù)信息，并將檢索出來的數(shù)據(jù)信息交由Hadoop 計(jì)算框架處理，執(zhí)行查詢要求的相關(guān)計(jì)算流程。索引創(chuàng)建器掃描出需要?jiǎng)?chuàng)建索引的表列，利用一致性哈希算法把索引基本結(jié)構(gòu)映射至DHT 節(jié)點(diǎn)內(nèi)進(jìn)行存儲。為了進(jìn)一步提高功能，索引創(chuàng)建任務(wù)就被稱之為Map Reduce 任務(wù)。

1.2 任務(wù)分配與調(diào)度模塊

對于任務(wù)劃分的問題，并不是所有電網(wǎng)大數(shù)據(jù)的處理類應(yīng)用均可以在云計(jì)算平臺內(nèi)完成運(yùn)行、管理與維護(hù)，需要按照應(yīng)用的具體特征進(jìn)行細(xì)致的劃分。智能電網(wǎng)的潮流計(jì)算的大數(shù)據(jù)處理在劃分任務(wù)時(shí)，能夠?qū)⒚總€(gè)電網(wǎng)預(yù)期異常狀況的初始參數(shù)設(shè)計(jì)成一個(gè)子任務(wù)，并將其作為最為基本的工作單元完成操作。任務(wù)調(diào)度模塊的基本功能就是科學(xué)、合理地將這些工作單元充分調(diào)度到工作機(jī)上執(zhí)行。

調(diào)度策略的相關(guān)設(shè)計(jì)必須考慮工作機(jī)的配套硬件運(yùn)行狀況和相關(guān)軟件狀況。硬件配置狀況包括CPU 的內(nèi)存空間、主頻大小及空余磁盤內(nèi)存等。軟件信息則包括CPU 的利用率、網(wǎng)絡(luò)寬帶運(yùn)行狀況、負(fù)載狀況及可靠性分析等。容錯(cuò)問題，即云計(jì)算的特征。容錯(cuò)策略需自動(dòng)檢測到失效節(jié)點(diǎn)信息，并將其逐一排除。

1.3 狀態(tài)監(jiān)測數(shù)據(jù)的存儲與管理

相比于以往的互聯(lián)網(wǎng)應(yīng)用辦法，智能電網(wǎng)實(shí)時(shí)監(jiān)測對于數(shù)據(jù)的可靠性要求更高，所以云計(jì)算平臺能提供更安全的數(shù)據(jù)儲存和管理手段。本文主要采取Master/Slave 構(gòu)造把數(shù)據(jù)拆分為幾部分，從而形成多個(gè)數(shù)據(jù)塊，分別儲存在不同的節(jié)點(diǎn)。數(shù)據(jù)集群由一個(gè)Name node 以及一定數(shù)量的Data nodes 共同形成。Name node 作為一個(gè)中心服務(wù)器，主要負(fù)責(zé)對管理文件的儲存空間以及文件的即時(shí)性訪問進(jìn)行管理，Data nodes 則負(fù)責(zé)管理所在數(shù)據(jù)節(jié)點(diǎn)的一系列處理。這種雙向節(jié)點(diǎn)的設(shè)計(jì)可以最大化簡化系統(tǒng)設(shè)計(jì)流程。

2 實(shí)驗(yàn)與效果分析

為了更加清楚、具體地看出本文提出的基于云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的實(shí)際應(yīng)用效果，與傳統(tǒng)的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)進(jìn)行對比。

2.1 實(shí)驗(yàn)準(zhǔn)備

為保證實(shí)驗(yàn)的準(zhǔn)確性，將兩種智能電網(wǎng)大數(shù)據(jù)處理技術(shù)設(shè)計(jì)置于相同的試驗(yàn)參數(shù)下，進(jìn)行數(shù)據(jù)處理效率能力的相關(guān)實(shí)驗(yàn)。試驗(yàn)參數(shù)如表1 所示。

表1 試驗(yàn)參數(shù)信息

2.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)過程中，將兩種不同的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)在相同實(shí)驗(yàn)環(huán)境中進(jìn)行對比試驗(yàn)，分析其數(shù)據(jù)處理能力的變化。實(shí)驗(yàn)效果對比如圖2 所示。

根據(jù)實(shí)驗(yàn)結(jié)果可知，本文設(shè)計(jì)的基于云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)在數(shù)據(jù)處理效率方面要略勝于傳統(tǒng)方法，但數(shù)據(jù)處理效率會(huì)有一定波動(dòng)。

圖2 實(shí)驗(yàn)對比結(jié)果

3 結(jié) 論

本文對基于云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)進(jìn)行了分析。實(shí)驗(yàn)論證表明，本文設(shè)計(jì)的方法具備極高的有效性，以期為基于云計(jì)算的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的研究方法提供理論依據(jù)。