王長剛+王景陽

摘 要：隨著電力系統(tǒng)信息化的進步和智能電網(wǎng)的發(fā)展，電力系統(tǒng)相關的數(shù)據(jù)量急增，這些數(shù)據(jù)是客觀的記錄，是系統(tǒng)運行情況的真實反映，如果我們想要通過對數(shù)據(jù)的挖掘來把握電力系統(tǒng)運行行為，那么首先我們就需要對數(shù)據(jù)進行管理，如何更加科學的管理電力大數(shù)據(jù)是我們所面臨的一個問題。文章綜述了數(shù)據(jù)庫一體機、基于Hadoop平臺hive數(shù)據(jù)倉庫以及面向列數(shù)據(jù)庫hbase的內(nèi)部構成和應用范圍，詳細地分析各自的優(yōu)勢和缺點，并梳理這些數(shù)據(jù)管理電力大數(shù)據(jù)時面臨的問題。

關鍵詞：電力大數(shù)據(jù)；管理；工具；對比

引言

電力系統(tǒng)中的能量流——即電能的產(chǎn)生、傳輸?shù)綉孟倪^程，是由用電需求驅動的，既能反映電力系統(tǒng)結構特點，又能反映電力系統(tǒng)運行狀況，還能反映電力系統(tǒng)與外部環(huán)境（如國民經(jīng)濟、社會活動）的相互作用。因此，把握電力系統(tǒng)中能量流的時空分布特性對提高電力系統(tǒng)運行經(jīng)濟性及安全性具有重要價值，作為電力系統(tǒng)能量流數(shù)字化的電力大數(shù)據(jù)，全面記錄了電網(wǎng)的運行狀況，包含了電力系統(tǒng)整體動、靜態(tài)行為的豐富信息。深入挖掘這些信息的價值，有助于提高電力系統(tǒng)運行安全性及經(jīng)濟性。

目前從數(shù)據(jù)形成知識的過程是借由數(shù)據(jù)挖掘來實現(xiàn)的，即通過對數(shù)據(jù)的分析和有效組織和整合提取蘊含在內(nèi)部的隱層信息、潛在有用信息和知識。實現(xiàn)這一過程需要對數(shù)據(jù)進行初步核實、建立相應的數(shù)學模型、評估分析結果，這些都是依賴數(shù)據(jù)科學，因此對于如何科學的管理數(shù)據(jù)、處理數(shù)據(jù)是一個重要的問題。

1 數(shù)據(jù)庫一體機

數(shù)據(jù)庫一體機是將軟件層面的數(shù)據(jù)庫產(chǎn)品與實體計算機硬件有機結合的專門服務于數(shù)據(jù)處理、傳輸、儲存的實物科技產(chǎn)品。

國內(nèi)對于數(shù)據(jù)一體機的探索和研發(fā)從未間斷過，電力系統(tǒng)數(shù)據(jù)庫一體機經(jīng)歷了上個世紀80年代引進應用系統(tǒng)通用機、90年代建立國產(chǎn)應用通用機、2000年后的open3000系統(tǒng)的應用到現(xiàn)在國網(wǎng)D5000系統(tǒng)的逐步推廣，形成了一個數(shù)據(jù)傳輸網(wǎng)絡化、運行監(jiān)視全景化、安全評估動態(tài)化、調度決策精益化、運行控制自動化和源網(wǎng)協(xié)調最優(yōu)化的一體化智能電網(wǎng)調度系統(tǒng)。

2 基于hadoop運行平臺的數(shù)據(jù)管理工具

2.1 hive數(shù)據(jù)倉庫

Hive是建立在 Hadoop上的數(shù)據(jù)倉庫基礎構架。具有簡單的類SQL查詢語言，稱為HQL。同時，MapReduce開發(fā)者的可以借此開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復雜的分析工作。

Hive構建在基于靜態(tài)批處理的Hadoop之上，Hadoop通常都有較高的延遲并且在作業(yè)提交和調度的時候需要大量的開銷。Hive查詢操作過程嚴格遵守Hadoop MapReduce的作業(yè)執(zhí)行模型，Hive將用戶的HiveQL語句通過解釋器轉換為MapReduce作業(yè)提交到Hadoop集群上，Hive的最佳使用場合是大數(shù)據(jù)集的批處理作業(yè)，例如，網(wǎng)絡日志分析。

2.2 Hbase數(shù)據(jù)庫

HBase是一個開源數(shù)據(jù)庫，兼具有分布式和列存儲的特點?，F(xiàn)存的研究主要集中在多種數(shù)據(jù)庫混合研究上。

國內(nèi)對于大數(shù)據(jù)技術相關的數(shù)據(jù)庫的研究也在不斷推進中，研究方向和重點主要集中在性能優(yōu)化、混合數(shù)據(jù)庫的移植性研究上。

3 大數(shù)據(jù)技術與數(shù)據(jù)庫一體機對比

硬件架構：大數(shù)據(jù)應用平臺和數(shù)據(jù)一體機隸屬于同一梯次，實物架構基本一致，都是通過硬件系統(tǒng)兼容的并行計算來完成上層任務。不同的是，數(shù)據(jù)化一體機更具有獨特性、自身優(yōu)化特點。

軟件體系：兩者的最大不同點主要集中在自身軟件體系中，數(shù)據(jù)化一體機軟件核心的出口和入口都是面向數(shù)據(jù)查詢語言體系，當然，絕不僅僅局限在語言解析上，還囊括查詢過程的優(yōu)化，數(shù)據(jù)本身的優(yōu)化索引，對各種事務數(shù)據(jù)的掌控能力。

大數(shù)據(jù)技術中的各種技術更加靈活和易于組織，可以在底層進行服務于自身需求的更新和更改，以mapreduce為例如果運行人員想要實現(xiàn)計算目的，需要手動編譯大量的MR程序，把握各種計算邏輯。大數(shù)據(jù)技術中的另一項突出優(yōu)點是對非結構化數(shù)據(jù)的分析能力，hadoop分布式儲存系統(tǒng)對非結構化數(shù)據(jù)的天然兼容性和對數(shù)據(jù)原始性的保障，可以對非結構化數(shù)據(jù)進行類結構化數(shù)據(jù)的查詢和索引。

當然數(shù)據(jù)化一體機由于自身硬件的限制，無法像大數(shù)據(jù)技術和平臺這樣易于擴展，對于超大型復雜數(shù)據(jù)和內(nèi)在互聯(lián)邏輯不能完美計算，但是數(shù)據(jù)化一體機在一定層面上已經(jīng)改善了傳統(tǒng)方式的瓶頸。

4 存在的問題和展望

電力大數(shù)據(jù)是以結構化數(shù)據(jù)為主，數(shù)據(jù)庫一體機對于2維數(shù)據(jù)有著高效的支持度，對于結構性數(shù)據(jù)具有良好的適應性，但由于數(shù)據(jù)庫一體機下層數(shù)據(jù)庫的建立往往依賴于關系型數(shù)據(jù)庫，內(nèi)在關聯(lián)在數(shù)據(jù)庫設計時就已經(jīng)設定，其上層應用開發(fā)受數(shù)據(jù)組織形式約束，所以在挖掘隱含信息和知識方面沒有優(yōu)勢。另外面對非結構化數(shù)據(jù)（如社會化數(shù)據(jù)、各種日志甚至圖片、視頻等）無法映射為關聯(lián)化和結構化的2維數(shù)據(jù)時，無法對其進行有效處理。

大數(shù)據(jù)技術相關的數(shù)據(jù)管理工具底層數(shù)據(jù)庫隸屬于非關系型數(shù)據(jù)庫，由于弱化內(nèi)在關聯(lián)關系，所以在數(shù)據(jù)存儲方面可以通過分布式存儲來實現(xiàn)大規(guī)模數(shù)據(jù)儲存，并且在挖掘隱含信息方面，不受底層數(shù)據(jù)組織的影響，可以通過自身設計模式進行數(shù)據(jù)挖掘，但值得注意的是現(xiàn)在大數(shù)據(jù)并非萬金油，在面對處理小型數(shù)據(jù)量的時候存在高延遲的現(xiàn)象，在離線處理方式mapreduce計算框架下，map和reduce過程都需要初始化，并行任務對HDFS中數(shù)據(jù)的讀取磁盤開銷巨大，如何科學的數(shù)據(jù)分塊，如何控制合理的任務總量和并行任務執(zhí)行數(shù)量，如何能夠最大限度的發(fā)揮服務器的性能，優(yōu)化存儲和查詢是需要解決的問題。

2014年2月Spark取代MapReduce成為Apache頂級項目，作為一個基于內(nèi)存計算為核心的spark逐漸在各個領域上面體現(xiàn)出比mapreduce更快的計算效率，在處理電力大數(shù)據(jù)方面的研究剛剛起步，如何將內(nèi)存式計算融入到電力系統(tǒng)多次計算迭代同樣也是一個待解決的問題。

參考文獻

[1]岳峻松，趙俊峰，趙偉，等.數(shù)據(jù)庫一體機技術架構解析[J].電力信息化，2013，11（4）：60-64.

[2]王為國，曾偉民，代偉，等.基于數(shù)據(jù)倉庫的一體化電力調度自動化系統(tǒng)[J].電力系統(tǒng)自動化，2003，27（12）：67-70.

[3]馮黃俊，趙景霖，臧菲，等.OPEN3000與DF8003自動化系統(tǒng)應用區(qū)別及建議[J].電力與能源，2013，34（z1）：53-56，60.

[4]李功新，周文俊，林靜懷，等.基于D5000平臺的調控操作與防誤一體化系統(tǒng)[J].電力自動化設備，2014，34（7）：168-173.