李子乾 朱青 穆松鶴 張月

摘要：為有效滿足智能電網(wǎng)對大數(shù)據(jù)處理的需求，文章完成了SP-DPP大數(shù)據(jù)處理平臺的構(gòu)建，該平臺基于云計算，主要由客戶端、存儲管理、任務(wù)分配調(diào)度、執(zhí)行四大模塊構(gòu)成，并根據(jù)電網(wǎng)人數(shù)據(jù)處理需求完成了數(shù)學(xué)模型的構(gòu)建及數(shù)據(jù)任務(wù)的劃分，對平臺處理人數(shù)據(jù)的編碼方式進(jìn)行了詳細(xì)描述，并以IEEE118節(jié)點(diǎn)電網(wǎng)為例介紹了大數(shù)據(jù)處理程序，該平臺在吞吐量及加速比方面表現(xiàn)出了較大的優(yōu)勢，為提升智能電網(wǎng)對電網(wǎng)大數(shù)據(jù)的處理性能提供參考。

關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理平臺;云計算;潮流計算

中圖分類號：TP311.13;TM76文獻(xiàn)標(biāo)識碼：A 文章編號：1001-5922（2019）11-0169-05

快速發(fā)展及應(yīng)用范圍不斷擴(kuò)大的現(xiàn)代電網(wǎng)促使電網(wǎng)數(shù)據(jù)迅速增長，電力系統(tǒng)已進(jìn)人大數(shù)據(jù)時代，為電力系統(tǒng)的數(shù)據(jù)存儲及管理工作提出了巨大的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)處理模式已經(jīng)難以滿足滿足電網(wǎng)現(xiàn)代化的運(yùn)營管理需求。近年來隨著現(xiàn)代先進(jìn)技術(shù)在智能電網(wǎng)中的廣泛使用（包括網(wǎng)絡(luò)計算機(jī)通信、傳感器測量等技術(shù)），面對不斷擴(kuò)大的電網(wǎng)規(guī)模包括數(shù)據(jù)采集與監(jiān)控、相量測量等在內(nèi)的電力系統(tǒng)中所產(chǎn)生的數(shù)據(jù)呈指數(shù)級增長（數(shù)據(jù)量巨大且種類繁多），構(gòu)建面向智能電網(wǎng)的大數(shù)據(jù)處理平臺提升電網(wǎng)管理效率及質(zhì)量已成為行業(yè)內(nèi)的重點(diǎn)研究領(lǐng)域之一。

1需求分析

電壓、電量、用戶負(fù)荷等是智能電網(wǎng)正常運(yùn)行的基礎(chǔ)，傳統(tǒng)包括MPI集群、Globus網(wǎng)格等計算處理技術(shù)隨著電網(wǎng)數(shù)據(jù)及軟件容量的不斷增大已經(jīng)難以滿足智能電網(wǎng)數(shù)據(jù)處理需求，迅速發(fā)展的云計算及大數(shù)據(jù)等技術(shù)憑借自身的強(qiáng)大優(yōu)勢逐漸在智能電網(wǎng)監(jiān)管及檢測等領(lǐng)域普及應(yīng)用。云計算將一種有償?shù)纳虡I(yè)服務(wù)提供給客戶端，各大IT公司擁有云平臺源代碼版權(quán)，作為技術(shù)躍進(jìn)或商業(yè)實(shí)現(xiàn)結(jié)果，云計算實(shí)現(xiàn)了部分源代碼的開放，已成為處理大數(shù)據(jù)的主要手段，具備科學(xué)高效處理優(yōu)勢的云平臺可有效滿足智能電網(wǎng)大數(shù)據(jù)的處理需求。采用云計算并行處理大規(guī)模數(shù)據(jù)集的方法易于搭建，可有效降低開發(fā)及使用成本。本文針對智能電網(wǎng)采用云計算的MapReduce規(guī)范開源代碼完成了SP-DPP（smart power system big dataprocessingplatform in cloud environment）大數(shù)據(jù)處理平臺的構(gòu)建，并對平臺的設(shè)計和實(shí)現(xiàn)過程進(jìn)行了闡述。

2SP-DPP平臺的設(shè)計

為滿足高效處理電網(wǎng)海量數(shù)據(jù)的需求，本文所設(shè)計的SP-DPP云平臺架構(gòu)示意圖如圖1所示，不同于傳統(tǒng)計算平臺，SP-DPP云平臺以服務(wù)的方式向用戶提供IT相關(guān)功能，用戶通過注冊及訪問服務(wù)即可使用該平臺，平臺通過具備穩(wěn)定可靠優(yōu)勢的中心節(jié)點(diǎn)（主要由集群服務(wù)器構(gòu)成）完成智能電網(wǎng)大數(shù)據(jù)的存儲，平臺需將大數(shù)據(jù)處理任務(wù)調(diào)度到中心節(jié)點(diǎn)上，在此基礎(chǔ)上完成任務(wù)的提交和分配處理過程，SP-DPP云平臺按照邏輯分為客戶端、存儲管理、任務(wù)分配調(diào)度、執(zhí)行4大模塊。以潮流計算的結(jié)果為依據(jù)完成分析及監(jiān)控電網(wǎng)狀態(tài)的功能。

2.1大數(shù)據(jù)存儲與管理模塊

該模塊的主要功能在于存儲所需處理的大數(shù)據(jù)以及各類文件系統(tǒng)的名空間，具體通過使用DFS（分布式文件系統(tǒng)）完成存儲過程，在設(shè)計選取DFS時為使其優(yōu)于集群并行文件系統(tǒng)，本文充分利用了虛擬化技術(shù)，系統(tǒng)平臺對電網(wǎng)海量數(shù)據(jù)（由TB到PB級）通過DFS進(jìn)行自動管理，程序設(shè)計過程中僅包含一個對用戶透明的文件系統(tǒng)顯著提高了平臺獲取數(shù)據(jù)的便利性（如/DFS/tmp/filel），實(shí)際由眾多不同物理節(jié)點(diǎn)存放大數(shù)據(jù)。此外，通過管理文件系統(tǒng)的命名空間使平臺中的其他模塊能夠?qū)ο嚓P(guān)數(shù)據(jù)進(jìn)行高效便捷的訪問。

2.2任務(wù)分配與調(diào)度模塊

大數(shù)據(jù)的處理（包括任務(wù)分配、調(diào)度及處理執(zhí)行）需以大數(shù)據(jù)的存儲作為基礎(chǔ)，任務(wù)分配與調(diào)度作為平臺的核心模塊主要負(fù)責(zé)劃分平臺的大數(shù)據(jù)處理任務(wù)，然后在空閑工作機(jī)上分配并執(zhí)行各個子任務(wù)，該模塊重點(diǎn)考慮的問題在于：任務(wù)劃分，需根據(jù)大數(shù)據(jù)處理類應(yīng)用的特點(diǎn)進(jìn)行劃分以確保其能夠在SP-DPP平臺上運(yùn)行，劃分任務(wù)時針對潮流計算的大數(shù)據(jù)處理可通過于任務(wù)的設(shè)計（對應(yīng)預(yù)想異常的初始參數(shù)）完成最基本工作單元的確認(rèn)和處理過程，需通過調(diào)度模塊對涉及到的工作單元進(jìn)行高效的調(diào)度使其合理分布于不同工作機(jī)上執(zhí)行;調(diào)度策略，需對實(shí)際使用的工作機(jī)進(jìn)行綜合考慮，包括硬件配置情況（如CPU、內(nèi)存、空余磁盤空間等）及軟件信息（如CPU利用率、網(wǎng)絡(luò)帶寬、負(fù)載等），以確保工作單元的遷移更加靈活高效（在各物理節(jié)點(diǎn)間）;容錯問題，采用冗余方式的SP-DPP平臺需能夠?qū)κЧ?jié)點(diǎn)進(jìn)行自動檢測和及時排除，確保平臺主控任務(wù)的正常運(yùn)行;負(fù)載均衡，在同一物理節(jié)點(diǎn)上對多個虛擬機(jī)計算節(jié)點(diǎn)（負(fù)載較?。┻M(jìn)行合并，使實(shí)際各物理節(jié)點(diǎn)的資源利用率得以顯著提高。在創(chuàng)建其它工作機(jī)時需以當(dāng)前文件位置及大小為依據(jù)完成，同時監(jiān)控工作機(jī)的執(zhí)行狀態(tài)。

2.3大數(shù)據(jù)處理執(zhí)行及客戶端模塊

本文所設(shè)計的SP-DPP云平臺運(yùn)用了包括桌面、系統(tǒng)虛擬化等在內(nèi)的虛擬化技術(shù)，云資源的使用基于桌面虛擬化，該平臺在虛擬機(jī)上完成電網(wǎng)大數(shù)據(jù)處理過程，通過執(zhí)行模塊采用虛擬機(jī)的方式完成具體工作單元（由調(diào)度模塊分發(fā)）的接收和執(zhí)行，并向調(diào)度模塊返回執(zhí)行狀態(tài)和臨時結(jié)果。該模塊子任務(wù)從存儲管理模塊中獲取大數(shù)據(jù)處理信息并執(zhí)行完后，仍在大數(shù)據(jù)服務(wù)器中存儲結(jié)果。用戶通過客戶端在聯(lián)網(wǎng)狀態(tài)下即可對SP-DPP云平臺進(jìn)行訪問，客戶端可以服務(wù)等級協(xié)議（SLA）為依據(jù)進(jìn)行按時付費(fèi)管理。

3電網(wǎng)大數(shù)據(jù)處理的數(shù)學(xué)模型

3.1數(shù)學(xué)模型的構(gòu)建

電網(wǎng)運(yùn)行情況的判斷已成為各電網(wǎng)公司調(diào)度中心的重要工作內(nèi)容，目前潮流計算是對智能電網(wǎng)狀態(tài)進(jìn)行判斷時較為常用的數(shù)據(jù)模型，假設(shè)，P_i，O_i，U_i，U_j，G_ij，B_ij，θ_ij均表示電網(wǎng)相關(guān)參數(shù)，潮流方程的極坐標(biāo)表達(dá)式如下。

判斷電網(wǎng)的狀態(tài)通常需對P、Q、U、θ中的任意兩個參數(shù)進(jìn)行設(shè)置，在此基礎(chǔ)上以方程組的約束條件為依據(jù)完成另外兩個參數(shù)的求解過程。智能電網(wǎng)的規(guī)模同方程組中n的取值成正比。

3.2智能電網(wǎng)大數(shù)據(jù)的劃分

本文在對電網(wǎng)大數(shù)據(jù)任務(wù)進(jìn)行劃分時編程模型的思路采用了主-從模式，針對電網(wǎng)異常狀態(tài)將對應(yīng)不同的預(yù)想事故進(jìn)行設(shè)置，將各預(yù)想事故對應(yīng)一個同Mapper（位于MapReduce中）類似的子任務(wù)形式，通過Mapper子程序代碼能夠獲取電網(wǎng)不同運(yùn)行狀態(tài)（采用串行潮流計算方法）。考慮到預(yù)想事故不一定會導(dǎo)致電網(wǎng)出現(xiàn)異常需進(jìn)行匯總判斷，具備匯總歸約功能的Reduce可有效滿足判斷匯總電網(wǎng)狀態(tài)的需求。電網(wǎng)大數(shù)據(jù)處理的劃分模型如圖2所示，方程組約束中的潮流通過各Map獲取對應(yīng)特定電網(wǎng)運(yùn)行狀態(tài)的子結(jié)果，各Reduce對應(yīng)各參數(shù)指標(biāo)判斷結(jié)果（越界或異常），整個運(yùn)行流程由一個主程序進(jìn)行控制，最終實(shí)現(xiàn)電網(wǎng)運(yùn)行狀態(tài)異常的檢測過程。

4平臺的實(shí)現(xiàn)

并行大數(shù)據(jù)處理的編程模型主要包括映射歸約（MapReduce）、主一從、分治等模式，均具有獨(dú)立子任務(wù)執(zhí)行功能（類似工作單元），不斷發(fā)展的數(shù)據(jù)存儲及管理技術(shù)使云平臺大數(shù)據(jù)處理時存在依賴關(guān)系，允許子任務(wù)節(jié)點(diǎn)間交互的軟件拓展了云平臺的應(yīng)用處理類型，在SP-DPP云平臺中使用了較為先進(jìn)成熟的開源的MapReduce規(guī)范（位于Apache的Hadoop中，一種軟件代碼不對外界公布的云計算的編程模型），適用于分布式大數(shù)據(jù)處理（包括存儲、調(diào)度、執(zhí)行、容錯、負(fù)載均衡）。針對電網(wǎng)大數(shù)據(jù)狀態(tài)MapReduce編程規(guī)范只需通過編寫Mapper和Reducer程序即可完成安全分析。

4.1核心模塊功能的實(shí)現(xiàn)

本文選用Hadoop的HDFS實(shí)現(xiàn)大數(shù)據(jù)存儲與管理功能，通過使用HDFS完成對主控服務(wù)器、數(shù)據(jù)服務(wù)器、作業(yè)服務(wù)器和任務(wù)服務(wù)器等角色的部署，大數(shù)據(jù)存儲及管理文件系統(tǒng)命名空間功能主要通過主控服務(wù)器、數(shù)據(jù)服務(wù)器完成。任務(wù)分配調(diào)度功能則通過使用Hadoop的任務(wù)服務(wù)器實(shí)現(xiàn)，分配電網(wǎng)大數(shù)據(jù)任務(wù)時需先完成預(yù)先放置于HDFS中的分片的設(shè)置，采用Hadoop中的原始調(diào)度、容錯及負(fù)載均衡策略（通過分析更改開源代碼可實(shí)現(xiàn)對這些策略的改進(jìn)）。任務(wù)和數(shù)據(jù)服務(wù)器需同時部署于存儲的物理節(jié)點(diǎn)上，在MapReduce中，運(yùn)行于數(shù)據(jù)服務(wù)器上的下屬任務(wù)服務(wù)器（負(fù)責(zé)執(zhí)行工作單元）通過作業(yè)服務(wù)器進(jìn)行調(diào)度和管理。工作機(jī)模塊功能通過使用任務(wù)服務(wù)器角色實(shí)現(xiàn)。作業(yè)服務(wù)器負(fù)責(zé)主控任務(wù)，運(yùn)行在從屬節(jié)點(diǎn)上的任務(wù)服務(wù)器主要負(fù)責(zé)接收并執(zhí)行子任務(wù)，并向作業(yè)服務(wù)器返回執(zhí)行狀態(tài)和結(jié)果。圖3為本文所設(shè)計平臺的各功能模塊邏輯關(guān)系，虛線框表示虛擬節(jié)點(diǎn)，實(shí)際的物理節(jié)點(diǎn)負(fù)責(zé)實(shí)現(xiàn)大數(shù)據(jù)任務(wù)分配調(diào)度功能，由實(shí)線框Master表示;實(shí)現(xiàn)工作機(jī)和存儲管理功能的實(shí)際物理節(jié)點(diǎn)由實(shí)線框Slave表示。

4.2電網(wǎng)大數(shù)據(jù)處理的編碼

在完成平臺基本軟件環(huán)境搭建的基礎(chǔ)上（通過配置MapReduce實(shí)現(xiàn)），利用MapReduce編寫潮流計算程序，其中Map函數(shù)代碼（針對潮流計算的串行計算）表示如下。

考慮到MapReduce通常采用Java語言，而潮流計算大多采用C++作為串行源代碼，本文在Java環(huán)境下通過使用JNI技術(shù)完成C++代碼的調(diào)用，使Hadoop能夠透明的執(zhí)行相應(yīng)角色。

5平臺測試

為檢測本文所設(shè)計的SP-DPP智能電網(wǎng)大數(shù)據(jù)處理平臺的性能，采用IEEE118節(jié)點(diǎn)電網(wǎng)基本數(shù)據(jù)進(jìn)行試驗(yàn)，據(jù)此完成電網(wǎng)運(yùn)行狀態(tài)的計算，將電網(wǎng)預(yù)想事故預(yù)設(shè)為5*104個（數(shù)據(jù)容量為15GB），SP-DPP平臺包含9個實(shí)際PC機(jī)物理節(jié)點(diǎn)（處于同一個局域網(wǎng)內(nèi)，均安裝了RedHatLinux操作系統(tǒng)），采用內(nèi)存為8C DDR4的Intelxeon云服務(wù)器主機(jī)，通過交換機(jī)連接各節(jié)點(diǎn)，用戶通過繼承MapReduce-Base即可完成Map、Reduce程序的編寫。遵循Apache的Hadoop規(guī)范，將主控服務(wù)器和作業(yè)服務(wù)器部署在1個Master機(jī)器上，將數(shù)據(jù)服務(wù)器和任務(wù)服務(wù)器部署在8個Slave機(jī)器上。在運(yùn)行時間為2000s的情況下吞吐量（在相同時間內(nèi)，通過調(diào)整實(shí)際物理節(jié)點(diǎn)個數(shù)比較預(yù)想事故完成情況）實(shí)驗(yàn)結(jié)果如表1所示，證明平臺預(yù)先設(shè)置故障完成個數(shù)同物理節(jié)點(diǎn)的數(shù)量成正比。執(zhí)行時間測試結(jié)果如表2所示，加速比測試結(jié)果如圖4所示，在電網(wǎng)狀態(tài)安全分析方面該平臺的執(zhí)行時間同Slave物理節(jié)點(diǎn)的數(shù)量成反比，Speedup則保持穩(wěn)定的增加，將更多的物理節(jié)點(diǎn)部署于云平臺上能夠快速完成全部工作單元的計算過程，電網(wǎng)公司的調(diào)度中心據(jù)此可對電網(wǎng)整體運(yùn)行的安全性進(jìn)行準(zhǔn)確判斷，證明了本文所設(shè)計平臺具有較高的實(shí)際應(yīng)用價值。

5結(jié)語

文章主要基于云計算技術(shù)完成了一種智能電網(wǎng)大數(shù)據(jù)處理平臺的構(gòu)建，電力系統(tǒng)潮流計算測試結(jié)果驗(yàn)證了本文SP-DPP云平臺在吞吐量和加速比上的優(yōu)勢。具有Master-slave特點(diǎn)的并行應(yīng)用均可在SP-DPP平臺上運(yùn)行，在完成任務(wù)及數(shù)據(jù)劃分的基礎(chǔ)上通過MapReduce的應(yīng)用完成計算過程。