劉南艷 賀敏 趙建文

摘 要： 電力行業(yè)是大數(shù)據(jù)應(yīng)用的重要領(lǐng)域之一，電力系統(tǒng)每時每刻都在產(chǎn)生大規(guī)模、種類繁多的電力數(shù)據(jù)，面對海量數(shù)據(jù)，該如何將它們高效的處理和存儲，并進(jìn)行有效開發(fā)利用十分關(guān)鍵。因此，研究基于Hadoop云計算平臺海量數(shù)據(jù)下的電力負(fù)荷預(yù)測方法，并在MapReduce編程框架的基礎(chǔ)下，將K?Means算法進(jìn)行改良和優(yōu)化。實驗結(jié)果表明，提出的方法是可行的，數(shù)據(jù)處理時間大大縮短，算法精度也能滿足負(fù)荷預(yù)測的要求。

關(guān)鍵詞： 大數(shù)據(jù)； Hadoop； 云計算； Mapreduce； 電力系統(tǒng)； 電力負(fù)荷預(yù)測

中圖分類號： TN915.853?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）20?0153?04

Abstract： Electric power industry is one of the most important fields of big data application. The power system is producing a great variety of large?scale electric power data all the time， and how to effectively process， store， develop and utilize the massive data is very important. Therefore， a power load prediction method based on massive data is researched using the Hadoop cloud computing platform. The K?Means algorithm is improved and optimized on the basics of the Mapreduce programming framework. The experimental results show that， the proposed method is feasible， has greatly?reduced data processing time， and its algorithm accuracy can meet the load prediction requirement.

Keywords： big data； Hadoop； cloud computing； Mapreduce； power system； power load prediction

0 引 言

隨著電網(wǎng)建設(shè)速度的加快、規(guī)模的不斷擴(kuò)大、要求的不斷提高，電網(wǎng)系統(tǒng)需要具有強(qiáng)大的數(shù)據(jù)分析和數(shù)據(jù)處理能力，這樣才能保證電網(wǎng)的安全運(yùn)行[1?2]。但是當(dāng)前電力系統(tǒng)對數(shù)據(jù)的分析和處理所采用的是集中式的計算平臺，這樣的平臺在面對海量數(shù)據(jù)時，如按常規(guī)系統(tǒng)10 000個遙測點，采樣間隔3～4 s計算，每年能產(chǎn)生1.03 TB的數(shù)據(jù)，就會出現(xiàn)數(shù)據(jù)的儲存和計算問題，并且它的擴(kuò)展性能比較差[3]。本文采用Hadoop云計算平臺，通過搭建完全分布式集群，在多個節(jié)點上對數(shù)據(jù)進(jìn)行計算和處理，可以極大地提升數(shù)據(jù)處理效率。

多年來，電力負(fù)荷預(yù)測的方法不斷出現(xiàn)，例如時間序列法、趨勢外推法、神經(jīng)網(wǎng)絡(luò)、線性回歸、小波分析法等。但這些方法仍然存在局限性。神經(jīng)網(wǎng)絡(luò)法很難避免在訓(xùn)練過程中的學(xué)習(xí)不足且收斂過慢[4]；時間序列法對歷史數(shù)據(jù)準(zhǔn)確性要求高，短期電力負(fù)荷預(yù)測時對天氣因素不敏感，難以解決因氣象條件、區(qū)域等因素造成的短期負(fù)荷預(yù)測不準(zhǔn)確問題。

本文采用某地區(qū)的電力負(fù)荷數(shù)據(jù)作為基礎(chǔ)。將K?Means聚類算法與云計算平臺的MapReduce框架結(jié)合對電力負(fù)荷進(jìn)行研究。此方案首先將大量的數(shù)據(jù)進(jìn)行標(biāo)記并產(chǎn)生鍵值對，然后分配多個節(jié)點并同時對數(shù)據(jù)進(jìn)行處理和分析，最后將結(jié)果合并，這個過程大大提升了數(shù)據(jù)處理的效率。

1 基于Hadoop平臺的K?Means聚類算法

1.1 傳統(tǒng)的K?Means聚類算法

傳統(tǒng)K均值算法（K?Means Algorithm）的基本流程為：作為一種基于劃分的聚類算法，K?Means算法首先從原始目標(biāo)集合中選取K個點作為初始的K個簇的中心；隨后再將每個點指派到離該點最近的簇中心；最后，當(dāng)所有的點都被劃歸到一個簇后，對簇中心進(jìn)行更新；不斷重復(fù)這樣的過程直到簇中心收斂或者其他收斂條件滿足（通常為迭代次數(shù)）。

有兩個方面問題需要考慮：一是距離度量，也就是如何衡量兩個數(shù)據(jù)點之間的距離；二是簇中心的表示問題。在首次迭代中通常隨機(jī)抽取K個原始數(shù)據(jù)點作為最初的K個簇中心，而后續(xù)的迭代通常通過取屬于一個簇的所有點的平均值作為新的簇中心。例如將6個點分為2個簇過程如圖1所示。

通過對傳統(tǒng)K?Means算法的研究可以發(fā)現(xiàn)，在面對少量數(shù)據(jù)時，該算法可以高效精準(zhǔn)的完成預(yù)測；而面對海量的數(shù)據(jù)時，需要進(jìn)行距離度量的數(shù)據(jù)集會變得非常大，從而影響簇中心的判斷，數(shù)據(jù)處理效率低[5]。此時將K?Means算法與Hadoop平臺的MapReduce編程框架相結(jié)合來實現(xiàn)研究。

1.2 基于Hadoop平臺的K?Means聚類算法設(shè)計實現(xiàn)

1.2.1 MapReduce并行編程模型

MapReduce利用函數(shù)式編程中映射（map）和規(guī)約（reduce）的思想，將所有的輸入/輸出數(shù)據(jù)都以（key，value）鍵值對的形式來表示。本文一次MapReduce計算的完成由三個階段構(gòu)成：Map階段、Shuffle階段和Reduce階段[6]。并行編程模型如圖2所示。

1） Map階段。函數(shù)從輸入流中讀取一組數(shù)據(jù)，隨后對該數(shù)據(jù)進(jìn)行過濾和轉(zhuǎn)換，生成一組中間鍵值對（key，value）[7]，然后將生成的結(jié)果傳入MapReduce系統(tǒng)框架中。

2） Shuffle階段。在Shuffle階段，MapReduce系統(tǒng)框架整理全部的中間結(jié)果鍵值對并進(jìn)行合并，相同的鍵值對會歸為同一類。

3） Reduce階段。Reduce函數(shù)首先將合并后的鍵值通過算法進(jìn)行處理，找到簇中心點，將該結(jié)果傳遞到分布式文件系統(tǒng)HDFS中，進(jìn)行下一次迭代直到簇中心不再變化或者迭代次數(shù)已到[8]。

1.2.2 基于MapReduce框架的K?Means聚類算法

K?Means算法在MapReduce框架上實現(xiàn)主要分成2個步驟。

1） 將原始數(shù)據(jù)導(dǎo)入，并在數(shù)據(jù)集合中隨機(jī)選取K個點作為初始簇中心。同時需先定義一個類，該類保存一個簇的基本信息。定義之后需要隨機(jī)抽取K個點作為初始的簇中心。選取過程為，初始化簇中心集合為空，然后掃描整個數(shù)據(jù)集。當(dāng)前簇中心集合大小小于K，則將掃描到的點加入到簇中心集合中，否則以[1K+1]的概率替換掉簇中心集合中的一點。

2） 把存儲在本地的數(shù)據(jù)集合在Map節(jié)點上使用以上方法生成聚類集合，然后在Reduce階段生成新的全局聚類中心。

① Map方法的實現(xiàn)。Map方法需要將每個傳入的數(shù)據(jù)進(jìn)行處理，并找到離其最近的簇中心，同時將簇中的id作為鍵，該數(shù)據(jù)點作為值發(fā)射出去，表示這個數(shù)據(jù)點屬于id所在的簇。

② Reduce的實現(xiàn)。此過程是將多次迭代逐步逼近最終聚類中心的過程，同時重復(fù)此過程直到所求的聚類中心不再發(fā)生變化為止。

2 負(fù)荷預(yù)測實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)

本實驗數(shù)據(jù)來源于地區(qū)1從2009年1月1日—2015年1月10日的電力負(fù)荷數(shù)據(jù)（每15 min一個采樣點，每日96點，量綱為MW），以及2012年1月1日—2015年1月17日的氣象因素數(shù)據(jù)（日最高溫度、日最低溫度、日平均溫度、日相對濕度以及日降雨量）。選取2015年1月3日—2015年1月9日作為訓(xùn)練數(shù)據(jù)，如表1所示。

在對該地區(qū)進(jìn)行電力負(fù)荷預(yù)測時，考慮了地區(qū)溫度等天氣因素。通過最終實驗結(jié)果來分析溫度等因素對電力負(fù)荷預(yù)測造成的影響，同時對后續(xù)的研究提供參考。2015年1月10日實際負(fù)荷數(shù)所如表2所示。

2.2 實驗結(jié)果分析

1） 基于MapReduce框架實現(xiàn)的算法與傳統(tǒng)算法效率對比。數(shù)據(jù)處理時間對比如圖3所示。

從圖3可以看出，當(dāng)數(shù)據(jù)量較小時，傳統(tǒng)方法與基于MapReduce框架實現(xiàn)的并行方法在數(shù)據(jù)處理時間上相差不大，并行方法速率只是略快于傳統(tǒng)方法。然而隨著數(shù)據(jù)集的不斷擴(kuò)大，并行方法在速率上明顯快于傳統(tǒng)方法。原因在于基于MapReduce框架實現(xiàn)的并行算法在處理數(shù)據(jù)時將大量數(shù)據(jù)分散給集群上的各個節(jié)點，多個節(jié)點同時對數(shù)據(jù)進(jìn)行分析、計算和存儲，從而提高效率。

2） 預(yù)測實驗結(jié)果。在應(yīng)用MapReduce框架實現(xiàn)的算法得到1月10日電力負(fù)荷的預(yù)測值與實際值進(jìn)行對比，并計算出誤差。結(jié)果如表3所示，電力負(fù)荷數(shù)據(jù)精度基本滿足電力負(fù)荷預(yù)測的要求。

通過圖4可以看出，預(yù)測值與實際值相差不大，誤差率基本上能保持在2.2%左右，在可以接受的范圍之內(nèi)。同時圖4的趨勢對比也比較平穩(wěn)，展現(xiàn)了電力負(fù)荷在0～24時的變化趨勢，符合1月10日負(fù)荷的變化情況。證明了基于MapReduce框架實現(xiàn)的K?Means聚類算法是可行的。

3 結(jié) 論

本文針對當(dāng)前電力負(fù)荷數(shù)據(jù)量不斷增長，大量數(shù)據(jù)的處理過程效率不高，耗費(fèi)時間太長，以及電力負(fù)荷預(yù)測精度較低，得到的結(jié)果不能很好的計算和存儲，研究了大數(shù)據(jù)在電力負(fù)荷預(yù)測方面的問題。通過在Hadoop平臺上搭建集群，將K?Means聚類算法在基于MapReduce框架上實現(xiàn)，提出了基于MapReduce編程框架的并行算法。由實驗結(jié)果可得，集群的數(shù)據(jù)處理能夠解決當(dāng)前海量電力負(fù)荷數(shù)據(jù)的問題，提出的并行算法精度也能滿足負(fù)荷預(yù)測的要求。

注：本文通訊作者為賀敏。

參考文獻(xiàn)

[1] 劉鵬.云計算[M].2版.北京：電子工業(yè)出版社，2011.

LIU Peng. Cloud computing [M]. 2nd ed. Beijing： Publishing House of Electronics Industry， 2011.

[2] 李海龍.電力云數(shù)據(jù)分析平臺數(shù)據(jù)挖掘算法的研究與應(yīng)用[D].北京：華北電力大學(xué)，2014.

LI Hailong. Research on data mining algorithm in the electric power cloud data analysis platform [D]. Beijing： North China Electric Power University， 2014.

[3] PANDEY A S， SINGH D， SINHA S K. Intelligent hybrid wavelet models for short?term load forecasting [J]. IEEE transactions on power systems， 2010， 25（3）： 1266?1273.

[4] 張素香，趙丙鎮(zhèn)，王風(fēng)雨，等.海量數(shù)據(jù)下的電力負(fù)荷短期預(yù)測[J].中國電機(jī)工程學(xué)報，2015，35（1）：37?42.

ZHANG Suxiang， ZHAO Bingzhen， WANG Fengyu， et al. Short?term power load forecasting based on big data [J]. Proceedings of the CSEE， 2015， 35（1）： 37?42.

[5] 孟祥萍，周來，王暉，等.基于Hadoop云平臺的智能電網(wǎng)MapReduce數(shù)據(jù)計算技術(shù)研究[J].電測與儀表，2015，52（10）：66?72.

MENG Xiangping， ZHOU Lai， WANG Hui， et al. Research on data computing technologies of MapReduce for smart grid based on Hadoop cloud platform [J]. Electrical measurement & instrumentation， 2015， 52（10）： 66?72.

[6] 楊佳駒.基于MapReduce和深度學(xué)習(xí)的負(fù)荷分析與預(yù)測[D].南京：東南大學(xué)，2016.

YANG Jiaju. Load analysis and prediction based on MapReduce and depth learning [D]. Nanjing： Southeast University， 2016.

[7] 岳陽，張曉佳，高一丹.基于Hadoop的電力大數(shù)據(jù)技術(shù)體系研究[J].電力與能源，2015，36（1）：16?20.

YUE Yang， ZHANG Xiaojia， GAO Yidan. Technology system of electric power big data based on Hadoop [J]. Power & energy， 2015， 36（1）： 16?20.

[8] 黨倩，崔亮，張華峰.基于MapReduce模型的智能電網(wǎng)數(shù)據(jù)平臺研究[J].電力信息化，2012，10（5）：96?100.

DANG Qian， CUI Liang， ZHANG Huafeng. Research on smart grid data platform based on MapReduce model [J]. Electric power information technology， 2012， 10（5）： 96?100.

[9] 金鑫，李龍威，季佳男，等.基于大數(shù)據(jù)和優(yōu)化神經(jīng)網(wǎng)絡(luò)短期電力負(fù)荷預(yù)測[J].通信學(xué)報，2016，37（z1）：36?42.

JIN Xin， LI Longwei， JI Jianan， et al. Short?term power load forecasting based on big data and optimization neural network [J]. Journal on communications， 2016， 37（S1）： 36?42.

[10] 高曦瑩，張冶，揚(yáng)爽，等.典型電力用戶用電負(fù)荷特性分類技術(shù)的研究[J].沈陽工程學(xué)院學(xué)報（自然科學(xué)版），2013，9（4）：323?325.

GAO Xiying， ZHANG Ye， YANG Shuang， et al. Technology research on typical electric power load characteristic classification [J]. Journal of Shenyang Institute of Engineering （Natural science）， 2013， 9（4）： 323?325.

[11] HONG W C. Chaotic particle swarm optimization algorithm in a support vector regression electric load forecasting model [J]. Energy conversion & management， 2009， 50（1）： 105?117.