李如初,沈名龍,彭海棠
(中國廣核電力股份有限公司信息技術(shù)中心防城港分部,廣西 防城港 538001)
按照全球數(shù)據(jù)公司(IDC)的預(yù)測(cè),當(dāng)前每年新數(shù)據(jù)的增長速度高達(dá) 50%,簡而言之,每兩年數(shù)據(jù)運(yùn)用數(shù)量就翻一倍,意味著大數(shù)據(jù)時(shí)代已經(jīng)到來。隨著數(shù)據(jù)的爆炸式增長,在世界范圍內(nèi),各行各業(yè)都發(fā)生著巨大變革,作為全球第二大基礎(chǔ)能源體系,我國電力工業(yè)也步入了大數(shù)據(jù)時(shí)代,各個(gè)部門、各個(gè)環(huán)節(jié)(電網(wǎng)、發(fā)電、輸電、配電、用電等)均已拉開電力大數(shù)據(jù)的大幕。然而,鑒于我國電力工業(yè)涉及的管理面廣,不單包含實(shí)際生產(chǎn)、具體銷售、生產(chǎn)調(diào)度、企業(yè)財(cái)務(wù)等方面,還囊括了生產(chǎn)安全、管理計(jì)劃、規(guī)章制度等諸多方面,在大數(shù)據(jù)時(shí)代,對(duì)于電力工業(yè)中的管理服務(wù)器與數(shù)據(jù)服務(wù)器計(jì)算能力提出了更高要求。其中,“大數(shù)據(jù)技術(shù)”與“云計(jì)算”憑借著對(duì)數(shù)據(jù)處理及管理分類的高安全性、高可靠性、高時(shí)效性的優(yōu)勢(shì),已經(jīng)在電力工業(yè)中得到了廣泛的應(yīng)用。因此,本文在詳細(xì)闡述大數(shù)據(jù)與云計(jì)算概念的基礎(chǔ)上,系統(tǒng)地分析了大數(shù)據(jù)、云計(jì)算在電力工業(yè)中的應(yīng)用,希望有助于拓展今后電力工業(yè)應(yīng)用大數(shù)據(jù)、云計(jì)算的發(fā)展范圍。
大數(shù)據(jù)英譯為“big data”,其定義是指資料或者數(shù)據(jù)的數(shù)量已經(jīng)不能夠用現(xiàn)階段主流軟件進(jìn)行分析,在規(guī)定的時(shí)間內(nèi)實(shí)現(xiàn)收集、管理、分析、總結(jié)為有助于企業(yè)管理者實(shí)施決定的數(shù)據(jù)信息。大數(shù)據(jù)表現(xiàn)出的特征主要為大量、多樣、高速、價(jià)值。而“大數(shù)據(jù)技術(shù)”是伴隨著信息化產(chǎn)業(yè)、計(jì)算機(jī)技術(shù)而出現(xiàn)的一種能夠有效收集、處理、分析、整理海量數(shù)據(jù)的手段,并且呈現(xiàn)出高水平的決策、發(fā)現(xiàn)及調(diào)配功能?!按髷?shù)據(jù)技術(shù)”不僅是科學(xué)技術(shù)發(fā)展的科技性產(chǎn)物,更是人類改造自然的智慧結(jié)晶?,F(xiàn)階段,“Hadoop分布式”系統(tǒng)基礎(chǔ)架構(gòu)主要由Apache基金會(huì)所創(chuàng)建,也是應(yīng)用最為廣泛的處理大數(shù)據(jù)的基礎(chǔ)架構(gòu)。
在互聯(lián)網(wǎng)企業(yè)對(duì)海量數(shù)據(jù)計(jì)算與數(shù)據(jù)存儲(chǔ)需求的背景下,云計(jì)算作為一種嶄新的分布式計(jì)算模式應(yīng)運(yùn)而生。云計(jì)算聚集了海量、分布、異構(gòu)的資源,滿足了客戶對(duì)資源存儲(chǔ)、數(shù)據(jù)計(jì)算的高伸縮性、高性能、高可用性的要求。同時(shí),云計(jì)算采用虛擬化技術(shù)等手段盡可能地滿足客戶各種需求,防止發(fā)生資源浪費(fèi)及惡性競(jìng)爭,進(jìn)一步增強(qiáng)了資源的利用效率。另外,云計(jì)算還具備高水平的均衡橫向伸縮和動(dòng)態(tài)負(fù)載的能力,換句話說,就是在運(yùn)行過程中云計(jì)算支持向“數(shù)據(jù)中心”增加新的節(jié)點(diǎn),系統(tǒng)也會(huì)自動(dòng)把一些負(fù)載轉(zhuǎn)移至新增節(jié)點(diǎn)處,且確保節(jié)點(diǎn)間的負(fù)載不會(huì)出現(xiàn)失衡現(xiàn)象,進(jìn)一步提升了電力系統(tǒng)整個(gè)業(yè)務(wù)承載水平。在云計(jì)算環(huán)境當(dāng)中,資源主要被安排成以“數(shù)據(jù)中心”作為基本形式。其中,數(shù)據(jù)中心囊括了成千上萬的節(jié)點(diǎn),且這些節(jié)點(diǎn)利用高速網(wǎng)絡(luò)實(shí)現(xiàn)相互聯(lián)系,一起給客戶提供數(shù)據(jù)計(jì)算及資源存儲(chǔ)的服務(wù)。
在電力工業(yè)中應(yīng)用“大數(shù)據(jù)技術(shù)”,主要目的是精準(zhǔn)預(yù)測(cè)不同環(huán)節(jié)中的電力數(shù)據(jù),如發(fā)電、配電、輸電等,然后對(duì)數(shù)據(jù)開展針對(duì)性的分析,最后以直觀、可視化的數(shù)據(jù)形式呈現(xiàn)在人們面前。以“大數(shù)據(jù)技術(shù)”應(yīng)用在預(yù)測(cè)電力系統(tǒng)負(fù)荷為例,在電力管理和配電管理體系中,電力負(fù)荷預(yù)測(cè)是一個(gè)十分關(guān)鍵性的組成部分,工作核心主要是在收集大量歷史數(shù)據(jù)的基礎(chǔ)上,建立起科學(xué)、合理的數(shù)據(jù)預(yù)測(cè)模型,開展諸多實(shí)踐研究,最終探究出電力負(fù)荷變化趨勢(shì)?!按髷?shù)據(jù)技術(shù)”應(yīng)用在預(yù)測(cè)電力系統(tǒng)負(fù)荷的主要工作步驟:收集、選取一定量的歷史電力負(fù)荷數(shù)據(jù);預(yù)處理電力負(fù)荷數(shù)據(jù)以及整理歷史資料;搭建起科學(xué)的電力負(fù)荷預(yù)測(cè)模型;選取正確算法;實(shí)施電力負(fù)荷預(yù)測(cè)。電力“大數(shù)據(jù)技術(shù)”滿足電力數(shù)據(jù)的飛速增長,滿足各專業(yè)工作的需要,滿足提高電力工業(yè)發(fā)展及服務(wù)經(jīng)濟(jì)發(fā)展的需要。
例如,利用電網(wǎng)大數(shù)據(jù)的優(yōu)勢(shì),對(duì)電網(wǎng)負(fù)荷變化規(guī)律進(jìn)行細(xì)化分析。針對(duì)某地夏季電網(wǎng)日負(fù)荷變化規(guī)律進(jìn)行分析,重點(diǎn)是夏季短期負(fù)荷預(yù)測(cè)。
圖1為A市場(chǎng)一周的負(fù)荷曲線,可以看出工作日電網(wǎng)負(fù)荷變化曲線比較相似,周六、周日要稍低一些,這是因?yàn)殡娏ω?fù)荷與工業(yè)用電、居民生活用電相關(guān)性較高。
圖1 A市一周(2017年7 月9—15 日)負(fù)荷曲線
圖2是該市一天的負(fù)荷曲線,可以看出一天的負(fù)荷變化具有一定的規(guī)律性,一般0點(diǎn)之后電網(wǎng)負(fù)荷開始減少,3—4點(diǎn)達(dá)到最低值,6點(diǎn)之后開始快速上升,雖然節(jié)假日會(huì)有所不同,但大體走勢(shì)保持一致。
圖2 A 市7 月1 日負(fù)荷曲線
將“大數(shù)據(jù)技術(shù)”應(yīng)用在電力能源管理中,不僅有助于有效清潔能源,而且有助于有效控制能源消耗量。這一舉措在建設(shè)現(xiàn)代化、科技化、智能化的電網(wǎng)工程項(xiàng)目以及維護(hù)電網(wǎng)正常、穩(wěn)定、安全運(yùn)行中具有十分關(guān)鍵的意義。以北京東方中科集成有限公司為例,該公司針對(duì)客戶提供電力產(chǎn)品銷售、電力計(jì)量校準(zhǔn)業(yè)務(wù)、后期電力維修維護(hù)等業(yè)務(wù),已經(jīng)將“大數(shù)據(jù)技術(shù)”應(yīng)用在電力能源管理中,如收集、分析測(cè)試機(jī)車過程中的電力信號(hào)源及數(shù)據(jù),電子的測(cè)量行業(yè),分析生產(chǎn)環(huán)節(jié)中的數(shù)據(jù),電力新能源應(yīng)用等方面。
數(shù)據(jù)挖掘又稱為知識(shí)發(fā)現(xiàn),是通過分析每個(gè)數(shù)據(jù),從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。利用大數(shù)據(jù)可對(duì)業(yè)務(wù)進(jìn)行分析,加工成有用的數(shù)據(jù),進(jìn)而全面掌控企業(yè)業(yè)務(wù)。將“大數(shù)據(jù)技術(shù)”應(yīng)用在電力工業(yè)的數(shù)據(jù)挖掘中,主要是為了探尋出電力數(shù)據(jù)的變化規(guī)律,一方面有助于歸納與分析相關(guān)電力業(yè)務(wù)情況,另一方面有助于探尋出應(yīng)用性較高的電力數(shù)據(jù),最終實(shí)現(xiàn)電力企業(yè)有效控制相關(guān)電力業(yè)務(wù)。另外,伴隨著計(jì)算機(jī)技術(shù)與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,電力數(shù)據(jù)隨之呈現(xiàn)出爆炸式的增長趨勢(shì),進(jìn)一步提升了挖掘電力數(shù)據(jù)的難度。將“大數(shù)據(jù)技術(shù)”應(yīng)用在挖掘電力工業(yè)數(shù)據(jù)中的主要工作步驟:分解電力業(yè)務(wù)與數(shù)據(jù);備份電力數(shù)據(jù);搭建起科學(xué)的電力挖掘數(shù)據(jù)模型;數(shù)據(jù)評(píng)估及數(shù)據(jù)部署。
大數(shù)據(jù)采集計(jì)算所需MapReduce算法架構(gòu),即先映射為小的計(jì)算單元,再整合所有的計(jì)算結(jié)果。之前的一些數(shù)據(jù)挖掘技術(shù)不一定能夠方便地嵌入MapReduce框架中,有些算法需要調(diào)整后才可使用。所以在單個(gè)計(jì)算機(jī)上進(jìn)行的計(jì)算仍然需要采用一些數(shù)據(jù)挖掘技術(shù)。大數(shù)據(jù)側(cè)重?cái)?shù)據(jù)的復(fù)雜性,看淡精確性;分析全面的數(shù)據(jù)而非抽樣個(gè)體;側(cè)重分析數(shù)據(jù)的相關(guān)性而非因果關(guān)系。
將“云計(jì)算”應(yīng)用到電力工業(yè)系統(tǒng)中,一方面,云計(jì)算可以按照實(shí)際應(yīng)用的需求自動(dòng)轉(zhuǎn)換所要存儲(chǔ)的資源,另一方面,還能夠把電網(wǎng)正在運(yùn)行的節(jié)點(diǎn)與單一運(yùn)算遷移到計(jì)算機(jī)的云計(jì)算系統(tǒng)中,最后全部交由“云”進(jìn)行數(shù)據(jù)處理。電力工業(yè)系統(tǒng)中通過運(yùn)用“云計(jì)算”不僅能夠獲得較強(qiáng)的數(shù)據(jù)計(jì)算水平及資源存儲(chǔ)量,而且在很大程度上加強(qiáng)了電力工業(yè)系統(tǒng)的整體計(jì)算水平。
2013年江蘇省電力公司率先開展了大數(shù)據(jù)智能分析系統(tǒng)建設(shè),采用Hadoop分布式批處理技術(shù),建立包括電量、電力負(fù)荷、地理信息、氣象數(shù)據(jù)等在內(nèi)的多維度數(shù)據(jù)分析模型,開發(fā)了對(duì)數(shù)據(jù)分析結(jié)果的可視化展示界面,初步實(shí)現(xiàn)了電力看經(jīng)濟(jì)、電力看民生、用戶用電行為分析3個(gè)方面的應(yīng)用。
圖 3是云計(jì)算應(yīng)用在電力工業(yè)系統(tǒng)中結(jié)構(gòu)層次,基礎(chǔ)設(shè)施云層、基礎(chǔ)管理層、應(yīng)用接口層以及協(xié)同工作云層共同組成了電力工業(yè)系統(tǒng)的云計(jì)算結(jié)構(gòu)層次。其中,基礎(chǔ)設(shè)施云層主要包括基礎(chǔ)軟件與基礎(chǔ)硬件,在電力系統(tǒng)中屬于存儲(chǔ)基礎(chǔ)部分;基礎(chǔ)管理層主要包括數(shù)據(jù)管理與工程管理;應(yīng)用接口層以友好的用戶界面為用戶提供所需的各項(xiàng)應(yīng)用軟件和服務(wù);協(xié)同工作云層主要包括協(xié)同管理、協(xié)同組織、即時(shí)通信,主要給云計(jì)算提供優(yōu)質(zhì)的服務(wù)。
圖3 電力工業(yè)系統(tǒng)中云計(jì)算結(jié)構(gòu)層次
電力工業(yè)系統(tǒng)中的云計(jì)算分級(jí)管理主要是利用電網(wǎng)組建起“主云”與“子云”,開展資源分配與權(quán)限設(shè)置。正常情況下,云計(jì)算某一級(jí)電網(wǎng)通常從上一級(jí)子云中獲得相應(yīng)的資源。一旦發(fā)生緊急情況,便能夠利用緊急調(diào)度獲得其他不同級(jí)別的資源。在電力系統(tǒng)云計(jì)算中,如果出現(xiàn)多個(gè)任務(wù)請(qǐng)求,就會(huì)產(chǎn)生分配任務(wù)與提交機(jī)制,這一做法主要是為了防止出現(xiàn)信息堵塞和資源不足。在電力工業(yè)系統(tǒng)中應(yīng)用云計(jì)算,主要是基于電網(wǎng)級(jí)別分類、緊急性實(shí)行任務(wù)分級(jí)管理。這主要是因?yàn)殡娏I(yè)具有巨大的系統(tǒng)結(jié)構(gòu)及廣泛的分布范圍,當(dāng)所有請(qǐng)求全部提交到云計(jì)算總中心時(shí),必定會(huì)出現(xiàn)信息堵塞,只有采取任務(wù)分級(jí)管理,才能有效地避免。層次清晰的分級(jí)管理層同時(shí)還采用了級(jí)別設(shè)定的手段,進(jìn)一步實(shí)施“主云”與“子云”的訪問以及資源分配,最終形成了科學(xué)化、合理化的電力工業(yè)云計(jì)算系統(tǒng)。
綜上所述,作為我國一項(xiàng)非常關(guān)鍵的基礎(chǔ)性能源產(chǎn)業(yè),電力工業(yè)如何能夠更好地將“大數(shù)據(jù)技術(shù)”與“云計(jì)算”應(yīng)用到電力行業(yè)當(dāng)中,對(duì)于今后社會(huì)穩(wěn)定發(fā)展、國家穩(wěn)定發(fā)展、電力工業(yè)穩(wěn)定發(fā)展呈現(xiàn)出十分關(guān)鍵的意義。因此,系統(tǒng)地分析“大數(shù)據(jù)技術(shù)”與“云計(jì)算”在電力工業(yè)中的應(yīng)用,探究電力工業(yè)中電力大數(shù)據(jù)信息,有利于今后電力工業(yè)能夠不斷拓展業(yè)務(wù)范疇,更好地為用戶服務(wù),對(duì)于最終實(shí)現(xiàn)電力工業(yè)長期、和諧發(fā)展具有十分重要的作用。
參考文獻(xiàn):
[1] 靳海濤.大數(shù)據(jù)在電力系統(tǒng)中的應(yīng)用[J].電子技術(shù)與軟件工程, 2017(6): 161.JIN H T.Big data in power system[J].Electronic Technology &Software Engineering, 2017(6): 161.
[2] 黃蕾, 陶銳.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用, 2017(2): 117.HUANG L, TAO R.Power computing technology based on cloud computing and its application[J].Digital Technology &Applications, 2017(2): 117.
[3] 祁文坤.大數(shù)據(jù)及可視化平臺(tái)在電力企業(yè)中的應(yīng)用[J].電子世界, 2016(24): 138, 168.QI W K.Application of big data and visualization platform in electric power enterprises[J].Electronic World, 2016(24): 138, 168.
[4] 袁慧.云計(jì)算在電力行業(yè)的應(yīng)用方面的研討[J].電子測(cè)試,2016(13): 108-109.YUAN H.Cloud computing research in the application of power industry[J].Electronic Test, 2016(13): 108-109.
[5] 曹皖誠.大數(shù)據(jù)平臺(tái)在電力系統(tǒng)中的應(yīng)用研究[J].江蘇科技信息, 2016(29): 53-56, 71.CAO W C.Application of big data platform in power system[J].Jiangsu Science and Technology Information, 2016(29): 53-56, 71.