趙春暉,吳志力,姜欣,崔燦,孫毅

(1.國(guó)網(wǎng)北京經(jīng)濟(jì)技術(shù)研究院，北京市 102209; 2.華北電力大學(xué)電氣與電子工程學(xué)院，北京市 102206)

?

跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)模式

趙春暉1,吳志力1,姜欣1,崔燦2,孫毅2

(1.國(guó)網(wǎng)北京經(jīng)濟(jì)技術(shù)研究院，北京市 102209; 2.華北電力大學(xué)電氣與電子工程學(xué)院，北京市 102206)

隨著電網(wǎng)規(guī)劃各業(yè)務(wù)系統(tǒng)平臺(tái)的建立以及異構(gòu)業(yè)務(wù)數(shù)據(jù)的急劇增加，急需打破各系統(tǒng)平臺(tái)之間的業(yè)務(wù)壁壘，建立完善的業(yè)務(wù)信息共享與交互體系。文章在分析現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式及存儲(chǔ)現(xiàn)狀的基礎(chǔ)上，深入研究異構(gòu)數(shù)據(jù)融合與存儲(chǔ)的關(guān)鍵技術(shù)，并提出一種跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)模式。通過(guò)建立統(tǒng)一業(yè)務(wù)數(shù)據(jù)信息模型，完成異構(gòu)數(shù)據(jù)的融合處理；構(gòu)建基于Hadoop的分布式文件存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)海量異構(gòu)數(shù)據(jù)高效快速的存儲(chǔ)與索引，為電網(wǎng)規(guī)劃系統(tǒng)乃至電力行業(yè)的海量異構(gòu)數(shù)據(jù)與信息共享提供理論指導(dǎo)與體系架構(gòu)支撐。

跨平臺(tái)業(yè)務(wù)；數(shù)據(jù)融合；Hadoop；異構(gòu)數(shù)據(jù)存儲(chǔ)

0 引 言

近年來(lái)，隨著信息計(jì)算技術(shù)的不斷發(fā)展，電力行業(yè)各業(yè)務(wù)領(lǐng)域的信息系統(tǒng)建設(shè)也在不斷推進(jìn)，目前各類業(yè)務(wù)系統(tǒng)平臺(tái)的建立已初步實(shí)現(xiàn)單一類型數(shù)據(jù)的高效融合與存儲(chǔ)[1]。針對(duì)電力系統(tǒng)中越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)，尚無(wú)較有效的異構(gòu)數(shù)據(jù)融合與存儲(chǔ)方案。在電網(wǎng)規(guī)劃體系中，規(guī)劃、技經(jīng)、評(píng)審等業(yè)務(wù)系統(tǒng)不斷積累了大量異構(gòu)數(shù)據(jù)，由于這些數(shù)據(jù)在系統(tǒng)建設(shè)初期設(shè)計(jì)要求各不統(tǒng)一，通常具有不同的格式、不同的業(yè)務(wù)屬性，造成了未來(lái)各業(yè)務(wù)信息系統(tǒng)間數(shù)據(jù)共享和交換的極大困難。構(gòu)建良好的數(shù)據(jù)管理平臺(tái)，為各業(yè)務(wù)領(lǐng)域提供良好的技術(shù)支撐，需要根據(jù)現(xiàn)有的問(wèn)題開展針對(duì)跨平臺(tái)多業(yè)務(wù)的數(shù)據(jù)融合與管理模式方面的研究，探索建立具有計(jì)算速度快、穩(wěn)定性高、維護(hù)簡(jiǎn)便等優(yōu)點(diǎn)的統(tǒng)一信息平臺(tái)，構(gòu)建業(yè)務(wù)數(shù)據(jù)的大集中管理架構(gòu)。

數(shù)據(jù)融合與存儲(chǔ)的方式研究較多，文獻(xiàn)[2]提出一種模糊聯(lián)合聚類方法(fuzzy co-clustering for high-order heterogeneous data, HFCC)，實(shí)現(xiàn)對(duì)高階異構(gòu)數(shù)據(jù)進(jìn)行融合與聚類分析。算法最小化每個(gè)特征空間中對(duì)象與聚簇中心的加權(quán)距離，推導(dǎo)出對(duì)象隸屬度和特征權(quán)重的迭代更新公式，設(shè)計(jì)出聚類過(guò)程的迭代算法，并且從理論上證明了該迭代算法的收斂性。文獻(xiàn)[3]提出了基于solr的異構(gòu)數(shù)據(jù)融合檢索技術(shù)，實(shí)現(xiàn)了對(duì)xml文件的索引和檢索，為異構(gòu)數(shù)據(jù)融合檢索提供了解決方案?；贖adoop和分布式文件系統(tǒng)(hadoop distributed file system, HDFS)的異構(gòu)數(shù)據(jù)存儲(chǔ)方式也是研究的熱點(diǎn)。文獻(xiàn)[4]提出了針對(duì)能源數(shù)據(jù)的Hadoop存儲(chǔ)體系以及基于多級(jí)索引表DHT的快速索引算法。

電網(wǎng)規(guī)劃系統(tǒng)數(shù)據(jù)有較明顯的電力行業(yè)特色，一般的數(shù)據(jù)融合方式無(wú)法適用于電網(wǎng)規(guī)劃的各個(gè)業(yè)務(wù)平臺(tái)。針對(duì)各平臺(tái)的數(shù)據(jù)格式特征以及不同的存儲(chǔ)需求，需要研究一套適用于電網(wǎng)規(guī)劃體系各業(yè)務(wù)平臺(tái)的跨平臺(tái)數(shù)據(jù)融合與存儲(chǔ)模式，不僅能夠?yàn)殡娋W(wǎng)企業(yè)的統(tǒng)一信息共享平臺(tái)提供理論和技術(shù)基礎(chǔ)，還能為大規(guī)劃體系中異構(gòu)大數(shù)據(jù)的高效處理、存儲(chǔ)和應(yīng)用做保障。本文在對(duì)現(xiàn)有業(yè)務(wù)平臺(tái)數(shù)據(jù)融合、共享與存儲(chǔ)現(xiàn)狀分析的基礎(chǔ)上，研究跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)模式所涉及的關(guān)鍵技術(shù)，最后提出跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)體系架構(gòu)，為建設(shè)快速、穩(wěn)定、實(shí)用的統(tǒng)一信息平臺(tái)提供建設(shè)思路。

1 現(xiàn)狀分析

國(guó)網(wǎng)經(jīng)濟(jì)技術(shù)研究院現(xiàn)有業(yè)務(wù)系統(tǒng)主要包括一體化電網(wǎng)規(guī)劃設(shè)計(jì)平臺(tái)、工程設(shè)計(jì)評(píng)審平臺(tái)和技經(jīng)一體化平臺(tái)。

一體化電網(wǎng)規(guī)劃設(shè)計(jì)平臺(tái)涉及以下幾種業(yè)務(wù)數(shù)據(jù)：社會(huì)經(jīng)濟(jì)、能源資源、電力供需、電網(wǎng)設(shè)備、電源設(shè)備、電網(wǎng)運(yùn)行、地理信息、典型參數(shù)、電力工程等。

工程設(shè)計(jì)評(píng)審平臺(tái)包含下列業(yè)務(wù)數(shù)據(jù)：工程基礎(chǔ)數(shù)據(jù)、工程可研批復(fù)文件數(shù)據(jù)、工程初始批復(fù)文件數(shù)據(jù)、工程概算文件數(shù)據(jù)。

技經(jīng)實(shí)驗(yàn)室一體化平臺(tái)包含以下業(yè)務(wù)數(shù)據(jù)：項(xiàng)目工程數(shù)據(jù)、工程可研估算數(shù)據(jù)、工程初始概算數(shù)據(jù)、工程施工圖預(yù)算數(shù)據(jù)、工程竣工結(jié)算數(shù)據(jù)、結(jié)算管理數(shù)據(jù)、計(jì)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)、專業(yè)資質(zhì)管理數(shù)據(jù)、造價(jià)分析數(shù)據(jù)、標(biāo)準(zhǔn)成本測(cè)算數(shù)據(jù)、技經(jīng)標(biāo)準(zhǔn)研究數(shù)據(jù)、全壽命周期分析數(shù)據(jù)、通用造價(jià)數(shù)據(jù)、標(biāo)準(zhǔn)成本庫(kù)數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、物料庫(kù)數(shù)據(jù)、價(jià)格信息發(fā)布數(shù)據(jù)、年度工作計(jì)劃數(shù)據(jù)。

其中，大部分一體化規(guī)劃設(shè)計(jì)平臺(tái)數(shù)據(jù)，如社會(huì)經(jīng)濟(jì)數(shù)據(jù)、電力設(shè)備及運(yùn)行數(shù)據(jù)、地理信息數(shù)據(jù)等為結(jié)構(gòu)化數(shù)據(jù)；而工程設(shè)計(jì)評(píng)審平臺(tái)及技經(jīng)實(shí)驗(yàn)室一體化平臺(tái)中涉及的工程文件、可研文件、施工圖等數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)能夠使用同一格式的數(shù)據(jù)格式進(jìn)行標(biāo)示，主要存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，而非結(jié)構(gòu)化數(shù)據(jù)無(wú)法像結(jié)構(gòu)化數(shù)據(jù)一樣用二維表表示，也無(wú)法像結(jié)構(gòu)化數(shù)據(jù)一樣完全采用關(guān)系數(shù)據(jù)庫(kù)來(lái)處理，其主要包括所有格式的辦公文檔、文本、圖片、xml、html、各類報(bào)表和音頻/視頻信息等。非結(jié)構(gòu)化數(shù)據(jù)在電力行業(yè)中所占的比例越來(lái)越高，其特征是數(shù)據(jù)格式多樣，數(shù)據(jù)總量大，增長(zhǎng)速度快且包含有關(guān)企業(yè)管理發(fā)展的重要信息。伴隨著電網(wǎng)公司信息化的建設(shè)和發(fā)展，企業(yè)每年非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)量已經(jīng)達(dá)到PB級(jí)別。經(jīng)過(guò)多年的運(yùn)行積累，各業(yè)務(wù)系統(tǒng)形成信息孤島，非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理和搜索問(wèn)題日益凸顯。表1為現(xiàn)有平臺(tái)業(yè)務(wù)數(shù)據(jù)類型。

表1 現(xiàn)有平臺(tái)業(yè)務(wù)數(shù)據(jù)類型

Table 1 Business data types of the existing platform

2 數(shù)據(jù)融合與存儲(chǔ)關(guān)鍵技術(shù)

2.1 數(shù)據(jù)融合CIM模型

不同平臺(tái)的數(shù)據(jù)種類和格式多種多樣，要實(shí)現(xiàn)跨平臺(tái)數(shù)據(jù)的融合就必須先對(duì)異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一建模，只有在共同的數(shù)據(jù)模型下，才能實(shí)現(xiàn)快速有效的數(shù)據(jù)融合與存儲(chǔ)等處理過(guò)程。目前電力系統(tǒng)已有的公共信息模型(common information model，CIM)是解決該問(wèn)題的有效途徑，通過(guò)定義針對(duì)經(jīng)研院各業(yè)務(wù)數(shù)據(jù)的CIM模型保障未來(lái)系統(tǒng)能夠平滑升級(jí)并與國(guó)際接軌[5]。

美國(guó)電科院/國(guó)際電工委員會(huì)建立的公共信息模型是對(duì)電網(wǎng)企業(yè)運(yùn)營(yíng)管理的典型實(shí)物對(duì)象和業(yè)務(wù)領(lǐng)域的一套精確描述體系[6]。CIM的原型也隨之產(chǎn)生，它用于控制中心EMS系統(tǒng)建模和外部系統(tǒng)之間的數(shù)據(jù)交換，包括狀態(tài)估計(jì)、潮流計(jì)算、拓?fù)浞治?、網(wǎng)絡(luò)規(guī)劃、安全分析、SCADA等業(yè)務(wù)領(lǐng)域，后被擴(kuò)展到發(fā)電、輸電、配電等領(lǐng)域[7]。

目前針對(duì)電網(wǎng)規(guī)劃各業(yè)務(wù)平臺(tái)數(shù)據(jù)的信息模型并不健全，CIM模型在電網(wǎng)規(guī)劃的應(yīng)用擴(kuò)展較少，主要包括以下幾個(gè)方面[8]：

(1) 規(guī)劃區(qū)域類：規(guī)劃潮流計(jì)算的區(qū)域范圍，有平衡機(jī)，規(guī)劃網(wǎng)架對(duì)象屬于該區(qū)域；

(2) 規(guī)劃地區(qū)：結(jié)合規(guī)劃要考慮的維度自定義，可以是阻塞區(qū)、氣候區(qū)、經(jīng)濟(jì)區(qū)等；

(3) 規(guī)劃地區(qū)組：比規(guī)劃地區(qū)更高一層的劃分，由規(guī)劃地區(qū)組成；

(4) 節(jié)點(diǎn)組：把規(guī)劃區(qū)域內(nèi)的連接點(diǎn)組織到planning zone中，從而可以成組調(diào)節(jié)規(guī)劃節(jié)點(diǎn)特性；

(5) 支路組：用于定義規(guī)劃計(jì)算斷面，定義斷面限額，由支路組端點(diǎn)組成；

(6) 支路組端點(diǎn)：用于定義支路組。

上述模型擴(kuò)展主要針對(duì)xml文件的信息建模，無(wú)法完成對(duì)辦公文檔、文本、圖片、html、各類報(bào)表和音頻/視頻信息等其他數(shù)據(jù)類型的建模和分析。要實(shí)現(xiàn)跨平臺(tái)數(shù)據(jù)的融合，統(tǒng)一的數(shù)據(jù)信息模型是必要條件，因此需要對(duì)現(xiàn)有規(guī)劃數(shù)據(jù)信息模型進(jìn)一步擴(kuò)展，研究出適用于規(guī)劃、評(píng)審和技經(jīng)多個(gè)平臺(tái)的統(tǒng)一數(shù)據(jù)信息模型，并在此基礎(chǔ)上建立完善的數(shù)據(jù)融合處理與存儲(chǔ)機(jī)制，實(shí)現(xiàn)跨平臺(tái)業(yè)務(wù)數(shù)據(jù)的融合與存儲(chǔ)體系。

2.2 分布式數(shù)據(jù)存儲(chǔ)

面對(duì)海量種類繁多的數(shù)據(jù)，現(xiàn)有的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不能滿足電網(wǎng)大規(guī)劃體系的數(shù)據(jù)存儲(chǔ)需求。建立高效、穩(wěn)定的跨平臺(tái)數(shù)據(jù)融合與存儲(chǔ)體系必須采用另一個(gè)關(guān)鍵技術(shù)，即面向多源異構(gòu)大數(shù)據(jù)的分布式數(shù)據(jù)存儲(chǔ)。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)SQLSERVER、MYSQL、ORACLE等雖然在目前仍然能夠勉強(qiáng)滿足存儲(chǔ)的需求，但仍需要超大容量存儲(chǔ)空間，擴(kuò)展性存在瓶頸。另一方面，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在面對(duì)海量數(shù)據(jù)的查詢請(qǐng)求時(shí)，查詢效率已經(jīng)嚴(yán)重影響了系統(tǒng)的性能[9]。

云計(jì)算的誕生導(dǎo)致了云存儲(chǔ)的出現(xiàn)。云存儲(chǔ)是指在分布式文件系統(tǒng)的基礎(chǔ)上，利用網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，然后在計(jì)算機(jī)群集的調(diào)度下進(jìn)行數(shù)據(jù)存儲(chǔ)的一種存儲(chǔ)方式。通過(guò)這種方式，各種不同的計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)都能夠經(jīng)由網(wǎng)絡(luò)而整合起來(lái)，提供存儲(chǔ)服務(wù)。云存儲(chǔ)的特點(diǎn)有：主要面向海量的數(shù)據(jù)存儲(chǔ)，提供高性能的存儲(chǔ)與訪問(wèn)服務(wù)，容錯(cuò)性高，可擴(kuò)展性強(qiáng)，能夠運(yùn)行在普通的計(jì)算機(jī)組成的群機(jī)上[10]。

常用的PC機(jī)或者一般的存儲(chǔ)介質(zhì)就可直接通過(guò)網(wǎng)絡(luò)環(huán)境構(gòu)造成為Hadoop平臺(tái)。Hadoop平臺(tái)下的HDFS系統(tǒng)擁有以下特性：(1)分布式存儲(chǔ)架構(gòu)能有效解決硬件失效時(shí)的數(shù)據(jù)丟失問(wèn)題；(2)采用批處理數(shù)據(jù)訪問(wèn)方式，能夠高效處理海量數(shù)據(jù)；(3)海量的數(shù)據(jù)存儲(chǔ)空間，滿足TB、PB級(jí)別數(shù)據(jù)的存儲(chǔ)需求；(4)一次寫，多次讀的讀寫方式大大降低錯(cuò)誤率；(5)采用“移動(dòng)計(jì)算”的方式，減小網(wǎng)絡(luò)負(fù)載；(6)跨平臺(tái)、跨軟件設(shè)計(jì)，保證在不同軟硬件環(huán)境下有效運(yùn)行[11-12]。

如圖1所示，Hadoop平臺(tái)采用了一種Master和Slave的方式。Master是所有Slave節(jié)點(diǎn)的指揮中心，它并不參與具體的數(shù)據(jù)存儲(chǔ)操作。僅僅只是當(dāng)有存儲(chǔ)或者讀取請(qǐng)求時(shí)將其引導(dǎo)到對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上操作，元數(shù)據(jù)表就存放在Master服務(wù)器上。

圖1 Hadoop 上的 HDFS 結(jié)構(gòu)Fig.1 Structure of HDFS in Hadoop

Slave節(jié)點(diǎn)就是實(shí)際存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)。在Hadoop系統(tǒng)中，Mater Node與SlaveNode是一對(duì)多的關(guān)系，單臺(tái)PC允許放置1個(gè)或多個(gè)SlaveNode，如圖1所示系統(tǒng)結(jié)構(gòu)。Hadoop分布式文件存儲(chǔ)系統(tǒng)是跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)高效存儲(chǔ)與索引的重要支撐技術(shù)。雖然現(xiàn)有Hadoop體系存在負(fù)載均衡、中斷續(xù)寫、系統(tǒng)權(quán)限等方面的不足需要改進(jìn)，但該存儲(chǔ)體系具有快速讀寫、海量存儲(chǔ)、高擴(kuò)展性、跨平臺(tái)兼容等優(yōu)越性，適合多種業(yè)務(wù)和數(shù)據(jù)類型的海量電網(wǎng)規(guī)劃數(shù)據(jù)的存儲(chǔ)，而且HDFS分布式文件存儲(chǔ)體系可以采用普通PC作為數(shù)據(jù)節(jié)點(diǎn)，具有較高的經(jīng)濟(jì)性。

3 跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)體系架構(gòu)

針對(duì)上述研究與分析，本文提出跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)體系架構(gòu)，該體系架構(gòu)針對(duì)電網(wǎng)規(guī)劃體系包含的規(guī)劃、評(píng)審、技經(jīng)平臺(tái)，涉及數(shù)據(jù)模型與接口、數(shù)據(jù)挖掘與融合處理、分布式數(shù)據(jù)存儲(chǔ)以及高效聯(lián)合索引機(jī)制、數(shù)據(jù)安全管理與服務(wù)等關(guān)鍵技術(shù)，如圖2所示。

圖2 跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)體系架構(gòu)示意圖Fig.2 Cross-platform data fusion and storage architecture of power grid planning

在該體系架構(gòu)中，首先針對(duì)來(lái)自不同業(yè)務(wù)系統(tǒng)平臺(tái)的異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一的公共數(shù)據(jù)信息建模，在電力系統(tǒng)原有的CIM模型基礎(chǔ)上，擴(kuò)展各個(gè)系統(tǒng)所包含的特征類，并根據(jù)業(yè)務(wù)需求定期更新業(yè)務(wù)數(shù)據(jù)信息模型。經(jīng)由統(tǒng)一的數(shù)據(jù)模型進(jìn)行模型化后的數(shù)據(jù)融合、存儲(chǔ)與索引流程。

數(shù)據(jù)更新上傳至臨時(shí)存儲(chǔ)庫(kù)后，根據(jù)不同數(shù)據(jù)對(duì)應(yīng)的類標(biāo)簽進(jìn)行特征提取，進(jìn)一步進(jìn)行融合聚類分析。將數(shù)據(jù)根據(jù)不同的特征進(jìn)行聚類處理后存入分布式數(shù)據(jù)庫(kù)即相應(yīng)的存儲(chǔ)陣列。在各平臺(tái)業(yè)務(wù)應(yīng)用需要相關(guān)數(shù)據(jù)時(shí)，首先發(fā)送數(shù)據(jù)索引請(qǐng)求至數(shù)據(jù)庫(kù)，根據(jù)索引類型所對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，采用高效的聯(lián)合索引機(jī)制快速搜尋需要的數(shù)據(jù)至臨時(shí)數(shù)據(jù)庫(kù)，在確認(rèn)數(shù)據(jù)信息的準(zhǔn)確性后通過(guò)安全接口由各業(yè)務(wù)系統(tǒng)平臺(tái)直接調(diào)用。臨時(shí)數(shù)據(jù)庫(kù)則根據(jù)業(yè)務(wù)需求的優(yōu)先級(jí)來(lái)分配數(shù)據(jù)任務(wù)，并實(shí)時(shí)更新任務(wù)計(jì)劃，保證數(shù)據(jù)實(shí)時(shí)、準(zhǔn)確的處理和應(yīng)用。

為保證數(shù)據(jù)的安全與可靠，整個(gè)數(shù)據(jù)的融合、存儲(chǔ)與索引流程需要數(shù)據(jù)安全管理與服務(wù)系統(tǒng)全程的管理和監(jiān)控，數(shù)據(jù)的安全管理不僅能防止隱私和機(jī)密數(shù)據(jù)的泄露，還能反饋整個(gè)系統(tǒng)在數(shù)據(jù)處理和存儲(chǔ)過(guò)程中存在的問(wèn)題，對(duì)于操作人員對(duì)系統(tǒng)進(jìn)行定期維護(hù)和進(jìn)一步改進(jìn)至關(guān)重要。

4 結(jié) 論

本文在分析現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式及存儲(chǔ)現(xiàn)狀的基礎(chǔ)上，深入研究異構(gòu)數(shù)據(jù)融合與存儲(chǔ)的關(guān)鍵技術(shù)，并提出一種跨平臺(tái)電網(wǎng)規(guī)劃數(shù)據(jù)融合與存儲(chǔ)模式。通過(guò)建立統(tǒng)一業(yè)務(wù)數(shù)據(jù)信息模型，完成異構(gòu)數(shù)據(jù)的融合處理；構(gòu)建基于Hadoop的分布式文件存儲(chǔ)系統(tǒng)，高效快速地實(shí)現(xiàn)海量異構(gòu)數(shù)據(jù)的存儲(chǔ)與索引。為電網(wǎng)規(guī)劃系統(tǒng)乃至電力行業(yè)的海量異構(gòu)數(shù)據(jù)與信息共享提供理論指導(dǎo)與體系架構(gòu)支撐。

[1]黃平，李暉，馮建雷，等.電網(wǎng)規(guī)劃研究平臺(tái)建設(shè)經(jīng)驗(yàn)和未來(lái)發(fā)展方向[J].電力建設(shè)，2012,33(8)：31-34.Huang Ping , Li Hui , Feng Jianlei , et al.Future development direction and construction experience of power grid planning research platform[J].Electric Power Construction,2012,33(8):31-34.

[2] 黃少濱，楊欣欣，申林山，等.高階異構(gòu)數(shù)據(jù)模糊聯(lián)合聚類算法[J].通信學(xué)報(bào),2014,35 (6)：15-24.Huang Shaobin, Yang Xinxin, Shen Linshan, et al.Fuzzy co-clustering algorithm for high-order heterogeneous data [J].Journal of Communications,2014,35 (6)：15-24.

[3] 梁艷，劉雙廣，勞定雄.基于solr的異構(gòu)數(shù)據(jù)融合檢索技術(shù)[J].無(wú)線互聯(lián)科技，2013(5)：61-64.Liang Yan, Liu Shuangguang, Lao Dingxiong.The retrieval technology of heterogeneous data integration based on solr [J].Academic Journal Electronic，2013(5)：61-64.

[4] 王英杰.基于HADOOP的能源數(shù)據(jù)存儲(chǔ)體系中多級(jí)索引表DHT算法的研究[D].成都： 電子科技大學(xué)，2012.

[5] IEC.Draft IEC 61970: Energy Management System Application Program Interface(EMS-API)-Part 301: Common Information Model(CIM) Base[S].

[6] 劉崇茹，孫宏斌，張伯明，等.面向電力管理系統(tǒng)的公共信息模型研究[J].電力系統(tǒng)自動(dòng)化，2003，27(14): 45-48, 74.Liu Chongru, Sun Hongbin, Zhang Boming, et al.An investigation on a common information model for energy management system[J].Automation of Electric Power Systems，2003，27(14): 45-48, 74.

[7] 陳勇.基于 Hadoop 平臺(tái)的通信數(shù)據(jù)分布式查詢算法的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué),2009.Chen Yong.Design and implementation of distributed query algorithm processing communication data based on Hadoop[D].Beijing: Beijing Jiaotong University, 2009.

[8] WU J Y, PING L D.Cloud Storage as the Infrastructure of Cloud Computing[C]//2010 International Conference on Intelligent Computing and Cognitive Informatics, 2010.

[9] 白紅偉.基于云計(jì)算的電力設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)與查詢[D].北京：華北電力大學(xué)，2011.Bai Hongwei.The storage and inquiry of the condition monitoring data of the electrical equipment based on cloud computing[D].Beijing: North China Electric Power University, 2011.

[10] 謝善益，梁成輝，高新華，等.CIM/CIS互操作細(xì)則在多級(jí)電網(wǎng)調(diào)度中的應(yīng)用[J].電力系統(tǒng)自動(dòng)化，2009，33(l): 103-107.Xie Shanyi, Liang Chenghui, Gao Xinhua, et al.Application of CIM/CIS interoperation details in multi-level power grid dispatching[J].Automation of Electric Power Systems,2009,33(1):103-107.

[11] 蘇炳洪.面向智能電網(wǎng)的通信體系架構(gòu)與標(biāo)準(zhǔn)應(yīng)用研究[D].杭州：浙江大學(xué)，2010.Su Binghong.Studies and applications of communication system architecture with standard oriented to smart grid[D].Hangzhou: Zhejiang University, 2010.

[12] 潘毅，周京陽(yáng)，李強(qiáng)，等.基于公共信息模型的電力系統(tǒng)模型的拆分與合并[J].電力系統(tǒng)自動(dòng)化，2003，27(15): 45-48.Pan Yi, Zhou Jingyang, Li Qiang, et al.The separation/combination of power system model based on CIM[J].Automation of Electric Power Systems，2003，27(15): 45-48.

(編輯：劉文瑩)

Cross-Platform Data Fusion and Storage Pattern of Power Grid Planning

ZHAO Chunhui1, WU Zhili1, JIANG Xin1, CUI Can2, SUN Yi2

(1.State Power Economic Research Institute, Beijing 102209, China;2.School of Electrical and Electronic Engineering, North China Electric Power University, Beijing 102206, China)

With the establishment of each business system platform of power grid planning and the rapid increase of heterogeneous business data, the barriers are badly needed to be broken between business system platforms to establish a perfect business information sharing and interaction system.Based on the analysis of the existing business system data format and the status quo of storage situation, this paper researches the key technology of heterogeneous data integration and storage, and proposes a cross-platform power grid planning data fusion and storage pattern.Heterogeneous data have been fused by establishing a unified business data information model.The distributed file storage system has been established based on Hadoop to implement fast and efficient storage and index of massive heterogeneous data.Thus, the research results can provide theoretical guidance and architecture support for massive heterogeneous data and information sharing in power grid planning system and electric power industry.

cross-platform business; data fusion; Hadoop; heterogeneous data storage

TM 715

A

1000-7229(2015)03-0119-04

10.3969/j.issn.1000-7229.2015.03.021

2014-11-06

2014-12-26

趙春暉(1973)，女，碩士，高級(jí)工程師，主要從事電力系統(tǒng)軟件設(shè)計(jì)開發(fā)、信息化管理工作；

吳志力(1969)，男，高級(jí)工程師，從事輸變電工程規(guī)劃設(shè)計(jì)咨詢工作；

姜欣(1975)，男，工學(xué)碩士，從事電網(wǎng)規(guī)劃設(shè)計(jì)和電力大數(shù)據(jù)研究工作；

崔燦(1991)，男，博士研究生，主要從事電力大數(shù)據(jù)關(guān)鍵技術(shù)及無(wú)線傳感器網(wǎng)絡(luò)等方面的研究工作；

孫毅(1972)，男，教授，從事智能電網(wǎng)、電力系統(tǒng)通信以及物聯(lián)網(wǎng)技術(shù)等方面的研究工作。