陳寧 陳孝文 馮世杰 呂志鵬 陳習(xí) 張娜 王巖

摘 要： 針對(duì)當(dāng)前海量的用戶用電地址，以及地址管理的混亂問題，提出兩種解決方案。一是借助Hadoop框架體系完成對(duì)海量數(shù)據(jù)的存儲(chǔ)，同時(shí)借助MapReduce提高對(duì)數(shù)據(jù)的運(yùn)算和處理能力;二是引入結(jié)構(gòu)化管理模型，將用戶用電地址分為10層，劃分到社區(qū)和門牌號(hào)，同時(shí)引入不同地名的別稱。最后構(gòu)建用戶用電地址知識(shí)庫，并搭建Hadoop測試平臺(tái)，對(duì)上述的試驗(yàn)方案進(jìn)行驗(yàn)證。結(jié)果表明，通過本文的地址的結(jié)構(gòu)化處理，可詳細(xì)查看不同客戶的地址，同時(shí)在數(shù)據(jù)處理方面也明顯高于傳統(tǒng)的系統(tǒng)。

關(guān)鍵詞： Hadoop框架; 用電地址; 結(jié)構(gòu)化管理

中圖分類號(hào)： ? ? ? 文獻(xiàn)標(biāo)志碼：

Design of Power Customer Address Storage and Structured Management

System Based on Hadoop

CHEN Ning1， CHEN Xiaowen1， FENG Shijie1， L Zhipeng1， CHEN Xi1， ZHANG Na2， WANG Yan1

（1. Information and Communication Branch， Hainan Power Grid Co. Ltd.， 2. Hainan Power Grid Co. Ltd.， Haikou 57000）

Abstract： Two solutions are proposed to solve the confusion of the current mass of user addresses and address management. Firstly， the Hadoop framework is used to store massive data， and MapReduce is used to improve the computing and processing ability of the data. Secondly， a structured management model is introduced to divide the user's electricity address into 10 layers， which are divided into the community and the door number. At the same time， different nicknames are introduced. Finally， the user address knowledge base is constructed， and the Hadoop test platform is built to verify the above test scheme. The results show that the addresses of different customers can be viewed in detail through the structured processing of addresses in this paper， and the data processing is obviously faster than the traditional system.

Key words： Hadoop framework; Power consumption address; Structured management

0 引言

隨著我國智能電網(wǎng)的深入推進(jìn)，電網(wǎng)企業(yè)的電量銷售穩(wěn)步增加。以2017年上半年為例，上半年銷售2.96萬億千瓦時(shí)，其中通過市場化交易的電量為6 442億千瓦時(shí)，與2010年上半年的1.89萬億千瓦相比，有著較大幅度的增加。由此可以看出，我國社會(huì)耗電量在逐年增加，從而給我國電力企業(yè)帶來極大的發(fā)展。電量銷售的增長，離不開城市的建設(shè)和擴(kuò)張。但是，也正是由于城市建設(shè)工作的進(jìn)一步開展，使城市中大部分街道與社區(qū)被重新規(guī)劃，從而給電力營銷系統(tǒng)的用戶地址定位造成了嚴(yán)重影響，使系統(tǒng)中大部分用戶地址與現(xiàn)實(shí)地址出現(xiàn)不匹配現(xiàn)象。如某用戶在電力營銷系統(tǒng)中的地址為?？谑墟?zhèn)海村某某巷，經(jīng)城市規(guī)劃建設(shè)后，實(shí)際地址卻為海口市鎮(zhèn)海路某某花園。除上述問題以外，客戶用電地址錯(cuò)誤、名稱混亂、信息不完整等也非常明顯。其中，客戶用電地址錯(cuò)誤主要由兩種失誤造成，分別為填寫錯(cuò)誤與填寫不一致。比如，在填寫用戶地址信息時(shí)，將表號(hào)、樓房號(hào)信息作為用戶地址信息保存至用戶名中;名稱混亂主要是由于街道辦在填寫居民地址時(shí)，并未按照市政標(biāo)準(zhǔn)進(jìn)行填寫，從而使電力營銷系統(tǒng)中大部分用戶地址信息不夠完整。錯(cuò)誤或不完整的電力用戶地址不僅會(huì)給電力維修人員帶了更加復(fù)雜的辨識(shí)問題，還會(huì)給電力系統(tǒng)建設(shè)工作造成極大的影響?；诖耍瑸檫M(jìn)一步規(guī)范電力市場，本文就將對(duì)基于Hadoop的電力客戶用電地址數(shù)據(jù)存儲(chǔ)與結(jié)構(gòu)化管理系統(tǒng)進(jìn)行設(shè)計(jì)，以此通過設(shè)計(jì)，進(jìn)一步促進(jìn)城市電力用戶地址的規(guī)范化和結(jié)構(gòu)化管理。

1 Hadoop框架簡介

Hadoop是一種由美國Apache基金會(huì)開發(fā)的開源項(xiàng)目，能夠?qū)Ψ植际轿募到y(tǒng)進(jìn)行實(shí)現(xiàn)，以此確保系統(tǒng)的安全性與可靠性，為用戶提供安全可靠的分布式存儲(chǔ)系統(tǒng)。與此同時(shí)，Hadoop還具備較強(qiáng)的擴(kuò)展性，對(duì)于部署運(yùn)行環(huán)境并無太高的要求，能夠運(yùn)行于在大量廉價(jià)PC 組成的集群上。Hadoop框架中的所有配置皆是為了確保數(shù)據(jù)的安全性，防止數(shù)據(jù)因節(jié)點(diǎn)故障而出現(xiàn)永久丟失問題。在數(shù)據(jù)的存儲(chǔ)方面，可采用建立多個(gè)數(shù)據(jù)副本的形式在Hadoop框架中形成數(shù)據(jù)冗余，以此提高數(shù)據(jù)存儲(chǔ)的可靠性。通過此方法，能夠使系統(tǒng)在存儲(chǔ)節(jié)點(diǎn)失效的情況下，及時(shí)對(duì)新節(jié)點(diǎn)進(jìn)行安排。除此之外，系統(tǒng)所采用的數(shù)據(jù)處理方式為并行工作方式，通過此方式能夠使系統(tǒng)數(shù)據(jù)處理速度得以提高。雖然Map Reduce分布式處理及HDFS分布式存儲(chǔ)為系統(tǒng)設(shè)計(jì)提供了API及底層文件系統(tǒng)，但設(shè)計(jì)者在開展系統(tǒng)開發(fā)工作時(shí)，無需對(duì)HDFS底層的實(shí)現(xiàn)細(xì)節(jié)進(jìn)行思考，就能完成對(duì)海量數(shù)據(jù)處理程序的設(shè)計(jì)工作。具體Hadoop框架如圖1所示。

如上圖所示，Hadoop的生態(tài)圈主要由眾多開源軟件構(gòu)成，這些開源軟件與數(shù)據(jù)存儲(chǔ)、計(jì)算、資源管理及數(shù)據(jù)傳輸?shù)冉杂兄o密的聯(lián)系。從本質(zhì)上來看，Hadoop的生態(tài)圈其實(shí)就是一個(gè)數(shù)據(jù)共享存儲(chǔ)及分析系統(tǒng)，具有較高的可靠性。在Hadoop的生態(tài)圈中，HDFS分布式存儲(chǔ)主要作用于數(shù)據(jù)存儲(chǔ);Map Reduce分布式處理則起到數(shù)據(jù)分析處理的作用。而通過對(duì)Hadoop的分析看出，Hadoop框架體系大大搜提高了數(shù)據(jù)存儲(chǔ)的空間，同時(shí)也提高了數(shù)據(jù)運(yùn)算的效率。

2 系統(tǒng)設(shè)計(jì)目的與需求分析

本系統(tǒng)設(shè)計(jì)的目的，是構(gòu)建一個(gè)可用于海量數(shù)據(jù)存儲(chǔ)和管理的智能電表管理的云服務(wù)平臺(tái)，從而方便電力營銷部門。通過該云服務(wù)平臺(tái)，可以對(duì)用戶用電地址進(jìn)行全面的采集，也可以對(duì)電表用電地址進(jìn)行規(guī)范化管理，以提高電表地址與實(shí)際地址的匹配度。同時(shí)，在該云服務(wù)平臺(tái)中，需要提供對(duì)用戶用電數(shù)據(jù)的存儲(chǔ)、客戶信息管理、電表充值、電表管理、電量查詢等服務(wù)，以此方便廣大的電力營銷工作人員為電力客戶提供服務(wù)。

3 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

結(jié)合以上的需求，構(gòu)建如圖2所示的整體架構(gòu)。前端通過智能電表對(duì)地址、電量等數(shù)據(jù)進(jìn)行采集，后臺(tái)則以Hadoop框架體系作為基礎(chǔ)，通過搭建Hadoop集群服務(wù)器，進(jìn)而完成對(duì)海量數(shù)據(jù)的存儲(chǔ)和運(yùn)算。然后通過具有密碼保護(hù)的令牌服務(wù)器，完成與外部的信息交換，以保證系統(tǒng)整個(gè)智能電表管理系統(tǒng)的安全。

如上圖所示，本文主要由數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層以及系統(tǒng)應(yīng)用層構(gòu)成。其中，數(shù)據(jù)采集層主要作用于對(duì)電力數(shù)據(jù)進(jìn)行采集，并將采集到的數(shù)據(jù)傳送至智能電表云服務(wù)管理平臺(tái)中，然后利用通訊服務(wù)器對(duì)該數(shù)據(jù)進(jìn)行解析，最后將其存儲(chǔ)至云平臺(tái)之上;數(shù)據(jù)存儲(chǔ)層主要作用于數(shù)據(jù)的物理存儲(chǔ)。在數(shù)據(jù)采集層完成數(shù)據(jù)采集工作之后，數(shù)據(jù)存儲(chǔ)層將會(huì)對(duì)該數(shù)據(jù)是否屬于結(jié)構(gòu)化數(shù)據(jù)進(jìn)行判斷，將結(jié)構(gòu)化數(shù)據(jù)直接存儲(chǔ)至傳統(tǒng)數(shù)據(jù)庫中，通過HDFS+HBase的存儲(chǔ)方式將非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)至系統(tǒng)的大數(shù)據(jù)平臺(tái)中;系統(tǒng)應(yīng)用層主要由各項(xiàng)應(yīng)用部分構(gòu)成，作用于實(shí)現(xiàn)系統(tǒng)的電力數(shù)據(jù)統(tǒng)計(jì)及查詢。

4 用戶用電地址規(guī)范化管理模型構(gòu)建

4.1 地址知識(shí)庫概述

在實(shí)現(xiàn)人、物及其他物體定位過程中，地址是該技術(shù)得以實(shí)現(xiàn)的關(guān)鍵所在，能夠?qū)臻g地理數(shù)據(jù)進(jìn)行描述。當(dāng)前，人們能夠?qū)δ骋坏刂肺淖诌M(jìn)行理解，主要?dú)w功于地址中提供的地址信息。當(dāng)人們?cè)诿鎸?duì)越熟悉的地區(qū)地址時(shí)，對(duì)地址的理解與反應(yīng)能力將越強(qiáng)。相反，人們?cè)诿鎸?duì)陌生環(huán)境及帶有民族特色的地址時(shí)，地址理解能力及反應(yīng)能力就相對(duì)較弱。形成此識(shí)別認(rèn)知的主要原因在于人們對(duì)地址信息的累積，使其能夠迅速對(duì)熟悉的地址進(jìn)行反應(yīng)。同樣想要機(jī)器能夠迅速識(shí)別地址信息，還需使機(jī)器學(xué)習(xí)與累積大量的地址信息。在此方面，可通過構(gòu)建地名地址知識(shí)庫進(jìn)行實(shí)現(xiàn)。知識(shí)庫是機(jī)器解析地址的基礎(chǔ)，知識(shí)庫中包含的地址內(nèi)容約豐富，機(jī)器從其中獲取的知識(shí)也就越多，自然地址解析速度就越快。

4.2 當(dāng)前地址知識(shí)庫設(shè)計(jì)存在的問題

在電力信息技術(shù)持續(xù)發(fā)展的背景下，各電網(wǎng)企業(yè)開展了更深層次的信息化研究與建設(shè)，目的在于提高電網(wǎng)企業(yè)地址的準(zhǔn)確性?？紤]到用戶地址信息的精確性，本文在開展地址結(jié)構(gòu)化建模工作之前，對(duì)部分省市的用電地址進(jìn)行抽樣分析。經(jīng)過一系列分析后發(fā)現(xiàn)，在部分電力企業(yè)的電力營銷系統(tǒng)中，50%以上的地址知識(shí)庫僅為4、5層地址結(jié)構(gòu)。也就是說，大部分電力用戶地址知識(shí)庫結(jié)構(gòu)僅涉及到“街道、鄉(xiāng)（鎮(zhèn)）”這一等級(jí)，卻并未深入到用戶用電詳細(xì)地址信息中，無法達(dá)到我國對(duì)于電網(wǎng)公司結(jié)構(gòu)化地址管理要求。

因此，針對(duì)以上的問題，本文對(duì)地址知識(shí)庫進(jìn)行構(gòu)建。本文構(gòu)建的地址知識(shí)庫，主要參照國家標(biāo)準(zhǔn)GB/T 23705—2009，采用巴科斯范式（BNF）語法對(duì)地址知識(shí)庫進(jìn)行設(shè)計(jì)，將結(jié)構(gòu)化的地名地址定義如下：

〈結(jié)構(gòu)化地名地址描述〉：：=〈行政區(qū)域地名〉[街巷或小區(qū)名][門址或標(biāo)志物名]

〈行政區(qū)域〉：：=〈省級(jí)〉[地區(qū)級(jí)]〈縣級(jí)〉[鄉(xiāng)級(jí)]

〈基本區(qū)域限定物〉：：=〈街〉|〈巷〉|〈居民小區(qū)〉|〈自然村〉

〈局部點(diǎn)位置〉：：=〈門樓址〉|〈標(biāo)志物〉|〈興趣點(diǎn)〉

通過上述的定義看出，行政區(qū)劃是其中必不可少的關(guān)鍵要素，與各行政級(jí)別之間有著較強(qiáng)的隸屬關(guān)系?；诖耍疚脑谠O(shè)計(jì)地址知識(shí)庫時(shí)，將以中國行政區(qū)域地名表作視為本次設(shè)計(jì)工作的主體，對(duì)各村、社區(qū)，以及上一級(jí)行政區(qū)地名等進(jìn)行逐一劃分。除此之外，考慮到我國人們中文地址表述習(xí)慣，將在地址知識(shí)庫中添加地址別名表，對(duì)各行政區(qū)域常用地名簡稱及別名進(jìn)行記錄。

4.3 用戶地址結(jié)構(gòu)化管理模型構(gòu)建

針對(duì)以上的問題，在對(duì)知識(shí)庫中數(shù)據(jù)的構(gòu)建中，構(gòu)建如圖1所示的電力用戶地址結(jié)構(gòu)化地址數(shù)據(jù)模型。該模型中，包含10層電力用戶結(jié)構(gòu)化地址數(shù)據(jù)，從而做到對(duì)位置的精細(xì)化劃分。

而通過以上的構(gòu)建，本文構(gòu)建的用戶用電地址知識(shí)庫主要采用的是動(dòng)態(tài)地址分詞引擎對(duì)地址進(jìn)行解析，相較于其他地址庫采用的基于固定詞典等地址分詞解決方案，本文構(gòu)建的知識(shí)庫更具有優(yōu)勢。在動(dòng)態(tài)地址分詞引擎的幫助下，僅借助核心詞庫就能實(shí)現(xiàn)對(duì)地址的解析工作。如此一來，將極大程度將減輕地址名詞庫維護(hù)工作負(fù)擔(dān)，提高系統(tǒng)地址知識(shí)庫查詢及維護(hù)效率。

5 系統(tǒng)實(shí)現(xiàn)與測試

5.1 系統(tǒng)實(shí)現(xiàn)

對(duì)整個(gè)系統(tǒng)的開發(fā)，采用Java語言，以Eclipse作為開發(fā)工具，以C/S作為技術(shù)架構(gòu)，對(duì)系統(tǒng)進(jìn)行開發(fā)，從而得到圖2和圖3所示的登錄界面和客戶查詢界面。

登錄界面如圖2所示。

客戶信息查詢界面如圖3所示。

通過上述的界面看出，當(dāng)輸入用戶名稱后，可詳細(xì)展示用戶的門牌地址。

5.2 系統(tǒng)性能測試

5.2.1 Hadoop集群搭建

本文所采用Hadoop實(shí)驗(yàn)集群主要由Master節(jié)點(diǎn)及Slave節(jié)點(diǎn)構(gòu)成，其中Master節(jié)點(diǎn)的數(shù)量為1個(gè);Slave節(jié)點(diǎn)的數(shù)量為3個(gè)。具體Hadoop實(shí)驗(yàn)集群如圖4所示。

如上圖所示，Hadoop實(shí)驗(yàn)集群的架構(gòu)模式為主/從架構(gòu)。在整個(gè)Hadoop實(shí)驗(yàn)集群架構(gòu)中，Name Node及Job Tracker為集群架構(gòu)的主斷;Data Node及Task Tracker為從端。該試驗(yàn)集群主要是在Linux系統(tǒng)之下開展搭建工作?；诖耍疚闹饕捎肰Mware工作站及Ubuntu15對(duì)Linux環(huán)境進(jìn)行構(gòu)建。

5.2.2 并行寫入性能對(duì)比測試

為了更加清晰的掌握系統(tǒng)并行寫入能力與傳統(tǒng)數(shù)據(jù)庫并行寫入能力的差距，本文將對(duì)并行寫入性能進(jìn)行對(duì)比測試。在測試過程中，本文所選取的實(shí)驗(yàn)數(shù)據(jù)為5萬條電力客戶用電地址數(shù)據(jù)，對(duì)不同數(shù)目下單個(gè)客戶端的平均耗時(shí)進(jìn)行統(tǒng)計(jì)，得到表1結(jié)果。

如上表所示，當(dāng)HBase與SQL Server在同一數(shù)據(jù)量、同一數(shù)目客戶端測試并行寫入性能的條件下，HBase在數(shù)據(jù)寫入效率方面所耗費(fèi)的時(shí)間明顯低于SQL Server數(shù)據(jù)寫入時(shí)間。由此可見，HBase在數(shù)據(jù)寫入效率方面更具優(yōu)勢。

6 總結(jié)

通過上述的研究可以看出，本文構(gòu)建的用戶用電地址管理系統(tǒng)，結(jié)合Hadoop體系的優(yōu)勢，可對(duì)大規(guī)模的用電地址數(shù)據(jù)進(jìn)行存儲(chǔ)，并大大提高了用電地址查詢的準(zhǔn)確性，由此看出本文的設(shè)計(jì)方案可行，可為電力營銷部門提供參考。

參考文獻(xiàn)

[1] 何健兒. 電力地址精細(xì)管理與高級(jí)分析應(yīng)用研究[J]. 科技創(chuàng)新與應(yīng)用，2017（3）：46-47.

[2] 鄭愛武，劉隆國. 結(jié)構(gòu)化地址庫地址質(zhì)量提升探索[J]. 電子測試，2017（1）：62-63.

[3] 鄭愛武. 基于地址語義及樹狀分析的用電地址自糾錯(cuò)模型研究[J]. 自動(dòng)化與儀器儀表，2017（8）：89-91.

[4] 孔旭鋒，俞成彪，林士勇. 電力用戶地址結(jié)構(gòu)化管理[J]. 農(nóng)村電氣化，2016（2）：34-35.

[5] 袁麗娜. 基于Hadoop的海量數(shù)據(jù)存儲(chǔ)技術(shù)的研究[J]. 中國新通信，2016，18（19）：61-63.

[6] 楊曉雁. 基于Hadoop的海量數(shù)據(jù)的分布式存儲(chǔ)關(guān)鍵技術(shù)研究[J]. 自動(dòng)化與儀器儀表，2016（10）：166-167.

[7] 黃華林，龐欣婷. 基于Hadoop的數(shù)據(jù)資源管理平臺(tái)設(shè)計(jì)[J]. 計(jì)算機(jī)應(yīng)用與軟件，2018，35（7）：329-333.

[8] 顧安朋，徐國智，林潮彬，等. 營銷客戶地址數(shù)據(jù)標(biāo)準(zhǔn)化應(yīng)用分析與研究[J]. 科技與創(chuàng)新，2018（16）：142-144.

[9] 馬友忠，孟小峰. 云數(shù)據(jù)管理索引技術(shù)研究[J]. 軟件學(xué)報(bào)，2015， 26（1）：145-166.

[10] 程蓓，孫勝春，李忠猛，等. 基于Hadoop技術(shù)的數(shù)字化校園海量數(shù)據(jù)存儲(chǔ)系統(tǒng)研究與設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2015，32（9）：149-152.

[11] 曲朝陽，朱莉，張士林. 基于Hadoop的廣域測量系統(tǒng)數(shù)據(jù)處理[J]. 電力系統(tǒng)自動(dòng)化，2013，37（4）：92-97.

[12] 崔杰，李陶深，蘭紅星. 基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J]. 計(jì)算機(jī)研究與發(fā)展，2012，49（S1）：12-18.

（收稿日期： 2018.12.03）

作者簡介：陳寧（1989-），女，工程師，吉林磐石，研究方向：信息化項(xiàng)目建設(shè)及管理。

陳孝文（1987-），男，工程師，海南?？?，研究方向：信息化建設(shè)。

馮世杰（1988-），男，工程師，海南海口，研究方向：信息化建設(shè)。

呂志鵬（1992-），男，助理工程師，信宜市，研究方向：信息系統(tǒng)運(yùn)維。

陳習(xí)（1982-），男，工程師，南昌，研究方向：電力信息化。

張娜（1978-），女，高密，工程師，研究方向：信息化項(xiàng)目建設(shè)及管理。

王巖（1995-），女，本科，陜西，研究方向：電力企業(yè)信息化建設(shè)工作。文章編號(hào)：1007-757X（2020）02-0097-05