王海沛　李中志

摘要：為解決當(dāng)前山洪防災(zāi)預(yù)警信息化建設(shè)中數(shù)據(jù)處理效率低、資源共享能力弱、軟件通用化程度不高、功能不全等問題，采用基于云計(jì)算的技術(shù)理念設(shè)計(jì)開發(fā)了具有擴(kuò)展性好，數(shù)據(jù)存儲與處理強(qiáng)，預(yù)警更加及時有效的山洪監(jiān)測預(yù)警系統(tǒng)。系統(tǒng)實(shí)現(xiàn)了實(shí)時、動態(tài)反映信息，并且能夠以曲線，圖，視頻等直觀形式展現(xiàn)山洪信息與預(yù)警發(fā)布功能，為政府部門防洪防災(zāi)決策提供科學(xué)、統(tǒng)一、可靠的信息平臺。應(yīng)用結(jié)果表明系統(tǒng)利用云技術(shù)實(shí)現(xiàn)了SAAS的模式，實(shí)現(xiàn)了多用戶的按需定制，增強(qiáng)了系統(tǒng)的可擴(kuò)展，可維護(hù)性。同時也驗(yàn)證了預(yù)警算法準(zhǔn)確有效，數(shù)據(jù)存儲與處理模式合理高效。

關(guān)鍵詞：云計(jì)算；山洪災(zāi)害；監(jiān)測預(yù)警系統(tǒng)；應(yīng)用服務(wù)

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：B DOI：10.3969/j.issn.1003-6970.2015.05.021

0 引言

我國水利信息化工作從上個世紀(jì)90年代起步，最先僅僅是計(jì)算機(jī)技術(shù)的推廣與應(yīng)用，隨后才逐步引入數(shù)據(jù)采集、數(shù)據(jù)庫技術(shù)、物聯(lián)網(wǎng)技術(shù)、3s系統(tǒng)（全球定位系統(tǒng)GPS、地理信息系統(tǒng)GIS和遙感RS）12]技術(shù)等現(xiàn)代信息技術(shù)。而各地區(qū)山洪監(jiān)測預(yù)警系統(tǒng)作為水利信息化系統(tǒng)的主要代表為各地區(qū)的減災(zāi)防洪等發(fā)揮著巨大的作用。但是隨著業(yè)務(wù)的深入應(yīng)用，傳統(tǒng)的山洪監(jiān)測預(yù)警系統(tǒng)也面臨著諸多問題和難題（表1）。同時由于傳統(tǒng)的山洪預(yù)警系統(tǒng)中監(jiān)測與預(yù)警發(fā)布是分開建設(shè)的，在這種模式下各地區(qū)系統(tǒng)數(shù)據(jù)不能共享，各自為政不能互聯(lián)互通，出現(xiàn)災(zāi)險(xiǎn)情后，指揮系統(tǒng)不能應(yīng)急聯(lián)動，這樣無法完成統(tǒng)一指揮和調(diào)度，影響預(yù)警系統(tǒng)的時效性和穩(wěn)定可靠性。因此，建設(shè)新的山洪災(zāi)害預(yù)警監(jiān)測預(yù)警系統(tǒng)勢在必行。

云計(jì)算對于山洪監(jiān)測預(yù)警系統(tǒng)的建設(shè)的意義在于實(shí)現(xiàn)資源的整合與業(yè)務(wù)的協(xié)同，提升對海量數(shù)據(jù)存儲、分享、挖掘、搜索、分析和服務(wù)的能力，使得業(yè)務(wù)數(shù)據(jù)作為無形資產(chǎn)得到統(tǒng)一有效的管理，同時為更多公眾服務(wù)（表1）。因此云計(jì)算技術(shù)成為解決傳統(tǒng)山洪預(yù)警系統(tǒng)面臨的一些問題的首選技術(shù)方案。

1 研究基礎(chǔ)

1.1 云計(jì)算技術(shù)研究

“云計(jì)算”是一種能夠?qū)討B(tài)伸縮的虛擬化資源通過互聯(lián)網(wǎng)以服務(wù)的方式提供給用戶的計(jì)算模式，用戶不需要知道如何管理那些支持云計(jì)算的基礎(chǔ)設(shè)施，而只需要關(guān)注自己需要什么類型的服務(wù)。“X即服務(wù)”的模式不斷增長和發(fā)展，帶動著數(shù)據(jù)中心向“云”快速邁進(jìn)。在云中，用戶不再關(guān)心數(shù)據(jù)的物理存儲，只需要在用時為其付費(fèi)，以較低的成本帶來了更高的性能和生力，以及決策解決方案的通用性。

1.2 GIS系統(tǒng)集成研究

地理信息系統(tǒng)（GIs，Geographic Information System）是隨著地理科學(xué)、計(jì)算機(jī)技術(shù)、遙感技術(shù)和信息科學(xué)的發(fā)展而發(fā)展起來的一個學(xué)科。GIS平臺具備漫游縮放、圖元點(diǎn)的選取、距離測量、面積測量、屬性數(shù)據(jù)查找圖元、專題圖顯示、圖例顯示等通用的GIS功能.基于云架構(gòu)的山洪監(jiān)測預(yù)警系統(tǒng)在GIS平臺和云平臺基礎(chǔ)之上，進(jìn)行山洪災(zāi)害預(yù)警預(yù)報(bào)模型的程序?qū)崿F(xiàn)，主要利用GIS軟件提供的各種開發(fā)接口和可調(diào)用函數(shù)，經(jīng)過集成二次開發(fā)來實(shí)現(xiàn)對雨量、地形條件記錄、氣象等數(shù)據(jù)實(shí)時管理及動態(tài)跟新等，從而為系統(tǒng)實(shí)時監(jiān)測預(yù)警分析提供保證。

2 系統(tǒng)云平臺架構(gòu)設(shè)計(jì)與部署

2.1 山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)云架構(gòu)設(shè)計(jì)

基于云架構(gòu)的山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)依托云計(jì)算的三層結(jié)構(gòu)進(jìn)行架構(gòu)設(shè)計(jì)，整個系統(tǒng)中云計(jì)算平臺是系統(tǒng)的中樞，負(fù)責(zé)所有的數(shù)據(jù)處理、交換以及共享，并將決策結(jié)果向上發(fā)送到應(yīng)用層。計(jì)算資源和存儲設(shè)施都由云計(jì)算服務(wù)提供商負(fù)責(zé)。系統(tǒng)最終以SaaS的方式提供給租戶租用。如圖1為山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)的云架構(gòu)圖。

（1）信息數(shù)據(jù)采集層。信息數(shù)據(jù)采集層是山洪災(zāi)害預(yù)警系統(tǒng)的數(shù)據(jù)源基礎(chǔ)。信息采集對象包括相關(guān)水利部門建設(shè)的監(jiān)測站點(diǎn)傳送的水位，雨量，視頻等信息。物理層是IAAS基礎(chǔ)設(shè)施層，包括計(jì)算設(shè)備，儲設(shè)備、網(wǎng)絡(luò)設(shè)備等。

（2）虛擬資源層。虛擬資源層則通過分布式技術(shù)和虛擬化技術(shù)對服務(wù)器、存儲設(shè)備與網(wǎng)絡(luò)設(shè)備等硬件資源進(jìn)行虛擬化，以虛擬機(jī)為單位進(jìn)行統(tǒng)一自動化管理，對這些虛擬資源提供資源監(jiān)控、負(fù)載管理、資源調(diào)度、安全管理等功能。

（3）系統(tǒng)管理與數(shù)據(jù)資源層。此架構(gòu)中，虛擬化平臺采用較為成熟的VMwarev Sphere虛擬化管理工具，并配置vCenter Server Heartbeat保證虛擬平臺的可靠性；Hadoop批處理來實(shí)現(xiàn)大數(shù)據(jù)處理，結(jié)合MapReduee和并行數(shù)據(jù)庫的優(yōu)勢，可以得到更高效的分布式計(jì)算模型。數(shù)據(jù)資源層是系統(tǒng)信息匯集的目的地，是數(shù)據(jù)存儲和管理的基礎(chǔ)。

（4）平臺支撐層。平臺支撐層配備基本的公共服務(wù)產(chǎn)品，方便開發(fā)者在其上層更加快捷的搭建業(yè)務(wù)應(yīng)用流程和構(gòu)造信息門戶。該層可以有效地隔離下層數(shù)據(jù)和上層應(yīng)用之間的直接聯(lián)系，方便系統(tǒng)靈活擴(kuò)展，建立與其他水利業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享通道和建立業(yè)務(wù)協(xié)同關(guān)系。

（5）應(yīng)用層。業(yè)務(wù)層依托云平臺環(huán)境的支撐，建立山洪災(zāi)害監(jiān)測預(yù)警業(yè)務(wù)羅晉，構(gòu)建各項(xiàng)防汛業(yè)務(wù)相關(guān)的SAAS服務(wù)。

2.2 云架構(gòu)平臺的實(shí)現(xiàn)部署

采用Hadoop技術(shù)的云計(jì)算平臺的搭建部署主要過程如下：

步驟1：在所有云計(jì)算中心申請的IAAS資源主機(jī)上部署相同的hadoop目錄結(jié)構(gòu)，并且用戶名的帳戶要相同，用戶名和密碼自己指定。配置每臺電腦上的/etc/hosts目錄，保證他們之間能相互通信。

步驟2：進(jìn)行SSH免密碼遠(yuǎn)程登錄配置。在進(jìn)行SSH配置之前需要先安裝SSH服務(wù)并開啟。用hadoop用戶分別登錄每臺主機(jī)資源，在/home/hadoop/目錄下建立.ssh目錄，在master節(jié)點(diǎn)（即主機(jī)testl）上使用命令$ssh-keygen-t rsa來生成密鑰對，然后把這個公鑰分別放置在Slave節(jié)點(diǎn)的hadoop/.ssh/authorizedkeys文件中。在NameNode節(jié)點(diǎn)上生成密鑰對并將公鑰復(fù)制至其他DataNode：

ssh-keygen-t dsa-P”-f～/.ssh/ld dsa cat～/.ssh/id_dsa.pub>>～/.ssh/authorized_keys

步驟3：在每臺主機(jī)資源上分別安裝JAVA的開發(fā)和運(yùn)行環(huán)境，安裝完成后并進(jìn)行環(huán)境變量的配置，用$source/etc/profile使JAVA環(huán)境生效。

步驟4：進(jìn)行hadoop參數(shù)設(shè)置。下載并解壓縮hadoop-0.19.1.jar，并對其進(jìn)行配置。首先在hadoop-env.conf文件中，修改JDK安裝路徑，再按需要對hadoop-site.conf文件修改

步驟5：Hadoop核心配置文件core-site.xml、HDFS配置文件hdfs-site.xml、MapReduce配置文件mapred-site.xml配置如下圖所示配置eonf/master文件，添加所有的NameNode：testl。配置conf/slave文件，添加所有的DataNode：est2、test3、test4。

步驟6：同步配置文件。如果需要任何一臺機(jī)器都能夠啟動和關(guān)閉Hadoop，就需要將NameNode上安裝配置完成的hadoop文件拷貝到所有DataNode。如果都是通過Master去啟動和關(guān)閉的，那么Master和Slave上的幾個conf配置文件不需要全部同步。

步驟7：啟動hadoop。啟動之前，需要先使用$bin/hadoop namenode—format命令來完成格式化Na-meNode。使用bin/start-all.sh啟動了hadoop的守護(hù)進(jìn)程。如果要停止，使用$bin/stop-a11.sh來停止hadoop。至此，hadoop云計(jì)算平臺已經(jīng)搭建完成?？梢栽跒g覽器中輸入http：∥testl：9100就能看到testl上的Na-meNode的運(yùn)行情況了，同理可以查看其它計(jì)算機(jī)的運(yùn)行情況。

3 基于云架構(gòu)的山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)實(shí)現(xiàn)

3.1 系統(tǒng)的基礎(chǔ)數(shù)據(jù)整理與錄入

山洪災(zāi)害監(jiān)測預(yù)警系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源廣泛且量大復(fù)雜，數(shù)據(jù)格式不統(tǒng)一，所以必須對不同來源的數(shù)據(jù)通過數(shù)據(jù)清洗和轉(zhuǎn)換進(jìn)行統(tǒng)一的數(shù)據(jù)編碼和和統(tǒng)一的數(shù)據(jù)存儲?；A(chǔ)數(shù)據(jù)來源主要有根據(jù)國家要求建設(shè)的水位站，雨量站信息，還有其后各相關(guān)水利部門自己建設(shè)的水位站雨量站，有些是自動的上報(bào)的，有些是人工上報(bào)的，還有河道，水庫的視頻監(jiān)控站等數(shù)據(jù)。此外還有氣象，水文，國土等部門提供的外部數(shù)據(jù)。對于這些龐大的數(shù)據(jù)經(jīng)過統(tǒng)一的編碼和存儲錄入后，采用建立專題數(shù)據(jù)庫的形式，如實(shí)時水雨情數(shù)據(jù)庫、歷史大洪水?dāng)?shù)據(jù)庫洪澇災(zāi)害數(shù)據(jù)庫、山洪災(zāi)害專題空間數(shù)據(jù)庫等采用Hadoop技術(shù)中HDFS對山洪異構(gòu)數(shù)據(jù)提供分布式存儲。

3.2.1 監(jiān)測站編碼

監(jiān)測站主要指水位站，雨量站，視頻站等采集的數(shù)據(jù)，通過統(tǒng)一的編碼進(jìn)行入識別入庫。

水位，雨量監(jiān)測站代碼組成ABBCDDEE

代表：流域（區(qū)）碼水系（分區(qū)）碼測站（斷面）類測站所屬地標(biāo)識測站序號

視頻站編碼組成ABTFFSSNNNY

代表：類別屬性嗎一級流域碼二級流域碼支流編碼視頻點(diǎn)編碼視頻點(diǎn)類型

3.2.2 監(jiān)測數(shù)據(jù)整理錄入

以水位站，雨量站示例數(shù)據(jù)說明（表2）

示例數(shù)據(jù)說明測站編碼：60523450時間范圍：2014/6/23 8：00-2014/6/27 8：00

Stcd（測站編碼） TM（時間） DPR（時段降水量）INTV（時段長）

PRD（降水歷時） DYP（日降水量） WTH（時段長）

2014/6/23 8：00降水記錄舉例：一小時內(nèi)的時間段累計(jì)降水（當(dāng)INTV=1情況下），DYP=15.5代表2014/6/23 8：00—2014/6/27 8：00前一日的日累計(jì)降水，實(shí)際取值∑DPR（2014/6/23 8：00—2014/6/27 8：00）；2014/6/27 06：00降水記錄舉例：如在05：55～06：00這一段有降雨發(fā)生，則在06：00時刻需分別記錄該時刻的降雨短歷時（5分鐘）和小時累計(jì)雨量，由于數(shù)據(jù)表主鍵字段限制，造成無法正常記錄數(shù)據(jù)，需要針對短歷時（五分鐘）累計(jì)雨量入庫數(shù)據(jù)中的TM字段進(jìn)行處理，在06：00時刻上再加入5毫秒，形成“2014/6/27 6：00：0.005”的TM數(shù)據(jù)，小時累計(jì)數(shù)據(jù)入庫時則沿用“2014/6/27 6：00”的TM數(shù)據(jù)。

在2014/6/24 8：00的記錄中，DRP為NULL，代表前一段沒有降雨，而DYP 5.5，為前一日的時段累計(jì)降水量；由于本次監(jiān)測站需要發(fā)平安報(bào)，因此即使前一日沒有降雨（∑DPR=0），也必須按DYP 0報(bào)送，具體格式如表中2014/6/27 8：00的第一行記錄。數(shù)據(jù)庫表降雨歷時字段：數(shù)據(jù)存儲的格式是HH.NN，其中HH為小時數(shù)，取值為00～23；NN為分鐘數(shù)取值為01～99如表中第四行PRD=0.25，代表前一小時內(nèi)的實(shí)際降水時間25分鐘；如果∑DPR（15分鐘）>5mm就要進(jìn)行暴雨加報(bào)。WTH 7代表雨天。

3.2 系統(tǒng)的主要功能實(shí)現(xiàn)展示

3.2.1 實(shí)時水雨情監(jiān)測，重點(diǎn)山洪區(qū)域視頻監(jiān)控功能

系統(tǒng)的表現(xiàn)形式以WEBGIS和表格的方式為主，主要在地圖上顯示各監(jiān)測站點(diǎn)的分布，并在站點(diǎn)旁標(biāo)注出水雨情信息（如降雨，水位，流量等），并可以查詢各監(jiān)測站點(diǎn)的詳細(xì)信息（如時段降雨，日降雨等）和歷史水雨情信息，當(dāng)監(jiān)測站點(diǎn)的監(jiān)測項(xiàng)達(dá)到預(yù)警指標(biāo)時，系統(tǒng)自動通過聲音，閃爍，短信方式報(bào)警，讓防汛人員及時掌握最新動態(tài)，提前做出決策，避免或者減少災(zāi)害造成的損失，見圖3。

3.2.2 河道水庫實(shí)時監(jiān)測

實(shí)時顯示各水庫河道站當(dāng)前水位，流量，水位變化趨勢，警戒保證情況，并提供當(dāng)前水位示意圖；顯示選定區(qū)域內(nèi)任意時段的各站水位，水勢，流量，歷史最高水位及發(fā)生時間，最大流量發(fā)生時間，顯示水位流量過程線等，如圖4。

3.2.3 山洪分析預(yù)警以預(yù)警發(fā)布

系統(tǒng)對水雨情報(bào)警展示，山洪預(yù)警信息，山洪預(yù)警指標(biāo)，通過降雨量，水位，土壤含水量等信息進(jìn)行山洪歷史數(shù)據(jù)建模分析，根據(jù)預(yù)警指標(biāo)一旦出現(xiàn)預(yù)警信息，系統(tǒng)自動對關(guān)聯(lián)的區(qū)域進(jìn)行報(bào)警提示，并發(fā)送報(bào)警信息給相關(guān)的目標(biāo)用戶。同時，提供雨水情之間的預(yù)警聯(lián)動，即雨量站報(bào)警后，系統(tǒng)智能地對附近的水位站進(jìn)行報(bào)警提示。