摘 要：防汛決策系統(tǒng)建設(shè)所涉及的數(shù)據(jù)來(lái)源廣泛、數(shù)據(jù)量大、類型豐富，要求展現(xiàn)的成果具有較高的響應(yīng)速度和可視化展示界面，傳統(tǒng)的信息化建設(shè)手段很難達(dá)到。本文以大數(shù)據(jù)服務(wù)為背景，在深入研究大數(shù)據(jù)和綜合集成平臺(tái)的基礎(chǔ)上，將大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用到防汛決策系統(tǒng)中，建立了大數(shù)據(jù)服務(wù)下的防汛決策系統(tǒng)。該系統(tǒng)能夠根據(jù)輸入的不同測(cè)站、時(shí)間段快速生成水位預(yù)測(cè)結(jié)果，并可對(duì)結(jié)果進(jìn)行人工審核調(diào)整，具有較強(qiáng)的通用性，可對(duì)基本信息以及歷史水情數(shù)據(jù)以圖、表的形式展示，為防汛決策過(guò)程提供高效、可操作的綜合系統(tǒng)。

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;防汛決策系統(tǒng)

引言：

城市化進(jìn)程在促進(jìn)社會(huì)文明進(jìn)步的同時(shí)，也給城市帶來(lái)了很多問(wèn)題與挑戰(zhàn)，城市突發(fā)洪澇災(zāi)害就是其中之一。城市化進(jìn)程的快速發(fā)展，對(duì)城市原來(lái)的水文環(huán)境產(chǎn)生了顯著影響，讓城市防訊工作面臨著更嚴(yán)峻的挑戰(zhàn)。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)據(jù)感知技術(shù)的成熟，城市中能感知到的數(shù)據(jù)源快速增加，城市中各種大數(shù)據(jù)開(kāi)始涌現(xiàn)。利用大數(shù)據(jù)對(duì)城市洪澇災(zāi)害進(jìn)行有效預(yù)測(cè)，及時(shí)制定防洪減災(zāi)相應(yīng)對(duì)策，是城市防訊研究的一個(gè)重要課題。因此，本文設(shè)計(jì)并實(shí)現(xiàn)了大數(shù)據(jù)服務(wù)下的防汛決策系統(tǒng)，該系統(tǒng)從公開(kāi)數(shù)據(jù)的獲取入手，使用計(jì)算機(jī)對(duì)數(shù)據(jù)進(jìn)行快速、高效的采集并入庫(kù)，大大降低數(shù)據(jù)獲取的難度，為城市防汛決策提供了準(zhǔn)確、便捷的大數(shù)據(jù)服務(wù)。

一、相關(guān)技術(shù)概述

（一）大數(shù)據(jù)采集

數(shù)據(jù)采集是指將物理世界中的信息按照給定的信息表現(xiàn)方式進(jìn)行讀取的過(guò)程。大數(shù)據(jù)時(shí)代，數(shù)據(jù)的產(chǎn)生方式有了巨大改變，傳統(tǒng)的數(shù)據(jù)多由人工進(jìn)行輸入，是人為產(chǎn)生的，數(shù)據(jù)是結(jié)構(gòu)化的;而物聯(lián)網(wǎng)技術(shù)的發(fā)展，讓智能設(shè)備應(yīng)用越來(lái)越廣，數(shù)據(jù)來(lái)源增多，數(shù)據(jù)類型復(fù)雜多樣，數(shù)據(jù)多為半結(jié)構(gòu)化或非結(jié)構(gòu)化的。大數(shù)據(jù)采集的難點(diǎn)之一就是數(shù)據(jù)產(chǎn)生的速度極快且永不間斷，因此要求數(shù)據(jù)采集設(shè)備要能快速處理和保存數(shù)據(jù)，這是大數(shù)據(jù)的速度快（Velocity）這一特征的體現(xiàn)。

（二）大數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是將采集過(guò)程中獲取的原始的含有缺失值和噪聲的數(shù)據(jù)轉(zhuǎn)換處理成適合挖掘分析的數(shù)據(jù)的過(guò)程。數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘流程中關(guān)鍵的一步，數(shù)據(jù)預(yù)處理的工作量占整個(gè)數(shù)據(jù)挖掘過(guò)程的一半以上，直接關(guān)系到最終的質(zhì)量。大數(shù)據(jù)往往有多種數(shù)據(jù)來(lái)源，不同數(shù)據(jù)源的格式各有不同，必須經(jīng)過(guò)多種異構(gòu)數(shù)據(jù)進(jìn)行整合處理。在進(jìn)行數(shù)據(jù)挖掘時(shí)，先要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將缺失的數(shù)據(jù)進(jìn)行補(bǔ)全或者去除。數(shù)據(jù)預(yù)處理的方法一般包括數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)融合和數(shù)據(jù)規(guī)約四種方式。

（三）大數(shù)據(jù)存儲(chǔ)

大數(shù)據(jù)的一個(gè)最明顯的特征就是數(shù)據(jù)量非常龐大，而且大數(shù)據(jù)不僅有結(jié)構(gòu)化數(shù)據(jù)，還有半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)，這兩種數(shù)據(jù)所占的比例還在持續(xù)增大，傳統(tǒng)數(shù)據(jù)庫(kù)往往是為結(jié)構(gòu)化數(shù)據(jù)設(shè)計(jì)的，這使得人們需要設(shè)計(jì)新的存儲(chǔ)方案來(lái)存儲(chǔ)大數(shù)據(jù)。為了存儲(chǔ)大量數(shù)據(jù)并應(yīng)對(duì)數(shù)據(jù)量的快速增長(zhǎng)，必須要有能夠支持的水平擴(kuò)展性、高可靠的分布式數(shù)據(jù)存儲(chǔ)方案。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)存儲(chǔ)不需要很強(qiáng)的事務(wù)特性，數(shù)據(jù)庫(kù)的高可用性和高可靠性更為重要。

（四）大數(shù)據(jù)挖掘分析

大數(shù)據(jù)的數(shù)據(jù)量巨大、增長(zhǎng)速度極快、數(shù)據(jù)類型豐富多樣，傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術(shù)根本無(wú)法應(yīng)付，這為數(shù)據(jù)挖掘分析提出了新的挑戰(zhàn)。大數(shù)據(jù)一般存儲(chǔ)在分布式文件系統(tǒng)上，在這種文件系統(tǒng)中對(duì)文件進(jìn)行讀寫操作往往會(huì)產(chǎn)生網(wǎng)絡(luò)訪問(wèn)，因此在對(duì)大數(shù)據(jù)進(jìn)行挖掘分析時(shí)，I/O開(kāi)銷高于計(jì)算開(kāi)銷。這個(gè)問(wèn)題可以應(yīng)用MapReduce編程框架進(jìn)行解決。MapReduce應(yīng)用了分治思想，讓計(jì)算靠近數(shù)據(jù)，在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上運(yùn)行計(jì)算任務(wù)，大大降低了I/O開(kāi)銷，最后再將各個(gè)節(jié)點(diǎn)的計(jì)算結(jié)果匯總處理后獲得最終的運(yùn)算結(jié)果。

二、系統(tǒng)設(shè)計(jì)

（一）系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)

基于知識(shí)可視化綜合集成平臺(tái)，依托數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘分析技術(shù)，結(jié)合水位預(yù)測(cè)公開(kāi)數(shù)據(jù)，建立防汛決策系統(tǒng)，為防汛決策提供大數(shù)據(jù)服務(wù)。該系統(tǒng)可以在城市發(fā)生洪水時(shí)，對(duì)決策者提供科學(xué)合理的指導(dǎo)，最大化減少損失。防汛決策系統(tǒng)主要可以劃分為4個(gè)功能模塊：基本信息管理模塊、水情預(yù)警模塊、歷史水情統(tǒng)計(jì)分析模塊以及系統(tǒng)管理模塊。

1.基本信息管理模塊

通過(guò)基本信息管理模塊，可以對(duì)水庫(kù)、測(cè)站、河道的基本信息進(jìn)行修改、刪除、添加以及查詢。

2.水情預(yù)警模塊

（1）水位預(yù)測(cè)。水位預(yù)測(cè)是本系統(tǒng)的核心內(nèi)容，首先根據(jù)公開(kāi)數(shù)據(jù)采集到水務(wù)局官網(wǎng)當(dāng)天更新的實(shí)測(cè)水位數(shù)據(jù)后，與過(guò)去采集到的數(shù)據(jù)組成數(shù)據(jù)系列，進(jìn)行數(shù)據(jù)預(yù)處理，然后將預(yù)處理后的數(shù)據(jù)進(jìn)行挖掘分析，從而對(duì)未來(lái)1～7天的水位進(jìn)行預(yù)測(cè)。如果某個(gè)測(cè)站的預(yù)測(cè)值超過(guò)警戒值，數(shù)據(jù)將標(biāo)紅處理，為防汛工作提供參考。

（2）預(yù)測(cè)數(shù)據(jù)審核。將水位預(yù)測(cè)結(jié)果導(dǎo)出上報(bào)之前，操作人員可對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行進(jìn)一步判斷分析，人工審核有無(wú)明顯誤差。對(duì)于人工認(rèn)定有明顯誤差的數(shù)據(jù)，可調(diào)整模型參數(shù)后再次預(yù)測(cè)，或?qū)︻A(yù)測(cè)結(jié)果進(jìn)行手動(dòng)校正。

（3）預(yù)測(cè)數(shù)據(jù)的導(dǎo)出。該模塊能夠?qū)⒔?jīng)過(guò)預(yù)測(cè)以及審核后的數(shù)據(jù)，以EXCEL 的形式導(dǎo)出。

3.歷史水情統(tǒng)計(jì)分析模塊

（1）變化趨勢(shì)查看?？刹榭粗付ㄕ军c(diǎn)、指定時(shí)間段內(nèi)的水位值，并以折線圖的形式展現(xiàn)結(jié)果。

（2）水位數(shù)據(jù)統(tǒng)計(jì)。能夠統(tǒng)計(jì)指定日期范圍內(nèi)的水位數(shù)據(jù)分布，包括水位數(shù)據(jù)的平均值、最大值、最小值、眾數(shù)等。

（3）預(yù)測(cè)誤差分析。提取并對(duì)比指定時(shí)間范圍內(nèi)的預(yù)測(cè)值與實(shí)測(cè)值，得到兩者的誤差統(tǒng)計(jì)表和誤差統(tǒng)計(jì)圖。通過(guò)對(duì)誤差統(tǒng)計(jì)結(jié)果進(jìn)行分析，總結(jié)該時(shí)間范圍內(nèi)水位預(yù)測(cè)的準(zhǔn)確性以及誤差變化規(guī)律，使其能對(duì)以前預(yù)測(cè)結(jié)果進(jìn)行評(píng)價(jià)的同時(shí)，對(duì)今后水位預(yù)測(cè)的改善提供參考。

4.系統(tǒng)管理模塊

通過(guò)對(duì)數(shù)據(jù)庫(kù)、組件庫(kù)、知識(shí)圖庫(kù)進(jìn)行維護(hù)與擴(kuò)展，達(dá)到完善系統(tǒng)缺陷，豐富系統(tǒng)功能的目的。

（二）系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)

1.數(shù)據(jù)庫(kù)設(shè)計(jì)

防汛決策數(shù)據(jù)庫(kù)是基于Windows操作系統(tǒng)、Sql Server數(shù)據(jù)庫(kù)軟件實(shí)現(xiàn)的。根據(jù)系統(tǒng)的業(yè)務(wù)功能將所需數(shù)據(jù)進(jìn)行分類，主要包括河道基礎(chǔ)信息、水庫(kù)基礎(chǔ)信息、河道水情數(shù)據(jù)、水庫(kù)水情數(shù)據(jù)等。按照不同類別對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理的庫(kù)表結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)儲(chǔ)存的標(biāo)識(shí)符代碼編碼應(yīng)符合《基礎(chǔ)數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符》SZY301-2013標(biāo)準(zhǔn)，使得代碼具有較好的穩(wěn)定性、易讀性和通用性。其中水位數(shù)據(jù)是通過(guò)公開(kāi)數(shù)據(jù)采集獲得的，其他部分?jǐn)?shù)據(jù)是自動(dòng)檢測(cè)或計(jì)算生成后自動(dòng)錄入的，有些數(shù)據(jù)是人工錄入的，還有些數(shù)據(jù)來(lái)自其他數(shù)據(jù)庫(kù)。防汛決策系統(tǒng)的主要數(shù)據(jù)表為歷史水位數(shù)據(jù)統(tǒng)計(jì)表、測(cè)站基本信息表、水位預(yù)測(cè)表等。

（1）歷史水位數(shù)據(jù)統(tǒng)計(jì)表。歷史水位數(shù)據(jù)統(tǒng)計(jì)表包括測(cè)站代碼、測(cè)站名稱、時(shí)間、水位、備注等。

（2）測(cè)站基本信息表。測(cè)站基本信息表包含站點(diǎn)編碼、測(cè)站名稱、河系、河名以及所屬區(qū)域、所屬單位ID等信息。

（3）水位預(yù)測(cè)表。水位預(yù)測(cè)表包含測(cè)站編碼、預(yù)測(cè)時(shí)間以及七天預(yù)測(cè)值等信息。

2. 業(yè)務(wù)組件庫(kù)設(shè)計(jì)

防汛決策組件庫(kù)用以存儲(chǔ)已經(jīng)發(fā)布的業(yè)務(wù)應(yīng)用組件，其主要作用是為決策者提供業(yè)務(wù)需求過(guò)程中的組件，包括業(yè)務(wù)數(shù)據(jù)的獲取、計(jì)算、存儲(chǔ)、展示功能。通過(guò)對(duì)防汛決策所涉及的主題內(nèi)容，按業(yè)務(wù)流程及計(jì)算過(guò)程中數(shù)據(jù)流方向進(jìn)行組件劃分，將防汛決策過(guò)程中的各部分劃分為一個(gè)個(gè)組件，每個(gè)組件可獨(dú)立運(yùn)算。對(duì)于組件的劃分一般沒(méi)有固定的模式，通常遵循以下三點(diǎn)基本原則：（1）每個(gè)組件涉及的功能盡量單一;（2）組件內(nèi)部各對(duì)象的關(guān)聯(lián)程度盡量最大;（3）各組件之間的耦合度盡量最低。

三、系統(tǒng)實(shí)現(xiàn)

（一）基本信息管理模塊的實(shí)現(xiàn)

將測(cè)站基本信息、水庫(kù)基本信息、河道基本信息以及防洪汛限水位等數(shù)據(jù)集成到本地SQL數(shù)據(jù)庫(kù)，通過(guò)基本信息管理組件庫(kù)內(nèi)各個(gè)組件，將這些數(shù)據(jù)在平臺(tái)展示，并通過(guò)單項(xiàng)數(shù)據(jù)流的方式，流向下一個(gè)組件。

（二）水情預(yù)警模塊的實(shí)現(xiàn)

點(diǎn)擊時(shí)間定制按鈕，時(shí)間輸入2017-9-3至2018-9-25日，測(cè)站名輸入“東大橋”，由實(shí)測(cè)河道水位組件可得東大橋測(cè)站在該時(shí)段內(nèi)水位數(shù)據(jù)，由河道防汛預(yù)警組件可預(yù)測(cè)未來(lái)7日水位數(shù)據(jù)，點(diǎn)擊預(yù)測(cè)數(shù)據(jù)審核組件，可人工審核修改彈出框內(nèi)未來(lái)7天預(yù)測(cè)數(shù)據(jù)。

點(diǎn)擊預(yù)測(cè)數(shù)據(jù)審核組件，選擇預(yù)測(cè)結(jié)果審核（圖），彈出預(yù)測(cè)值與實(shí)測(cè)值折線圖，在折線圖左上方點(diǎn)擊修改數(shù)據(jù)按鈕，可拖動(dòng)折線圖上的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)修改，修改完畢后，再次點(diǎn)擊修改數(shù)據(jù)按鈕，即可提交數(shù)據(jù)并更新相關(guān)組件。預(yù)測(cè)數(shù)據(jù)導(dǎo)出組件可將審核后數(shù)據(jù)xls格式導(dǎo)出并保存在本地。

（三）歷史水情統(tǒng)計(jì)分析模塊的實(shí)現(xiàn)

水位數(shù)據(jù)統(tǒng)計(jì)組件和水位變化趨勢(shì)組件可展示不同測(cè)站在指定時(shí)間內(nèi)水位值的數(shù)據(jù)分布，計(jì)算數(shù)據(jù)的最大值、最小值及眾數(shù)等。預(yù)測(cè)誤差分析組件可展示一段時(shí)間內(nèi)的預(yù)測(cè)值與實(shí)測(cè)值，計(jì)算兩者間的誤差，并以折線圖的形式展示出來(lái)。

結(jié)束語(yǔ)：

隨著水利信息化建設(shè)的不斷完善，物聯(lián)網(wǎng)傳感器設(shè)備不斷增加，城市防洪減災(zāi)相關(guān)數(shù)據(jù)呈爆炸式増長(zhǎng)，步入了大數(shù)據(jù)時(shí)代。利用大數(shù)據(jù)技術(shù)對(duì)城市防訊工作中采集到的數(shù)據(jù)進(jìn)行挖掘分析，為城市突發(fā)洪澇災(zāi)害的預(yù)防與預(yù)警提供了一條新途徑，具有重要的理論和現(xiàn)實(shí)意義。本文從數(shù)據(jù)出發(fā)，基于綜合集成平臺(tái)，將水位預(yù)測(cè)與防汛決策系統(tǒng)結(jié)合，以獲取到的數(shù)據(jù)作為輸入，用計(jì)算機(jī)語(yǔ)言實(shí)現(xiàn)水位預(yù)測(cè)，將預(yù)測(cè)結(jié)果用計(jì)算機(jī)以數(shù)據(jù)、圖、表格等多種形式展示出來(lái);并利用數(shù)據(jù)可視化技術(shù)為用戶提供基本信息查詢、水位預(yù)報(bào)預(yù)警、歷史數(shù)據(jù)統(tǒng)計(jì)分析及系統(tǒng)管理等功能。

作者簡(jiǎn)介：

楊永發(fā);男;1979年9月;陜西;漢族;在職研究生;對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院在職人員高級(jí)課程研修班學(xué)員;研究方向：大數(shù)據(jù)分析與應(yīng)用