江子皓　王慧亮　吳澤寧　胡潤(rùn)停

摘要：隨著大數(shù)據(jù)技術(shù)的發(fā)展，基于大數(shù)據(jù)技術(shù)開展城市暴雨洪澇研究成為熱點(diǎn)。根據(jù)城市防洪工作中對(duì)暴雨洪澇相關(guān)數(shù)據(jù)的業(yè)務(wù)需求，在對(duì)多源異構(gòu)數(shù)據(jù)分析的基礎(chǔ)上，設(shè)定洪水敏感性因素分析主題，構(gòu)建相應(yīng)的多維數(shù)據(jù)組織模式，建立城市暴雨洪澇數(shù)據(jù)倉庫，有效地對(duì)城市暴雨洪澇多源異構(gòu)數(shù)據(jù)進(jìn)行儲(chǔ)存、管理與組織?；诤樗舾行砸蛩胤治鲋黝}數(shù)據(jù)倉庫，利用關(guān)聯(lián)規(guī)則分析進(jìn)行數(shù)據(jù)挖掘，識(shí)別不同敏感性因素與洪水度量之間的關(guān)聯(lián)規(guī)則，歸納出敏感性因素與洪水過程之間的關(guān)系，結(jié)果表明：將城市暴雨洪澇數(shù)據(jù)集成到數(shù)據(jù)倉庫中并進(jìn)行相關(guān)的數(shù)據(jù)挖掘操作，可以為防洪決策提供新的可行途徑。

關(guān)鍵詞：城市暴雨洪澇;數(shù)據(jù)倉庫;關(guān)聯(lián)規(guī)則;數(shù)據(jù)挖掘

中圖分類號(hào)：TP392

文獻(xiàn)標(biāo)志碼：A

doi：10. 3969/j .issn.1000- 1379.2019. 04.007

1 前言

隨著水利信息化建設(shè)的不斷完善，以及遙感、GIS、物聯(lián)網(wǎng)等現(xiàn)代信息技術(shù)的發(fā)展和應(yīng)用，城市防洪減災(zāi)相關(guān)數(shù)據(jù)快速增長(zhǎng)[1]，具有數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)來源多樣、數(shù)據(jù)價(jià)值密度低等典型的大數(shù)據(jù)特征，如何構(gòu)建針對(duì)城市洪澇的數(shù)據(jù)倉庫并對(duì)數(shù)據(jù)加以有效利用，成為城市水文學(xué)研究的難點(diǎn)[2]。數(shù)據(jù)倉庫可以有效集成多源異構(gòu)數(shù)據(jù)，用于支持管理決策過程[3]，同時(shí)用戶可以在數(shù)據(jù)倉庫基礎(chǔ)上進(jìn)行聚類、關(guān)聯(lián)等決策分析，通過數(shù)據(jù)挖掘得到數(shù)據(jù)背后隱藏的信息。

目前國(guó)內(nèi)外防洪領(lǐng)域數(shù)據(jù)倉庫技術(shù)已有一些應(yīng)用研究成果，H_ Mcgrath等[4]建立一個(gè)數(shù)據(jù)倉庫來存儲(chǔ)相關(guān)洪水預(yù)報(bào)數(shù)據(jù)，應(yīng)對(duì)加拿大新不倫瑞克省城市洪水風(fēng)險(xiǎn)管理的需要，介紹了如何定位和搜集城市防洪數(shù)據(jù)倉庫所需數(shù)據(jù)集，并提出了該數(shù)據(jù)倉庫未來可以有哪些應(yīng)用方向，包括利用聯(lián)機(jī)分析處理（ OLAP）和數(shù)據(jù)挖掘工具進(jìn)行防洪決策支持以及實(shí)現(xiàn)城市防洪數(shù)據(jù)在線可視化等：Z.Pan-Pan等[5]利用OWB工具建立防洪數(shù)據(jù)倉庫與分布式數(shù)據(jù)源之間的數(shù)據(jù)語法系統(tǒng)，根據(jù)系統(tǒng)環(huán)境差異和數(shù)據(jù)復(fù)雜性等對(duì)原始數(shù)據(jù)進(jìn)行篩選，最終實(shí)現(xiàn)了防洪信息的實(shí)時(shí)性;張蓉[6]利用數(shù)據(jù)倉庫技術(shù)集成了大連市各水庫防洪數(shù)據(jù)，保證了這些防洪數(shù)據(jù)能夠?qū)崟r(shí)共享，并利用聯(lián)機(jī)分析處理（ OLAP）從不同角度對(duì)防洪數(shù)據(jù)進(jìn)行分析，達(dá)到了對(duì)數(shù)據(jù)充分利用的目的：丁斌等[7]利用數(shù)據(jù)倉庫技術(shù)建立黃河防洪調(diào)度綜合決策會(huì)商支持系統(tǒng)，采用科學(xué)的數(shù)據(jù)組織方法將不同數(shù)據(jù)源進(jìn)行集成并直觀地提供給防洪決策者，目前已廣泛應(yīng)用在防洪、防凌、調(diào)水調(diào)沙和水資源調(diào)度等工作中：梁國(guó)華等[8]進(jìn)行了應(yīng)用于洪澇災(zāi)害預(yù)防的數(shù)據(jù)倉庫研究，認(rèn)為目前數(shù)據(jù)倉庫技術(shù)的研究與開發(fā)尚在起步階段，難以滿足決策支持系統(tǒng)或某些特殊領(lǐng)域要求?？傮w來說，目前國(guó)內(nèi)外數(shù)據(jù)倉庫技術(shù)在防洪領(lǐng)域中應(yīng)用研究較少，且這些研究大多著重?cái)?shù)據(jù)倉庫結(jié)構(gòu)體系及建模方法研究，很少進(jìn)行相關(guān)實(shí)例應(yīng)用研究。本文結(jié)合鄭州市洪澇基礎(chǔ)數(shù)據(jù)，嘗試將城市暴雨洪澇數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)相結(jié)合，挖掘分析不同敏感性因素與暴雨洪澇之間的內(nèi)在聯(lián)系，為防洪決策提供支持。

2 基于洪水敏感性分析主題的城市暴雨洪澇數(shù)據(jù)倉庫構(gòu)建

2.1數(shù)據(jù)倉庫規(guī)劃與需求分析

建立數(shù)據(jù)倉庫一般以一個(gè)主題或若干個(gè)主題來完成[9].所包含的數(shù)據(jù)是根據(jù)不同的需求場(chǎng)景進(jìn)行綜合的，也就是不同的主題。主題是在較高層次上將信息系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個(gè)抽象概念，在邏輯上主題可以表達(dá)為某一宏觀分析領(lǐng)域所涉及的分析對(duì)象[10]。由于城市暴雨洪澇涉及面過廣，因此在建立數(shù)據(jù)倉庫的時(shí)候應(yīng)設(shè)定相應(yīng)的主題來應(yīng)對(duì)不同的城市防洪決策需求。本文設(shè)定的主題為洪水敏感性因素分析，結(jié)合水文、地質(zhì)、氣象、社會(huì)經(jīng)濟(jì)等數(shù)據(jù)資料，根據(jù)洪水災(zāi)害發(fā)生與否或?yàn)?zāi)害程度根據(jù)找出不同敏感性因素與洪水之間的聯(lián)系。

洪水敏感性因素分析數(shù)據(jù)倉庫是在多個(gè)數(shù)據(jù)源基礎(chǔ)上建立起來的信息集成平臺(tái)[11]，在對(duì)不同數(shù)據(jù)源進(jìn)行分析之后，將多源異構(gòu)數(shù)據(jù)通過ETL（抽取、轉(zhuǎn)換、加載）工具轉(zhuǎn)換成統(tǒng)一的格式，并輸人數(shù)據(jù)倉庫中，然后通過OLAP（聯(lián)機(jī)分析處理）或數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析，找到開發(fā)者想要的數(shù)據(jù)之間的聯(lián)系，即能夠?yàn)榉篮闆Q策提供支持的知識(shí)。圖1為洪水敏感性因素分析數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)。

（1）數(shù)據(jù)源：洪水敏感性因素分析數(shù)據(jù)倉庫包括各個(gè)可能對(duì)城市洪水過程造成影響的數(shù)據(jù)，涵蓋承災(zāi)體、致災(zāi)因子、孕災(zāi)環(huán)境和災(zāi)害本體，一般來自于多個(gè)數(shù)據(jù)源，包括已建成的暴雨洪澇數(shù)據(jù)庫、地理信息數(shù)據(jù)庫等業(yè)務(wù)數(shù)據(jù)庫，統(tǒng)計(jì)的歷史場(chǎng)次洪水降雨量、積水水位、流量等觀測(cè)數(shù)據(jù)，還有各類防洪規(guī)劃、行政區(qū)劃、流域水系等外部數(shù)據(jù)。

（2）數(shù)據(jù)轉(zhuǎn)化：在了解所需數(shù)據(jù)類型、范圍、位置的基礎(chǔ)上，通過ETL工具將不同數(shù)據(jù)源中分散或標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)抽取出來，經(jīng)過聚合、函數(shù)、組合等轉(zhuǎn)換，最終加載到目標(biāo)數(shù)據(jù)倉庫中。

（3）數(shù)據(jù)倉庫：數(shù)據(jù)倉庫可以看作一個(gè)整合了不同業(yè)務(wù)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)中心，除業(yè)務(wù)數(shù)據(jù)外，還有一類管理存儲(chǔ)數(shù)據(jù)的元數(shù)據(jù)，主要指數(shù)據(jù)結(jié)構(gòu)以及描述結(jié)構(gòu)的信息，而且定義了數(shù)據(jù)之間的邏輯聯(lián)系以及數(shù)據(jù)轉(zhuǎn)換的操作規(guī)則，將數(shù)據(jù)倉庫系統(tǒng)有機(jī)結(jié)合起來。

（4）前端應(yīng)用：數(shù)據(jù)倉庫的應(yīng)用主要包括數(shù)據(jù)查詢和報(bào)表、應(yīng)用開發(fā)、聯(lián)機(jī)分析處理（ OLAP）、數(shù)據(jù)挖掘，在本研究中針對(duì)基于洪水敏感性因素分析主題數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)挖掘應(yīng)用。

2.2 數(shù)據(jù)倉庫建立

本研究選取鄭州市區(qū)為研究區(qū)，并將其劃分為3 324個(gè)子區(qū)域[12]。為了找出在降雨時(shí)有哪些屬性對(duì)洪水過程有較大影響，搜集整理各子區(qū)域的面積、土地利用類型、地形條件、行政區(qū)劃等數(shù)據(jù)，還有2011-2014年共12場(chǎng)歷史洪水的降雨蒸發(fā)數(shù)據(jù)以及各子區(qū)域內(nèi)的平均水深、最大水深、總徑流量、高峰流量以及積水時(shí)長(zhǎng)數(shù)據(jù)。

針對(duì)洪水敏感性因素分析主題所包含的數(shù)據(jù)類別進(jìn)行分析，將城市暴雨洪澇數(shù)據(jù)立方體分為日期、水文氣象、地形、行政區(qū)劃、土地利用5個(gè)維度和平均深度、最大深度、總徑流量、高峰流量、積水時(shí)長(zhǎng)5個(gè)度量，具體維度所包含的屬性見表1。

加上已確定的暴雨洪澇度量值，可以設(shè)計(jì)出城市暴雨洪澇洪水敏感性因素分析主題的數(shù)據(jù)倉庫邏輯模型，見圖2。

3 基于關(guān)聯(lián)規(guī)則的城市暴雨洪澇敏感性因素分析

3.1 數(shù)據(jù)預(yù)處理

基于數(shù)據(jù)倉庫開展城市暴雨洪澇敏感性因素分析，也就是數(shù)據(jù)挖掘技術(shù)，其數(shù)據(jù)直接來源于洪水敏感性因素分析主題數(shù)據(jù)倉庫中的數(shù)據(jù)。為了分析子區(qū)域內(nèi)不同屬性與洪水之間的關(guān)聯(lián)規(guī)則，本次數(shù)據(jù)挖掘選取面積、不透水率、坡度、各土地利用類型面積占比作為敏感性因素，平均水深、最大水深、總徑流量、高峰流量以及積水時(shí)長(zhǎng)作為洪水事實(shí)度量，挖掘不同敏感性因素與度量之間的關(guān)聯(lián)規(guī)則，其中子區(qū)域的平均水深、最大水深、積水時(shí)長(zhǎng)以積水點(diǎn)監(jiān)測(cè)數(shù)據(jù)為準(zhǔn)。將以上敏感性因素與度量分別按表2和表3所列分類標(biāo)準(zhǔn)離散化。分類標(biāo)準(zhǔn)由歷史經(jīng)驗(yàn)確定，雖然經(jīng)過離散化的數(shù)據(jù)會(huì)丟失許多細(xì)節(jié)，但變得更有意義，由此才能產(chǎn)生出能被大眾所接受的規(guī)則[13]。

3.2 關(guān)聯(lián)規(guī)則分析及Apriori算法

關(guān)聯(lián)規(guī)則分析是數(shù)據(jù)挖掘中一個(gè)重要的分支[14]，本次應(yīng)用是為了發(fā)現(xiàn)城市暴雨洪澇數(shù)據(jù)倉庫中不同項(xiàng)（維度屬性與事實(shí)度量）之間的聯(lián)系，這些聯(lián)系構(gòu)成的規(guī)則可以幫助決策者進(jìn)行防洪決策。關(guān)聯(lián)規(guī)則表達(dá)的是項(xiàng)之間的關(guān)系，如規(guī)則X→Y表達(dá)了X決定Y，其中X看作規(guī)則的前件，Y看作規(guī)則的后件。在本次關(guān)聯(lián)規(guī)則分析中，前件指需要進(jìn)行分析的維度屬性（洪水敏感性因素），后件指洪水事實(shí)度量，支持度（SLLpport）和置信度（confidence）用來描述規(guī)則的強(qiáng)度。

對(duì)于規(guī)則X→y.若支持度太小，表示X與Y在事務(wù)數(shù)據(jù)庫很少同時(shí)出現(xiàn)，關(guān)注這條規(guī)則沒有實(shí)際意義;若置信度太小，表示Y受X的影響程度很低，關(guān)注這條規(guī)則同樣沒有意義。因此，需要給定一個(gè)最小支持度閾值min_sup和最小置信度閾值min_conf，在城市暴雨洪澇系統(tǒng)中，只有規(guī)則X→Y的支持度≥min_sup且置信度≥min_conf時(shí)，才稱規(guī)則X→Y，為強(qiáng)關(guān)聯(lián)規(guī)則，也就是對(duì)防洪決策有用的規(guī)則。

其中強(qiáng)關(guān)聯(lián)規(guī)則的挖掘重點(diǎn)在于如何找到頻繁項(xiàng)集，對(duì)于全局項(xiàng)集I的非空子集I，若support（I1）≥min_sup，則稱，，為頻繁項(xiàng)集;若I1中包含有，的k個(gè)項(xiàng)，則稱，I1為頻繁k-項(xiàng)集。

傳統(tǒng)的關(guān)聯(lián)規(guī)則算法基本步驟為：找出所有支持度大于最小支持度閾值的項(xiàng)集，檢驗(yàn)是否滿足最小置信度閾值要求，生成強(qiáng)關(guān)聯(lián)規(guī)則。傳統(tǒng)方法采用的是窮舉法的思路，在求頻繁項(xiàng)集的過程中對(duì)每個(gè)非空集合都要遍歷事務(wù)數(shù)據(jù)庫，以求出它的支持度是否滿足最小支持度閾值，顯然這個(gè)方法是十分低效的。本研究選用Apriori算法進(jìn)行數(shù)據(jù)挖掘，目的是改進(jìn)求頻繁項(xiàng)集的簡(jiǎn)單低效算法，采用逐層搜索策略產(chǎn)生所有的頻繁項(xiàng)集[15].其基本原理是若項(xiàng)集A是一個(gè)頻繁項(xiàng)集，則4的任意非空子集同樣是頻繁項(xiàng)集，方法具體描述如下：

設(shè)C為長(zhǎng)度為k的候選集合，L為長(zhǎng)度為k的頻繁項(xiàng)集的集合，先找到所有的頻繁1-項(xiàng)集的集合L1，由L2，生成候選集合C2，再由C2生成L2，即頻繁2-項(xiàng)集的集合，然后由L2生成候選集合C3。依此類推，直到?jīng)]有新的頻繁k-項(xiàng)集被發(fā)現(xiàn)。這個(gè)方法只需在求每一個(gè)L時(shí)對(duì)事務(wù)數(shù)據(jù)庫作一次完全掃描，效率得到顯著提高。在本次關(guān)聯(lián)規(guī)則挖掘應(yīng)用中，選定最小支持度閾值為0.1，最小置信度閾值為0.5。

3.3 結(jié)果分析

應(yīng)用上述數(shù)據(jù)挖掘算法與預(yù)處理的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘操作后，得到476條強(qiáng)關(guān)聯(lián)規(guī)則，但其中存在許多沒有意義的規(guī)則，比如屬性與屬性之間、度量與度量之間的關(guān)聯(lián)規(guī)則。經(jīng)過篩選和歸納整理之后，得出6條與洪水相關(guān)的強(qiáng)關(guān)聯(lián)規(guī)則，這也是進(jìn)行防洪決策所需要的規(guī)則，見圖3。

對(duì)以上強(qiáng)關(guān)聯(lián)規(guī)則進(jìn)行分析，得到以下結(jié)論。

（1）從前兩條規(guī)則看出，水域面積過小容易造成在降雨時(shí)發(fā)生較長(zhǎng)時(shí)間的積水和較大的淹沒深度，特別是建筑面積過大導(dǎo)致區(qū)域透水性降低，會(huì)使受災(zāi)程度加重。其原因是河湖水域可以對(duì)雨水進(jìn)行儲(chǔ)蓄、調(diào)節(jié)和傳輸，從而使得臨近區(qū)域不容易發(fā)生積水，在以后的城市發(fā)展規(guī)劃中可以增加水域面積以減輕城市暴雨洪澇災(zāi)害的影響。

（2）從第三、第四和第五條規(guī)則可以看出，在城市化過程中林草地面積降低，建筑和道路面積占比增大，進(jìn)而導(dǎo)致城市不透水性增強(qiáng)，使得雨水匯流速度加快，而且城市管網(wǎng)規(guī)劃建設(shè)不足，無法提供足夠的排水管網(wǎng)，導(dǎo)致雨水無法順利排走而發(fā)生大的洪水，在以后的城市發(fā)展規(guī)劃過程中需要增加城市綠地面積占比以及修建足夠的排水管道。

（3）從最后一條規(guī)則可以看出，面積較小和坡度分類為2的子區(qū)域可能在降雨發(fā)生時(shí)產(chǎn)生較大的洪水，原因是這些子區(qū)域匯流過程較為簡(jiǎn)單，雨水會(huì)迅速排到相應(yīng)的積水點(diǎn)，造成積水過深的情況，在進(jìn)行城市防洪決策時(shí)應(yīng)重點(diǎn)防護(hù)這些匯水面積小且具有一定坡度的區(qū)域。

4 結(jié)語

本文針對(duì)洪水敏感性分析主題數(shù)據(jù)倉庫進(jìn)行構(gòu)建，確定了數(shù)據(jù)倉庫所需數(shù)據(jù)源、數(shù)據(jù)倉庫體系結(jié)構(gòu)和多維數(shù)據(jù)模型組織方式，并采用基于關(guān)聯(lián)規(guī)則的Apriori算法對(duì)鄭州市近年12場(chǎng)洪水資料進(jìn)行數(shù)據(jù)挖掘應(yīng)用，得到6條強(qiáng)關(guān)聯(lián)規(guī)則，發(fā)現(xiàn)對(duì)城市暴雨洪澇影響最大的因素有區(qū)域透水性、坡度和排水管道密度等。在未來城市建設(shè)過程中，這些因素是需要重點(diǎn)關(guān)注的，即通過數(shù)據(jù)倉庫的建立和數(shù)據(jù)挖掘應(yīng)用能夠?qū)Τ鞘蟹篮闆Q策工作提供支持。

目前數(shù)據(jù)倉庫技術(shù)在防洪領(lǐng)域的應(yīng)用還處于起步階段，暴雨洪澇數(shù)據(jù)離散化還沒有一個(gè)統(tǒng)一的分類標(biāo)準(zhǔn)，不同的分類標(biāo)準(zhǔn)可能會(huì)導(dǎo)致挖掘結(jié)果大不相同，如何建立準(zhǔn)確的分類標(biāo)準(zhǔn)是基于大數(shù)據(jù)技術(shù)開展城市洪澇研究的重點(diǎn)和難點(diǎn)，還有待進(jìn)一步研究。

參考文獻(xiàn)：

[1]楊太萌，基于大數(shù)據(jù)的城市防汛決策支持系統(tǒng)研究[D].杭州：浙江大學(xué)，2016：1-5.

[2] 李恒義，孟琳琳，基于海綿城市的北京市巨災(zāi)洪水防御體系設(shè)計(jì)[J].人民黃河，2016，38（7）：35-38.

[3] INMON W H.Building the Data Warehouse[M]. USA： JohnWiley&Sons，Inc. 2002：1-3.

[4]

MCCRATH H， STEFANAKIS E，NASTEV M.Developmentof a Data Warehouse for Riverine and Coastal Flood RiskManagement[J].ISPRS - International Archives of the Pho-togrammetry， Remote Sensing and Spatial Information Sci-ences，2014（2）：41-48.

[5] ZHANC P P，SUN P J，CUO X J.Application of OWB onData Syntaxis of Flood - Control System[J].InformationTechnology， 2013， 37（3）：139-142.

[6] 張蓉，大連市防洪減災(zāi)決策支持系統(tǒng)設(shè)計(jì)[D].大連：大連理工大學(xué)，2014：1-35.

[7] 丁斌，姚保順，杜文，黃河防洪調(diào)度綜合決策會(huì)商支持系統(tǒng)建設(shè)[J].水資源保護(hù)，2017，33（6）：55-59.

[8] 梁國(guó)華，周惠成.防洪數(shù)據(jù)倉庫的結(jié)構(gòu)模型研究及應(yīng)用[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)，2003，23（1）：88-91.

[9]吳召俊，某銀行的企業(yè)級(jí)數(shù)據(jù)倉庫設(shè)計(jì)探究[J].電子技術(shù)與軟件工程，2014（5）：195.

[10] 朱傳華，三峽庫區(qū)地質(zhì)災(zāi)害數(shù)據(jù)倉庫與數(shù)據(jù)挖掘應(yīng)用研究[D].武漢：中國(guó)地質(zhì)大學(xué)，2010：11-29.

[11] 陳德清，王問宇，楊海坤，數(shù)據(jù)倉庫技術(shù)在水文數(shù)據(jù)綜合分析中的應(yīng)用研究[J].水利信息化，2010（3）：18-21.

[12] 王慧亮，吳澤寧，胡彩虹，基于CIS與SWMM耦合的城市暴雨洪水淹沒分析[J].人民黃河，2017，39（8）：31-35.

[13] 張駿，數(shù)據(jù)倉庫和數(shù)據(jù)挖掘在馬鞍山供水系統(tǒng)中的應(yīng)用[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2007：21-32.

[14] 李春葆，數(shù)據(jù)倉庫與數(shù)據(jù)挖掘?qū)嵺`[M].北京：電子工業(yè)出版社，2014：85-86.

[15] ACRAWAL R，IMIELINSKIT，SWAMI A.Mining Associ-ation rules Between Sets of Items in Large Databases[ J].ACM， Acm Sigmod Record. 1993， 22（2）： 207-216.