李鳳生，錢名開，齊傳富

（淮河水利委員會(huì)水文局（信息中心），安徽 蚌埠 233001）

0 引言

水閘是調(diào)節(jié)水位、控制流量的低水頭水工建筑物，它們通過調(diào)節(jié)閘門以起到調(diào)蓄水位和控制流量的作用，兼具防洪、排澇、供水、灌溉等綜合效益，在社會(huì)經(jīng)濟(jì)的發(fā)展中發(fā)揮著重要作用，確保其正常穩(wěn)定運(yùn)行對(duì)于保護(hù)下游人民生命財(cái)產(chǎn)安全具有重要意義[1-2]。

水閘的重要性及其自身特性決定了它不僅需要滿足安全性要求，也要滿足適用性和耐久性的要求，對(duì)水閘進(jìn)行安全評(píng)價(jià)是諸多管理工作的基礎(chǔ)。傳統(tǒng)評(píng)價(jià)方法以構(gòu)建評(píng)價(jià)指標(biāo)體系為主，利用安全觀測數(shù)據(jù)定性或定量評(píng)價(jià)。應(yīng)用數(shù)據(jù)來源較為單一，綜合性和智能化的水平不高。

我國水閘多數(shù)建造于 20 世紀(jì) 50—80 年代，長期運(yùn)行，加之建設(shè)時(shí)技術(shù)落后、缺乏經(jīng)驗(yàn)等因素，都或多或少存在防洪標(biāo)準(zhǔn)低、病險(xiǎn)隱患多和不同程度的損壞等問題[3]。雖然經(jīng)過除險(xiǎn)加固，但仍有不少重要水閘存在安全運(yùn)行的風(fēng)險(xiǎn)，因此對(duì)水閘的安全監(jiān)測和評(píng)價(jià)也就成為日常管理中一項(xiàng)重要工作內(nèi)容。

目前，大多數(shù)重要水閘基本安裝了自動(dòng)化的安全監(jiān)測裝置，可采集沉降、水平位移、揚(yáng)壓力等要素，經(jīng)長期運(yùn)行已積累了大量實(shí)時(shí)監(jiān)測數(shù)據(jù)；日常工作中定期開展人工巡視檢查，對(duì)水閘的安全可靠性進(jìn)行人工觀測，通過整編形成電子或紙質(zhì)的觀測資料；全國第一次水利普查、防汛抗旱指揮系統(tǒng)工程、病險(xiǎn)水閘除險(xiǎn)加固等項(xiàng)目實(shí)施，進(jìn)一步豐富完善了水閘工程信息、水文、地質(zhì)等相關(guān)數(shù)據(jù)；同時(shí)基礎(chǔ)地理數(shù)據(jù)和遙感影像等也更加豐富且更易獲取。這些水閘管理相關(guān)基礎(chǔ)數(shù)據(jù)的不斷積累，為開展水閘安全大數(shù)據(jù)評(píng)價(jià)分析創(chuàng)造了條件。

隨著大數(shù)據(jù)技術(shù)的發(fā)展與成熟，利用大數(shù)據(jù)技術(shù)，可以從海量數(shù)據(jù)中發(fā)現(xiàn)知識(shí)、獲取信息，尋找隱藏在大數(shù)據(jù)中的模式、趨勢和相關(guān)性[4]。因此基于水閘安全評(píng)價(jià)的理論、方法和相關(guān)應(yīng)用經(jīng)驗(yàn)，利用大數(shù)據(jù)技術(shù)，協(xié)同應(yīng)用多種來源的基礎(chǔ)數(shù)據(jù)，開展基于大數(shù)據(jù)技術(shù)的水閘安全評(píng)估與預(yù)測具有很好的實(shí)用價(jià)值。

在水閘安全評(píng)價(jià)理論基礎(chǔ)層面，鄭茂海[5]開展了水閘安全評(píng)價(jià)理論與應(yīng)用研究；閆賓等[3]論述了水閘安全評(píng)價(jià)相關(guān)理論的研究進(jìn)展，在歸納評(píng)價(jià)指標(biāo)的選取、賦權(quán)和綜合評(píng)價(jià)等方法的基礎(chǔ)上，提出發(fā)展智能評(píng)價(jià)技術(shù)的建議。在評(píng)價(jià)方法層面，已具有一系列相關(guān)研究成果，宋小波等[6]基于改進(jìn) AHP算法提出水閘安全性模糊綜合評(píng)價(jià)方法，閆濱等[7]提出基于改進(jìn)白化權(quán)函數(shù)灰色聚類法的水閘安全評(píng)價(jià)方法，戚國強(qiáng)等[8]提出基于改進(jìn)層次模糊綜合評(píng)價(jià)的水閘工程安全評(píng)價(jià)方法，孫友良等 [9] 基于改進(jìn)廣義灰色關(guān)聯(lián)分析法對(duì)水閘安全評(píng)價(jià)指標(biāo)的選取和計(jì)算進(jìn)行了研究，趙海超等[10]研究了基于多元聯(lián)系數(shù)的水閘運(yùn)行安全態(tài)勢綜合評(píng)判方法并實(shí)現(xiàn)了水閘運(yùn)行安全狀態(tài)的綜合評(píng)估和發(fā)展?fàn)顩r的趨勢預(yù)測。在具體應(yīng)用層面，李達(dá)等[11]將多指標(biāo)綜合評(píng)價(jià)方法成功應(yīng)用于上海市水閘安全鑒定的工作中。

基于大數(shù)據(jù)技術(shù)進(jìn)行水閘安全評(píng)價(jià)研究很少，目前仍處于初始階段，僅開展了數(shù)據(jù)挖掘方面基礎(chǔ)性的研究。于國卿等 [12] 提出了一種以水閘監(jiān)測數(shù)據(jù)挖掘?yàn)槟康牡臄?shù)據(jù)預(yù)處理方法，并應(yīng)用該方法實(shí)現(xiàn)了監(jiān)測數(shù)據(jù)的預(yù)處理和數(shù)據(jù)挖掘。

因此有必要引入大數(shù)據(jù)等新的技術(shù)與理念，綜合利用氣象、水文、地質(zhì)、安全監(jiān)測、閘區(qū)上下游情況等多種來源數(shù)據(jù)或資料，建立多源數(shù)據(jù)協(xié)同分析體系，構(gòu)造水閘安全評(píng)估和預(yù)測預(yù)警模型，基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)水閘安全性、適用性和耐久性等方面的評(píng)價(jià)，不僅可為水閘低風(fēng)險(xiǎn)運(yùn)行提供支撐，也有助于提升水閘安全管理工作的水平。

1 應(yīng)用架構(gòu)設(shè)計(jì)

1.1 設(shè)計(jì)思路

針對(duì)傳統(tǒng)評(píng)價(jià)數(shù)據(jù)源單一、綜合性和智能化不高的問題，提出綜合利用水閘管理相關(guān)的多源基礎(chǔ)數(shù)據(jù)，建立基于大數(shù)據(jù)協(xié)同應(yīng)用的框架和智能分析應(yīng)用服務(wù)中心，提高綜合性和智能化的安全評(píng)估能力。設(shè)計(jì)思路如下：

1）通過基礎(chǔ)數(shù)據(jù)收集整理、共享交換和匯集融合等方式，匯集水閘工程安全運(yùn)行管理相關(guān)的多源數(shù)據(jù)或原始資料，利用大數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理與集成，建立規(guī)范化的、分布式的水閘安全觀測數(shù)據(jù)庫。

2）運(yùn)用云計(jì)算、自動(dòng)化數(shù)據(jù)融合、大數(shù)據(jù)分析計(jì)算等技術(shù)，基于數(shù)據(jù)挖掘、梳理統(tǒng)計(jì)、智能分析、機(jī)器學(xué)習(xí)等基礎(chǔ)方法庫，綜合自組織建模與動(dòng)態(tài)模型發(fā)現(xiàn)，從空間和時(shí)間等不同維度進(jìn)行數(shù)據(jù)梳理與挖掘，建立水閘安全性、適用性和耐久性等應(yīng)用評(píng)估分析算法庫。

3）在此基礎(chǔ)上，對(duì)業(yè)務(wù)應(yīng)用需求解耦分析，結(jié)合大數(shù)據(jù)展示技術(shù)，建立通用的數(shù)據(jù)查詢與展示服務(wù)接口，構(gòu)建智能化、可視化、自助交互的水閘安全智能分析應(yīng)用服務(wù)中心，為上層的水閘安全管理生產(chǎn)系統(tǒng)提供決策分析和可視化展示服務(wù)。

1.2 總體框架

基于大數(shù)據(jù)的基礎(chǔ)理論，結(jié)合水閘工程安全管理數(shù)據(jù)現(xiàn)狀，融入水閘安全性、適用性和耐久性等評(píng)價(jià)分析方法，對(duì)水閘安全評(píng)估大數(shù)據(jù)應(yīng)用框架進(jìn)行總體設(shè)計(jì)，總體架構(gòu)如圖 1 所示，采用松散耦合的架構(gòu)，遵循大數(shù)據(jù)的處理流程，包含基礎(chǔ)數(shù)據(jù)源層、數(shù)據(jù)集成層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層、應(yīng)用適配層和可視化展示等，具體內(nèi)容如下：

1）基礎(chǔ)數(shù)據(jù)源層。數(shù)據(jù)源包括水閘工程基礎(chǔ)信息、氣象、水文、地質(zhì)、安全監(jiān)測、閘區(qū)上下游情況，以及基礎(chǔ)地理和遙感影像等多種來源數(shù)據(jù)或原始資料，通過自動(dòng)化監(jiān)測、人工采集或收集、共享交換等方式獲取，數(shù)據(jù)形式涉及結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

2）數(shù)據(jù)集成層。采用數(shù)據(jù)集成引擎，基于分布式技術(shù)架構(gòu)，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)層中結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的規(guī)范化治理和聚合等集成處理，并將處理后的成果裝載至數(shù)據(jù)存儲(chǔ)層的大數(shù)據(jù)文件系統(tǒng)中；對(duì)于互聯(lián)網(wǎng)數(shù)據(jù)、人工收集資料等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，集成引擎將其轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，并支持實(shí)時(shí)、增量和全量的加載方式進(jìn)行數(shù)據(jù)采集，解析和入庫。

3）數(shù)據(jù)存儲(chǔ)層。數(shù)據(jù)存儲(chǔ)主要完成多源數(shù)據(jù)的融合存儲(chǔ)，數(shù)據(jù)存儲(chǔ)主要基于分布式文件系統(tǒng)和列式數(shù)據(jù)庫等，輔以內(nèi)存數(shù)據(jù)庫實(shí)現(xiàn)流式計(jì)算的輸出存儲(chǔ)，通過關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)元數(shù)據(jù)、用戶、權(quán)限配置等數(shù)據(jù)的存儲(chǔ)管理。

4）數(shù)據(jù)分析層。數(shù)據(jù)分析層是整個(gè)框架最重要、關(guān)鍵的部分，由大數(shù)據(jù)分析計(jì)算引擎、基礎(chǔ)算法庫和水閘安全評(píng)估的應(yīng)用分析庫組成。大數(shù)據(jù)分析計(jì)算引擎主要包括并行計(jì)算框架、分布式通用和流式計(jì)算引擎；基礎(chǔ)算法庫由數(shù)據(jù)挖掘、智能分析算法、數(shù)理統(tǒng)計(jì)和機(jī)器學(xué)習(xí)等方法集構(gòu)成；安全評(píng)估應(yīng)用分析庫在大數(shù)據(jù)分析引擎和基礎(chǔ)算法庫的基礎(chǔ)上，建立針對(duì)水閘安全運(yùn)行評(píng)估的應(yīng)用分析庫，包含安全性、適用性和耐久性的評(píng)估算法，以及綜合性安全健康與風(fēng)險(xiǎn)評(píng)價(jià)模型等。

5）應(yīng)用適配層。應(yīng)用適配層主要基于大數(shù)據(jù)展示、BI 渲染引擎、服務(wù)組合封裝等技術(shù)，提供大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資源、計(jì)算分析、查詢展示等服務(wù)，通過標(biāo)準(zhǔn)化服務(wù)接口提供基本服務(wù)和方法調(diào)用，實(shí)現(xiàn)應(yīng)用與數(shù)據(jù)的分離。

6）可視化展示。結(jié)合應(yīng)用系統(tǒng)，將繁雜的數(shù)據(jù)和數(shù)據(jù)分析結(jié)果，分別融入到水閘安全管理的生產(chǎn)系統(tǒng)中，其與具體應(yīng)用或模型相結(jié)合，可結(jié)合工作流引擎將應(yīng)用適配層中的服務(wù)進(jìn)行定制和組合，形成自動(dòng)流程化的應(yīng)用，并將分析結(jié)構(gòu)以圖表形式進(jìn)行多樣化的直觀展示。

各層之間邊界清晰，可根據(jù)技術(shù)發(fā)展和需求變化進(jìn)行調(diào)整與擴(kuò)展。其中，大數(shù)據(jù)智能分析應(yīng)用服務(wù)中心是整個(gè)框架的核心，由基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)集成、存儲(chǔ)和分析，應(yīng)用適配等 4 個(gè)層次組成，并配有管理平臺(tái)對(duì)基礎(chǔ)服務(wù)進(jìn)行管理和監(jiān)控。

圖 1 水閘安全評(píng)估大數(shù)據(jù)應(yīng)用總體架構(gòu)圖

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

總體應(yīng)用框架引入了大數(shù)據(jù)的技術(shù)與理念，在具體實(shí)現(xiàn)層面，基于大數(shù)據(jù)集成、存儲(chǔ)、計(jì)算等方面都有成熟的方法、基礎(chǔ)算法庫，甚至開源產(chǎn)品等可以借鑒和調(diào)用，本研究不作進(jìn)一步詳細(xì)論述，只重點(diǎn)討論涉及水閘安全相關(guān)的基礎(chǔ)庫和應(yīng)用分析模型庫的實(shí)現(xiàn)技術(shù)與方法，具體內(nèi)容如下：

1）基礎(chǔ)數(shù)據(jù)庫。根據(jù)生產(chǎn)系統(tǒng)功能和數(shù)據(jù)產(chǎn)品需求逆推數(shù)據(jù)的組織模型，其過程主要包括數(shù)據(jù)的收集、整理和組合加工等數(shù)據(jù)匯集工作。a. 收集整理。主要有水閘基礎(chǔ)、水工結(jié)構(gòu)、地質(zhì)等信息，監(jiān)測數(shù)據(jù)，人工巡視檢查記錄，機(jī)械電氣的指標(biāo)參數(shù)等數(shù)據(jù)，對(duì)于紙質(zhì)的信息還需進(jìn)行數(shù)字化處理并入庫。b. 共享交換?；跀?shù)據(jù)共享交換平臺(tái)，從相關(guān)系統(tǒng)的數(shù)據(jù)庫中交換獲取，包括氣象、水文、水閘運(yùn)行狀態(tài)信息等數(shù)據(jù)，以及水利空間地理信息及遙感影像數(shù)據(jù)。c. 匯集融合。通過數(shù)據(jù)分析成果的對(duì)接與集成，從相關(guān)專業(yè)系統(tǒng)中集成有關(guān)的分析成果數(shù)據(jù)。在多源數(shù)據(jù)匯集的基礎(chǔ)上，借助 Sqoop，F(xiàn)lume 等 ETL 工具，對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、集成、轉(zhuǎn)換、融合等規(guī)范化的數(shù)據(jù)治理，并將數(shù)據(jù)集成的成果，存入分布式的典型 NoSQL 非關(guān)系型數(shù)據(jù)庫中，建立水閘安全評(píng)估與管理的基礎(chǔ)數(shù)據(jù)庫。

2）應(yīng)用分析模型庫。對(duì)水閘安全監(jiān)測指標(biāo)進(jìn)行梳理，結(jié)合多種來源的相關(guān)數(shù)據(jù)，分類別建立安全性、適用性和耐久性等方面適合的指標(biāo)體系與評(píng)價(jià)方法，利用大數(shù)據(jù)分析技術(shù)，構(gòu)建水閘位移變形、應(yīng)力荷載、機(jī)電設(shè)備適用性、壽命預(yù)測等模型，并建立綜合性的風(fēng)險(xiǎn)分析模型，形成評(píng)估、預(yù)測、預(yù)警的綜合性模型庫。具體實(shí)現(xiàn)思路為 a. 基于關(guān)聯(lián)規(guī)則、決策樹、神經(jīng)網(wǎng)絡(luò)等知識(shí)發(fā)現(xiàn)算法，對(duì)水閘安全觀測數(shù)據(jù)、歷史大洪水、水溫等數(shù)據(jù)進(jìn)行協(xié)同應(yīng)用與分析，建立變形位移、滲透、應(yīng)力荷載等評(píng)估分析算法。b. 基于回歸、聚類、多因子等分析統(tǒng)計(jì)關(guān)聯(lián)方法，對(duì)水閘功能結(jié)構(gòu)和機(jī)械電器設(shè)備等信息進(jìn)行分析，建立適用性評(píng)價(jià)算法。c. 基于大數(shù)據(jù)統(tǒng)計(jì)分析模型，利用水閘監(jiān)測資料，研究建立混凝土老化、鋼筋混凝土損傷、閘門老化等使用壽命預(yù)測算法。d. 綜合利用安全性、適用性和耐久性的評(píng)估算法模型，構(gòu)建綜合性的水閘安全健康與風(fēng)險(xiǎn)評(píng)價(jià)算法。

3 結(jié)語

在水閘安全評(píng)價(jià)相關(guān)理論、方法和應(yīng)用經(jīng)驗(yàn)的基礎(chǔ)上，引入大數(shù)據(jù)理論和技術(shù)，探討了利用大數(shù)據(jù)技術(shù)開展水閘安全評(píng)價(jià)與態(tài)勢預(yù)測的必要性和技術(shù)可行性；基于大數(shù)據(jù)和智能分析等技術(shù)，設(shè)計(jì)了水閘安全大數(shù)據(jù)評(píng)估的總體應(yīng)用框架，并從基礎(chǔ)數(shù)據(jù)庫建設(shè)和應(yīng)用分析模型庫方面，對(duì)關(guān)鍵技術(shù)實(shí)現(xiàn)進(jìn)行了較為詳細(xì)的論述。

目前水利大數(shù)據(jù)的應(yīng)用仍處于起步階段，在宏觀層面研究和探討了基于大數(shù)據(jù)技術(shù)的水閘安全評(píng)估與分析，對(duì)于應(yīng)用框架的每個(gè)層面，都涉及較多的大數(shù)據(jù)相關(guān)技術(shù)，仍需要進(jìn)一步開展詳細(xì)的研究與實(shí)現(xiàn)?？梢钥隙ǖ氖?，利用大數(shù)據(jù)技術(shù)，建立基于大數(shù)據(jù)的水閘安全健康評(píng)估與預(yù)測應(yīng)用，具有很好的技術(shù)支撐和現(xiàn)實(shí)意義。