杜紅艷,薛惠鋒,侯俊杰,王海寧
(中國航天系統(tǒng)科學(xué)與工程研究院,100048,北京)
隨著新一代信息技術(shù)的發(fā)展,我國政府社會管理和公共服務(wù)領(lǐng)域走向數(shù)字化、網(wǎng)絡(luò)化、智慧化。建設(shè)智慧城市、實現(xiàn)城市建設(shè)管理升級是當(dāng)今信息社會的發(fā)展要務(wù)。智慧水利對提升我國水資源管理利用、促進水資源可持續(xù)發(fā)展有重要意義。
近年,我國不斷加強水利信息化建設(shè),在保障水安全、嚴(yán)格水資源管理等方面出臺了一系列政策,包括《全國水利信息化“十三五”規(guī)劃》《水利部信息化建設(shè)與管理辦法》《全國水利改革發(fā)展“十三五”規(guī)劃》《關(guān)于全面推行河長制的意見》等,提出提升水安全保障能力,結(jié)合先進的信息技術(shù)強化水利監(jiān)管,加強水利現(xiàn)代化建設(shè),實現(xiàn)智慧水利。
智慧水利的實現(xiàn)需要借助物聯(lián)網(wǎng)技術(shù)、無線網(wǎng)絡(luò)、云計算等技術(shù)的支持,一般采用數(shù)采儀、水質(zhì)水壓表等監(jiān)測傳感設(shè)備,經(jīng)無線網(wǎng)絡(luò)將采樣數(shù)據(jù)上傳云端,為水利防汛抗旱、水務(wù)管理等業(yè)務(wù)提供監(jiān)測、預(yù)警、分析等智慧應(yīng)用。
早在2012年江蘇省無錫市就建立了“水利部物聯(lián)網(wǎng)技術(shù)應(yīng)用示范基地”,之后全國各地也相繼開展智慧水利項目建設(shè),建立水利門戶、“三防”決策、視頻監(jiān)控、水庫監(jiān)管等各方面的信息系統(tǒng)?!爸腔鬯表椖康慕ㄔO(shè)旨在有效提高水質(zhì)監(jiān)測、防汛抗旱以及水資源優(yōu)化配置的水平,提高水利現(xiàn)代化水平,保障經(jīng)濟社會發(fā)展。水利信息化發(fā)展到現(xiàn)階段,我國智慧水利的應(yīng)用發(fā)展仍面臨諸多挑戰(zhàn)。各類系統(tǒng)分別建設(shè),集成應(yīng)用的建設(shè)能力不足;普遍重視水利信息化硬件設(shè)施建設(shè),軟件開發(fā)和應(yīng)用效率低;已開發(fā)的信息系統(tǒng)之間信息難以共享,形成信息孤島,數(shù)據(jù)資源的綜合利用不足,造成較大的浪費。在中央層面,水利部門已初步建立了水資源基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、管理數(shù)據(jù)庫、監(jiān)測數(shù)據(jù)庫、多媒體數(shù)據(jù)庫等各類水利業(yè)務(wù)數(shù)據(jù)庫,建成取用水戶、水功能區(qū)、省界斷面三大監(jiān)控體系和中央、流域、省三級信息平臺,支撐水資源業(yè)務(wù)日常運轉(zhuǎn)。然而,在對水資源數(shù)據(jù)的利用方面面臨著數(shù)據(jù)不完整、真?zhèn)坞y辨、利用率不足等問題,無法滿足水資源數(shù)據(jù)的進一步處理分析和智能化決策的需求。
智慧水利的實現(xiàn)以信息化硬件基礎(chǔ)設(shè)施為基礎(chǔ),以物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等新一代信息技術(shù)為主線,通過智慧感知、建模、分析、集成與處理,最大程度地開發(fā)利用我國水利信息數(shù)據(jù),向居民、企業(yè)、社會提供信息服務(wù),全面提升水利規(guī)劃水平,增強社會公共服務(wù)能力。因此,建設(shè)面向智慧水利的水資源數(shù)據(jù)管理系統(tǒng)是實現(xiàn)智慧水利的基礎(chǔ),是實現(xiàn)水資源數(shù)據(jù)綜合管理到利用提升的有效途徑。
面向智慧水利的數(shù)據(jù)資源管理系統(tǒng)建設(shè)涉及底層硬件設(shè)施、數(shù)據(jù)資源庫以及面向政府、企業(yè)、社會公眾等多用戶的決策支持信息系統(tǒng)。因此,水資源數(shù)據(jù)管理系統(tǒng)是一個綜合系統(tǒng),其建設(shè)包括網(wǎng)絡(luò)硬件搭建、數(shù)據(jù)庫建立以及數(shù)據(jù)備份、業(yè)務(wù)管理需求確定、軟件系統(tǒng)開發(fā)、網(wǎng)絡(luò)安全體系建設(shè)等諸多方面。其中,網(wǎng)絡(luò)硬件搭建是水資源數(shù)據(jù)管理系統(tǒng)的基石,數(shù)據(jù)庫的建立是軟件系統(tǒng)進一步開發(fā)的基礎(chǔ),業(yè)務(wù)管理需求是系統(tǒng)建立的目標(biāo)也是管理系統(tǒng)開發(fā)的基礎(chǔ)。在智慧水利數(shù)據(jù)管理信息系統(tǒng)建設(shè)中,各要素相互關(guān)聯(lián)、互為條件,系統(tǒng)要素復(fù)雜,難以將目標(biāo)準(zhǔn)確量化,需要加強頂層設(shè)計,重視數(shù)據(jù)的融合、流通、共享開放和深化應(yīng)用。因此,智慧水利建設(shè)成敗的關(guān)鍵是建設(shè)開放共享、互聯(lián)互通、智能融合的智慧水利數(shù)據(jù)管理系統(tǒng)。
智慧水利數(shù)據(jù)管理系統(tǒng)在整體架構(gòu)上包含感知層、網(wǎng)絡(luò)層、數(shù)據(jù)層、應(yīng)用層,圖1給出了面向智慧水利的水資源數(shù)據(jù)管理系統(tǒng)架構(gòu)圖。其中感知層為信息獲取層,通過傳感器、監(jiān)控攝像頭、電腦等多媒體終端,遙感衛(wèi)星、GPS系統(tǒng)等進行數(shù)據(jù)實時感知,快速獲取。網(wǎng)絡(luò)層通過高速通信網(wǎng)絡(luò),即無線網(wǎng)絡(luò) (藍牙、3G/4G網(wǎng))或有線網(wǎng)絡(luò),將感知層與互聯(lián)網(wǎng)或水利專網(wǎng)連接,實現(xiàn)廣域互聯(lián)。數(shù)據(jù)層是由網(wǎng)絡(luò)傳輸?shù)玫降脑獢?shù)據(jù)通過提取、轉(zhuǎn)化等標(biāo)準(zhǔn)化處理形成的,數(shù)據(jù)層的數(shù)據(jù)主要為水利資源數(shù)據(jù)庫,包含基礎(chǔ)地理數(shù)據(jù)庫、水文空間數(shù)據(jù)庫、地下水?dāng)?shù)據(jù)庫、水利行業(yè)基礎(chǔ)數(shù)據(jù)庫等,這些數(shù)據(jù)來自水利部門部署的各類監(jiān)測點、業(yè)務(wù)系統(tǒng)及子系統(tǒng)的日常監(jiān)測和運行數(shù)據(jù)。由于以上系統(tǒng)時時刻刻都產(chǎn)生數(shù)據(jù),各類日常監(jiān)測數(shù)據(jù)集成將達到PB級,數(shù)據(jù)量巨大,因此有必要借助云平臺進行數(shù)據(jù)存儲。此外,數(shù)據(jù)層的數(shù)據(jù)由不同類的采集終端、不同系統(tǒng)的數(shù)據(jù)匯聚而來,數(shù)據(jù)格式不一,因此各類數(shù)據(jù)標(biāo)準(zhǔn)化并有效融合是關(guān)鍵問題。應(yīng)用層將實現(xiàn)水利數(shù)據(jù)信息的集成,實現(xiàn)統(tǒng)一管理平臺下各類數(shù)據(jù)的查詢、分析、利用。在架構(gòu)上包含應(yīng)用支撐層及其之上的業(yè)務(wù)應(yīng)用,共同構(gòu)成統(tǒng)一的水資源數(shù)據(jù)管理系統(tǒng)綜合門戶。應(yīng)用支撐層方面,包括基礎(chǔ)的GIS服務(wù)、數(shù)據(jù)庫服務(wù)、門戶管理、系統(tǒng)管理等功能。在業(yè)務(wù)應(yīng)用方面,水資源數(shù)據(jù)管理系統(tǒng)可由多個子系統(tǒng)構(gòu)成,如地下水動態(tài)調(diào)控系統(tǒng)、農(nóng)業(yè)智能節(jié)水系統(tǒng)、水資源監(jiān)測系統(tǒng)、水利建設(shè)與管理系統(tǒng),以及其他水利信息公眾服務(wù)系統(tǒng)。
圖 1 面向智慧水利的水資源數(shù)據(jù)管理系統(tǒng)架構(gòu)
綜上分析,水利數(shù)據(jù)資源管理系統(tǒng)是一個復(fù)雜的綜合系統(tǒng),水資源數(shù)據(jù)管理涉及多個部門,實現(xiàn)水資源數(shù)據(jù)的高效融合,形成面向智慧水利的水資源數(shù)據(jù)集成體系,可以借鑒系統(tǒng)工程理論分階段分步完成,實現(xiàn)水資源數(shù)據(jù)的綜合集成到綜合提升。構(gòu)建水資源數(shù)據(jù)集成體系大致分為四步:①進行水資源數(shù)據(jù)集成的定性分析。結(jié)合領(lǐng)域?qū)<抑R,對現(xiàn)階段水資源數(shù)據(jù)的特性、種類、分布等定性分析,給出水資源數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)融合的挑戰(zhàn)與應(yīng)對措施。②進一步開展數(shù)據(jù)的定量分析。針對定性分析結(jié)果,研究定量表示方式,開展從定性到定量的水資源數(shù)據(jù)分析。③對定量處理后的數(shù)據(jù)進行分析,對存在的問題提出定性解決方案。④再一次進行定量化分析,不斷調(diào)整,重復(fù)執(zhí)行以上過程,直到獲得滿足現(xiàn)階段管理需求的水資源數(shù)據(jù)集,達到水資源數(shù)據(jù)階段性的綜合利用與提升,為水利部門提供基于水資源數(shù)據(jù)的水資源管理和利用。
本文主要結(jié)合現(xiàn)階段智慧水利建設(shè)的特點,對智慧水利數(shù)據(jù)的融合進行定性分析,給出水資源數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)融合的挑戰(zhàn),并提出數(shù)據(jù)融合的具體對策。
建設(shè)高效、統(tǒng)一、開放的水資源數(shù)據(jù)管理系統(tǒng),實現(xiàn)水資源多源數(shù)據(jù)融合面臨諸多挑戰(zhàn)。
由于各地發(fā)展水平參差不齊,部分地區(qū)水利信息化基礎(chǔ)設(shè)施建設(shè)滯后,基礎(chǔ)水文等數(shù)據(jù)難以有效監(jiān)測。此外,盡管各地市均建設(shè)了水資源數(shù)據(jù)管理系統(tǒng),但由于系統(tǒng)都是結(jié)合各自需求和資源特點設(shè)計,各數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)不一致,彼此之間難以相互操作,難以在元數(shù)據(jù)層面進行數(shù)據(jù)整合,更無法提供更高層面的數(shù)據(jù)集成融合與服務(wù)。因此,需要統(tǒng)籌融合各類水利數(shù)據(jù)資源,建立統(tǒng)一的國家水利管理信息系統(tǒng)標(biāo)準(zhǔn)規(guī)范體系,建立統(tǒng)一的業(yè)務(wù)規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)、管理規(guī)范和安全規(guī)范。此外,有必要開展面向水利數(shù)據(jù)組織管理的數(shù)據(jù)模型分析,將多源數(shù)據(jù)特征抽象表示,對底層數(shù)據(jù)進行匯聚、組織關(guān)聯(lián)和擴展。
在水資源監(jiān)測數(shù)據(jù)獲取的多個環(huán)節(jié)中,諸多數(shù)據(jù)需要通過加工、分析、處理得到。例如,取用水量數(shù)據(jù)涉及供水、用水、耗水、排水等方面,由于監(jiān)控點布置不完備,無法獲得全面的取用水?dāng)?shù)據(jù)。研究表明,現(xiàn)有的水資源數(shù)據(jù)監(jiān)控僅能獲得部分實際取用水?dāng)?shù)據(jù),其余數(shù)據(jù)均需要根據(jù)行業(yè)用水定額分析推算得到。因此,水資源信息平臺的數(shù)據(jù)若不經(jīng)處理,難以支撐水資源管理制度的考核。
隨著經(jīng)濟發(fā)展,用水量顯著增加,我國取水用戶種類多、數(shù)量大,數(shù)據(jù)監(jiān)測難度較大。而水利信息管理分散在不同部門,如水利部門、統(tǒng)計部門、城鄉(xiāng)建設(shè)部門、環(huán)保部門等均各自獨立開展水資源數(shù)據(jù)統(tǒng)計,用水量、排水量等水利數(shù)據(jù)統(tǒng)計口徑、方法、范圍均不同,數(shù)據(jù)差異也較大,水資源數(shù)據(jù)管理系統(tǒng)中,缺乏核查各類水利數(shù)據(jù)真?zhèn)蔚挠行Х椒?,水資源數(shù)據(jù)的真實性難辨。
多元、異構(gòu)的水資源數(shù)據(jù)難免存在數(shù)據(jù)冗余、數(shù)據(jù)之間關(guān)聯(lián)被割裂、利用效率受限等情況,且各類數(shù)據(jù)之間的關(guān)聯(lián)也并非直觀可見。因此,有待深入挖掘數(shù)據(jù)價值,為基于水利數(shù)據(jù)的管理決策提供數(shù)據(jù)支撐。亟須采用數(shù)據(jù)處理、大數(shù)據(jù)挖掘等方面的技術(shù),對水利數(shù)據(jù)關(guān)聯(lián)分析,挖掘找出數(shù)據(jù)規(guī)律、數(shù)據(jù)之間的關(guān)聯(lián),進行水利數(shù)據(jù)的有效集成,提升水資源數(shù)據(jù)管理信息系統(tǒng)中數(shù)據(jù)的決策支撐作用,提高水資源數(shù)據(jù)的管理功能,為智慧水利建設(shè)提供決策支持。
針對水利數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,數(shù)據(jù)完備性、真?zhèn)涡?、功效性等水資源數(shù)據(jù)融合的挑戰(zhàn),應(yīng)結(jié)合專家知識和其他領(lǐng)域信息化中數(shù)據(jù)庫建設(shè)的經(jīng)驗給出水資源數(shù)據(jù)融合的對策。
應(yīng)加強國家層面的水利信息化頂層設(shè)計。形成跨部門、跨層級的水利信息化小組,打破條塊分割,統(tǒng)籌水資源管理,加強部門功能性分工,協(xié)同推進國家級的水利數(shù)據(jù)管理平臺建設(shè)和水利數(shù)據(jù)資源共享。在水資源數(shù)據(jù)管理系統(tǒng)建設(shè)中首先要對建設(shè)的難點進行分解,逐個突破。在突破基礎(chǔ)數(shù)據(jù)處理之后,再對數(shù)據(jù)進行綜合分析,實現(xiàn)綜合集成到綜合提升。
針對數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、缺乏頂層設(shè)計,要完善國家水利行業(yè)標(biāo)準(zhǔn)體系,建立數(shù)據(jù)標(biāo)準(zhǔn)、管理規(guī)范和安全規(guī)范。此外,對水利數(shù)據(jù)進行抽象化處理,建立數(shù)據(jù)模型,從分散的水利數(shù)據(jù)中抽取出數(shù)據(jù)實體及其關(guān)聯(lián)的屬性,歸納各實體之間的關(guān)聯(lián)關(guān)系。具體方法上可以借助語義網(wǎng)技術(shù),建立水利數(shù)據(jù)本體,為數(shù)據(jù)的有效匯聚、組織關(guān)聯(lián)、擴展提供支撐。
針對水資源數(shù)據(jù)完整性不足問題,可以從提高水資源數(shù)據(jù)傳輸效率和挖掘水資源數(shù)據(jù)間相關(guān)性兩方面提高水資源數(shù)據(jù)的價值??梢蕴剿鞲咝У臄?shù)據(jù)采樣和數(shù)據(jù)恢復(fù)技術(shù),應(yīng)用于水資源數(shù)據(jù)融合的數(shù)據(jù)感知層傳輸和數(shù)據(jù)存儲環(huán)節(jié)。例如,一比特數(shù)據(jù)采樣具有低復(fù)雜度、低成本的特點,可以實現(xiàn)海量數(shù)據(jù)的實時傳輸。因此,可以探索在系統(tǒng)數(shù)據(jù)采集環(huán)節(jié)采用一比特采樣理論進行取水口、入河排污口等視頻監(jiān)測數(shù)據(jù)的采樣,從而提高數(shù)據(jù)傳輸效率。次奈奎斯特采樣結(jié)合稀疏信息重構(gòu)技術(shù)可以通過采樣較少數(shù)據(jù)實現(xiàn)大數(shù)據(jù)的壓縮傳輸,并重構(gòu)原始信號數(shù)據(jù),將其應(yīng)用于水文監(jiān)測站的數(shù)據(jù)采樣,可有效提高水文監(jiān)測站監(jiān)測頻率,解決數(shù)據(jù)稀疏的問題。低秩矩陣恢復(fù)技術(shù)能夠有效去除數(shù)據(jù)傳輸?shù)脑肼?,將相關(guān)技術(shù)應(yīng)用到水資源數(shù)據(jù)處理與恢復(fù),可以去除水資源數(shù)據(jù)監(jiān)測環(huán)節(jié)受自然影響或人為干預(yù)產(chǎn)生的數(shù)據(jù)噪聲影響。此外,水資源數(shù)據(jù)具有多層次、跨行業(yè)、多源獲取的特點,數(shù)據(jù)屬性多元,如需水量、用水量、排水量、需水類型等,多個屬性之間都有較強的相關(guān)性,但往往水資源數(shù)據(jù)監(jiān)測中存在部分?jǐn)?shù)據(jù)缺失。張量分解技術(shù)可以挖掘數(shù)據(jù)內(nèi)在的張量結(jié)構(gòu),通過特征分解、關(guān)聯(lián)性分析、數(shù)據(jù)填充等方法恢復(fù)完整的數(shù)據(jù)集。采用張量分解技術(shù)分析、擴展水資源數(shù)據(jù),從而提高水資源數(shù)據(jù)完備性。
在水資源數(shù)據(jù)真?zhèn)涡耘袛喾矫?,可以引入?shù)據(jù)挖掘與融合分析技術(shù)。例如,水資源數(shù)據(jù)監(jiān)測中不同時段、地點測到的同一指標(biāo),可以采用協(xié)方差交叉算法進行數(shù)據(jù)融合與判斷;對異常數(shù)據(jù)可采用支持向量機、D-S證據(jù)論等方法進行水資源數(shù)據(jù)融合與判斷;對數(shù)據(jù)監(jiān)測中不同部門的多層次監(jiān)測數(shù)據(jù),可以采用矩陣分解技術(shù)進行異構(gòu)數(shù)據(jù)融合。此外,需要結(jié)合水資源專家的經(jīng)驗知識進行判斷。通過將信息技術(shù)、數(shù)據(jù)挖掘與專家知識結(jié)合分析決策,挖掘水資源數(shù)據(jù)的內(nèi)在規(guī)律,甄別數(shù)據(jù)的真實性,提高數(shù)據(jù)準(zhǔn)確性。
針對水資源數(shù)據(jù)功效提升,應(yīng)結(jié)合大數(shù)據(jù)時代下最嚴(yán)格水資源管理“三條紅線”的要求進行數(shù)據(jù)挖掘利用,最終形成面向決策支撐的水資源知識數(shù)據(jù)集。由水資源元數(shù)據(jù)到支持智能決策分析知識信息的轉(zhuǎn)化,需對水資源管理中關(guān)鍵數(shù)據(jù)指標(biāo)進行綜合分析,具體實現(xiàn)中需要借助機器學(xué)習(xí)、大數(shù)據(jù)挖掘的方法實現(xiàn),根據(jù)我國水資源管理的迫切性和現(xiàn)實需求,可以選擇用水總量進行分析,通過綜合評估、趨勢分析、風(fēng)險分析等獲取用水總量及趨勢。例如,采用基于混沌神經(jīng)元網(wǎng)絡(luò)對省市用水總量進行評估。對用水總量趨勢的預(yù)測也是必要的,用水總量趨勢變化的準(zhǔn)確估計可為水資源監(jiān)測預(yù)警提供重要依據(jù)。根據(jù)用水變化歷史數(shù)據(jù),用水量不斷增長,且呈現(xiàn)一定的周期性,因此可采用Markov轉(zhuǎn)移模型進行趨勢預(yù)測。通過用水總量的歷史狀態(tài)和當(dāng)前狀態(tài)推測未來發(fā)展?fàn)顟B(tài),并采用收斂算法對預(yù)測結(jié)果進行優(yōu)化。
要實現(xiàn)水資源數(shù)據(jù)的深度融合,應(yīng)在以上對水資源數(shù)據(jù)融合定性分析的基礎(chǔ)上,研究定量分析方法。之后對分析結(jié)果再次進行判定,發(fā)現(xiàn)問題,提出新的解決方案,進行新的定量分析,循環(huán)往復(fù)從而得到滿意的水資源數(shù)據(jù)。對海量水資源數(shù)據(jù)的定量分析,應(yīng)開展智慧水資源數(shù)據(jù)融合與決策支持原型系統(tǒng)開發(fā)。系統(tǒng)中包含用于驗證數(shù)據(jù)處理完備性的數(shù)據(jù)處理和關(guān)聯(lián)分析模塊、用于驗證數(shù)據(jù)真?zhèn)涡缘臄?shù)據(jù)挖掘和數(shù)據(jù)融合模塊以及用于驗證數(shù)據(jù)功效性的決策支持模塊。水資源數(shù)據(jù)融合與決策支持原型系統(tǒng)應(yīng)采用先進的技術(shù),支持?jǐn)?shù)據(jù)并行化處理,并包含海量數(shù)據(jù)智能化處理的人工智能技術(shù)開發(fā)包。
水資源數(shù)據(jù)融合是實現(xiàn)智慧水利水資源信息管理系統(tǒng)應(yīng)用集成的關(guān)鍵,也是實現(xiàn)水利部門用數(shù)據(jù)說話、嚴(yán)格水資源管理考核、輔助決策支撐的關(guān)鍵。實現(xiàn)水資源數(shù)據(jù)的深度融合,應(yīng)結(jié)合水資源管理考核的要求進行定量分析,借助大數(shù)據(jù)挖掘技術(shù)對關(guān)鍵數(shù)據(jù)指標(biāo)進行分析、挖掘、預(yù)測,并開發(fā)驗證平臺進行大量分析驗證,最終得出有效解決方案,為我國智慧水利建設(shè)以及智慧城市建設(shè)水安全保障提出解決方案。