王東
(遼寧省河庫(kù)管理服務(wù)中心(遼寧省水文局),遼寧沈陽(yáng)110003)
智慧水利是智慧社會(huì)的重要組成部分,是推進(jìn)新時(shí)代水利現(xiàn)代化的重要舉措,也是水利信息化的發(fā)展方向[1]。遼寧水利信息化經(jīng)過(guò)長(zhǎng)時(shí)間的建設(shè),已經(jīng)取得一定成績(jī),對(duì)水利信息化建設(shè)也提出了更高的標(biāo)準(zhǔn)和要求[2]。省內(nèi)的水利工程更是具有點(diǎn)多、面廣、量大等特點(diǎn),作為重要戰(zhàn)略性信息數(shù)據(jù)資源的水利數(shù)據(jù)目前尚不完整、不全面,加上分散管理、條塊分割的傳統(tǒng)水信息管理與應(yīng)用模式,制約了水治理體系和治理能力現(xiàn)在化推進(jìn)[3]。因此,數(shù)據(jù)資源池的建設(shè)增強(qiáng)了信息獲取和利用能力,提高水利業(yè)務(wù)精準(zhǔn)化管理水平。通過(guò)水利行業(yè)內(nèi)外部數(shù)據(jù)的匯集、整合和治理,可以推動(dòng)數(shù)據(jù)貫通和業(yè)務(wù)協(xié)同創(chuàng)新,為水資源調(diào)配、供水保障、防汛排澇、水土流失、水污染等的預(yù)測(cè)研判和管理調(diào)控提供數(shù)據(jù)支撐,支撐水利業(yè)務(wù)的精準(zhǔn)調(diào)度及科學(xué)決策[4],提升水利行業(yè)規(guī)范化、精細(xì)化管理水平。
遼寧已有數(shù)據(jù)資源主要分為水利基礎(chǔ)數(shù)據(jù)、水利業(yè)務(wù)數(shù)據(jù)、水利政務(wù)數(shù)據(jù)、地理信息數(shù)據(jù)、文件圖像視頻等五類(lèi)數(shù)據(jù),分別存儲(chǔ)在百余個(gè)數(shù)據(jù)庫(kù)文件中,存儲(chǔ)較為分散,數(shù)據(jù)價(jià)值沒(méi)有得到應(yīng)有的發(fā)揮?,F(xiàn)有數(shù)據(jù)資源中,能夠?qū)崟r(shí)更新的數(shù)據(jù)占55%左右,其余均為定期或不定期更新。數(shù)據(jù)產(chǎn)生方式主要包括人工錄入、系統(tǒng)自動(dòng)生成、遙測(cè)采集、人工自動(dòng)混合模式或其他單位接入等5種方式,能夠保證業(yè)務(wù)開(kāi)展所需的數(shù)據(jù)及時(shí)更新。數(shù)據(jù)庫(kù)軟件主要采用SQL-server和Oracle兩類(lèi),受技術(shù)、安裝環(huán)境、應(yīng)用范圍等限制,數(shù)據(jù)庫(kù)、中間件存在重復(fù)使用的情況。
1)數(shù)據(jù)規(guī)范程度不高
水利數(shù)據(jù)資源來(lái)源廣泛、種類(lèi)繁多、覆蓋面廣、數(shù)據(jù)量大,數(shù)據(jù)資源的規(guī)范性不高,數(shù)據(jù)體系不完善,數(shù)據(jù)格式、存儲(chǔ)方式和解析規(guī)則缺少統(tǒng)一規(guī)范,導(dǎo)致數(shù)據(jù)標(biāo)準(zhǔn)化、精準(zhǔn)度程度低,數(shù)據(jù)質(zhì)量缺乏保障。監(jiān)測(cè)數(shù)據(jù)體系不健全,缺乏定量化、精細(xì)化分析方法,造成監(jiān)測(cè)數(shù)據(jù)代表性不足、粒度較粗,時(shí)效性差等問(wèn)題。洪水業(yè)務(wù)中,社會(huì)經(jīng)濟(jì)數(shù)據(jù)空間力度較粗;旱情業(yè)務(wù)中,地面墑情監(jiān)測(cè)代表性不足,衛(wèi)星遙感監(jiān)測(cè)準(zhǔn)確性特別是量化精度不高;水資源開(kāi)發(fā)利用業(yè)務(wù)中,監(jiān)測(cè)計(jì)量率不夠,節(jié)水監(jiān)測(cè)數(shù)據(jù)質(zhì)量不高。
2)基礎(chǔ)設(shè)施分散,資源支撐不足
應(yīng)用系統(tǒng)建設(shè)過(guò)程中建設(shè)了一些基礎(chǔ)應(yīng)用支撐服務(wù),為數(shù)據(jù)匯集提供了部分支撐。由于建設(shè)相對(duì)分散,沒(méi)有充分發(fā)揮整體效率,計(jì)算資源和存儲(chǔ)設(shè)備只服務(wù)于各自的系統(tǒng),無(wú)法對(duì)資源進(jìn)行整體管理,造成資源浪費(fèi);數(shù)據(jù)的收集和使用始終取決于不同的業(yè)務(wù)系統(tǒng)。數(shù)據(jù)不僅分布在不同的業(yè)務(wù)部門(mén)之間,而且在形式上存在異構(gòu)、交叉冗余和業(yè)務(wù)之間的語(yǔ)義沖突。由于缺乏數(shù)據(jù)共享機(jī)制,未進(jìn)行數(shù)據(jù)共享或共享程度差,阻礙了水利數(shù)據(jù)的進(jìn)一步整合和分析,不利于各個(gè)業(yè)務(wù)的發(fā)展[3]。
通過(guò)數(shù)據(jù)整合,將多源異構(gòu)數(shù)據(jù)入庫(kù)管理,建立數(shù)據(jù)的聯(lián)動(dòng)更新機(jī)制,保證同數(shù)同源,權(quán)威認(rèn)證,能夠動(dòng)態(tài)、靈活、按需地支撐自然資源業(yè)務(wù)運(yùn)行,實(shí)現(xiàn)數(shù)據(jù)在政府部門(mén)間的共享應(yīng)用。對(duì)水利業(yè)務(wù)管理對(duì)象進(jìn)行抽象和空間化表達(dá),完成數(shù)據(jù)庫(kù)的概念設(shè)計(jì)、邏輯設(shè)計(jì)及可擴(kuò)展的物理存儲(chǔ)設(shè)計(jì),支撐數(shù)據(jù)的“隨需所取”。
1)數(shù)據(jù)庫(kù)方面
數(shù)據(jù)庫(kù)采用“分布存儲(chǔ)、集中管理”的方式進(jìn)行設(shè)計(jì),根據(jù)數(shù)據(jù)現(xiàn)狀,數(shù)據(jù)整合建庫(kù)方法可分為兩類(lèi):對(duì)還未建庫(kù)的數(shù)據(jù)采用標(biāo)準(zhǔn)化建庫(kù)方法“新建”,納入到數(shù)據(jù)資源池中進(jìn)行綜合管理;對(duì)已建庫(kù)管理的數(shù)據(jù),根據(jù)實(shí)際情況,采用數(shù)據(jù)庫(kù)遷移“統(tǒng)管”或者動(dòng)態(tài)視圖“引流”的方式,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。其中,“統(tǒng)管”是指把分散管理的已建庫(kù)數(shù)據(jù),集中收集整合,并在統(tǒng)一的管理平臺(tái)下進(jìn)行管理?!耙鳌笔侵笇?duì)已建庫(kù)建立一個(gè)復(fù)制的對(duì)象與原始庫(kù)并行(同時(shí))運(yùn)行,通過(guò)數(shù)據(jù)管理子系統(tǒng)的調(diào)度,逐步取代。對(duì)于完成預(yù)處理、整合和質(zhì)檢合格的數(shù)據(jù),依據(jù)建庫(kù)標(biāo)準(zhǔn)規(guī)范和設(shè)計(jì)好的數(shù)據(jù)模型,將成果數(shù)據(jù)分別導(dǎo)入、加載到分布式的相應(yīng)數(shù)據(jù)庫(kù)中,并建立數(shù)據(jù)字典、數(shù)據(jù)庫(kù)索引和元數(shù)據(jù),最后注冊(cè)到統(tǒng)一數(shù)據(jù)資源目錄[5]。
2)數(shù)據(jù)治理方面
通過(guò)統(tǒng)一的數(shù)據(jù)模型,明確數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,可動(dòng)態(tài)記錄數(shù)據(jù)的變化,優(yōu)先開(kāi)展數(shù)據(jù)庫(kù)的頂層梳理和設(shè)計(jì)。依據(jù)相關(guān)法律法規(guī)、業(yè)務(wù)規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)及業(yè)務(wù)調(diào)研成果,梳理水利管理相關(guān)流程,將業(yè)務(wù)流程劃分為基本業(yè)務(wù)單元,依據(jù)業(yè)務(wù)單元數(shù)據(jù)特征抽取水利管理實(shí)體對(duì)象,分析業(yè)務(wù)單元之間的潛在沖突分析結(jié)果,進(jìn)行沖突業(yè)務(wù)單元的模塊化合并,抽取對(duì)象之間的關(guān)系,構(gòu)建符合水利管理特征的數(shù)據(jù)關(guān)系模型。
3)邏輯結(jié)構(gòu)方面
在概念設(shè)計(jì)的基礎(chǔ)上,結(jié)合實(shí)際業(yè)務(wù)情況,設(shè)計(jì)一體化數(shù)據(jù)庫(kù)的邏輯結(jié)構(gòu),將對(duì)象、對(duì)象關(guān)系進(jìn)行實(shí)例轉(zhuǎn)化,構(gòu)建實(shí)體關(guān)系圖,為數(shù)據(jù)庫(kù)的物理存儲(chǔ)設(shè)計(jì)打下基礎(chǔ)。在數(shù)據(jù)庫(kù)的邏輯設(shè)計(jì)和概念設(shè)計(jì)的基礎(chǔ)上,數(shù)據(jù)庫(kù)的物理設(shè)計(jì)主要是規(guī)范數(shù)據(jù)庫(kù)的存儲(chǔ)形式和存儲(chǔ)內(nèi)容。
將水利原始數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行匯集,進(jìn)入?yún)R集庫(kù)[6]。匯集庫(kù)是數(shù)據(jù)資源池建設(shè)的源泉和基礎(chǔ),以離線文件、接口、直連數(shù)據(jù)庫(kù)等形式管理從水利各業(yè)務(wù)、其他部門(mén)和企業(yè)、互聯(lián)網(wǎng)等匯交和采集的原始數(shù)據(jù),完成全量備份,保障了數(shù)據(jù)資源的完整性和可用性。數(shù)據(jù)資源池總體架構(gòu)示意圖如圖1所示。
圖1 數(shù)據(jù)資源池總體架構(gòu)示意圖
對(duì)各來(lái)源的業(yè)務(wù)數(shù)據(jù)基于“一數(shù)一源”的原則,按照數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行清洗、比對(duì)與整合,形成資源庫(kù)數(shù)據(jù)內(nèi)容,在數(shù)據(jù)入庫(kù)后進(jìn)行時(shí)空化管理,具體包括基礎(chǔ)庫(kù)、主題庫(kù)、產(chǎn)品庫(kù)[7]。
1)建設(shè)數(shù)據(jù)庫(kù),按照數(shù)據(jù)資源目錄,分類(lèi)建設(shè)池化匯聚的各類(lèi)數(shù)據(jù),實(shí)現(xiàn)高性能存儲(chǔ)。從而實(shí)現(xiàn)數(shù)據(jù)空間、屬性、關(guān)系和元數(shù)據(jù)的一體化管理,統(tǒng)一對(duì)象編碼,統(tǒng)一數(shù)據(jù)字典,為各類(lèi)業(yè)務(wù)應(yīng)用提供規(guī)范、權(quán)威和高效的數(shù)據(jù)支撐。水利對(duì)象基礎(chǔ)信息的治理,其中最重要的一方面就是水利對(duì)象的整合,不同來(lái)源的水利對(duì)象不同,但存在交叉的對(duì)象,即同一對(duì)象在不同數(shù)據(jù)庫(kù)均有存儲(chǔ),但其編碼體系不一致,造成同一對(duì)象在不同的數(shù)據(jù)庫(kù)有不同的對(duì)象代碼。因此,對(duì)象基礎(chǔ)信息治理的首要前提是通過(guò)對(duì)象名稱(chēng)、對(duì)象所在地、關(guān)鍵指標(biāo)數(shù)據(jù)等信息進(jìn)行對(duì)象代碼映射關(guān)系整理[8],明確進(jìn)入基礎(chǔ)庫(kù)的對(duì)象名錄,并按賦予水利對(duì)象統(tǒng)一的對(duì)象代碼。
2)實(shí)現(xiàn)水利數(shù)據(jù)空間、關(guān)系、屬性元數(shù)據(jù)的集成管理,為各種業(yè)務(wù)應(yīng)用提供權(quán)威、規(guī)范、高效的數(shù)據(jù)支撐,利用數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)、ETL數(shù)據(jù)技術(shù)、質(zhì)量控制技術(shù)等數(shù)據(jù)治理技術(shù),針對(duì)數(shù)據(jù)歸一化處理、一致化處理、圖斑處理、實(shí)體編碼與關(guān)聯(lián)、質(zhì)量檢查與入庫(kù)等需求,對(duì)分散的水利對(duì)象信息,以及水利對(duì)象空間和業(yè)務(wù)關(guān)系等數(shù)據(jù)整合,形成面向?qū)ο蠼!⒔y(tǒng)一語(yǔ)義、分布式存儲(chǔ)與管理的水利數(shù)據(jù)資源。水利基礎(chǔ)庫(kù)主要是用來(lái)存儲(chǔ)水利基礎(chǔ)信息,包括水利對(duì)象數(shù)據(jù)、水利監(jiān)測(cè)數(shù)據(jù)、水利業(yè)務(wù)數(shù)據(jù)、水利政務(wù)數(shù)據(jù)、外部共享數(shù)據(jù)及社會(huì)數(shù)據(jù)等,是將離散的數(shù)據(jù)變成有機(jī)整體的關(guān)鍵。將涉及水利業(yè)務(wù)和政務(wù)應(yīng)用全局的對(duì)象基礎(chǔ)信息,以及水利對(duì)象空間和業(yè)務(wù)等數(shù)據(jù),統(tǒng)一納入水利數(shù)據(jù)資源池進(jìn)行管理,并提供相應(yīng)的數(shù)據(jù)服務(wù)[6]。
3)建設(shè)數(shù)據(jù)資源規(guī)范,通過(guò)對(duì)數(shù)據(jù)資源體系的梳理,參考相關(guān)技術(shù)標(biāo)準(zhǔn)制訂數(shù)據(jù)資源整合相關(guān)規(guī)范。
4)開(kāi)發(fā)數(shù)據(jù)資源智能綜合管理平臺(tái),通過(guò)數(shù)據(jù)資源綜合管理平臺(tái)的建設(shè),對(duì)數(shù)據(jù)抽取、推送、調(diào)用和數(shù)據(jù)治理進(jìn)行集中管理、分工協(xié)作,提升數(shù)據(jù)管理質(zhì)量,利用數(shù)據(jù)可視化技術(shù)進(jìn)行綜合展示,為業(yè)務(wù)應(yīng)用提供信息支持[7]。
數(shù)據(jù)資源池的建設(shè),提高了基礎(chǔ)設(shè)施利用效率及涉水?dāng)?shù)據(jù)和水利信息系統(tǒng)的集約整合共享程度,減少軟硬件的重復(fù)建設(shè)[8],實(shí)現(xiàn)業(yè)務(wù)應(yīng)用協(xié)同創(chuàng)新,提升水利管理和服務(wù)水平,推進(jìn)水治理體系和治理能力現(xiàn)代化,產(chǎn)生巨大經(jīng)濟(jì)效益,實(shí)現(xiàn)了水利行業(yè)內(nèi)部及社會(huì)相關(guān)部門(mén)間的信息交換,打通數(shù)據(jù)壁壘,有效消除信息孤島,使彼此互聯(lián)互通,實(shí)現(xiàn)涉水?dāng)?shù)據(jù)“聚、通、用”。實(shí)現(xiàn)水利行業(yè)整體工作的協(xié)同優(yōu)化,降低了單項(xiàng)應(yīng)用成本,使各項(xiàng)工作無(wú)需從頭做起,整體性降低了數(shù)據(jù)獲取費(fèi)用[9]。有效提升國(guó)家水安全保障能力、治水治理能力和水利公共服務(wù)能力。
綜上所述,數(shù)據(jù)資源池的作用在于拓寬水利信息開(kāi)放和共享的渠道,提升水利公共服務(wù)能力。梳理匯集水利各類(lèi)數(shù)據(jù),為后續(xù)公共支撐服務(wù)提供支撐,釋放水利數(shù)據(jù)社會(huì)價(jià)值,向有關(guān)行業(yè)、企業(yè)和公眾提供更加豐富、及時(shí)、精準(zhǔn)的公共信息儲(chǔ)備,使其更為及時(shí)、精準(zhǔn)地獲取水事行為指引和監(jiān)管意見(jiàn)要求,有效降低了廣大水利服務(wù)對(duì)象接受管理服務(wù)時(shí)所付出的大量交通和時(shí)間成本。