嵇曉燕,楊 凱,李文攀,孫宗光,李亞男,胡小燕
中國環(huán)境監(jiān)測總站,國家環(huán)境保護(hù)環(huán)境監(jiān)測質(zhì)量控制重點(diǎn)實(shí)驗(yàn)室,北京 100012
自2017年國家地表水環(huán)境質(zhì)量監(jiān)測事權(quán)上收至今,地表水環(huán)境質(zhì)量監(jiān)測網(wǎng)已經(jīng)初步實(shí)現(xiàn)了水質(zhì)自動監(jiān)測與采測分離手工監(jiān)測相結(jié)合的監(jiān)測模式[1]。同時,國家地表水環(huán)境質(zhì)量監(jiān)測網(wǎng)在經(jīng)歷了多輪的優(yōu)化調(diào)整完善后,從2021年起增加到3 646個國控斷面,斷面數(shù)量是最初國家網(wǎng)的10多倍[2]。在此監(jiān)測網(wǎng)絡(luò)和監(jiān)測模式下,國家地表水環(huán)境質(zhì)量監(jiān)測網(wǎng)每個月產(chǎn)生數(shù)百萬計的監(jiān)測數(shù)據(jù)。如何科學(xué)傳輸、融合、處理、挖掘、分析這些海量的監(jiān)測數(shù)據(jù),及時滿足監(jiān)測業(yè)務(wù)需求[3],為環(huán)境管理提供支撐,是亟待解決的問題。為此,急需建立國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng),對地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)進(jìn)行快速靈活的評價、統(tǒng)計和分析,進(jìn)一步滿足“十四五”國家地表水環(huán)境質(zhì)量監(jiān)測業(yè)務(wù)需求,為國家水生態(tài)環(huán)境管理提供高效、科學(xué)、有力的技術(shù)支撐。本文主要介紹了國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng)的構(gòu)建目標(biāo)、構(gòu)建內(nèi)容、實(shí)現(xiàn)功能以及技術(shù)創(chuàng)新點(diǎn),可為同類系統(tǒng)的構(gòu)建提供參考。
基于水質(zhì)傳感、網(wǎng)絡(luò)通信、商務(wù)智能、地理信息、三維空間展示等技術(shù),集成多種類、多格式、多標(biāo)準(zhǔn)的多元監(jiān)測數(shù)據(jù),構(gòu)建可實(shí)現(xiàn)對數(shù)據(jù)的融合、共享、評價、考核、排名、統(tǒng)計與分析,并生成豐富的報告報表和專題圖等功能的國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng)。該系統(tǒng)能夠融合國家地表水采測分離手工監(jiān)測數(shù)據(jù)、自動監(jiān)測數(shù)據(jù)以及相關(guān)專項(xiàng)監(jiān)測數(shù)據(jù),形成統(tǒng)一的國家地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)中心,并在此基礎(chǔ)上進(jìn)行地表水環(huán)境質(zhì)量評價排名、統(tǒng)計分析,最終結(jié)果通過GIS、圖表等形式進(jìn)行數(shù)據(jù)表征和展示,并為各級水環(huán)境管理部門提供數(shù)據(jù)共享服務(wù)。
國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng)是對水質(zhì)監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)管理、分析評價、服務(wù)應(yīng)用和表征展示的系統(tǒng),依托綜合物聯(lián)網(wǎng)感知技術(shù)、商務(wù)智能、地理信息系統(tǒng)等技術(shù)進(jìn)行設(shè)計開發(fā),包括數(shù)據(jù)來源層、數(shù)據(jù)存儲層、應(yīng)用支撐層、業(yè)務(wù)應(yīng)用層和表征展示層5個部分,安全保障體系和標(biāo)準(zhǔn)規(guī)范體系貫穿開發(fā)過程。數(shù)據(jù)來源層作為整個系統(tǒng)的數(shù)據(jù)基礎(chǔ),通過集成自動監(jiān)測、采測分離手工監(jiān)測和各類專項(xiàng)監(jiān)測數(shù)據(jù)為數(shù)據(jù)存儲層提供數(shù)據(jù)支撐;數(shù)據(jù)存儲層在數(shù)據(jù)來源層提供的數(shù)據(jù)基礎(chǔ)上,結(jié)合基礎(chǔ)信息庫,對數(shù)據(jù)進(jìn)行加工處理,并分類存儲,為應(yīng)用支撐層提供數(shù)據(jù)接口;應(yīng)用支撐層通過集成水質(zhì)傳感技術(shù)、工作流引擎、商務(wù)智能(BI)工具、報表工具和GIS軟件技術(shù),為業(yè)務(wù)應(yīng)用層提供技術(shù)支撐;業(yè)務(wù)應(yīng)用層在應(yīng)用支撐層提供的技術(shù)基礎(chǔ)上,結(jié)合實(shí)際業(yè)務(wù)需求,對監(jiān)測數(shù)據(jù)進(jìn)行綜合分析及應(yīng)用;表征展示層對業(yè)務(wù)應(yīng)用層的綜合應(yīng)用結(jié)果進(jìn)行圖形化展示;安全保障體系是系統(tǒng)安全、穩(wěn)定運(yùn)行的基礎(chǔ),保障了各項(xiàng)業(yè)務(wù)數(shù)據(jù)和應(yīng)用服務(wù)的安全可靠;標(biāo)準(zhǔn)規(guī)范體系是系統(tǒng)建設(shè)和運(yùn)行的基礎(chǔ),是系統(tǒng)各類監(jiān)測數(shù)據(jù)統(tǒng)計分析的根本依據(jù)。系統(tǒng)總體架構(gòu)如圖1所示。
圖1 系統(tǒng)總體架構(gòu)圖Fig.1 System overall architecture
2.1.1 數(shù)據(jù)來源層
數(shù)據(jù)來源層作為系統(tǒng)整體的數(shù)據(jù)基礎(chǔ),集成地表水環(huán)境質(zhì)量多種類、多格式、多標(biāo)準(zhǔn)的多元監(jiān)測數(shù)據(jù),為數(shù)據(jù)存儲層提供數(shù)據(jù)支撐[4]。通過通信協(xié)議、數(shù)據(jù)集成接口和數(shù)據(jù)文件整合自動監(jiān)測、采測分離手工監(jiān)測及各類專項(xiàng)監(jiān)測數(shù)據(jù),構(gòu)成國家水環(huán)境質(zhì)量評價、分析和表征的數(shù)據(jù)基礎(chǔ)。
2.1.2 數(shù)據(jù)存儲層
數(shù)據(jù)存儲層把國家地表水環(huán)境質(zhì)量相關(guān)監(jiān)測數(shù)據(jù)按照相應(yīng)規(guī)則和結(jié)構(gòu)有序存儲,數(shù)據(jù)結(jié)構(gòu)的設(shè)計既能夠滿足歷史數(shù)據(jù)的查詢、統(tǒng)計、對比的需求,又能夠支撐“十四五”國控斷面監(jiān)測點(diǎn)位的調(diào)整與擴(kuò)展,保證數(shù)據(jù)集成具有擴(kuò)展性。
數(shù)據(jù)存儲層包含其他基礎(chǔ)信息庫以及地表水環(huán)境融合數(shù)據(jù)庫和地表水環(huán)境評價分析數(shù)據(jù)庫2個核心數(shù)據(jù)庫。其他基礎(chǔ)信息庫部署于國家水環(huán)境監(jiān)測VPN專網(wǎng),主要用于存儲斷面基礎(chǔ)信息數(shù)據(jù)、環(huán)境基礎(chǔ)空間數(shù)據(jù)和水專題空間數(shù)據(jù)。地表水環(huán)境融合數(shù)據(jù)庫部署于國家水環(huán)境監(jiān)測VPN專網(wǎng),系統(tǒng)基于該數(shù)據(jù)庫集成各類專項(xiàng)監(jiān)測數(shù)據(jù),并進(jìn)行自動監(jiān)測數(shù)據(jù)與手工監(jiān)測數(shù)據(jù)的數(shù)據(jù)融合,根據(jù)融合數(shù)據(jù)計算并存儲初步水質(zhì)評價考核結(jié)果和統(tǒng)計分析數(shù)據(jù)。地表水環(huán)境評價分析數(shù)據(jù)庫部署于國家水環(huán)境監(jiān)測內(nèi)網(wǎng),用于支撐水質(zhì)評價排名計算,并存儲最終評價排名結(jié)果,生成正式國家水環(huán)境質(zhì)量報告。
2.1.3 應(yīng)用支撐層
應(yīng)用支撐層提供水質(zhì)傳感技術(shù)、工作流引擎、BI技術(shù)、報表工具、GIS軟件等信息技術(shù)能力,通過統(tǒng)一的能力引擎和技術(shù)架構(gòu),為系統(tǒng)運(yùn)行提供通用應(yīng)用服務(wù)和集成服務(wù)。本系統(tǒng)基于應(yīng)用支撐層提供的技術(shù)引擎,依托水質(zhì)傳感技術(shù),通過傳輸協(xié)議,集成地表水監(jiān)測數(shù)據(jù);采用BI技術(shù),實(shí)現(xiàn)對不同顆粒度數(shù)據(jù)的靈活統(tǒng)計分析;采用報表工具,結(jié)合監(jiān)測業(yè)務(wù)的需求,實(shí)現(xiàn)對各類水質(zhì)報告的在線生成和編輯;采用GIS軟件,實(shí)現(xiàn)對監(jiān)測評價結(jié)果的多維動態(tài)展示。
2.1.4 業(yè)務(wù)應(yīng)用層
業(yè)務(wù)應(yīng)用層是對業(yè)務(wù)需求的實(shí)現(xiàn),基于數(shù)據(jù)存儲層的數(shù)據(jù),結(jié)合應(yīng)用支撐層提供的技術(shù)支持,按照業(yè)務(wù)邏輯進(jìn)行數(shù)據(jù)展示[5]。業(yè)務(wù)應(yīng)用層提供了業(yè)務(wù)支撐能力和具體業(yè)務(wù)功能的實(shí)現(xiàn),包括數(shù)據(jù)融合、數(shù)據(jù)共享、數(shù)據(jù)統(tǒng)計分析、水質(zhì)報告生成等模塊,系統(tǒng)的數(shù)據(jù)訪問基于業(yè)務(wù)邏輯進(jìn)行,并根據(jù)系統(tǒng)角色進(jìn)行權(quán)限控制。其中,數(shù)據(jù)融合包括數(shù)據(jù)審核、會商討論、數(shù)據(jù)校核、最終入庫等模塊,基于數(shù)據(jù)融合規(guī)則,通過會商審核,融合采測分離手工監(jiān)測數(shù)據(jù)和自動監(jiān)測數(shù)。數(shù)據(jù)共享模塊基于各地水環(huán)境管理需求,面向全國省(區(qū)、市)、流域中心提供國家水環(huán)境監(jiān)測共享數(shù)據(jù)接口。數(shù)據(jù)統(tǒng)計分析模塊包含水質(zhì)查詢統(tǒng)計、考核查詢統(tǒng)計、排名查詢統(tǒng)計、專項(xiàng)數(shù)據(jù)統(tǒng)計等模塊,分別基于不同監(jiān)測數(shù)據(jù)集及不同的業(yè)務(wù)需求和統(tǒng)計方法,進(jìn)行國家水環(huán)境質(zhì)量統(tǒng)計分析。水質(zhì)報告生成模塊能夠根據(jù)數(shù)據(jù)存儲層中存儲的多源異構(gòu)數(shù)據(jù)與統(tǒng)計分析結(jié)果數(shù)據(jù),按照報告模板,自動生成全國及相關(guān)流域、區(qū)域水環(huán)境質(zhì)量報告,以及南水北調(diào)水環(huán)境質(zhì)量報告、長江經(jīng)濟(jì)帶水環(huán)境質(zhì)量報告等專項(xiàng)報告,所生成報告可以導(dǎo)出為WORD、PDF等文件格式。
2.1.5 表征展示層
表征展示層是提供用于交互的應(yīng)用服務(wù)圖形界面,呈現(xiàn)業(yè)務(wù)應(yīng)用層中傳遞的數(shù)據(jù)、直接的系統(tǒng)交互和數(shù)據(jù)結(jié)果界面?;跀?shù)據(jù)存儲層提供的統(tǒng)計分析結(jié)果數(shù)據(jù)和業(yè)務(wù)應(yīng)用層提供的業(yè)務(wù)邏輯,通過報表、圖表和地圖表征等多樣化的數(shù)據(jù)展示形式,面向不同的業(yè)務(wù)需求,構(gòu)建全國地表水環(huán)境質(zhì)量綜合展示大屏、全國地表水環(huán)境質(zhì)量統(tǒng)計圖表和專題圖,通過地圖與統(tǒng)計圖表等多樣化展示方式的結(jié)合,全面、直觀展現(xiàn)全國地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的評價考核排名結(jié)果。
2.1.6 安全保障體系
系統(tǒng)從網(wǎng)絡(luò)安全、主機(jī)安全、應(yīng)用安全、數(shù)據(jù)安全等多個方面進(jìn)行安全加固,建立統(tǒng)一、安全、穩(wěn)定、規(guī)范、高效的信息系統(tǒng)安全保障體系,充分保護(hù)網(wǎng)絡(luò)與基礎(chǔ)設(shè)施、區(qū)域邊界與外部連接、計算環(huán)境、支撐性基礎(chǔ)設(shè)施,從而保證信息系統(tǒng)的各項(xiàng)業(yè)務(wù)應(yīng)用以及業(yè)務(wù)數(shù)據(jù)的安全可靠,使系統(tǒng)具備有效的安全防護(hù)能力、隱患發(fā)現(xiàn)能力和系統(tǒng)恢復(fù)能力,保證系統(tǒng)長期安全、穩(wěn)定和高效運(yùn)行,并能夠不斷完善和發(fā)展,實(shí)現(xiàn)以安全保應(yīng)用,用安全促應(yīng)用,以適應(yīng)不斷擴(kuò)展的業(yè)務(wù)應(yīng)用需求并保障系統(tǒng)信息安全。
1)網(wǎng)絡(luò)安全:通過禁用高危端口、開啟服務(wù)器防火墻功能、嚴(yán)格控制訪問策略,采用白名單的機(jī)制開通策略,只允許開放特定業(yè)務(wù)端口,其他端口一律禁止訪問,做好業(yè)務(wù)間安全隔離。
2)主機(jī)安全:定時更新系統(tǒng)補(bǔ)丁,修復(fù)系統(tǒng)漏洞,保證服務(wù)器在操作系統(tǒng)級別的安全可靠。同時安裝殺毒軟件,定期做好病毒庫更新和病毒查殺,定期掃描并修復(fù)Web漏洞、主動防御加固程序,并對上傳到服務(wù)器的文件類型進(jìn)行限制和安全掃描,實(shí)現(xiàn)對網(wǎng)絡(luò)流量、網(wǎng)絡(luò)攻擊行為等的監(jiān)測。
3)應(yīng)用安全:使用加密協(xié)議對數(shù)據(jù)內(nèi)容進(jìn)行傳輸,啟用密碼規(guī)范和登錄失敗處理功能,防止暴力破解;根據(jù)角色范圍進(jìn)行分級授權(quán),實(shí)現(xiàn)賬戶權(quán)限分離。
4)數(shù)據(jù)安全:系統(tǒng)數(shù)據(jù)庫采用自動備份和離線備份相結(jié)合的方式進(jìn)行數(shù)據(jù)備份,自動備份采用每小時事務(wù)日志備份、每日增量備份、每周全庫備份的方式對數(shù)據(jù)庫進(jìn)行定期備份。離線備份采用每月全庫備份的方式對數(shù)據(jù)庫進(jìn)行備份。
2.1.7 標(biāo)準(zhǔn)規(guī)范體系
標(biāo)準(zhǔn)規(guī)范體系是支撐整個系統(tǒng)建設(shè)和運(yùn)行的基礎(chǔ),是系統(tǒng)核心算法的根本依據(jù),主要包括法律規(guī)范、管理規(guī)范、技術(shù)規(guī)范和傳輸規(guī)范(表1)。法律規(guī)范從法律層面對系統(tǒng)構(gòu)建提出了明確要求,是系統(tǒng)構(gòu)建并穩(wěn)定運(yùn)行的根本保障;管理規(guī)范是系統(tǒng)建設(shè)需要遵循的基本準(zhǔn)則;技術(shù)規(guī)范對系統(tǒng)中的數(shù)據(jù)修約、數(shù)據(jù)審核、數(shù)據(jù)統(tǒng)計、水質(zhì)評價、水質(zhì)考核、水質(zhì)排名等功能提供了技術(shù)要求;傳輸規(guī)范為系統(tǒng)集成多源監(jiān)測數(shù)據(jù)提供了技術(shù)規(guī)約。
表1 標(biāo)準(zhǔn)規(guī)范性文件Table 1 Legal,management and technical specifications
在對自動監(jiān)測、手工監(jiān)測、專項(xiàng)監(jiān)測等水環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)整合時,按照相關(guān)規(guī)定,通過數(shù)據(jù)通信協(xié)議或集成方式接入系統(tǒng),通過通信公司通信鏈路建立數(shù)據(jù)傳輸?shù)膹V域網(wǎng)絡(luò),實(shí)現(xiàn)數(shù)據(jù)的接收與整合。經(jīng)過網(wǎng)絡(luò)安全傳輸再通過環(huán)保專網(wǎng)接入,環(huán)保專網(wǎng)和內(nèi)網(wǎng)之間通過網(wǎng)閘設(shè)備單向傳輸數(shù)據(jù)。在系統(tǒng)部署中采用了環(huán)保專網(wǎng)與內(nèi)網(wǎng)分別部署的方式,分別支持不同的應(yīng)用需求。其中,部署于環(huán)保專網(wǎng)的服務(wù)器主要面向管理部門以及其他相關(guān)業(yè)務(wù)、科研部門,提供數(shù)據(jù)融合、數(shù)據(jù)共享、專項(xiàng)數(shù)據(jù)統(tǒng)計分析等功能;而部署于內(nèi)網(wǎng)的服務(wù)器則主要滿足地表水環(huán)境質(zhì)量評價考核排名的業(yè)務(wù)需求。所涉及的通訊網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
圖2 系統(tǒng)通信網(wǎng)絡(luò)層次結(jié)構(gòu)圖Fig.2 System communication network hierarchy diagram
國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng)以數(shù)據(jù)融合為基礎(chǔ),集成國家地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù),構(gòu)建了“一個融合、兩個數(shù)據(jù)庫、三個應(yīng)用、四個中心”,通過系統(tǒng)數(shù)據(jù)流串聯(lián)(圖3)?!耙粋€融合”指通過集成多源異構(gòu)監(jiān)測數(shù)據(jù),并對自動監(jiān)測數(shù)據(jù)和手工監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)融合,形成整個系統(tǒng)的數(shù)據(jù)基礎(chǔ)。“兩個數(shù)據(jù)庫”是在“一個融合”的基礎(chǔ)上,對集成的多源異構(gòu)數(shù)據(jù)、融合數(shù)據(jù)、初步統(tǒng)計分析結(jié)果數(shù)據(jù)進(jìn)行分類存儲,形成地表水環(huán)境融合數(shù)據(jù)庫;基于水質(zhì)評價統(tǒng)計分析結(jié)果、水質(zhì)考核統(tǒng)計分析結(jié)果、水質(zhì)排名統(tǒng)計分析結(jié)果,形成地表水環(huán)境評價分析數(shù)據(jù)庫?!叭齻€應(yīng)用”是指在“兩個數(shù)據(jù)庫”的基礎(chǔ)上,依據(jù)地表水環(huán)境評價、分析及數(shù)據(jù)表征的需求形成環(huán)保專網(wǎng)應(yīng)用、環(huán)保內(nèi)網(wǎng)應(yīng)用和地圖數(shù)據(jù)表征應(yīng)用。“四個中心”是基于“兩個數(shù)據(jù)庫”,提供國家水環(huán)境監(jiān)測數(shù)據(jù)融合與快速綜合應(yīng)用、評價排名和報告生成、數(shù)據(jù)共享等核心功能,構(gòu)成對綜合應(yīng)用、數(shù)據(jù)共享、評價考核、報告報表4個國家水環(huán)境監(jiān)測數(shù)據(jù)應(yīng)用的支持中心。
“一個融合”指數(shù)據(jù)融合,系統(tǒng)集成了不同功能、不同監(jiān)測對象的多源異構(gòu)數(shù)據(jù),為國家地表水環(huán)境質(zhì)量分析與表征提供廣泛的數(shù)據(jù)支撐,實(shí)現(xiàn)了國控斷面自動監(jiān)測數(shù)據(jù)和采測分離手工監(jiān)測數(shù)據(jù)融合,形成統(tǒng)一的國家地表水環(huán)境評價數(shù)據(jù),并通過數(shù)學(xué)模型智能發(fā)現(xiàn)和處理數(shù)據(jù)質(zhì)量異常,為國家水環(huán)境質(zhì)量評價分析提供全面可靠的數(shù)據(jù)基礎(chǔ)。
“兩個數(shù)據(jù)庫”是指地表水環(huán)境融合數(shù)據(jù)庫和地表水環(huán)境評價分析數(shù)據(jù)庫。前者部署于VPN專網(wǎng),用于支撐自動監(jiān)測數(shù)據(jù)、手工監(jiān)測數(shù)據(jù)以及專項(xiàng)監(jiān)測數(shù)據(jù)的數(shù)據(jù)融合,存儲國家地表水環(huán)境評價數(shù)據(jù)集,并支撐初步水質(zhì)評價、快速統(tǒng)計分析等環(huán)保專網(wǎng)數(shù)據(jù)應(yīng)用;后者則部署于內(nèi)網(wǎng),用于進(jìn)行正式水質(zhì)評價與正式報告報表的生成。
“三個應(yīng)用”構(gòu)成了系統(tǒng)的整體應(yīng)用框架,是指在“一個融合”與“兩個數(shù)據(jù)庫”構(gòu)建的數(shù)據(jù)基礎(chǔ)上,基于國家地表水環(huán)境質(zhì)量評價、分析與表征業(yè)務(wù)需求,構(gòu)建的環(huán)保專網(wǎng)數(shù)據(jù)應(yīng)用、環(huán)保內(nèi)網(wǎng)數(shù)據(jù)應(yīng)用和地圖數(shù)據(jù)表征應(yīng)用。其中,環(huán)保專網(wǎng)數(shù)據(jù)應(yīng)用部署于VPN專網(wǎng),提供數(shù)據(jù)融合與初步評價功能;環(huán)保內(nèi)網(wǎng)數(shù)據(jù)應(yīng)用部署于內(nèi)網(wǎng),實(shí)現(xiàn)國家地表水環(huán)境評價排名分析;地圖數(shù)據(jù)表征應(yīng)用部署于內(nèi)網(wǎng),通過GIS專題圖等形式,提供國家地表水環(huán)境質(zhì)量評價排名和統(tǒng)計分析數(shù)據(jù)綜合表征和展現(xiàn)功能?!叭齻€應(yīng)用”滿足了國家地表水環(huán)境質(zhì)量評價、分析與表征業(yè)務(wù)需求。
“四個中心”是指包含于環(huán)保專網(wǎng)數(shù)據(jù)應(yīng)用的綜合應(yīng)用中心、數(shù)據(jù)共享中心以及包含于環(huán)保內(nèi)網(wǎng)數(shù)據(jù)應(yīng)用的考核評價中心、報告報表中心。其中,綜合應(yīng)用中心提供基于融合數(shù)據(jù)的國家水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)快速綜合應(yīng)用,包括基礎(chǔ)信息管理、靈活報表生成、數(shù)據(jù)綜合分析、初步水質(zhì)評價考核排名等功能模塊;數(shù)據(jù)共享中心面向全國各省(區(qū)、市)環(huán)境管理部門和七大流域中心提供共享數(shù)據(jù);考核評價中心提供水質(zhì)評價、水質(zhì)考核、水質(zhì)排名的計算功能,形成國家水環(huán)境質(zhì)量考核評價結(jié)果;報告報表中心則基于考核評價結(jié)果,生成國家水質(zhì)月報、水環(huán)境質(zhì)量新聞通稿等各種類型的水質(zhì)綜合分析報告以及其他專項(xiàng)監(jiān)測報告。
全集成國地表水環(huán)境質(zhì)量各類監(jiān)測數(shù)據(jù),包括自動監(jiān)測數(shù)據(jù)、采測分離手工監(jiān)測數(shù)據(jù)、國界河流專項(xiàng)監(jiān)測數(shù)據(jù)、南水北調(diào)專項(xiàng)監(jiān)測數(shù)據(jù)、長江經(jīng)濟(jì)帶專項(xiàng)監(jiān)測數(shù)據(jù)、黃河流域?qū)m?xiàng)監(jiān)測數(shù)據(jù)、三峽庫區(qū)專項(xiàng)監(jiān)測數(shù)據(jù)、水生生物專項(xiàng)監(jiān)測數(shù)據(jù)、水功能區(qū)專項(xiàng)監(jiān)測數(shù)據(jù)以及地市和區(qū)縣級飲用水監(jiān)測數(shù)據(jù)等相關(guān)數(shù)據(jù)。
按照水環(huán)境質(zhì)量考核評價以“自動監(jiān)測數(shù)據(jù)為主、手工監(jiān)測數(shù)據(jù)為輔”的要求,在數(shù)據(jù)集成的基礎(chǔ)上,根據(jù)水質(zhì)自動站平穩(wěn)運(yùn)行站點(diǎn)清單和手工監(jiān)測斷面清單,對自動監(jiān)測數(shù)據(jù)和采測分離手工監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)融合,即pH、溶解氧、水溫、濁度、電導(dǎo)率、高錳酸鹽指數(shù)、氨氮、總磷和總氮9項(xiàng)指標(biāo)采用自動監(jiān)測數(shù)據(jù),其余指標(biāo)采用采測分離手工監(jiān)測數(shù)據(jù);上年水質(zhì)穩(wěn)定為優(yōu)且未建設(shè)水質(zhì)自動監(jiān)測站的斷面,采用每季度首月21項(xiàng)手工監(jiān)測數(shù)據(jù)進(jìn)行補(bǔ)遺。融合的自動和手工監(jiān)測數(shù)據(jù)是多源異構(gòu)數(shù)據(jù),監(jiān)測指標(biāo)不同、監(jiān)測頻次不同,在系統(tǒng)實(shí)現(xiàn)過程中,基于多維矩陣計算原理,通過創(chuàng)新算法,克服了差異性問題,實(shí)現(xiàn)了基于“5+X”原則的自動、手工監(jiān)測數(shù)據(jù)融合與數(shù)據(jù)修約,構(gòu)建了包含21項(xiàng)評價指標(biāo)的統(tǒng)一標(biāo)準(zhǔn)的國家地表水環(huán)境評價數(shù)據(jù)集,為國家地表水環(huán)境質(zhì)量評價排名與統(tǒng)計分析提供了數(shù)據(jù)基礎(chǔ)。同時,在數(shù)據(jù)融合過程中,為了保證融合數(shù)據(jù)質(zhì)量,建立了統(tǒng)計模型對數(shù)據(jù)恒值、超出檢出限、數(shù)據(jù)毛刺與突變等數(shù)據(jù)質(zhì)量問題進(jìn)行異常判定,主動發(fā)現(xiàn)并排除異常數(shù)據(jù),提升水環(huán)境質(zhì)量評價與數(shù)據(jù)統(tǒng)計分析的準(zhǔn)確性和可靠性。
在滿足地表水環(huán)境質(zhì)量監(jiān)測管理業(yè)務(wù)的基礎(chǔ)上,按照國家相關(guān)數(shù)據(jù)共享政策,每月向各省和流域中心等其他水環(huán)境質(zhì)量管理相關(guān)單位提供共享數(shù)據(jù),實(shí)現(xiàn)全國地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的共享互通[6]。系統(tǒng)定期自動生成共享數(shù)據(jù)文件,并通過FTP、WEB下載等方式為省(區(qū)、市)、流域中心等不同數(shù)據(jù)需求單位提供共享數(shù)據(jù)。所生成的數(shù)據(jù)文件包含數(shù)據(jù)融合后的考核斷面監(jiān)測數(shù)據(jù)以及水質(zhì)類別、超標(biāo)指標(biāo)、超標(biāo)倍數(shù)等考核斷面水質(zhì)評價結(jié)果數(shù)據(jù)。通過數(shù)據(jù)共享,能夠更好地為全國地表水環(huán)境管理工作提供數(shù)據(jù)支持,為全國流域的水環(huán)境管理、污染事件預(yù)警、流域內(nèi)跨界糾紛解決和生態(tài)補(bǔ)償提供數(shù)據(jù)依據(jù)。
基于集成與數(shù)據(jù)融合后的數(shù)據(jù),依據(jù)《地表水環(huán)境質(zhì)量標(biāo)準(zhǔn)》《地表水環(huán)境質(zhì)量評價辦法(試行)》《城市地表水環(huán)境質(zhì)量排名技術(shù)規(guī)定(試行)》等國家標(biāo)準(zhǔn)和技術(shù)規(guī)范的要求,提供數(shù)據(jù)統(tǒng)計分析功能。在統(tǒng)計分析部分,系統(tǒng)引入BI技術(shù),提供強(qiáng)大的統(tǒng)計分析能力;對全國地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)建立多維數(shù)據(jù)模型,以多維數(shù)據(jù)聯(lián)機(jī)分析處理(OLAP)[7]技術(shù)支持靈活統(tǒng)計分析,支持隨機(jī)數(shù)據(jù)查詢、統(tǒng)計,支持?jǐn)?shù)據(jù)上鉆、下鉆、切片、切塊等操作,靈活快速進(jìn)行計算,提高監(jiān)測數(shù)據(jù)的統(tǒng)計分析效率。統(tǒng)計包含水質(zhì)評價統(tǒng)計分析、水質(zhì)考核統(tǒng)計分析、水質(zhì)排名統(tǒng)計分析及專項(xiàng)數(shù)據(jù)統(tǒng)計分析等。系統(tǒng)提供的常用統(tǒng)計分析功能包括:
1)水質(zhì)評價統(tǒng)計分析??蛇x擇自動監(jiān)測數(shù)據(jù)、手工監(jiān)測數(shù)據(jù)或融合數(shù)據(jù)集作為數(shù)據(jù)源進(jìn)行水質(zhì)評價統(tǒng)計分析。根據(jù)各斷面每個月不同的監(jiān)測指標(biāo),對數(shù)據(jù)進(jìn)行基礎(chǔ)水質(zhì)評價分析;在此基礎(chǔ)上系統(tǒng)能夠進(jìn)行單月和多月水質(zhì)評價,可選擇斷面、河流、湖庫、省份、流域等進(jìn)行不同區(qū)域的統(tǒng)計,并支持自定義評價方法和參評指標(biāo)進(jìn)行水質(zhì)評價。水質(zhì)評價統(tǒng)計分析內(nèi)容包含斷面水質(zhì)評價、河流水質(zhì)評價、湖庫評價、超標(biāo)因子統(tǒng)計、定類因子統(tǒng)計、各類水質(zhì)占比情況及同環(huán)比變化情況、可比數(shù)據(jù)查詢統(tǒng)計、各省(區(qū)、市)水質(zhì)類別占比情況及同環(huán)比變化情況、各流域水質(zhì)類別占比情況及同環(huán)比變化情況等[8]。此外,系統(tǒng)也支持按照75分位、90分位和95分位等不同統(tǒng)計方法對水質(zhì)自動監(jiān)測數(shù)據(jù)進(jìn)行水質(zhì)評價分析;按照不同時段、不同監(jiān)測指標(biāo)、不同數(shù)據(jù)類型對專項(xiàng)數(shù)據(jù)進(jìn)行水質(zhì)評價分析。
2)水質(zhì)考核統(tǒng)計分析。以融合數(shù)據(jù)集作為數(shù)據(jù)源,按照省份、城市、斷面不同維度查看水質(zhì)評價情況,并結(jié)合對應(yīng)考核目標(biāo),進(jìn)行達(dá)標(biāo)分析。系統(tǒng)支持單月和多月的水質(zhì)考核結(jié)果統(tǒng)計,包含考核點(diǎn)位查詢、考核斷面查詢、達(dá)標(biāo)率統(tǒng)計、年度達(dá)標(biāo)情況查詢等功能??己它c(diǎn)位查詢是將點(diǎn)位評價結(jié)果與考核目標(biāo)相比,判斷點(diǎn)位是否達(dá)到考核目標(biāo),統(tǒng)計國考點(diǎn)位達(dá)標(biāo)情況和超標(biāo)污染物情況??己藬嗝娌樵兪前凑湛己藬嗝娴囊?,對湖庫點(diǎn)位按照湖區(qū)合并評價,并與考核目標(biāo)相比,統(tǒng)計國考斷面達(dá)標(biāo)情況和超標(biāo)污染物情況。達(dá)標(biāo)率統(tǒng)計是統(tǒng)計各個省份的考核達(dá)標(biāo)情況,包含考核斷面總數(shù)、監(jiān)測斷面總數(shù)、無監(jiān)測斷面總數(shù)、達(dá)標(biāo)斷面數(shù)、達(dá)標(biāo)百分比、超標(biāo)斷面名稱等。年度達(dá)標(biāo)情況是統(tǒng)計各省(區(qū)、市)Ⅰ~Ⅲ類和劣V類水質(zhì)斷面比例2項(xiàng)約束性指標(biāo)的達(dá)標(biāo)情況。
3)城市排名統(tǒng)計分析。以融合數(shù)據(jù)集作為數(shù)據(jù)源,計算地級及以上城市單月和累計月的水質(zhì)指數(shù)。系統(tǒng)支持自定義參評指標(biāo)計算水質(zhì)指數(shù),提供排名斷面CWQI查詢、排名城市查詢、排名斷面CWQI變化查詢、可比排名城市變化查詢等功能。排名斷面CWQI查詢是計算單斷面各個指標(biāo)的水質(zhì)指數(shù),根據(jù)各個指標(biāo)的水質(zhì)指數(shù)計算斷面單月和累計的水質(zhì)指數(shù),并可根據(jù)自定義參評指標(biāo)計算水質(zhì)指數(shù)。排名城市查詢是依據(jù)排名城市斷面的監(jiān)測結(jié)果計算出每個城市的河流CWQI和湖庫CWQI,然后取其加權(quán)值得出城市的CWQI,并統(tǒng)計城市的應(yīng)有斷面總數(shù)、當(dāng)月排名斷面數(shù)、城市所在水體的水質(zhì)類別[9]。排名斷面CWQI變化查詢是統(tǒng)計各個斷面與去年同期相比水質(zhì)指數(shù)CWQI的變化情況??杀扰琶鞘凶兓樵兪墙y(tǒng)計各個城市與上年同期相比水質(zhì)指數(shù)CWQI的變化情況,并統(tǒng)計出參與排名和未參與排名的斷面名稱、城市的最差水質(zhì)以及城市包含各水體的水質(zhì)狀況。
系統(tǒng)支持按照預(yù)設(shè)格式,一鍵生成全國地表水水質(zhì)月報以及重點(diǎn)流域、南水北調(diào)、長江經(jīng)濟(jì)帶、飲用水源地等專項(xiàng)報告,通過文字、圖表等形式,直觀全面反映國家地表水環(huán)境質(zhì)量狀況,為我國水生態(tài)環(huán)境管理提供技術(shù)支持。系統(tǒng)同時支持生成全國水環(huán)境質(zhì)量報告新聞通稿、微信公眾號等新媒體報告材料,為滿足公眾對水環(huán)境質(zhì)量狀況的知情權(quán)提供信息獲取渠道。
豐富地表水環(huán)境質(zhì)量狀況的表征形式,通過GIS專題圖提供地表水環(huán)境質(zhì)量狀況地圖表征,直觀展示全國地表水環(huán)境質(zhì)量監(jiān)測網(wǎng)狀況、全國地表水環(huán)境質(zhì)量總體狀況、重點(diǎn)流域/重點(diǎn)區(qū)域地表水環(huán)境質(zhì)量狀況等信息。自動生成全國水質(zhì)專題圖,重點(diǎn)流域、各省份水質(zhì)專題圖,重要湖庫水質(zhì)專題圖,長江經(jīng)濟(jì)帶、京津冀區(qū)域、長三角、大灣區(qū)、新三湖等分流域、區(qū)域水質(zhì)專題圖,以及南水北調(diào)、入海河流、環(huán)渤海、三峽庫區(qū)、國界河流、城市集中式飲用水源地、水生態(tài)等重點(diǎn)專項(xiàng)的水質(zhì)專題圖等地圖表征。
為展示全國地表水環(huán)境質(zhì)量監(jiān)測網(wǎng)的情況,建立“全國地表水環(huán)境質(zhì)量一張圖”,在統(tǒng)一界面的全國流域地圖上通過餅狀圖、柱狀圖、折線圖、滾動報表等多種形式,直觀地展示全國地表水監(jiān)測斷面監(jiān)測情況、全國及各流域/省份斷面不同水質(zhì)類別斷面占比情況、斷面主要污染物情況、全國地級及以上城市排名情況等,并能夠通過縮放地圖展示級別,查看具體斷面數(shù)據(jù),支持圖層上翻、下鉆等操作,以不同空間層次展示水環(huán)境質(zhì)量監(jiān)測情況、監(jiān)測數(shù)據(jù)和評價結(jié)果。
全國層面:全國地表水國考斷面監(jiān)測情況、全國不同水質(zhì)類別斷面占比情況、全國主要污染物情況,十大流域不同水質(zhì)類別斷面占比情況,各省(區(qū)、市)不同水質(zhì)類別斷面占比情況,全國地級及以上城市排名情況。
流域?qū)用妫毫饔虻乇硭畤紨嗝姹O(jiān)測情況、流域不同水質(zhì)類別斷面占比情況、流域主要污染物情況,干流不同水質(zhì)類別斷面占比情況、支流不同水質(zhì)類別斷面占比情況,流域斷面水質(zhì)情況。
省份層面:省份考核斷面監(jiān)測情況、省份不同水質(zhì)類別斷面占比情況、省份考核斷面主要污染物情況,省份內(nèi)各市不同水質(zhì)類別斷面占比情況、各市排名情況,省份考核斷面水質(zhì)情況。
城市層面:城市考核斷面監(jiān)測情況、城市不同水質(zhì)類別斷面占比情況、城市主要污染物情況、城市輪廓圖。
斷面(點(diǎn)位)層面:點(diǎn)位基本信息、點(diǎn)位現(xiàn)場照片、指標(biāo)濃度、評價結(jié)果、定類指標(biāo)、水質(zhì)變化。
在系統(tǒng)開發(fā)過程中,通過在多源異構(gòu)數(shù)據(jù)融合、智能化質(zhì)量控制、多層級水質(zhì)評價與統(tǒng)計分析、地圖動態(tài)數(shù)據(jù)表征等技術(shù)創(chuàng)新來滿足國家水環(huán)境質(zhì)量評價分析工作中不斷發(fā)展的業(yè)務(wù)需求。
1)多源異構(gòu)數(shù)據(jù)融合技術(shù)。國家地表水環(huán)境監(jiān)測數(shù)據(jù)是涵蓋自動監(jiān)測、手工監(jiān)測等類型的多源異構(gòu)數(shù)據(jù),不同類型的監(jiān)測數(shù)據(jù)存在監(jiān)測時間、監(jiān)測頻率、監(jiān)測點(diǎn)位不一致的情況,而且自動監(jiān)測數(shù)據(jù)包括9項(xiàng)監(jiān)測指標(biāo),采測分離手工監(jiān)測數(shù)據(jù)涵蓋24項(xiàng)指標(biāo)。在系統(tǒng)開發(fā)中,面向具有顯著差異的多源異構(gòu)監(jiān)測數(shù)據(jù),根據(jù)數(shù)據(jù)優(yōu)先級規(guī)則,利用多維矩陣計算技術(shù),設(shè)計出創(chuàng)新性的多源異構(gòu)數(shù)據(jù)融合算法,首先通過稀疏矩陣相乘得到高維數(shù)據(jù)矩陣,然后利用SVD降維法對高維矩陣進(jìn)行降維處理,得到原維度監(jiān)測數(shù)據(jù)矩陣,從而能夠有效利用服務(wù)器算力,高效實(shí)現(xiàn)了基于“5+X”原則的自動、手工監(jiān)測數(shù)據(jù)融合,構(gòu)建了包含21項(xiàng)評價指標(biāo)的統(tǒng)一標(biāo)準(zhǔn)的國家地表水環(huán)境評價數(shù)據(jù)集,為國家地表水環(huán)境質(zhì)量評價排名與統(tǒng)計分析提供了數(shù)據(jù)基礎(chǔ)。
2)智能化數(shù)據(jù)質(zhì)量控制技術(shù)。通過分析斷面歷史水質(zhì)監(jiān)測數(shù)據(jù),建立斷面水質(zhì)監(jiān)測數(shù)據(jù)質(zhì)量特征庫,并相應(yīng)運(yùn)用全指標(biāo)孤立森林檢測模型、關(guān)聯(lián)指標(biāo)異常檢測模型和單指標(biāo)異常檢測模型對數(shù)據(jù)恒值、超出檢出限、數(shù)據(jù)關(guān)聯(lián)性異常、數(shù)據(jù)毛刺與突變等數(shù)據(jù)質(zhì)量問題進(jìn)行數(shù)據(jù)異常判定,主動發(fā)現(xiàn)數(shù)據(jù)質(zhì)量異常并進(jìn)行排除。從而通過模型實(shí)現(xiàn)智能化數(shù)據(jù)質(zhì)量控制,保證了國家水環(huán)境質(zhì)量評價分析數(shù)據(jù)基礎(chǔ)的準(zhǔn)確性。
3)多層級水質(zhì)評價與統(tǒng)計分析技術(shù)?;趪业乇硭h(huán)境評價數(shù)據(jù)集,綜合利用水質(zhì)類別評價、水質(zhì)指數(shù)評價等方法,實(shí)現(xiàn)對地表水環(huán)境斷面、河流、流域、城市(省份)等多層級的水質(zhì)評價。在系統(tǒng)開發(fā)中創(chuàng)新性地引入OLAP等技術(shù),基于關(guān)系數(shù)據(jù)庫的聯(lián)機(jī)分析處理(ROLAP)模型,支持?jǐn)?shù)據(jù)鉆取與切片,實(shí)現(xiàn)多維數(shù)據(jù)查詢與統(tǒng)計分析,并能夠自動生成報告報表和新媒體報告,從多層次、多角度對我國地表水環(huán)境狀況進(jìn)行評價與統(tǒng)計分析,為全面了解我國地表水環(huán)境質(zhì)量現(xiàn)狀及其變化趨勢,提升我國地表水環(huán)境質(zhì)量管理水平提供了更加全面科學(xué)的技術(shù)支撐。
4)地圖動態(tài)數(shù)據(jù)表征技術(shù)。在對地表水環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行評價、統(tǒng)計、分析的基礎(chǔ)上,通過與空間地圖表征的數(shù)據(jù)聯(lián)動,創(chuàng)新性地實(shí)現(xiàn)了基于地圖的從斷面到流域、從城市到全國,涵蓋從監(jiān)測數(shù)據(jù)到統(tǒng)計結(jié)果的多層次動態(tài)圖形表征。在實(shí)現(xiàn)過程中,首先進(jìn)行監(jiān)測評價數(shù)據(jù)的統(tǒng)計分析預(yù)處理,基于全國流域地圖建立300余個動態(tài)圖層,并通過數(shù)據(jù)與GIS圖層聯(lián)動技術(shù)支持?jǐn)?shù)據(jù)鉆取、切片等操作,以數(shù)據(jù)表格、數(shù)據(jù)圖形等形式,在流域地圖上形成基礎(chǔ)監(jiān)測評價數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)的多形態(tài)、多層次數(shù)據(jù)表征。
國家地表水環(huán)境質(zhì)量評價、分析與表征系統(tǒng)的構(gòu)建,通過在多源異構(gòu)數(shù)據(jù)融合、智能化數(shù)據(jù)質(zhì)量控制、多層級水質(zhì)評價與統(tǒng)計分析、地圖動態(tài)數(shù)據(jù)表征等方面的技術(shù)創(chuàng)新,克服了國家地表水環(huán)境質(zhì)量評價分析面臨的監(jiān)測數(shù)據(jù)來源多樣、監(jiān)測指標(biāo)、監(jiān)測頻率不一等困難,結(jié)合數(shù)據(jù)融合、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)修約等技術(shù)手段,形成了統(tǒng)一的國家地表水環(huán)境質(zhì)量數(shù)據(jù)中心,為國家地表水環(huán)境質(zhì)量評價排名工作提供了可靠準(zhǔn)確的數(shù)據(jù)基礎(chǔ);在此基礎(chǔ)上實(shí)現(xiàn)了國家地表水環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)評價排名、統(tǒng)計分析、報告報表生成、地圖展示表征、數(shù)據(jù)共享等功能,直觀、準(zhǔn)確、全面地展現(xiàn)了全國地表水環(huán)境質(zhì)量狀況,提升了國家地表水環(huán)境監(jiān)測數(shù)據(jù)管理、分析及可視化能力,為環(huán)境管理及決策人員提供科學(xué)有效的信息服務(wù)及技術(shù)支持?;诖讼到y(tǒng),國家地表水環(huán)境質(zhì)量評價每年提供近1 000份水環(huán)境質(zhì)量信息產(chǎn)品,既滿足了各級水環(huán)境管理部門的需求,又滿足了公眾的信息知情權(quán),為地表水環(huán)境質(zhì)量評價分析工作提供了強(qiáng)有力的技術(shù)支撐。