張萬(wàn)順,王 浩
(1.武漢大學(xué) 水資源與水電工程科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430072;2.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院,湖北 武漢 430079;3.武漢大學(xué) 中國(guó)發(fā)展戰(zhàn)略與規(guī)劃研究院,湖北 武漢 430079;4.中國(guó)水利水電科學(xué)研究院 流域水循環(huán)模擬與調(diào)控國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100038)
受城市化和工業(yè)化等強(qiáng)人類(lèi)活動(dòng)干擾,流域水循環(huán)及其伴生水環(huán)境水生態(tài)過(guò)程正發(fā)生著深刻變異[1-2]。流域水質(zhì)惡化、突發(fā)水污染事故、飲用水安全隱患等原生和次生涉水問(wèn)題日益突出。隨著生態(tài)文明建設(shè)被提到新的高度,加快水污染防治,實(shí)施流域環(huán)境綜合治理已成為實(shí)現(xiàn)我國(guó)經(jīng)濟(jì)高質(zhì)量發(fā)展的重中之重[3-4],保障流域水安全面臨嚴(yán)重挑戰(zhàn)。水環(huán)境質(zhì)量與流域自然-社會(huì)-經(jīng)濟(jì)復(fù)合生態(tài)系統(tǒng)密切相關(guān),揭示環(huán)境條件改變對(duì)水體質(zhì)量的響應(yīng)機(jī)理,突破快速高效精準(zhǔn)的模擬預(yù)報(bào)技術(shù)[5-8],成為國(guó)內(nèi)外研究焦點(diǎn)與難點(diǎn)。
隨著環(huán)境水利信息化進(jìn)程的不斷推進(jìn)[9],通過(guò)物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能等手段推進(jìn)流域治理向智慧化發(fā)展,是維持流域生態(tài)系統(tǒng)良性循環(huán),提高生態(tài)環(huán)境監(jiān)管水平的必由之路[10-11]。流域綜合管理云平臺(tái)的研究歷經(jīng)了概念融合、技術(shù)發(fā)展及部署應(yīng)用三個(gè)階段。云平臺(tái)概念融合初期,將單機(jī)版水文水環(huán)境模型部署在云端,實(shí)現(xiàn)了流域水環(huán)境模擬與云計(jì)算平臺(tái)融合的概念性突破[12-13]。隨著云平臺(tái)技術(shù)在數(shù)據(jù)集成、數(shù)據(jù)同化、高性能計(jì)算等領(lǐng)域的發(fā)展[14-15],以洪水預(yù)報(bào)為主的服務(wù)開(kāi)發(fā)逐步成熟,部分已進(jìn)行實(shí)際部署,集中于單場(chǎng)短歷時(shí)洪水過(guò)程預(yù)報(bào)及災(zāi)害等級(jí)發(fā)布。Perez等[16]構(gòu)建了基于Tethys的洪水預(yù)報(bào)云平臺(tái),以實(shí)現(xiàn)全球大范圍和區(qū)域小流域的結(jié)合預(yù)測(cè)。Mure-Ravaud等[17]構(gòu)建了集多源數(shù)據(jù)同化、水文模型運(yùn)算及信息發(fā)布于一體的洪水預(yù)報(bào)云平臺(tái)系統(tǒng),為法國(guó)多個(gè)城市提供了未來(lái)48 h洪水預(yù)測(cè)服務(wù)?,F(xiàn)階段,云計(jì)算、霧計(jì)算、邊緣計(jì)算、物聯(lián)網(wǎng)等新興技術(shù)為流域水量水質(zhì)調(diào)控、城市管理、農(nóng)業(yè)灌溉、大氣污染監(jiān)測(cè)等領(lǐng)域云平臺(tái)建設(shè)提供了有力支撐,但已有研究多局限于框架設(shè)計(jì)[18-19]。Manna等[20]提出了一種基于物聯(lián)網(wǎng)的云端智能灌溉系統(tǒng),以提升節(jié)水及灌溉效率。Pires等[21]提出了集傳感-本地處理-通訊-云平臺(tái)-服務(wù)應(yīng)用組件于一體的智慧城市系統(tǒng)框架,服務(wù)于城市大氣環(huán)境污染監(jiān)測(cè)和城市規(guī)劃等智能決策。然而,針對(duì)流域水環(huán)境水生態(tài)系統(tǒng)調(diào)控和綜合管理的云平臺(tái)研究仍十分匱乏,其業(yè)務(wù)化落地應(yīng)用面臨實(shí)時(shí)化、精準(zhǔn)化、穩(wěn)健化、服務(wù)化、智慧化等多重挑戰(zhàn)。
本文提出了云端、邊緣端、終端及數(shù)據(jù)中心、模型中心、控制中心、客服中心的“云邊終”協(xié)同系統(tǒng)架構(gòu),構(gòu)建了三峽庫(kù)區(qū)流域水環(huán)境水生態(tài)智慧化管理云平臺(tái),打通了從頂層設(shè)計(jì)到科學(xué)研究再到基層管理的全鏈條路徑,為大尺度流域全方位多層次智慧化管理提供了成功經(jīng)驗(yàn)。
2.1 提升流域精準(zhǔn)調(diào)控主動(dòng)性的管理需求系統(tǒng)提升流域水環(huán)境水生態(tài)精準(zhǔn)調(diào)控的主動(dòng)性,一方面需要在流域?qū)用娼y(tǒng)籌考慮水環(huán)境水生態(tài)的實(shí)時(shí)監(jiān)測(cè)、污染防控、質(zhì)量預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警等管理內(nèi)容,強(qiáng)化流域頂層設(shè)計(jì);另一方面亟需建立流域統(tǒng)一高效的資源和信息共享機(jī)制,加強(qiáng)流域各級(jí)行政部門(mén)、管理機(jī)構(gòu)、科研部門(mén)和社會(huì)公眾之間的信息交流與情報(bào)合作,實(shí)現(xiàn)信息互聯(lián)互通,完善跨部門(mén)、跨省市的流域協(xié)調(diào)機(jī)制,解決流域內(nèi)上下游、左右岸的跨界責(zé)任落實(shí)問(wèn)題。
2.2 應(yīng)對(duì)流域復(fù)雜生態(tài)環(huán)境問(wèn)題的技術(shù)需求流域自然-社會(huì)-經(jīng)濟(jì)復(fù)合生態(tài)系統(tǒng)是一個(gè)高度復(fù)雜的綜合系統(tǒng),在認(rèn)知和技術(shù)層面存在眾多不確定性和信息滯后等局限,亟需從海量數(shù)據(jù)、機(jī)理模型、高效算法、智慧平臺(tái)及其業(yè)務(wù)化應(yīng)用等方面實(shí)現(xiàn)全方位技術(shù)突破。
流域水環(huán)境信息數(shù)據(jù)存在海量、分散、異構(gòu)等特征,面臨共享范圍窄、利用效率低的問(wèn)題。氣象、水利、環(huán)保、國(guó)土、經(jīng)濟(jì)等多源數(shù)據(jù)標(biāo)準(zhǔn)不一、結(jié)構(gòu)各異、收集困難、傳輸?shù)托?、存?chǔ)受限,亟需一套標(biāo)準(zhǔn)化融合集成技術(shù)方法,構(gòu)建分布式生態(tài)環(huán)境大數(shù)據(jù)庫(kù),強(qiáng)化綜合處理與傳輸能力,實(shí)現(xiàn)流域生態(tài)環(huán)境大數(shù)據(jù)的有效收集、融合、集成、共享與管理。
流域水環(huán)境水生態(tài)問(wèn)題受氣象、水動(dòng)力、水質(zhì)等自然過(guò)程和下墊面改造、污染排放、資源利用等社會(huì)經(jīng)濟(jì)活動(dòng)影響,極大地增加了水環(huán)境水生態(tài)準(zhǔn)確模擬預(yù)測(cè)的難度,迫切需要構(gòu)建耦合流域氣象-陸面-水體過(guò)程機(jī)理的大尺度、全過(guò)程、長(zhǎng)系列、精細(xì)化系統(tǒng)模型,解決各類(lèi)過(guò)程的非線性性、區(qū)域非均質(zhì)性、參數(shù)尺度效應(yīng)和不確定性等問(wèn)題,實(shí)現(xiàn)水環(huán)境污染地點(diǎn)的精準(zhǔn)定位、污染過(guò)程的精準(zhǔn)模擬和污染程度的精準(zhǔn)預(yù)測(cè)。
傳統(tǒng)流域模型計(jì)算多用串行方法,存在等待時(shí)間損耗、大尺度模擬運(yùn)算速度慢、分析效率低等問(wèn)題。流域模型分布式并行計(jì)算技術(shù)依托超算中心、云計(jì)算中心等提供高性能計(jì)算服務(wù),可以突破大尺度流域模型數(shù)據(jù)存儲(chǔ)、傳輸效率、運(yùn)算速度等瓶頸,實(shí)現(xiàn)流域多模型的高性能計(jì)算。
世界范圍內(nèi),面向大尺度流域水環(huán)境水生態(tài)多目標(biāo)調(diào)控管理,可實(shí)現(xiàn)多功能業(yè)務(wù)化部署運(yùn)行的平臺(tái)鮮有研究。亟需結(jié)合云計(jì)算、霧計(jì)算及邊緣計(jì)算等手段,從數(shù)據(jù)架構(gòu)、模型算法、硬件組裝、軟件開(kāi)發(fā)、平臺(tái)集成、網(wǎng)絡(luò)系統(tǒng)等層面加強(qiáng)全套技術(shù)體系的自主研發(fā),突破外源性技術(shù)供給抑制,推動(dòng)流域水環(huán)境水生態(tài)智慧化管理平臺(tái)構(gòu)建及業(yè)務(wù)化應(yīng)用,實(shí)現(xiàn)流域水環(huán)境水生態(tài)實(shí)時(shí)監(jiān)測(cè)、污染防控、水質(zhì)預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警、支撐生態(tài)調(diào)度等智慧服務(wù)。
為實(shí)現(xiàn)大尺度流域水環(huán)境水生態(tài)業(yè)務(wù)化精準(zhǔn)調(diào)控,本文以集海量數(shù)據(jù)融合管理、多維過(guò)程精細(xì)模擬、機(jī)理模型高效計(jì)算、多元服務(wù)差別定制一體化為目標(biāo),構(gòu)建了流域水環(huán)境水生態(tài)智慧化管理云平臺(tái)。基于云端、邊緣端、終端(Three layers,3L)三個(gè)層次的“云邊終”協(xié)同架構(gòu),部署具有相對(duì)獨(dú)立功能的數(shù)據(jù)中心、模型中心、控制中心及客服中心(Four centers,4C),實(shí)現(xiàn)高效互聯(lián)、資源共享的3L4C云平臺(tái)系統(tǒng)架構(gòu)(圖1)。
圖1 流域水環(huán)境水生態(tài)智慧化管理云平臺(tái)架構(gòu)
云端是一個(gè)大規(guī)模的服務(wù)器集群空間,可按需靈活部署,動(dòng)態(tài)可擴(kuò)展能力強(qiáng),在廣域網(wǎng)或局域網(wǎng)內(nèi)通過(guò)分布式網(wǎng)絡(luò)存儲(chǔ)技術(shù)將硬件、軟件、網(wǎng)絡(luò)等資源統(tǒng)一起來(lái),實(shí)現(xiàn)大體量的高效數(shù)據(jù)計(jì)算、儲(chǔ)存、處理和分析,通常完成大型復(fù)雜數(shù)值計(jì)算任務(wù)。邊緣端部署在各業(yè)務(wù)部門(mén),如國(guó)家或流域生態(tài)環(huán)境保護(hù)部門(mén)、省市生態(tài)環(huán)境科學(xué)研究院等,是按各部門(mén)業(yè)務(wù)需求原則構(gòu)建的小型個(gè)性化計(jì)算中心,可以分擔(dān)云端計(jì)算與存儲(chǔ)負(fù)載、降低網(wǎng)絡(luò)時(shí)延并減小云端服務(wù)使用成本。終端部署在數(shù)據(jù)采集現(xiàn)場(chǎng),具有簡(jiǎn)單的基礎(chǔ)數(shù)據(jù)處理能力,支持不同級(jí)別數(shù)據(jù)的直接獲取并通過(guò)網(wǎng)絡(luò)傳輸。
(1)3L 結(jié)構(gòu)脈絡(luò):在云端布置“空-地-水”一體化模型,該模型涵蓋氣象、水文、社會(huì)經(jīng)濟(jì)等過(guò)程,可實(shí)現(xiàn)水環(huán)境一維、二維及三維模擬,從單一水動(dòng)力水質(zhì)到綜合水環(huán)境水生態(tài)以及生態(tài)修復(fù),包含氣象模塊、水文模塊、水動(dòng)力模塊、水質(zhì)模塊、富營(yíng)養(yǎng)化模塊、泥沙模塊、重金屬模塊、漂浮物模塊、油污模塊和有機(jī)物模塊等。為了提高計(jì)算效率,實(shí)現(xiàn)全局最優(yōu),云端“空-地-水”一體化模型采用分布式并行算法,處理長(zhǎng)系列大范圍全局性的復(fù)雜問(wèn)題。邊緣端按需部署在不同的業(yè)務(wù)部門(mén),一方面獲取終端上傳的數(shù)據(jù),通過(guò)分布式霧計(jì)算節(jié)點(diǎn),進(jìn)行錯(cuò)誤數(shù)據(jù)自動(dòng)識(shí)別、缺失數(shù)據(jù)插補(bǔ),實(shí)現(xiàn)該業(yè)務(wù)部門(mén)負(fù)責(zé)區(qū)域內(nèi)的原始數(shù)據(jù)融合集成,形成滿足云計(jì)算需求的邊緣端生態(tài)環(huán)境大數(shù)據(jù)庫(kù);另一方面接收云端產(chǎn)生的數(shù)據(jù),完成風(fēng)險(xiǎn)預(yù)警等級(jí)評(píng)估、污染溯源過(guò)程分析、經(jīng)濟(jì)效益核算等局部簡(jiǎn)單模型的數(shù)據(jù)后處理分析,借助消息中心作為中間件,進(jìn)行云端及邊緣端之間任務(wù)溝通協(xié)調(diào),實(shí)現(xiàn)云邊協(xié)同計(jì)算,滿足水質(zhì)預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警和實(shí)時(shí)監(jiān)測(cè)等個(gè)性化分類(lèi)管理需求,從而達(dá)到局部精準(zhǔn)。終端布設(shè)各式各類(lèi)的傳感器、移動(dòng)設(shè)備和分級(jí)分部門(mén)的用戶,結(jié)合物聯(lián)網(wǎng)技術(shù),進(jìn)行氣象、水利、生態(tài)、環(huán)境、國(guó)土、農(nóng)業(yè)、經(jīng)濟(jì)等多源異構(gòu)數(shù)據(jù)采集和邊緣服務(wù)發(fā)布,實(shí)現(xiàn)水環(huán)境水生態(tài)信息的立體感知、全面獲取與定向輸出。
(2)4C任務(wù)分配:數(shù)據(jù)中心進(jìn)行數(shù)據(jù)的自動(dòng)收集、抽取、清洗、轉(zhuǎn)換與傳輸,實(shí)現(xiàn)對(duì)靜態(tài)基底數(shù)據(jù)和動(dòng)態(tài)過(guò)程數(shù)據(jù)的分類(lèi)處理、模型運(yùn)算數(shù)據(jù)的存儲(chǔ)管理,為模型中心的計(jì)算分析和客服中心的服務(wù)發(fā)布提供數(shù)據(jù)支撐。模型中心依據(jù)控制中心指令,按需調(diào)用成套的模型條件節(jié)點(diǎn)與應(yīng)用節(jié)點(diǎn),完成氣象、陸地面源、水動(dòng)力、水質(zhì)和水生態(tài)等多模型耦合的并行計(jì)算,為決策分析提供結(jié)果支撐。控制中心管理平臺(tái)運(yùn)行流程,通過(guò)分配系統(tǒng)資源和監(jiān)控系統(tǒng)運(yùn)行來(lái)促進(jìn)各中心協(xié)同合作、處理系統(tǒng)故障,快速有序地實(shí)現(xiàn)平臺(tái)自動(dòng)化和智慧化業(yè)務(wù)處理??头行呢?fù)責(zé)發(fā)布和推送水環(huán)境水生態(tài)監(jiān)測(cè)、預(yù)報(bào)和預(yù)警等服務(wù)信息,通過(guò)用戶指令向控制中心發(fā)出訪問(wèn)請(qǐng)求,以滿足不同客戶對(duì)決策的信息形式響應(yīng)、可視化反饋與業(yè)務(wù)操作等人機(jī)交互需求。
一種新技術(shù)的出現(xiàn),必定影響醫(yī)學(xué)圖書(shū)館的服務(wù),醫(yī)學(xué)圖書(shū)館主要是醫(yī)學(xué)知識(shí)存儲(chǔ),如何將每年海量增長(zhǎng)的醫(yī)學(xué)數(shù)據(jù)合理存儲(chǔ),是館員思考的問(wèn)題,對(duì)于用戶的需求也會(huì)隨著服務(wù)的創(chuàng)新而改變。數(shù)字圖書(shū)館的發(fā)展,使數(shù)據(jù)來(lái)源更加結(jié)構(gòu)化和復(fù)雜化,智慧圖書(shū)館=大數(shù)據(jù)+館員知識(shí)服務(wù),所以醫(yī)學(xué)院校圖書(shū)館不僅要為用戶傳播知識(shí),更多的要學(xué)會(huì)管理知識(shí),將數(shù)據(jù)存儲(chǔ)有序化,讓大數(shù)據(jù)在數(shù)字圖書(shū)館中發(fā)揮更大優(yōu)勢(shì),使知識(shí)服務(wù)在醫(yī)學(xué)院校的大數(shù)據(jù)環(huán)境下能換位。一定程度上大數(shù)據(jù)給圖書(shū)館提供了新的視角,為圖書(shū)館注入了新鮮血液,知識(shí)服務(wù)理念在大數(shù)據(jù)影響下為醫(yī)學(xué)圖書(shū)館尋求了新的服務(wù)框架。
(3)3L與4C之間任務(wù)協(xié)同:整合數(shù)據(jù)-模型-控制-客服4個(gè)中心的軟硬件資源,布置于云端-邊緣端-終端的3 層云架構(gòu)中,將大體量多學(xué)科融合的數(shù)據(jù)模型和控制中心的宏觀決策功能布設(shè)在云端,短歷時(shí)重要數(shù)據(jù)模型和客服中心的邊緣決策功能布設(shè)在邊緣端,數(shù)據(jù)的原始采集與客服中心的最終服務(wù)發(fā)布在終端完成。邊緣端作為云端與終端之間的媒介進(jìn)行局部個(gè)性化的數(shù)據(jù)、模型與服務(wù)集總,通過(guò)選擇性的消息傳遞、分發(fā)來(lái)減輕網(wǎng)絡(luò)和云端的傳輸、計(jì)算負(fù)載,以簡(jiǎn)單的模型計(jì)算承擔(dān)起數(shù)據(jù)集成預(yù)處理、數(shù)據(jù)結(jié)果后處理及業(yè)務(wù)服務(wù)定制的角色?;?L4C任務(wù)協(xié)同模式,應(yīng)用環(huán)境模型耦合集成技術(shù)以及信息化平臺(tái)的自我學(xué)習(xí)和修正技術(shù),可以實(shí)現(xiàn)全流域的環(huán)境智慧感知、數(shù)值模擬仿真、計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源統(tǒng)一調(diào)配及個(gè)性化功能服務(wù)發(fā)布。
基于3L4C云平臺(tái)系統(tǒng)架構(gòu),可以實(shí)現(xiàn)支撐水質(zhì)預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警、污染溯源和生態(tài)調(diào)度等功能的海量數(shù)據(jù)融合集成、“空-地-水”一體化復(fù)雜模型體系布設(shè)及其高性能并行計(jì)算,融合“云邊終”協(xié)同的工作模式,實(shí)現(xiàn)流域水環(huán)境水生態(tài)的高效智慧化管理。以水質(zhì)預(yù)報(bào)功能為例:云端布置高效的多模型并行算法,進(jìn)行頂層核心模擬計(jì)算,得到流域全局全時(shí)段的流場(chǎng)與濃度場(chǎng)模擬結(jié)果;邊緣端布置個(gè)性化的預(yù)報(bào)技術(shù)滿足分類(lèi)管理需求,結(jié)合云端傳輸?shù)幕A(chǔ)模擬結(jié)果,根據(jù)小范圍的應(yīng)用區(qū)域設(shè)置不同的預(yù)報(bào)模式與預(yù)警等級(jí),同時(shí)承擔(dān)相關(guān)水文水質(zhì)數(shù)據(jù)集成與信息通訊的職責(zé);終端結(jié)合物聯(lián)網(wǎng)技術(shù)完成底層的水文水質(zhì)監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)采集、上傳和最終預(yù)報(bào)信息的推送和發(fā)布。
4.1 分布式大數(shù)據(jù)融合集成技術(shù)本文提出的智慧化管理云平臺(tái)采用了“云邊終”協(xié)同的分布式大數(shù)據(jù)融合集成技術(shù)。在平臺(tái)的初步數(shù)據(jù)融合集成過(guò)程中,由于不同部門(mén)收集的同類(lèi)數(shù)據(jù)單位和時(shí)間跨度不一等差別而對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,實(shí)現(xiàn)多個(gè)數(shù)據(jù)源到統(tǒng)一數(shù)據(jù)視圖的整合,涉及多級(jí)別、多方面、多層次的信息檢測(cè)、相關(guān)、估計(jì)和綜合,并可以獲得目標(biāo)信息狀態(tài)和特征估計(jì)及態(tài)勢(shì)。為服務(wù)于云端模型計(jì)算,平臺(tái)進(jìn)行了數(shù)據(jù)的二次集成處理,根據(jù)“空-地-水”一體化模型所需要的輸入條件,在邊緣端構(gòu)建相應(yīng)的數(shù)據(jù)整合模型,提取、轉(zhuǎn)化并精煉初次融合集成的標(biāo)準(zhǔn)化數(shù)據(jù),提供可以集成在云端模型中使用的核心層數(shù)據(jù)。
通過(guò)終端的流量傳感器、水質(zhì)監(jiān)測(cè)儀、空間掃描儀和全球定位系統(tǒng)等物聯(lián)網(wǎng)設(shè)備組成通信系統(tǒng),借助多個(gè)邊緣節(jié)點(diǎn)和霧節(jié)點(diǎn)之間的智能協(xié)作,實(shí)現(xiàn)現(xiàn)場(chǎng)級(jí)、實(shí)時(shí)級(jí)、短周期級(jí)的數(shù)據(jù)即時(shí)提取,以及多源大數(shù)據(jù)的清洗、分類(lèi)與互饋。采用數(shù)據(jù)倉(cāng)庫(kù)的集成模式,設(shè)計(jì)通用數(shù)據(jù)庫(kù)引擎中間件,采取列-行數(shù)據(jù)轉(zhuǎn)換方式,根據(jù)映射配置關(guān)系,將異構(gòu)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為行存儲(chǔ)模式,借助結(jié)構(gòu)查詢語(yǔ)句實(shí)現(xiàn)源數(shù)據(jù)庫(kù)到目的數(shù)據(jù)庫(kù)的信息融合集成,采用Web Service 數(shù)據(jù)接口,集成了涵蓋8大類(lèi)型50余項(xiàng)指標(biāo)的邊緣端生態(tài)環(huán)境大數(shù)據(jù)庫(kù)(圖2)。
依托消息中心進(jìn)行數(shù)據(jù)分層分類(lèi)調(diào)度,采用聚合傳輸方式,將邊緣端的核心層數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行處理和分析,節(jié)約的數(shù)據(jù)傳輸量超過(guò)90%,由網(wǎng)絡(luò)傳輸協(xié)議帶來(lái)的額外耗時(shí)從4%降低到2.74%,大大減輕了網(wǎng)絡(luò)和服務(wù)器上的負(fù)載。該技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的智慧感知、即時(shí)處理、經(jīng)濟(jì)存儲(chǔ)、高效傳輸及網(wǎng)絡(luò)融合,推進(jìn)了多源異構(gòu)數(shù)據(jù)協(xié)同共享,為平臺(tái)實(shí)現(xiàn)多元化功能提供氣象、水文、水質(zhì)、生態(tài)、社會(huì)、經(jīng)濟(jì)等基礎(chǔ)數(shù)據(jù)來(lái)源。
4.2 “空-地-水”一體化模型高性能并行計(jì)算技術(shù)面向以分布式單元或分塊空間網(wǎng)格為基礎(chǔ)的氣象、陸地面源、水動(dòng)力、水質(zhì)和水生態(tài)等大尺度流域模型,建立了布設(shè)在云端的“空-地-水”一體化模型高性能并行算法(圖3)。考慮并行計(jì)算的負(fù)載均衡,進(jìn)行均勻化分塊處理,設(shè)置邊界條件節(jié)點(diǎn);基于模型之間的強(qiáng)弱耦合關(guān)系,根據(jù)邏輯先后順序設(shè)置模型應(yīng)用節(jié)點(diǎn),建立數(shù)值模擬區(qū)域分割方式和功能分解方式的分布式通訊基礎(chǔ)。通過(guò)云端集群系統(tǒng)的中央管理服務(wù)器完成節(jié)點(diǎn)任務(wù)的動(dòng)態(tài)分配與監(jiān)控,借助消息傳遞接口(Message passing interface,MPI)實(shí)現(xiàn)命令傳達(dá)、數(shù)據(jù)交互和任務(wù)控制,基于共享內(nèi)存并行與不共享內(nèi)存并行的混合處理手段,設(shè)置線程并行、核并行與多節(jié)點(diǎn)并行的“三并模式”,采用遞進(jìn)控制和平行控制兩種并行啟動(dòng)方式,分別對(duì)模型內(nèi)部、分塊單元、模型之間進(jìn)行并行化處理。融合云計(jì)算迅速響應(yīng)和彈性計(jì)算等特性,采用邊接收邊處理的數(shù)據(jù)流式處理方法,減少了大量不必要的運(yùn)行等待時(shí)間。該技術(shù)基于云端的區(qū)域分割、功能分解和進(jìn)程擴(kuò)充,擺脫了數(shù)據(jù)龐雜、模型眾多和算法低效的束縛,提升了流域云端水環(huán)境水生態(tài)精細(xì)化模擬預(yù)測(cè)的高性能計(jì)算能力。
圖2 流域多源異構(gòu)生態(tài)環(huán)境大數(shù)據(jù)集成
圖3 高性能分布式三級(jí)并行計(jì)算技術(shù)
4.3 智慧化平臺(tái)“云邊終”協(xié)同技術(shù)智慧化云平臺(tái)基于SOA 和SaaS 架構(gòu),在云端布設(shè)模型集群體系,在邊緣端提供基于Web的服務(wù)組合,在終端實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)接入與甄別處理,促進(jìn)平臺(tái)業(yè)務(wù)化獨(dú)立性和共享性的協(xié)同提升(圖4)。將支撐水質(zhì)預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警、污染溯源和生態(tài)調(diào)度等差異化服務(wù)的全流域多過(guò)程全時(shí)段復(fù)雜耦合模型體系布設(shè)在云端的多個(gè)域和服務(wù)器存儲(chǔ)空間上,組成集群體系,各業(yè)務(wù)邏輯之間互不干擾、獨(dú)立運(yùn)行,其聯(lián)系、相互調(diào)用以及數(shù)據(jù)交換通過(guò)控制中心完成。通過(guò)負(fù)載監(jiān)控獲取集群各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)實(shí)時(shí)負(fù)載狀況信息,進(jìn)行收集、處理和直觀顯示,并發(fā)送到負(fù)載均衡服務(wù)器,執(zhí)行系統(tǒng)管理員對(duì)集群的控制命令,達(dá)到平衡云計(jì)算系統(tǒng)負(fù)載分布、提高節(jié)點(diǎn)計(jì)算效率、減小任務(wù)響應(yīng)時(shí)間和提高系統(tǒng)魯棒性等效果?;赪eb Service 的應(yīng)用系統(tǒng)自動(dòng)化集成技術(shù),利用對(duì)象連接與嵌入技術(shù)開(kāi)發(fā)可重復(fù)使用的對(duì)象組件模型,提供以統(tǒng)一應(yīng)用系統(tǒng)框架為基礎(chǔ)的定制界面服務(wù)。經(jīng)由網(wǎng)絡(luò)傳輸終端采集的水文、水質(zhì)等數(shù)據(jù)以還原流域現(xiàn)場(chǎng)態(tài)勢(shì),完成基礎(chǔ)數(shù)據(jù)直接監(jiān)控獲取與個(gè)性化精細(xì)服務(wù)結(jié)果最終發(fā)布?!霸七吔K”協(xié)同技術(shù)打開(kāi)了現(xiàn)實(shí)世界用戶直連流域水環(huán)境水生態(tài)模擬服務(wù)計(jì)算的通道,為快速有序?qū)崿F(xiàn)流域水環(huán)境水生態(tài)管理的自動(dòng)化和智慧化業(yè)務(wù)處理提供了技術(shù)保障。
圖4 “云邊終”協(xié)同工作模式
基于3L4C云平臺(tái)系統(tǒng)架構(gòu),構(gòu)建了三峽庫(kù)區(qū)流域水環(huán)境水生態(tài)智慧化管理云平臺(tái),針對(duì)三峽庫(kù)區(qū)6萬(wàn)余km2流域國(guó)土空間、2680個(gè)鄉(xiāng)鎮(zhèn)、23條支流及660 km長(zhǎng)江干流河道,兼顧行政單元、水文響應(yīng)單元及河道單元的空間異質(zhì)特性,劃分了27 244個(gè)精度為3 km×3 km的氣象網(wǎng)格單元、1739個(gè)陸地面源單元及1800萬(wàn)個(gè)精度為20 m×20 m的河道網(wǎng)格,設(shè)置了585個(gè)進(jìn)程并行的流域云端“空-地-水”一體化模型高性能計(jì)算方案,目前已在三峽庫(kù)區(qū)流域范圍內(nèi)布設(shè)了四川、重慶、三峽庫(kù)區(qū)和湖北4個(gè)一級(jí)水環(huán)境水生態(tài)邊緣端,鏈接管理的終端包括各層級(jí)示范區(qū)的氣象站、土地利用庫(kù)接口、土壤庫(kù)接口、社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)接口、污水處理廠等排污口監(jiān)測(cè)設(shè)備、水文站、水質(zhì)自動(dòng)監(jiān)測(cè)站、水質(zhì)人工站、水生生物站等共計(jì)3500余個(gè),成功支撐了三峽庫(kù)區(qū)流域水質(zhì)精確預(yù)報(bào)、風(fēng)險(xiǎn)及時(shí)預(yù)警、污染精準(zhǔn)溯源和生態(tài)科學(xué)調(diào)度。
5.1 質(zhì)量預(yù)報(bào)建立流域水質(zhì)自動(dòng)化監(jiān)測(cè)體系,應(yīng)用數(shù)值模型進(jìn)行水質(zhì)預(yù)報(bào)可以為污染防控贏得預(yù)見(jiàn)期。在云端布設(shè)流域全局水環(huán)境水生態(tài)質(zhì)量預(yù)報(bào)體系,在邊緣端根據(jù)水體管理目標(biāo)設(shè)置個(gè)性化預(yù)報(bào)技術(shù),構(gòu)建了流域“空-地-水”一體化水環(huán)境水生態(tài)質(zhì)量預(yù)報(bào)體系,實(shí)現(xiàn)了全局-局部預(yù)報(bào)效率和精度的相互補(bǔ)充與協(xié)同提升。在四川省生態(tài)環(huán)境監(jiān)測(cè)總站布設(shè)的水質(zhì)預(yù)報(bào)業(yè)務(wù)端,通過(guò)自動(dòng)作業(yè)方式和模式預(yù)報(bào),模擬預(yù)測(cè)未來(lái)3、7 和15 d 水質(zhì)情況,未來(lái)3 d 水質(zhì)預(yù)報(bào)兩小時(shí)完成,預(yù)測(cè)精度超過(guò)90%,每日定時(shí)推送至客戶端。“平時(shí)”進(jìn)行常規(guī)水質(zhì)信息的預(yù)報(bào)發(fā)布;在發(fā)生污染事故的“戰(zhàn)時(shí)”,根據(jù)客服中心的需求指令,自動(dòng)增發(fā)指定水質(zhì)信息的實(shí)時(shí)精細(xì)化和可視化預(yù)報(bào)功能,及時(shí)預(yù)知污染全過(guò)程,為有關(guān)部門(mén)及時(shí)通知可能受影響區(qū)域采取措施和水環(huán)境的有效管理爭(zhēng)取了寶貴的時(shí)間。
5.2 風(fēng)險(xiǎn)預(yù)警水污染預(yù)警技術(shù)使流域風(fēng)險(xiǎn)從被動(dòng)應(yīng)對(duì)轉(zhuǎn)為自動(dòng)識(shí)別和主動(dòng)監(jiān)管成為可能。辨識(shí)流域水動(dòng)力、水環(huán)境、水生態(tài)同區(qū)異象風(fēng)險(xiǎn)特征,實(shí)現(xiàn)了水環(huán)境水生態(tài)過(guò)程云端實(shí)時(shí)動(dòng)態(tài)模擬,5 min內(nèi)完成有資料和無(wú)資料地區(qū)未來(lái)2天的污染事件演進(jìn)過(guò)程;對(duì)比模擬結(jié)果與監(jiān)測(cè)數(shù)據(jù),依據(jù)邊緣端風(fēng)險(xiǎn)閾值和預(yù)警等級(jí)劃分方法進(jìn)行警情分析,準(zhǔn)確預(yù)知風(fēng)險(xiǎn)暴發(fā)時(shí)間、范圍和程度,發(fā)布靜態(tài)和動(dòng)態(tài)數(shù)字流域預(yù)警地圖。平臺(tái)已準(zhǔn)確預(yù)警水華事件50余起,指導(dǎo)三峽庫(kù)區(qū)流域突發(fā)事件應(yīng)急近百次,如2014年4月30日,在重慶市生態(tài)環(huán)境科學(xué)研究院布設(shè)的風(fēng)險(xiǎn)預(yù)警業(yè)務(wù)端準(zhǔn)確預(yù)告一起3 t鄰二甲苯泄露事故污染團(tuán)的移動(dòng)路徑,預(yù)測(cè)污染擴(kuò)散至長(zhǎng)江控制斷面歷時(shí)4.5 h,濃度為0.008 mg/L,持續(xù)時(shí)間約10 h,與實(shí)際情況吻合程度良好。對(duì)污染事件可能影響范圍、程度和持續(xù)時(shí)間等關(guān)鍵信息進(jìn)行預(yù)警預(yù)報(bào),為相關(guān)部門(mén)的污染防治決策提供了有力支撐,提高了處置時(shí)效性和主動(dòng)性。
5.3 追蹤溯源流域突發(fā)污染追蹤溯源是水環(huán)境事故應(yīng)急處置和追責(zé)補(bǔ)償?shù)年P(guān)鍵環(huán)節(jié)。對(duì)比邊緣端獲取的事故監(jiān)測(cè)數(shù)據(jù)和云端預(yù)測(cè)結(jié)果,從云端源質(zhì)響應(yīng)數(shù)據(jù)庫(kù)中識(shí)別水質(zhì)異常點(diǎn),獲取異常點(diǎn)位及上游范圍前5天的水動(dòng)力水質(zhì)歷史數(shù)據(jù),在邊緣端確定污染源的可能排放位置與排放過(guò)程,對(duì)潛在污染源篩選、排查并快速精準(zhǔn)定位。平臺(tái)已成功排查多起偷排事件,如2016年3月6日,在四川省生態(tài)環(huán)境監(jiān)測(cè)總站布設(shè)的污染追溯業(yè)務(wù)端自動(dòng)捕捉到水質(zhì)監(jiān)測(cè)數(shù)據(jù)異常,釜溪河鄧關(guān)斷面總磷濃度為0.38 mg/L,超出云端連續(xù)2天預(yù)測(cè)濃度的54%,經(jīng)檢查水質(zhì)監(jiān)測(cè)儀運(yùn)行正常,追溯源頭為短時(shí)偷排總磷廢液的上游涉磷企業(yè),為應(yīng)急部門(mén)從源頭切斷污染傳播途徑提供依據(jù),實(shí)現(xiàn)了應(yīng)急資源的綜合調(diào)度,輔助了突發(fā)污染的即時(shí)處置和高效決策。
5.4 支撐生態(tài)調(diào)度科學(xué)評(píng)估不同水資源調(diào)度方式下的水生態(tài)健康狀況,能夠有效支撐兼顧河流生態(tài)系統(tǒng)需求、發(fā)揮最優(yōu)生態(tài)效益的調(diào)度方式研究。辨識(shí)不同調(diào)蓄狀態(tài)下水華頻發(fā)區(qū)的水動(dòng)力水質(zhì)特征,剖析魚(yú)類(lèi)生長(zhǎng)、繁殖及遷移與其生境條件的互饋關(guān)系,在云端進(jìn)行流域定量生態(tài)調(diào)度方案集模擬,完成邊緣端個(gè)性化方案的時(shí)間選擇、方式確定及可視化效果評(píng)估。在長(zhǎng)江水利委員會(huì)水文局長(zhǎng)江上游水環(huán)境監(jiān)測(cè)中心布設(shè)的生態(tài)調(diào)度決策支持業(yè)務(wù)端自2016年連續(xù)無(wú)故障運(yùn)行至今,模擬了不同生態(tài)調(diào)度方案下全庫(kù)區(qū)的水動(dòng)力、水質(zhì)、水生態(tài)變化過(guò)程,葉綠素、總氮、總磷、生化需氧量、氨氮等水質(zhì)指標(biāo)預(yù)測(cè)誤差不超過(guò)30%,提高了水量水質(zhì)水生態(tài)聯(lián)合調(diào)度方案的優(yōu)化決策效率。
5.5 效益分析云平臺(tái)在三峽庫(kù)區(qū)流域的水華控制、水污染防控、水質(zhì)水量快速預(yù)測(cè)、追蹤溯源及工程調(diào)度管理等方面得到廣泛應(yīng)用,產(chǎn)生了顯著的經(jīng)濟(jì)社會(huì)和生態(tài)環(huán)境效益。僅以水污染防控為例,已避免飲用水源地供給故障影響的累計(jì)人次約12 000萬(wàn),依據(jù)重慶市和湖北省0.8元/m2的自來(lái)水價(jià)格和庫(kù)區(qū)人均2.0 m3的日取水量,減少經(jīng)濟(jì)損失1.92億元,提高了長(zhǎng)江流域水環(huán)境水生態(tài)智慧化管理水平和風(fēng)險(xiǎn)精準(zhǔn)防控能力。
本文以解決當(dāng)前流域管理領(lǐng)域的難點(diǎn)問(wèn)題,實(shí)現(xiàn)水環(huán)境水生態(tài)精準(zhǔn)調(diào)控為目標(biāo),構(gòu)建了基于3L4C云架構(gòu)的流域水環(huán)境水生態(tài)智慧化管理云平臺(tái)并實(shí)現(xiàn)其業(yè)務(wù)化應(yīng)用。平臺(tái)突破了流域多源異構(gòu)生態(tài)環(huán)境大數(shù)據(jù)集成融合技術(shù),實(shí)現(xiàn)了氣象、水文、生態(tài)、環(huán)境、社會(huì)、經(jīng)濟(jì)等數(shù)據(jù)的智慧感知、即時(shí)處理、經(jīng)濟(jì)存儲(chǔ)、高效傳輸及網(wǎng)絡(luò)融合,推進(jìn)了多源異構(gòu)數(shù)據(jù)協(xié)同共享;建立了以分布式單元或分塊空間網(wǎng)格為基礎(chǔ)的氣象、陸地面源、水動(dòng)力、水質(zhì)和水生態(tài)等流域模型的云端高性能并行算法,突破了大尺度流域“空-地-水”模型數(shù)據(jù)存儲(chǔ)、傳輸效率、運(yùn)算速度等瓶頸;突破了雙向反饋、負(fù)載均衡的智慧化管理平臺(tái)“云邊終”協(xié)同技術(shù),實(shí)現(xiàn)了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的動(dòng)態(tài)分配和部署共享,支撐了水質(zhì)預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警、污染溯源和生態(tài)調(diào)度等個(gè)性化功能服務(wù)發(fā)布。
云平臺(tái)的應(yīng)用帶領(lǐng)流域智慧管理進(jìn)入新形態(tài),為持續(xù)打造高度智能化的智慧流域,仍需加大流域終端立體監(jiān)控網(wǎng)絡(luò)等智慧基礎(chǔ)設(shè)施的覆蓋度,完善平臺(tái)運(yùn)維管理與遠(yuǎn)程質(zhì)控功能模塊;增強(qiáng)數(shù)據(jù)同化能力,優(yōu)化基于過(guò)程的流域模型技術(shù)在復(fù)雜大尺度流域上的應(yīng)用性能;通過(guò)WebGL 地圖引擎、自適應(yīng)精度流式瓦片地圖等技術(shù)優(yōu)化平臺(tái)結(jié)果呈現(xiàn)模式,增強(qiáng)智慧服務(wù)可視化表達(dá)能力;推動(dòng)構(gòu)建流域云與政務(wù)云的混合工作模式,加強(qiáng)網(wǎng)頁(yè)和移動(dòng)端雙軌開(kāi)發(fā),提升平臺(tái)普及度和對(duì)各層級(jí)用戶的透明度,實(shí)現(xiàn)“環(huán)境流、信息流、業(yè)務(wù)流”的流域高度一體化智慧融合。