熊麗君,袁明珠,吳建強*
1. 上海市環(huán)境科學研究院,上海 200233,2. 華東理工大學資源與環(huán)境工程學院,上海 200237
大數(shù)據(jù)分為數(shù)據(jù)產(chǎn)品、處理過程和認知過程 3個層次,其中數(shù)據(jù)產(chǎn)品主要特征為容量大(Volume)、類型多(Variety)、存取速度快(Velocity)和應用價值高(Value),處理過程指對海量數(shù)據(jù)進行采集、存儲、關(guān)聯(lián)分析和可視化,認知過程指通過對數(shù)據(jù)的處理獲得新知識、從而創(chuàng)造新價值,改變?nèi)藗冋J知結(jié)構(gòu)(郭少青,2017;趙苗苗等,2017)。通過大數(shù)據(jù)分析(Big Data Analytics,BDA),可以更好掌握客觀事件的特征,找到有利于決策的信息(Yong,2014)。生態(tài)環(huán)境大數(shù)據(jù)指運用大數(shù)據(jù)理念、采用處理方法和分析技術(shù)對生態(tài)環(huán)境數(shù)據(jù)進行收集、分類、存儲、分析與利用,在此基礎上進行應用,以解決生態(tài)環(huán)境問題。國際生物學計劃(International Biological Program,IBP)推動長期生態(tài)學研究網(wǎng)絡(The International Long Term Ecological Research,ILTER)發(fā)展,標志著生態(tài)學進入“大科學、大數(shù)據(jù)”時代(Aronova et al.,2010)。
傳統(tǒng)的生態(tài)環(huán)境數(shù)據(jù)呈現(xiàn)無序性、孤立性和缺乏群體性,給生態(tài)環(huán)境監(jiān)測評價及綜合管理造成了一定困難(程春明等,2015)。發(fā)展生態(tài)環(huán)境大數(shù)據(jù)技術(shù),有利于有效集成多來源、多類型、多尺度的生態(tài)環(huán)境數(shù)據(jù),并進行高效管理和綜合利用,為生態(tài)環(huán)境保護和發(fā)展提供新的支撐(Yong,2014)。生態(tài)環(huán)境大數(shù)據(jù)推動環(huán)境信息化發(fā)展,是生態(tài)環(huán)境保護面對新形勢、新趨勢的必然選擇,也是生態(tài)環(huán)境管理的重要支撐。2016年生態(tài)環(huán)境部出臺《生態(tài)環(huán)境大數(shù)據(jù)建設建設總體方案》,明確指出加強生態(tài)環(huán)境大數(shù)據(jù)綜合應用與集成分析,實現(xiàn)生態(tài)環(huán)境綜合決策科學化、生態(tài)環(huán)境監(jiān)管精準化、生態(tài)環(huán)境公共服務便民化(董玉紅等,2017)。
本文通過分析生態(tài)環(huán)境大數(shù)據(jù)技術(shù)體系,對大數(shù)據(jù)技術(shù)在氣、水、噪聲、土壤等生態(tài)環(huán)境要素的監(jiān)測評價、模擬預測、優(yōu)化管理中應用進行闡述與剖析,針對當前存在的不足,提出相關(guān)建議,為后續(xù)大數(shù)據(jù)技術(shù)在生態(tài)環(huán)境領(lǐng)域的應用研究提供技術(shù)支撐,對加快生態(tài)環(huán)境大數(shù)據(jù)平臺建設、高效應用生態(tài)環(huán)境大數(shù)據(jù)具有重要的參考價值。
生態(tài)環(huán)境大數(shù)據(jù)技術(shù)將各種數(shù)據(jù)有機結(jié)合在一起,并進行分析,解決錯綜復雜的生態(tài)環(huán)境問題,提升環(huán)境決策的準確性和科學性。通過利用現(xiàn)代化生態(tài)環(huán)境監(jiān)測儀進行數(shù)據(jù)采集,獲取海量數(shù)據(jù),在云計算等技術(shù)基礎上對生態(tài)環(huán)境大數(shù)據(jù)進行處理,進而進行實踐應用,使生態(tài)環(huán)境大數(shù)據(jù)價值獲得最大化(Johnson et al.,2017),其技術(shù)體系見圖1。
大數(shù)據(jù)主要通過衛(wèi)星遙感、傳感器、射頻識別、物聯(lián)網(wǎng)和移動平臺等技術(shù)手段進行采集(圖1)。隨著科學技術(shù)水平提高及信息化發(fā)展,生態(tài)環(huán)境大數(shù)據(jù)獲取方式趨向多樣化,采集數(shù)據(jù)主要分為五類:地面監(jiān)測數(shù)據(jù)、衛(wèi)星遙感監(jiān)測數(shù)據(jù)、地理信息數(shù)據(jù)、社會統(tǒng)計數(shù)據(jù)以及其他數(shù)據(jù)(表1)。
圖1 生態(tài)環(huán)境大數(shù)據(jù)技術(shù)體系框架Fig. 1 Technology system framework of big data in ecological environment
表1 生態(tài)環(huán)境大數(shù)據(jù)采集來源及主要內(nèi)容Table 1 Collection sources and main contents of big data in ecological environment
在數(shù)據(jù)采集技術(shù)中,遙感技術(shù)使空間信息在生態(tài)環(huán)境領(lǐng)域發(fā)揮著獨特的作用。目前建立覆蓋全球的生態(tài)環(huán)境監(jiān)測網(wǎng)絡主要分為全球衛(wèi)星遙感監(jiān)測網(wǎng)絡和地面監(jiān)測網(wǎng)絡兩大類,其中地面監(jiān)測網(wǎng)絡包括氣象站監(jiān)測網(wǎng)絡和全球環(huán)境監(jiān)測網(wǎng)絡。地面氣象站監(jiān)測網(wǎng)絡包括100多種數(shù)據(jù)來源和35000個氣象站點,集成了不同國家、不同地區(qū)的實時天氣觀測數(shù)據(jù),獲取參數(shù)為云量、氣壓、風速、風向、溫度、可見度、降水等(趙海鳳等,2018);全球環(huán)境監(jiān)測網(wǎng)絡主要涵蓋生態(tài)系統(tǒng)監(jiān)測和環(huán)境污染監(jiān)測,收集并分析水生態(tài)、陸地生態(tài)、環(huán)境質(zhì)量、環(huán)境污染以及生態(tài)環(huán)境要素的時空變化情況(胡沅等,2014)。除此以外,全世界建立的多個公民科學項目平臺利用“公民科學家”參與收集環(huán)境數(shù)據(jù),對生態(tài)環(huán)境監(jiān)測網(wǎng)絡也起到了一定的數(shù)據(jù)完善和豐富作用,如美國 BudBurst項目采用全美人民收集的植物生命周期數(shù)據(jù)來幫助研究植物如何應對環(huán)境變化(于貴瑞等,2018)。2018年4月,中國生態(tài)環(huán)境部啟動生態(tài)環(huán)保遙感大數(shù)據(jù)建設,推動遙感大數(shù)據(jù)的獲取與應用,但遙感大數(shù)據(jù)仍存在收集標準不統(tǒng)一、質(zhì)量較大差異和使用率低等問題,為了能夠?qū)ι鷳B(tài)環(huán)境狀況開展全天候監(jiān)測,生態(tài)環(huán)境部基于衛(wèi)星遙感等技術(shù)初步構(gòu)建生態(tài)環(huán)境監(jiān)測網(wǎng)絡體系,目前天地立體監(jiān)測系統(tǒng)具備 2—3 d對全國進行覆蓋一次的生態(tài)環(huán)境監(jiān)測的能力(王橋等,2016)。
大數(shù)據(jù)來源廣泛,數(shù)據(jù)類型和處理方法千差萬別,不同學者對大數(shù)據(jù)處理技術(shù)流程進行了劃分,如竇萬春等(2013)將其劃分為獲取、集成、分析解釋3個階段;劉智慧等(2014)基于中國人民大學網(wǎng)絡與移動數(shù)據(jù)管理實驗室(WAMDM)研究將其劃分為采集、處理集成、分析、解釋4個階段;常杪等(2015)將其劃分為采集預處理、存儲、分析、可視化4個階段;趙芬等(2017)將其劃分為獲取、存儲管理、計算、分析4個階段。大數(shù)據(jù)處理技術(shù)的功能主要為分析和處理數(shù)據(jù),并獲得有用信息。本文基于大數(shù)據(jù)技術(shù)的儲存、處理、分析、融合等特點,將生態(tài)環(huán)境大數(shù)據(jù)處理流程劃分為 4個系統(tǒng):數(shù)據(jù)存儲管理系統(tǒng)、數(shù)據(jù)預處理系統(tǒng)、數(shù)據(jù)深入處理系統(tǒng)與數(shù)據(jù)整合挖掘系統(tǒng)(圖2)。
數(shù)據(jù)存儲管理系統(tǒng)是生態(tài)環(huán)境大數(shù)據(jù)處理的基礎,應具備良好的兼容性、拓展性、先進性、穩(wěn)定性和安全性,并能滿足復雜條件下的不同需求,主要包括文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)兩類,其中具有代表性的文件系統(tǒng)有:HDFS(Hadoop Distributed File System)、GFS(Google file system)、Ceph和Tachyon,具有代表的數(shù)據(jù)庫有 Big Table(Google公司)、PNUTS(Yahoo公司)和Dynamo(Amazon公司)(趙芬等,2017)。由于數(shù)據(jù)來源結(jié)構(gòu)復雜、類型多樣,數(shù)據(jù)預處理系統(tǒng)采用 Data Stage、Data Flux、Informatica Power Center等方法(常杪等,2015)對源數(shù)據(jù)進行清洗,將其轉(zhuǎn)換為單一或便于處理的結(jié)構(gòu)。在預處理后,進一步對數(shù)據(jù)進行深入處理,包括機器學習、智能算法、統(tǒng)計分析和系統(tǒng)建模(汪自書等,2018),其中統(tǒng)計分析包括描述分析、相關(guān)分析、回歸分析、聚類分析以及主成分分析等,是數(shù)據(jù)處理最常用的技術(shù);鑒于生態(tài)環(huán)境大數(shù)據(jù)的特殊性和復雜性,生態(tài)環(huán)境大數(shù)據(jù)分析往往涉及多種分析方法,需充分利用各類先進的統(tǒng)計分析、地理信息等算法及軟件。在數(shù)據(jù)進行深入處理后,再采用Meta分析方法、基于數(shù)據(jù)驅(qū)動的挖掘方法和基于過程機理的模型-數(shù)據(jù)融合方法對生態(tài)環(huán)境大數(shù)據(jù)進行整合挖掘(于貴瑞等,2018),獲得科學性、融合性和有效性信息,從而應用于生態(tài)環(huán)境的管理與決策。
大數(shù)據(jù)平臺是數(shù)據(jù)處理和分析的基礎,生態(tài)環(huán)境大數(shù)據(jù)平臺以信息化系統(tǒng)為基礎,能夠開辟各領(lǐng)域、系統(tǒng)間數(shù)據(jù)通道,對歷史動態(tài)數(shù)據(jù)進行整合,快速提取有價值的信息,提升生態(tài)環(huán)境重大風險預警預報和科學決策水平,成為推進生態(tài)環(huán)境保護的重要手段(宋蕾,2019)。中國《生態(tài)環(huán)境大數(shù)據(jù)建設總體方案》設置了大數(shù)據(jù)環(huán)保云、大數(shù)據(jù)管理和大數(shù)據(jù)應用3個平臺(王建民,2016),邱立新等(2018)提出“能源-經(jīng)濟-環(huán)境”大數(shù)據(jù)平臺,為政府、企業(yè)、研究機構(gòu)等部門信息資源提供數(shù)據(jù)支撐和工具支撐。云計算是當前大數(shù)據(jù)分析的最新技術(shù)和趨勢,以MapReduce、Hadoop等為代表的云計算平臺成為大數(shù)據(jù)分析基礎平臺(劉智慧等,2014),江蘇省環(huán)境保護廳依托物聯(lián)網(wǎng)、云計算和移動互聯(lián)網(wǎng)等信息化技術(shù),建立了以環(huán)保云為代表的生態(tài)環(huán)境大數(shù)據(jù)平臺,實現(xiàn)省內(nèi)生態(tài)環(huán)境數(shù)據(jù)融合統(tǒng)一,初步構(gòu)建了環(huán)境數(shù)據(jù)質(zhì)量監(jiān)控體系(張毅等,2019)。
圖2 生態(tài)環(huán)境大數(shù)據(jù)處理技術(shù)流程Fig. 2 Technological process of big data for ecological environment
通過應用生態(tài)環(huán)境大數(shù)據(jù)技術(shù),將多種復雜的環(huán)境信息與各類數(shù)據(jù)融合,克服信息數(shù)據(jù)片面性,全面深入分析環(huán)境成因,評判環(huán)境損害,提供科學環(huán)境決策,從而更有效保護生態(tài)環(huán)境(Johnson et al.,2017;Kossenko et al.,1994;Zhao et al.,2017;李娜等,2015)。目前大數(shù)據(jù)技術(shù)主要應用于大氣、水、噪聲、固廢、土壤等生態(tài)環(huán)境要素的監(jiān)測評價、模擬預測與優(yōu)化管理。截至2018年,中國有15個生態(tài)環(huán)境廳(局)已建或在建大數(shù)據(jù)決策支持應用服務中心,其中上海市生態(tài)環(huán)境局采用大數(shù)據(jù)技術(shù)收集環(huán)境執(zhí)法、監(jiān)督等數(shù)據(jù),建立監(jiān)察執(zhí)法決策數(shù)據(jù)中心,并進行實時分析,促進環(huán)境監(jiān)管的精細化和科學化(張毅等,2019)。
大數(shù)據(jù)技術(shù)在監(jiān)測評價中的應用主要是基于生態(tài)環(huán)境在線監(jiān)測和數(shù)據(jù)處理系統(tǒng),進行數(shù)據(jù)長期監(jiān)測、自動傳輸、在線計算和可視化應用。大數(shù)據(jù)技術(shù)的發(fā)展使生態(tài)環(huán)境監(jiān)測從短期向長期轉(zhuǎn)變,從單要素向宏觀結(jié)構(gòu)、時空協(xié)同監(jiān)測轉(zhuǎn)變(Carey et al.,2019),特別是水和大氣環(huán)境要素,受水文、氣象、污染等因素影響,變化復雜,在線監(jiān)測數(shù)據(jù)量大、種類繁多,大數(shù)據(jù)技術(shù)可以整合水文、水利、氣象、環(huán)境、能源、經(jīng)濟等領(lǐng)域數(shù)據(jù),建立數(shù)據(jù)平臺,簡化數(shù)據(jù)交換共享流程(Chen et al.,2017);并可基于無線傳感網(wǎng)絡和動態(tài)監(jiān)測,結(jié)合遙感技術(shù)和地理信息系統(tǒng),開發(fā)多功能生態(tài)傳感網(wǎng)絡服務平臺,促進了生態(tài)環(huán)境監(jiān)測數(shù)據(jù)的查詢、分析、評價、共享和應用(宋東澤等,2015)。
在有效性方面,大數(shù)據(jù)技術(shù)實現(xiàn)大區(qū)域環(huán)境污染數(shù)據(jù)互聯(lián)互通,優(yōu)化分析數(shù)據(jù),實現(xiàn)環(huán)境網(wǎng)格化監(jiān)控和數(shù)據(jù)高效處理分析,實時顯示環(huán)境質(zhì)量評價指數(shù)(張毅等,2019)。如黃剛等(2010)等結(jié)合e-Science的大氣數(shù)據(jù)分析平臺,提出數(shù)據(jù)處理算法與分析結(jié)合系統(tǒng),通過平臺對數(shù)據(jù)進行在線分析和計算,節(jié)省網(wǎng)絡帶寬;黃丹雯(2018)基于自主學習神經(jīng)網(wǎng)絡算法設計校準體系,提高大氣網(wǎng)格化監(jiān)控有效性;譚清海等(2013)提出基于Server-Client的遠程數(shù)據(jù)抽取和并行可視化解決方案,實現(xiàn)快速抽取和快速可視化地診斷分析,并在中國氣象信息綜合分析處理系統(tǒng)(Meteorology Information Comprehensive Analysis Process System,MICAPS)得到應用;Malbéteau et al.(2016)采用DisPATCh(Disaggregation based on Physical and Theoretical scale Change)方法解決衛(wèi)星觀測和現(xiàn)場測量的差異,提高土壤遙感數(shù)據(jù)(濕度、溫度等)準確性。在便利性方面,大數(shù)據(jù)技術(shù)能夠?qū)蚀_度降低的傳感器實時報警,降低校準技術(shù)人員工作強度,保障了特殊區(qū)域的氣體監(jiān)測質(zhì)量;對野外長期動態(tài)監(jiān)測數(shù)據(jù)進行實時傳輸,透明訪問與高效讀取復雜環(huán)境數(shù)據(jù),包括氣候變化特征、水文水質(zhì)特征、河湖岸線地貌、生態(tài)狀況和生態(tài)景觀等,提高數(shù)據(jù)收集便利性,并挖掘各類環(huán)境數(shù)據(jù)關(guān)聯(lián)性(Zhong et al.,2015;Boulil et al.,2014;Cravero et al.,2018)。
大數(shù)據(jù)技術(shù)通過整合各污染源數(shù)據(jù),結(jié)合分析技術(shù)和計算軟件,優(yōu)化監(jiān)測數(shù)據(jù)的分析與評價。張璐璐(2017)基于大數(shù)據(jù)采用監(jiān)測預警診斷、數(shù)字信號處理等技術(shù)優(yōu)化噪聲大數(shù)據(jù)監(jiān)測分析平臺;劉肅平等(2018)結(jié)合數(shù)據(jù)實時分析和批處理技術(shù),采用Storm+Hadoop大數(shù)據(jù)處理架構(gòu),實現(xiàn)輔機設備運行噪聲的實時監(jiān)測和分析;王愛娟(2015)基于水利、土壤等數(shù)據(jù)庫,應用土壤流失方程,集成水利普查的流程及計算方法,開發(fā)水土流失快速測評系統(tǒng),推動了網(wǎng)絡、水利、土壤等大數(shù)據(jù)平臺的聯(lián)合應用;郭書海等(2017)采用“互聯(lián)網(wǎng)+”技術(shù)對土壤環(huán)境數(shù)據(jù)進行提取與補充,并對數(shù)據(jù)進行自我比對、更新和完善,從而實現(xiàn)土壤生態(tài)環(huán)境數(shù)字化評價。同時,基于大數(shù)據(jù)技術(shù)可針對生態(tài)環(huán)境的“源-匯”特征,跟蹤評價生態(tài)環(huán)境質(zhì)量和影響因素。Zawadzki et al.(2016)基于土壤水分、海洋鹽分(SMOS)數(shù)據(jù)庫,結(jié)合全球土地數(shù)據(jù)同化系統(tǒng)(GLDAS)跟蹤分析區(qū)域土壤特征變化;Xie et al.(2017)基于土壤大數(shù)據(jù)平臺,結(jié)合氣候、社會、經(jīng)濟等多部門大數(shù)據(jù)平臺,剖析京津冀地區(qū)土地生態(tài)變化的影響因素,為科學管理提供了重要依據(jù)。
大數(shù)據(jù)技術(shù)提高了數(shù)據(jù)監(jiān)測的有效性和便利性,并提升了監(jiān)測數(shù)據(jù)的分析與評價效率,但隨著生態(tài)環(huán)境保護要求的提高,數(shù)據(jù)類型和數(shù)據(jù)量不斷增加,基于大數(shù)據(jù)技術(shù)的多領(lǐng)域、多來源監(jiān)測數(shù)據(jù)缺乏有效整合和分析(趙苗苗等,2017),評價效率不高,與其他領(lǐng)域關(guān)聯(lián)的潛在數(shù)據(jù)價值尚未被發(fā)掘。不同生態(tài)環(huán)境要素的動態(tài)變化特征復雜,污染來源多樣,指標評價受人為主觀因素影響較大,大數(shù)據(jù)技術(shù)對人為主觀因素的糾錯及優(yōu)化評價功能有待進一步研究。生態(tài)環(huán)境數(shù)據(jù)時空尺度多樣,針對不同管理目標和管理范圍,需要確定合適的評價方法和評價模型(張永瀚等,2015),當前結(jié)合大數(shù)據(jù)技術(shù)智能篩選、優(yōu)化評價方法或模型的研究較少。
通過大數(shù)據(jù)技術(shù)與生態(tài)環(huán)境專業(yè)模型結(jié)合,能夠?qū)^(qū)域生態(tài)環(huán)境質(zhì)量進行不同時空尺度下的預測以及對污染進行預警,特別是針對影響因素多樣,動態(tài)變化復雜的水和大氣兩種環(huán)境要素。模型模擬是水和大氣環(huán)境預測預警和風險評估的重要手段(周煜申等,2017),水循環(huán)涉及氣象、水文、水動力過程,大氣循環(huán)涉及輻射、對流過程,對應的數(shù)值模型包括氣象模型、大氣污染模型、水文模型、水動力模型、水質(zhì)模型和水生態(tài)模型等(Gonzalez et al.,2019;湯秋鴻等,2019)。數(shù)據(jù)涉及區(qū)域特征數(shù)據(jù)、空間屬性數(shù)據(jù)和時間序列數(shù)據(jù),時空變化復雜。大數(shù)據(jù)處理技術(shù)為生態(tài)環(huán)境要素的精準模擬、預測預警提供了科學手段。
大數(shù)據(jù)技術(shù)與專業(yè)模型有效結(jié)合能夠提升模型模擬的有效性和精度,實現(xiàn)快速預測或可視化預測。在大氣環(huán)境方面,生態(tài)環(huán)境部信息中心聯(lián)合微軟公司開發(fā)城市局地大氣主要污染物時空分布大數(shù)據(jù)模型(U-Air系統(tǒng)),基于空氣質(zhì)量、交通流、道路結(jié)構(gòu)、氣象條件等數(shù)據(jù),實現(xiàn)1 km×1 km高精度空氣質(zhì)量預報(張毅等,2019);IBM公司與北京市政府聯(lián)合開發(fā)“綠色地平線”大數(shù)據(jù)平臺,對實時氣象條件和企業(yè)排放數(shù)據(jù)進行關(guān)聯(lián)分析,實現(xiàn)高精度預報未來 72 h的空氣環(huán)境質(zhì)量(郭書海等,2017);IBM 中國研究院基于認知計算模型,實現(xiàn)對全國367個城市精細化監(jiān)管,預測未來7—10 d、精度為 1 km×1 km 范圍內(nèi)的城市細顆粒度(張毅等,2019);通過對空氣污染監(jiān)測數(shù)據(jù)挖掘、整合和分析,結(jié)合天氣預報數(shù)據(jù),基于大數(shù)據(jù)平臺,可實現(xiàn)以可視化方法預測未來空氣污染物時空分布特征(武裝等,2015)。在水環(huán)境方面,Kristof et al.(2015)基于地理空間和水文大數(shù)據(jù),采用專業(yè)模型對洪水進行模擬和快速預測;Zhang et al.(2018)提出 MOPSOGA(Multi-Objective Particle Swarm Optimization-Genetic Algorithm)算法,大幅度精簡水環(huán)境數(shù)據(jù)量,提高水資源數(shù)據(jù)的處理速度;Shafiee et al.(2018)提出采用新的 Application Program Interfaces(API)優(yōu)化水環(huán)境模型,進行動態(tài)建模和數(shù)據(jù)循環(huán),提高了水環(huán)境數(shù)據(jù)評價系統(tǒng)的性能。在土壤環(huán)境方面,基于互聯(lián)網(wǎng)平臺采用遙感、GIS等手段,有效整合土壤空間屬性數(shù)據(jù)、特征數(shù)據(jù)和污染數(shù)據(jù),提升土壤空間大數(shù)據(jù)精準性,結(jié)合專業(yè)軟件建立空間土壤預測模型,促進土壤特征及污染情況空間預測(Bui,2016)。在生態(tài)方面,F(xiàn)er et al.(2018)將大模型與大數(shù)據(jù)結(jié)合,通過貝葉斯仿真模擬提高生態(tài)系統(tǒng)模型校準的有效性,減少模型不確定性。Soltis et al.(2016)基于生態(tài)環(huán)境大數(shù)據(jù)平臺實現(xiàn)生物多樣性準確預測,為城市規(guī)劃者、管理決策者和公眾農(nóng)業(yè)提供關(guān)鍵數(shù)據(jù)。
通過大數(shù)據(jù)技術(shù)與專業(yè)模型整合,可以構(gòu)建生態(tài)環(huán)境污染的可視化預報預警系統(tǒng),評估生態(tài)環(huán)境風險。在大氣污染方面,已有研究者構(gòu)建了PM2.5預警系統(tǒng)和重污染天氣預報系統(tǒng),如曹騮等(2015)基于PM2.5云監(jiān)測儀和大數(shù)據(jù)處理平臺,將環(huán)境質(zhì)量控制與大數(shù)據(jù)技術(shù)有機結(jié)合,建立PM2.5監(jiān)測預警系統(tǒng);張麗艷等(2019)利用氣象臺大數(shù)據(jù)資料,開發(fā)秦皇島市重污染氣象模型,建立重污染天氣預報系統(tǒng),實現(xiàn)AQI和重污染天氣預報預警;Song(2019)基于 PM2.5大數(shù)據(jù)評估京津冀地區(qū)的高度時空暴露風險,量化評估城市的暴露水平和健康風險。在水環(huán)境污染方面,岳強等(2017)結(jié)合模糊數(shù)學理論和層次分析法建立了基于大數(shù)據(jù)分析技術(shù)決策樹C5.0算法的平原水庫健康預警模型,對水庫進行更為客觀和高效的健康預警評價;王永桂等(2017)基于大數(shù)據(jù)特點及環(huán)境風險評估預警需求,構(gòu)建三峽庫區(qū)水環(huán)境風險評估與預警示范系統(tǒng),實現(xiàn)常規(guī)水質(zhì)指標、突發(fā)水污染事故與水華的風險評估、甄別、預測及信息發(fā)布等功能,在四川省環(huán)境監(jiān)測總站、湖北省環(huán)境監(jiān)測中心站、長江水利委員會等機構(gòu)得到應用;Wang et al.(2010)采用 PEMSEA(Partnerships in Environmental Management for the Seas of East Asia)環(huán)境風險評價方法,基于水環(huán)境大數(shù)據(jù)平臺,評價渤海海域風險不確定性。在生態(tài)保護方面,王英超等(2018)基于生態(tài)保護紅線管控實際需求,依托多功能生態(tài)傳感網(wǎng)絡服務平臺,設計基于大數(shù)據(jù)分析的預警系統(tǒng),為寧夏空間規(guī)劃、項目實施和生態(tài)保護政策決策提供技術(shù)支撐和依據(jù)。
大數(shù)據(jù)技術(shù)提高了生態(tài)環(huán)境模擬的精度和處理速度,并實現(xiàn)不同時空尺度的污染預報預警。然而,大數(shù)據(jù)技術(shù)在數(shù)據(jù)采集、傳遞、接受、融合、轉(zhuǎn)化等過程中易產(chǎn)生時滯和缺失,以及受外界環(huán)境影響導致部分動態(tài)數(shù)據(jù)異常,這些將會影響生態(tài)環(huán)境要素模擬的及時性和準確性(Cai et al.,2019),針對不同環(huán)境要素和污染源,結(jié)合模型模擬需求對監(jiān)測數(shù)據(jù)進行智能化預處理的技術(shù)有待進一步完善。而且,現(xiàn)有模擬、預警及預報模型系統(tǒng)大多采用簡單的主要因素分析法(Kebaili et al.,2016),多領(lǐng)域模型耦合應用尚不完善,難以滿足實際復雜情景的分析。另外,生態(tài)環(huán)境領(lǐng)域面廣、涉及數(shù)據(jù)類型多樣,實際應用中數(shù)據(jù)信息變化頻繁,如傳感器淘汰、升級、變化,原有數(shù)據(jù)源價值缺失,新的數(shù)據(jù)源增加(Horita et al.,2017);面對新的生態(tài)環(huán)境保護需求,管理決策不斷調(diào)整、優(yōu)化,對基于大數(shù)據(jù)技術(shù)的環(huán)境模擬、預測、預報、預警提出了新要求,目前缺少更為專業(yè)、開放的大數(shù)據(jù)運行與分析系統(tǒng)支撐龐大的模型庫。
大數(shù)據(jù)技術(shù)在智慧城市建設中發(fā)揮重要作用(Kamel et al.,2014),有利于污染科學溯源,有效控制污染、提高生態(tài)環(huán)境監(jiān)管效率,為生態(tài)環(huán)境優(yōu)化管理和科學決策提供依據(jù)。
生態(tài)環(huán)境大數(shù)據(jù)技術(shù)在實時監(jiān)測、動態(tài)分析、預測預警等方面具有突出優(yōu)勢,有利于實現(xiàn)生態(tài)環(huán)境污染有效溯源與控制。在水污染防治方面,依托大數(shù)據(jù)平臺可對取水、用水、排水進行實時監(jiān)測與分析,及時發(fā)現(xiàn)水污染問題;對河道監(jiān)測斷面進行數(shù)據(jù)動態(tài)跟蹤,結(jié)合線性趨勢、累積異常、遷移擴散模擬等方法探明河道污染物的時空變化(Lu et al.,2018),追溯污染源,從而有效促進水資源監(jiān)督管理和污染源頭控制。在大氣環(huán)境污染防治方面,基于大氣污染源和大氣環(huán)境質(zhì)量的在線監(jiān)測數(shù)據(jù),進行大數(shù)據(jù)處理和分析,明確大氣污染成因及污染源的時空分布,并通過監(jiān)控平臺的可視化技術(shù)實現(xiàn)污染源準確定位(Yang et al.,2019)。在固體廢物削減方面,可基于大數(shù)據(jù)優(yōu)化產(chǎn)業(yè)園區(qū)布局,實現(xiàn)企業(yè)間的資源、能源和廢物信息的交換和循環(huán)利用,減少廢物排放并降低處理成本(Song et al.,2015)。在工業(yè)污染控制方面,通過大數(shù)據(jù)技術(shù)分析污染負荷、濃度排放強度、污染企業(yè)密度與區(qū)域生態(tài)環(huán)境質(zhì)量、工業(yè)污染物類型的相關(guān)性(Xiao et al.,2019),促進工業(yè)污染有效控制,如京津冀“2+26”污染防治強化督查應用基于大數(shù)據(jù)的熱點網(wǎng)格技術(shù),高效監(jiān)督企業(yè)污染排放,提高執(zhí)法的針對性和精準性(陸新元等,2019)。
生態(tài)環(huán)境大數(shù)據(jù)技術(shù)能夠突破傳統(tǒng)污染、監(jiān)測數(shù)據(jù)分析過程中的眾多困難和局限,有效跟蹤并整合大量動態(tài)數(shù)據(jù),有利于大尺度、大區(qū)域的污染聯(lián)防聯(lián)控,改變生態(tài)環(huán)境污染防治工作被動響應和處理緩慢的模式。在水環(huán)境方面,水文、水質(zhì)數(shù)據(jù)冗雜,管理難度大,結(jié)合大數(shù)據(jù)建模并聯(lián)合多部門管理可實現(xiàn)不同流域、不同水質(zhì)、不同功能區(qū)條件下的定向管理,降低水環(huán)境管理工作量,提高管理效率和管理精度(Ford et al.,2018)。在大氣環(huán)境方面,大數(shù)據(jù)深度處理技術(shù)能夠基于環(huán)境、人口、經(jīng)濟、氣象和能源等數(shù)據(jù),優(yōu)化大氣污染的可視化時空分布特征及預測結(jié)果,突破大氣污染監(jiān)管的空間局限性,從而便于管理部門對大氣污染進行更精確、更高效的監(jiān)督與管理。在固體廢物處理方面,可以通過大數(shù)據(jù)技術(shù)建立全過程管理平臺,提升監(jiān)管效率(孔云茹,2018),如實時監(jiān)測生活垃圾桶豐滿度,辨認垃圾流,智能管理生活垃圾收集和回收利用(Catania et al.,2014);核準建筑垃圾的清運、處置,實現(xiàn)產(chǎn)生方、運輸方、處置方三方監(jiān)管,提升執(zhí)法的精準性和有效性(蘇文芝,2017);結(jié)合大數(shù)據(jù)和云計算技術(shù)有效管理工業(yè)固廢的產(chǎn)生、運輸、回用、處置等環(huán)節(jié),實現(xiàn)網(wǎng)上公開、高效交易和有效利用(Bruno et al.,2018;Zhao et al.,2016);基于大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)建成危險廢物動態(tài)管理系統(tǒng),對危廢車輛進行實時監(jiān)控,實現(xiàn)危廢處理全過程的監(jiān)管(凌江等,2016)。
生態(tài)環(huán)境各因素相互聯(lián)系,數(shù)據(jù)規(guī)模大、動態(tài)變化過程復雜,監(jiān)管難度大。在不同管理要求下,需要對大數(shù)據(jù)傳遞的信息進行不同規(guī)模和程度的篩選和概化,對數(shù)據(jù)的專業(yè)性、廣泛性、應變性和及時性提出較高要求。但是,目前可支撐環(huán)境優(yōu)化管理的數(shù)據(jù)平臺尚不成熟,新興污染源時空分布數(shù)據(jù)不全面;不同行業(yè)的工業(yè)污染排放特征數(shù)據(jù)尚不充分,特別是對環(huán)境影響較大的特征污染物(Xiao et al.,2019),給基于大數(shù)據(jù)平臺的優(yōu)化管理帶來局限性。而且,基于大數(shù)據(jù)技術(shù)的多尺度、多目標污染風險管控與污染防治研究尚處于發(fā)展階段,可供科學決策的系統(tǒng)性數(shù)學模型與風險評價體系尚未完善,需要整合多部門數(shù)據(jù),進行深度處理與分析,為環(huán)境風險與污染管控提供科學決策(Nimmagadda et al.,2017)。
本文通過對前人研究成果的總結(jié)與分析,得出以下結(jié)論:
(1)大數(shù)據(jù)技術(shù)體系分為數(shù)據(jù)采集、處理和應用3部分,大數(shù)據(jù)采集來源主要為地面監(jiān)測、遙感監(jiān)測、地理信息、社會統(tǒng)計及網(wǎng)絡抓取,大數(shù)據(jù)處理技術(shù)流程為存儲、預處理、深入處理及整合挖掘,通過處理獲得科學性、融合性和有效性信息,并主要應用于生態(tài)環(huán)境的監(jiān)測評價、模擬預測、優(yōu)化管理3個方面。
(2)大數(shù)據(jù)技術(shù)提高生態(tài)環(huán)境監(jiān)測的有效便利性,優(yōu)化監(jiān)測數(shù)據(jù)評價,有利于網(wǎng)格化實時監(jiān)控生態(tài)環(huán)境質(zhì)量、長期跟蹤污染“源-匯”以及大尺度、長時段評價生態(tài)環(huán)境質(zhì)量。但是,現(xiàn)有大數(shù)據(jù)技術(shù)對多領(lǐng)域、多來源監(jiān)測數(shù)據(jù)耦合分析尚不完善,評價效率有待提升,評價中人為主觀因素的智能糾錯、方法優(yōu)化的能力尚不成熟。
(3)通過大數(shù)據(jù)技術(shù)與生態(tài)環(huán)境專業(yè)模型整合,能夠提高不同時空尺度下復雜環(huán)境要素的模擬精度和預測速度,實現(xiàn)動態(tài)預警和生態(tài)風險評估。但是,大數(shù)據(jù)預處理技術(shù)仍不完善,影響生態(tài)環(huán)境要素模擬的及時性和準確性,缺乏基于大數(shù)據(jù)技術(shù)的高精度存儲、分析和集成模型,缺少更為專業(yè)、開放的大數(shù)據(jù)運行與分析系統(tǒng)支撐龐大的模型庫。
(4)大數(shù)據(jù)技術(shù)促進污染的有效溯源與控制,以及多領(lǐng)域全過程監(jiān)管。但是,目前新型污染時空分布數(shù)據(jù)和特征污染物排放特征尚未被全面掌握,給基于大數(shù)據(jù)平臺的優(yōu)化管理帶來局限性,基于大數(shù)據(jù)技術(shù)的系統(tǒng)性數(shù)學模型與風險評價管理體系尚未完善,影響環(huán)境風險與污染管控的有效決策。
中國仍面臨突出的生態(tài)環(huán)境問題,多部門、跨介質(zhì)污染問題日趨復雜,生態(tài)環(huán)境的污染防治、管理決策亟需系統(tǒng)優(yōu)化和全面創(chuàng)新。大數(shù)據(jù)技術(shù)在中國生態(tài)環(huán)境領(lǐng)域的應用取得一定進展,但仍需進一步完善。
(1)需有效集成多領(lǐng)域生態(tài)監(jiān)測數(shù)據(jù),滿足政府多源管控需求
生態(tài)環(huán)境大數(shù)據(jù)涉及多領(lǐng)域和多部門,如氣象、水利、生態(tài)、國土、農(nóng)業(yè)、林業(yè)、交通、社會經(jīng)濟等,復雜程度高。對于部分同類指標,部門之間采樣方案和監(jiān)測方法存在差異,統(tǒng)計方法和計算標準不一,缺乏有效溝通、整合和統(tǒng)一,給生態(tài)環(huán)境大數(shù)據(jù)的跨部門檢索、整合與共享帶來困難。而且,污染源排放、社會經(jīng)濟、農(nóng)林交通、土地利用、氣象水文均是大氣、水(地下水、地表水)和土壤等生態(tài)環(huán)境要素的影響因子,相互之間緊密聯(lián)系,多領(lǐng)域數(shù)據(jù)平臺尚未有效集成,互不連通,無法形成真正意義上的“大數(shù)據(jù)”,給大數(shù)據(jù)的聯(lián)動分析、模擬計算、生態(tài)環(huán)境問題溯源及解析帶來困難。今后應推進多領(lǐng)域、多部門的大數(shù)據(jù)平臺集成,優(yōu)化整合生態(tài)環(huán)境大數(shù)據(jù)監(jiān)測網(wǎng)絡,統(tǒng)一數(shù)據(jù)存儲和共享標準,包括監(jiān)測點位、采樣方法、監(jiān)測指標、分析方法、評價方法以及相關(guān)標準,確保歷史數(shù)據(jù)縱向延續(xù)性和多部門橫向數(shù)據(jù)可比性,以及多領(lǐng)域監(jiān)測數(shù)據(jù)的聯(lián)系性、經(jīng)濟性和統(tǒng)籌性,形成定位清晰、要素齊全、點位合理的生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)網(wǎng)絡,以支撐對多領(lǐng)域、多部門之間數(shù)據(jù)的有效集成共享。同時,基于多領(lǐng)域大數(shù)據(jù)平臺,開展生態(tài)環(huán)境要素的評價方法智能優(yōu)選研究,針對不同管理目標和管理范圍,篩選最有效的評價方法和評價模型,滿足生態(tài)環(huán)境多目標、多維度、多尺度的管控需求。
(2)需繼續(xù)提升數(shù)據(jù)處理技術(shù)能力,充分發(fā)揮大數(shù)據(jù)優(yōu)勢
受應用軟件開發(fā)滯后、機器集成利用率低、高級技術(shù)研發(fā)人員缺乏等限制,大數(shù)據(jù)的處理、分析、挖掘和融合等方面還存在較大不足,中國現(xiàn)階段生態(tài)環(huán)境大數(shù)據(jù)難以在生態(tài)環(huán)境領(lǐng)域充分發(fā)揮優(yōu)勢。隨著全球氣候變化加劇,災害天氣爆發(fā)頻繁,生態(tài)環(huán)境的影響因素和動態(tài)變化過程更為復雜,使大數(shù)據(jù)技術(shù)在生態(tài)環(huán)境領(lǐng)域的精準預測、預報及預警中應用面臨挑戰(zhàn),難以滿足數(shù)據(jù)信息化時代的生態(tài)環(huán)境保護需求。目前雖然有強大的硬件(超算和云計算)支撐生態(tài)環(huán)境大數(shù)據(jù)的建設與發(fā)展,但受限于專業(yè)應用軟件開發(fā)滯后,大氣、水(地表水、地下水)、土壤等相關(guān)領(lǐng)域大數(shù)據(jù)技術(shù)發(fā)展不平衡,難以充分利用硬件實現(xiàn)對數(shù)據(jù)的高效處理、優(yōu)化模擬以及多領(lǐng)域整合,無法充分發(fā)揮大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域的優(yōu)勢。今后有待完善和提升生態(tài)環(huán)境專業(yè)軟件的開發(fā)水平,將大數(shù)據(jù)技術(shù)和生態(tài)環(huán)境專業(yè)軟件有效整合,提升大數(shù)據(jù)的高效處理、挖掘整合、系統(tǒng)分析能力,不斷優(yōu)化適用于不同條件下的高精度存儲、分析和集成模型,實現(xiàn)生態(tài)環(huán)境多領(lǐng)域、長時段、全流程的精準預測、預報和預警;靈活運用機器學習和人工智能等前緣科技技術(shù),實現(xiàn)大數(shù)據(jù)技術(shù)應用創(chuàng)新,充分發(fā)揮大數(shù)據(jù)優(yōu)勢。
(3)需有效推進大數(shù)據(jù)應用,提升政府科學決策效果
在生態(tài)環(huán)境要素中,大數(shù)據(jù)技術(shù)在大氣和水環(huán)境領(lǐng)域應用相對較為廣泛,包括環(huán)境質(zhì)量的跟蹤監(jiān)測、環(huán)境污染的模擬與預報預警等,在其他生態(tài)環(huán)境領(lǐng)域的應用有待深入。噪聲大多被應用于監(jiān)測分析,固廢基本應用于回收管理,土壤污染物遷移轉(zhuǎn)化的精準模擬及污染事故的預警預報尚處于初步應用階段,生態(tài)環(huán)境遙感監(jiān)測大多服務于生態(tài)環(huán)境質(zhì)量評價和風險評估。而且,各地區(qū)生態(tài)環(huán)境大數(shù)據(jù)建設與發(fā)展不平衡,尚未形成成熟的生態(tài)環(huán)境大數(shù)據(jù)體系。今后有待通過生態(tài)環(huán)境多領(lǐng)域的大數(shù)據(jù)整合分析,發(fā)揮綜合應用效果。通過反饋機制優(yōu)化調(diào)整并提升大數(shù)據(jù)技術(shù)應用水平,從而發(fā)揮科學決策效果;建立成熟的生態(tài)環(huán)境大數(shù)據(jù)綜合決策管理體系,推進大數(shù)據(jù)技術(shù)在水環(huán)境、大氣、固廢、噪聲、土壤、生態(tài)等領(lǐng)域的全面應用和協(xié)調(diào)發(fā)展,促進各區(qū)域緊密交流,推進跨區(qū)域一體化應用,針對各地環(huán)境差異性充分發(fā)揮生態(tài)環(huán)境大數(shù)據(jù)的作用,提升生態(tài)環(huán)境科學決策管理水平。