陳愛青
摘? 要:合理的水文預(yù)測模型是水文水資源決策管理的基礎(chǔ),如何充分挖掘既有水文數(shù)據(jù)中的信息成為當(dāng)前水文預(yù)測領(lǐng)域的一大挑戰(zhàn),深度學(xué)習(xí)方法的快速發(fā)展為水文預(yù)測提供了新的思路。針對國內(nèi)外近期提出的水文預(yù)測深度學(xué)習(xí)模型進行歸納總結(jié),從數(shù)據(jù)來源、方法模型、驗證討論等方面探討了深度學(xué)習(xí)在水文預(yù)測領(lǐng)域的應(yīng)用進展,并進一步給出了數(shù)據(jù)獲取、模型遷移、實時預(yù)警等方面的思考。結(jié)果表明:充足的水文數(shù)據(jù)是精準(zhǔn)預(yù)測的前提,合理的模型構(gòu)建策略是考慮各種不確定因素的關(guān)鍵手段,模型的適用性和實時預(yù)警是未來進一步研究的方向。
關(guān)鍵詞:水文預(yù)測? 深度學(xué)習(xí)? 大數(shù)據(jù)? 長短時記憶神經(jīng)網(wǎng)絡(luò)? 卷積神經(jīng)網(wǎng)絡(luò)
中圖分類號:P338 ? ? ? ? ? 文獻標(biāo)識碼:A? ? ? ? ? ? 文章編號:1674-098X(2021)04(c)-0252-05
Application Progress and Thinking of Deep Learning in the Field of Hydrological Prediction
CHEN Aiqing
(Shanghai Branch of Changjiang Survey Planning Design Research Co., Ltd., Shanghai, 200439? China)
Abstract: A reasonable hydrological prediction model is the foundation of hydrological and water resources decision-making and management. How to fully mining the information in existing hydrological data has become a major challenge in the current hydrological prediction field. The rapid development of deep learning methods provides new ideas for hydrological prediction. In view of the recent domestic and foreign hydrological prediction deep learning models, this paper discusses the application progress of deep learning in the field of hydrological prediction from the aspects of data sources, proposed models, verification and discussion, and further provides some suggestions on data acquisition, model migration, and real-time early warning. The results show that sufficient hydrological data is a prerequisite for accurate prediction, a reasonable model building strategy is a key means to consider various uncertain factors, and the applicability of the model and real-time early warning are the directions for further research in the future.
Key Words: Hydrological prediction model; Deep learning; Big data; LSTM; CNN
水文模型是水文水資源管理、防汛減災(zāi)的基礎(chǔ)手段,傳統(tǒng)的概念性模型、物理模型和統(tǒng)計學(xué)模型已經(jīng)在徑流、降水量預(yù)測等領(lǐng)域取得了長足進展,但隨著傳感手段的不斷發(fā)展,海量水文數(shù)據(jù)的積累導(dǎo)致傳統(tǒng)方法難以充分挖掘現(xiàn)有水文數(shù)據(jù)中的有效信息,近年來深度學(xué)習(xí)方法以其處理高維度、多特征海量數(shù)據(jù)方面取得了顯著成果,已經(jīng)被廣泛應(yīng)用于水文預(yù)測? ? ? 領(lǐng)域。
作為機器學(xué)習(xí)的一種,深度學(xué)習(xí)概念是Hinton 于2006年在《Science》發(fā)表的“深度信念網(wǎng)絡(luò)(Deep belief network,DBN)”,他將多層感知機(多層神經(jīng)網(wǎng)絡(luò))的學(xué)習(xí)方法稱為“深度學(xué)習(xí)”。簡單來說,深度神經(jīng)網(wǎng)絡(luò)可以理解為具有2個或2個以上隱藏層的多層人工神經(jīng)網(wǎng)絡(luò),深度學(xué)習(xí)是相對于淺層學(xué)習(xí)而言的,深度學(xué)習(xí)通過更深的網(wǎng)絡(luò)結(jié)構(gòu)來實現(xiàn)更好的特征表示。從具體的算法模型角度來看,長短期記憶神經(jīng)網(wǎng)絡(luò)(Long-short term memeory,LSTM)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)為代表的模型架構(gòu)在時間序列處理和圖像識別領(lǐng)域取得了巨大成功。本文將從徑流預(yù)測、降雨量預(yù)測、地下水位分布及河湖冰川等方面介紹深度學(xué)習(xí)模型的應(yīng)用進展,并探討深度學(xué)習(xí)水文預(yù)測方面數(shù)據(jù)獲取、模型遷移和實時預(yù)警方面的思考。
1? 深度學(xué)習(xí)在水文預(yù)測領(lǐng)域的應(yīng)用進展
1.1 基于深度學(xué)習(xí)的徑流預(yù)測模型
徑流預(yù)測模型需要充分考慮時間效應(yīng)的影響,所提出的模型要能夠響應(yīng)環(huán)境變化等因素。Fu等人[1]利用LSTM,對徑流量在未來一段時間內(nèi)的變化趨勢進行了預(yù)測。所采用的數(shù)據(jù)集是馬來西亞西北部的Kelantan 河,采用了1964—2004年50年的觀測數(shù)據(jù)進行研究,共14976個樣本。通過設(shè)置不同歷史數(shù)據(jù)(2000~6000d)作為訓(xùn)練集,預(yù)測未來100~600d的徑流量,相比于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò),采用LSTM的深度學(xué)習(xí)模型精度更高。Kao等人[2]利用基于LSTM的編碼器-解碼器結(jié)構(gòu),對中國臺灣地區(qū)石門地區(qū)的洪水發(fā)生進行了預(yù)測,該研究收集了23個臺風(fēng)事件中的12216個水文數(shù)據(jù),數(shù)據(jù)采樣間隔為1h,模型采用了每小時的入庫流量和降雨數(shù)據(jù),時間步長考慮為8h,來預(yù)測未來1h~6h的入庫流量,對比前饋神經(jīng)網(wǎng)絡(luò)模型,所提出的LSTM模型能夠更好地捕捉洪水發(fā)生的時間關(guān)聯(lián)性。Ren等人[3]針對級聯(lián)渠道水位的實時預(yù)測問題,提出了基于多層感知機和LSTM的深度學(xué)習(xí)預(yù)測模型,并通過時空窗口實現(xiàn)了水位數(shù)據(jù)的數(shù)據(jù)增強,在南水北調(diào)工程近5年的19704渠道水位數(shù)據(jù)中,可以實現(xiàn)未來2、4、6h的精準(zhǔn)預(yù)測,精度可達90%。上述研究所采用數(shù)據(jù)量的時間跨度大,所蘊含的信息十分豐富,基于LSTM的模型架構(gòu)能夠很好地捕捉歷史趨勢對當(dāng)前和未來徑流變化的影響。
為解決含噪聲徑流數(shù)據(jù)的準(zhǔn)確預(yù)測問題,F(xiàn)eng 等[4]提出了基于變分模態(tài)分解(variational mode decomposition,VMD)結(jié)合支持向量機的預(yù)測模型,并通過粒子群優(yōu)化算法對支持向量機的參數(shù)進行優(yōu)化,VMD將原始徑流時間序列分解為不同分量,然后用支持向量機對每個分量進行預(yù)測,在長江三峽和丹江口水庫的預(yù)測分析中,所提出的模型比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型和極限學(xué)習(xí)機方法精度要高。李文武等人[5]提出了變分模態(tài)分解、相空間重構(gòu)和深度門控網(wǎng)絡(luò)相結(jié)合的徑流組合預(yù)測模型,在白山水庫的數(shù)據(jù)集測試表明,分解-預(yù)測-重構(gòu)的策略能有效分解非平穩(wěn)性的徑流序列,充分學(xué)習(xí)內(nèi)嵌的水文規(guī)律。基于分解的思路能夠去除數(shù)據(jù)的噪聲,在一定程度上也能提高預(yù)測精度,但在水文數(shù)據(jù)模態(tài)分解的過程中不可避免地使用了未來的信息,該方法僅能作為回歸模型來使用,無法實現(xiàn)在徑流時間序列預(yù)測問題。
針對洪水等極端水文數(shù)據(jù)獲取難題,Kabir等[6]提出了用于河流洪水泛濫的快速預(yù)測CNN模型,以二維數(shù)值(LISFLOOD-FP)仿真結(jié)果作為輸入,來預(yù)測洪水水深,以2005年1月和2015年12月英國卡萊爾的洪水案例作為數(shù)據(jù)集,制作了24個“合成”水文圖(三個上游邊界位置各8個),并具有不同的峰值和持續(xù)時間,以表示不同大小的洪水情況,所提出的CNN模型比SVR模型精度高且能捕捉防洪建設(shè)等地形變化對洪水動態(tài)的影響。Irrgang等[7]利用CNN來對陸地水儲量進行預(yù)測,首先通過地表流量模型計算南美地區(qū)2003—2018年的月均地表儲水量作為輸出,利用重力回溯及氣候?qū)嶒炐l(wèi)星的觀測數(shù)據(jù)作為輸入,訓(xùn)練CNN模型來模擬衛(wèi)星觀測輸入與數(shù)值仿真模型之間的關(guān)系,在損失函數(shù)中考慮到通過地面測高得到的亞馬遜流域地表水存儲異常數(shù)據(jù),所得到的模型能夠?qū)?019年南美地區(qū)的月均地表儲水量進行較好的預(yù)測。Nalley等[8]針對河川徑流數(shù)據(jù)不足的問題,采用了基于小波變換結(jié)合現(xiàn)有數(shù)據(jù)插值手段的數(shù)據(jù)增強算法,實現(xiàn)了加拿大67對水文站徑流數(shù)據(jù)的有效提升。
1.2 基于深度學(xué)習(xí)的降水量預(yù)測模型
降水是徑流變化的重要影響因素,由于氣候變化的偶然性,降水量的非平穩(wěn)時間特征明顯。為解決極端天氣災(zāi)害引起的洪水和干旱問題,Ali等[9]通過經(jīng)驗?zāi)B(tài)分解對降水量進行了分解,然后利用隨機森林和嶺回歸等方法對降水量分解后的每個分量進行預(yù)測,在巴基斯坦巴爾蒂斯坦省的案例中得到驗證,所提出的模型精度可達0.95以上,比傳統(tǒng)的隨機森林和嶺回歸方法精度提高1倍左右,有效解決了非平穩(wěn)降雨量時間序列的預(yù)測難題。Zhang等提出了基于動態(tài)深度前饋神經(jīng)網(wǎng)絡(luò)的區(qū)域短期降雨量模型,利用主成分分析來將13類氣象、高程、水文數(shù)據(jù)進行降維,然后通過算法對深度前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行優(yōu)化,在對某地短期降雨量進行預(yù)測時,Zhang等人的策略是在該地點(中心點)周圍區(qū)域的觀測數(shù)據(jù)建立多個預(yù)測模型,同時預(yù)測該地點短期降雨量,然后通過兩地直接的距離作為權(quán)重來衡量各個預(yù)測模型所得降雨量對中心點的貢獻,對比中國和日本官方預(yù)報采用的物理模型、傳統(tǒng)的MLP和DBN、ARIMA模型、傳統(tǒng)的機器學(xué)習(xí)模型(支持向量機等),所提出的模型精度最高,該方法一定程度上考慮了降雨量空間分布的特征。
為了更好地實現(xiàn)衛(wèi)星觀測數(shù)據(jù)和地面雨量站觀測數(shù)據(jù)的有效融合,Wu等[10]提出了融合CNN和LSTM的深度學(xué)習(xí)模型來實現(xiàn)衛(wèi)星和雨量站降水?dāng)?shù)據(jù)融合,CNN和LSMT分別提取空間相關(guān)性和時間依賴性來融合 TRMM 3B42 V7 降水?dāng)?shù)據(jù),熱紅外數(shù)據(jù)以及雨量站數(shù)據(jù),在中國796個雨量站數(shù)據(jù)上的實驗結(jié)果表明:所提出的融合模型優(yōu)于其他單一組成的深度神經(jīng)網(wǎng)絡(luò)模型(CNN,LSTM,MLP),對于TRMM數(shù)據(jù)的空間降水精度均方根誤差可以降低17%。
降雨會誘發(fā)滑坡等地質(zhì)災(zāi)害,Orland等[11]利用基于LSTM的深度學(xué)習(xí)模型,建立了滑坡水文響應(yīng)的預(yù)測模型,模型采用監(jiān)測到的土壤水分壓力、孔隙壓力和降雨量監(jiān)測數(shù)據(jù)作為輸入,對俄勒岡州艾略特國家森林實測的土壤介質(zhì)吸力對降雨響應(yīng)的時間和幅度進行了高精度預(yù)測,可以實現(xiàn)36h時間間隔不同深度介質(zhì)吸力預(yù)測,模型的計算效率和精度對比傳統(tǒng)經(jīng)驗?zāi)P秃臀锢砟P途茌^好地滿足滑坡預(yù)警的需求。
1.3 基于深度學(xué)習(xí)的地下水分布預(yù)測模型
地下水分布受降水、徑流、地質(zhì)構(gòu)造等因素的影響,空間特異性十分明顯,Panahi等[12]提出了基于CNN的地下水位空間分布模型,以韓國南部丹陽地區(qū)140個地下水?dāng)?shù)據(jù)集進行研究,模型用匯水面積、徑流、坡度等15個參量作為輸入,用地下水賦存潛力作為輸出,對比SVR模型,CNN模型的空間建模精度要高12.6%。Jeong等[13]針對地下水位實測數(shù)據(jù)中包含大量異常值和噪聲情況下的預(yù)測問題,在LSTM神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出了一種新的損失函數(shù)——具備非對稱加權(quán)的最小裁剪正方形方法,并結(jié)合惠塔克濾波,實現(xiàn)了韓國江津城段和浦項郡段地下水位的高魯棒性預(yù)測,模型采用了2010—2016約2500d的地下水位數(shù)據(jù)進行研究。如何考慮時間-空間影響下的地下水分布問題,值得通過LSTM-CNN耦合分析模型進一步探討。
1.4 基于深度學(xué)習(xí)的河湖冰川預(yù)測模型
為解決冰川數(shù)據(jù)重建問題,Bolibar等[14]利用深度學(xué)習(xí)手段實現(xiàn)了法國阿爾卑斯地區(qū)冰川物質(zhì)平衡序列的重建,時間跨度從1967—2015年,重建模型采用的數(shù)據(jù)來自于物質(zhì)平衡數(shù)據(jù)的直接觀測,遙感年數(shù)據(jù)估算、氣象再分析和地形數(shù)據(jù),并與32個冰川實測數(shù)據(jù)進行對比,重建的精度可達75%。Wang等[15]針對海洋溶解氧濃度的預(yù)測問題,提出了基于決策樹理念的深度神經(jīng)網(wǎng)絡(luò)模型,解決了既有深度神經(jīng)網(wǎng)絡(luò)模型超參數(shù)調(diào)節(jié)難題,在World Ocean Database 2013(WOD13) 數(shù)據(jù)集上的仿真結(jié)果表明,所提出的樹調(diào)優(yōu)深度神經(jīng)網(wǎng)絡(luò)比Humbird, KD等人提出的深度聯(lián)合互饋神經(jīng)網(wǎng)絡(luò)(deep jointly informed neural network (DJINN),均方誤差降低了17.6%。Zhang等[16]在海洋表面溫度的預(yù)測中,利用LSTM模型解決異常溫度預(yù)測和模型在線更新的難題,通過增加不同年份測得的海水表面溫度,模型更新策略能夠?qū)崿F(xiàn)更好的預(yù)測精度,這表明深度學(xué)習(xí)模型可以充分挖掘歷史數(shù)據(jù)中隱含的信息進行預(yù)測。
在某些特定的應(yīng)用場景,機器學(xué)習(xí)模型并不一定表現(xiàn)得更好。Zhu等[17]綜合對比了傳統(tǒng)物理模型和機器學(xué)習(xí)模型在湖水表面溫度的預(yù)測研究,通過對波蘭8個湖30年的表面日觀測溫度時間序列進行預(yù)測,對比多層感知機模型、基于小波變換的多層感知機、時間-溫度物理模型和非線性回歸模型,結(jié)果發(fā)現(xiàn)傳統(tǒng)的時間-溫度物理模型表現(xiàn)最好,非線性回歸模型表現(xiàn)最差,說明在海量時間序列預(yù)測方面,單純的多層感知機模型并不能夠很好地解決時間關(guān)聯(lián)性問題。
2? 深度學(xué)習(xí)在水文預(yù)測領(lǐng)域的展望
從近年來深度學(xué)習(xí)在徑流、降雨量和地下水等預(yù)測的研究進展來看,現(xiàn)有的深度學(xué)習(xí)模型能夠解決部分場景下的水文預(yù)測問題,但充足的訓(xùn)練數(shù)據(jù)是模型取得良好預(yù)測結(jié)果的前提,徑流預(yù)測動輒需要跨度十幾年甚至幾十年的數(shù)據(jù)作為支撐,因此發(fā)展便捷高效的數(shù)據(jù)獲取手段是關(guān)鍵。水文數(shù)據(jù)體現(xiàn)強烈的時空特異性,空天地相結(jié)合的數(shù)據(jù)獲取方式是未來趨勢,如何通過深度學(xué)習(xí)來融合不同尺度上的時空數(shù)據(jù)值得進一步探討。以光纖傳感為代表的分布式感知方法因其經(jīng)濟可靠,在地質(zhì)災(zāi)害監(jiān)測等領(lǐng)域得到了廣泛應(yīng)用,如何將光纖傳感應(yīng)用到水文監(jiān)測領(lǐng)域,并通過深度學(xué)習(xí)挖掘光纖傳感數(shù)據(jù),需要進一步解決光纖表征參量與水文特征參量的關(guān)系。
現(xiàn)有的水文預(yù)報深度學(xué)習(xí)模型,以特定的場景為對象進行研究,無法實現(xiàn)模型的遷移。在新場景面臨較少訓(xùn)練數(shù)據(jù)情況下,如何將已訓(xùn)練好的模型通過遷移學(xué)習(xí)直接應(yīng)用于新的場景,是值得進一步探討的方向。遷移過程中可以考慮地理信息的相似性和差異性來實現(xiàn)源模型(已訓(xùn)練好的模型)到目標(biāo)模型(新場景需要的模型)遷移。
從既有的深度學(xué)習(xí)水文預(yù)測模型來看,均以線下分析應(yīng)用為主,對于水位實時預(yù)報的能力沒有進一步闡述。而面臨極端天氣等引發(fā)的防汛減災(zāi)實時預(yù)警需求,拓展深度學(xué)習(xí)快速預(yù)警能力需要在軟件和硬件方面進一步研究。在軟件方面,所采用的算法能夠處理實時在線數(shù)據(jù)流;在硬件方面,傳感器的實時感知、傳輸與信息發(fā)布,仍需要進一步設(shè)計。
3? 結(jié)語
本文探討了深度學(xué)習(xí)在水文預(yù)報領(lǐng)域的相關(guān)研究進展,闡述了基于LSTM和CNN等方法的深度學(xué)習(xí)模型在徑流預(yù)測、降雨量預(yù)報、地下水分布、河湖冰川預(yù)報方面的應(yīng)用進展,結(jié)果表明深度學(xué)習(xí)模型能夠挖掘海量水文數(shù)據(jù)中蘊含的信息,實現(xiàn)高精度的水文預(yù)報。從大數(shù)據(jù)獲取、模型遷移、實時預(yù)警等方面進一步探討了深度學(xué)習(xí)水文預(yù)報模型發(fā)展的相關(guān)方向,為提高防汛減災(zāi)能力提供技術(shù)保障。
參考文獻
[1] FU M, FAN T, DING. Zet al. Deep learning data-intelligence model based on adjusted forecasting window scale: application in daily streamflow simulation[J]. IEEE Access, 2020(8):32632–32651.
[2] KAO I F, ZHOU Y, CHANG LC,et al. Exploring a Long Short-Term Memory based Encoder-Decoder framework for multi-step-ahead flood forecasting[J]. Journal of Hydrology, 2020(583):124631.
[3] REN T, LIU X, NIU J, et al. Real-time water level prediction of cascaded channels based on multilayer perception and recurrent neural network[J]. Journal of Hydrology, 2020(585):124783.
[4] FENG Z kai, NIU W jing, TANG Z yang,et al. Monthly runoff time series prediction by variational mode decomposition and support vector machine based on quantum-behaved particle swarm optimization[J]. Journal of Hydrology, 2020(583): 124627.
[5] 李文武, 石強, 王凱, 等. 基于變分模態(tài)分解和深度門控網(wǎng)絡(luò)的徑流預(yù)測[J]. 水力發(fā)電學(xué)報, 2020, 39(3): 34–44.
[6] KABIR S, PATIDAR S, XIA X,et al. A deep convolutional neural network model for rapid prediction of fluvial flood inundation[J]. Journal of Hydrology, 2020(590): 125481.
[7] IRRGANG C, SAYNISCH-WAGNER J, DILL R,et al. Self-Validating deep learning for recovering terrestrial water storage from gravity and altimetry measurements[J]. Geophysical Research Letters, 2020, 47(17).
[8] NALLEY D, ADAMOWSKI J, KHALIL B,et al. A comparison of conventional and wavelet transform based methods for streamflow record extension[J]. Journal of Hydrology, 2020(582):124503.
[9] ALI M, PRASAD R, XIANG Y,et al. Complete ensemble empirical mode decomposition hybridized with random forest and kernel ridge regression model for monthly rainfall forecasts[J]. Journal of Hydrology, 2020(584):124647.
[10] WU H, YANG Q, LIU J, et al. A spatiotemporal deep fusion model for merging satellite and gauge precipitation in China[J]. Journal of Hydrology, 2020, 584(2006): 124664.
[11] ORLAND E, ROERING J J, THOMAS M A,et al. Deep Learning as a tool to forecast hydrologic response for landslide-prone hillslopes[J]. Geophysical Research Letters, 2020, 47(16).
[12] PANAHI M, SADHASIVAM N, POURGHASEMI H R,et al. Spatial prediction of groundwater potential mapping based on convolutional neural network (CNN) and support vector regression (SVR)[J]. Journal of Hydrology, 2020(588):125033.
[13] JEONG J, PARK E, CHEN H,et al. Estimation of groundwater level based on the robust training of recurrent neural networks using corrupted data[J]. Journal of Hydrology, 2020(582):124512.
[14] BOLIBAR J, RABATEL A, GOUTTEVIN I,et al. A deep learning reconstruction of mass balance series for all glaciers in the French Alps: 1967-2015[J]. Earth System Science Data, 2020, 12(3): 1973–1983.
[15] WANG L, JIANG Y, QI H. Marine dissolved oxygen prediction with tree tuned deep neural network[J]. IEEE Access, 2020(8):182431–182440.
[16] ZHANG Q, WANG H, DONG J,et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1745–1749.
[17] ZHU S, PTAK M, YASEEN Z M,et al. Forecasting surface water temperature in lakes: A comparison of approaches[J]. Journal of Hydrology, 2020, 585: 124809.