李文忠，劉成帥，鄔 強，胡彩虹，解添寧，田 露

（鄭州大學 黃河實驗室，河南 鄭州 450001）

0 引言

洪澇災害對人民生命財產(chǎn)安全、社會經(jīng)濟發(fā)展等存在著巨大威脅，洪水預報作為重要的防洪減災非工程措施，其核心在于預報模型構(gòu)建［1，2］。近年來，機器學習數(shù)據(jù)驅(qū)動技術(shù)成為研究熱點，其高效的數(shù)據(jù)并行處理能力可應用于洪水預報領(lǐng)域，并挖掘降雨-徑流過程中復雜的非線性關(guān)系［3，4］。例如，劉恒等［5］基于神經(jīng)網(wǎng)絡及遺傳算法建立了洪水分類預報模型，模型的整體效果優(yōu)于分類前；李大洋等［6］構(gòu)建基于變分貝葉斯理論最新算法—隨機變分推斷SVI（Stochastic Variational Inference，SVI）與LSTM（Long Short-Term Memory，LSTM）耦合的VBLSTM，應用于黃河河源區(qū)的徑流過程研究，與傳統(tǒng)具有物理機制的水文模型相比預報精度更高；XU等［7］提出利用粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）對LSTM 超參數(shù)進行優(yōu)化，用于汾河靜樂流域和洛河盧氏流域的洪水預報任務，提高了LSTM 模型進行洪水預報的精度；崔震等［8］構(gòu)建了基于概念性水文模型的GR4J（modèle du Génie Ruralà4 paramètres Journalier）與LSTM 的混合模型預報陸水水庫的入庫流量，結(jié)果顯示GR4J-LSTM 洪水預報性能優(yōu)于單個模型。與傳統(tǒng)的物理機制水文模型和淺層機器學習模型［9-11］相比，在洪水預報方面，機器學習模型表現(xiàn)出更優(yōu)越的性能。因此，研究不同機器學習模型在水文預報領(lǐng)域的應用是非常必要的。

2017年提出的Transformer 模型［12］支持并行計算，訓練更快，且可以同時建模長期和短期依賴關(guān)系，并在處理時間數(shù)據(jù)序列方面顯示出比較好的效果［13，14］。然而，為更好的實現(xiàn)不同任務下的時間序列預測，相關(guān)領(lǐng)域?qū)W者對其進行了多方面的改進。例如，利用MCST-Transformer［15］（Multi-channel Spatiotemporal Transformer）對交通流量的預測、XGB-Transformer（Gradient Boosting Decision Tree transformer）模型［16］被用于電力負荷的預測、Transformer 模型在時間序列預測任務中局部信息不敏感問題的解決［17］和基于Transformer 的雙編碼器模型對長江月徑流量的預測［18］。上述研究結(jié)果表明，Transformer 在各個領(lǐng)域的時間序列數(shù)據(jù)中具有較好的預測能力，也證明了它在水文預報領(lǐng)域同樣具有巨大的潛力。但由于Transformer 的編碼器和解碼器均基于自注意力機制，計算空間復雜度大，對局部信息特征的感知較弱，導致模型易受異常點影響，這是需要進一步考慮優(yōu)化的問題。

為了使Transformer 模型更好的應用于洪水預報領(lǐng)域，本研究在Transformer 輸入部分耦合了預測效果更好的門控循環(huán)單元（GRU）層［19］，并改進了Transformer模型的結(jié)構(gòu)，構(gòu)建了GRUTransformer 耦合模型。為探究GRU-Transformer 模型在洪水預報領(lǐng)域中的適用性，以故縣水庫控制流域為例進行檢驗，并與ANN和WOA-GRU模型進行對比。

1 GRU-Transformer原理介紹

1.1 GRU

門控制循環(huán)單元（Gated Recurrent Unit，GRU）模型與LSTM模型結(jié)構(gòu)相似，同樣能夠解決傳統(tǒng)RNN 存在的梯度消失問題，與LSTM 模型相比，其計算過程更簡單、訓練參數(shù)更少，具有良好的時間序列預測性能。GRU 由更新門和重置門兩個門結(jié)構(gòu)構(gòu)成，其中，更新門的大小代表前一時刻信息的保留程度，以確保前一時刻的信息能夠傳送到當前時刻；重置門則控制當前時刻與過去的信息間是否結(jié)合，即決定多少過去的信息被遺忘，重置門值越小代表被遺忘的信息越多。構(gòu)建多輸入單輸出任務的WOA-GRU 模型用于洪水預報，以NSE 為目標函數(shù)，采用鯨魚優(yōu)化算法（WOA）對GRU模型進行參數(shù)率定［20］。

1.2 Transformer

Transformer 模型為基于注意力機制的編碼器-解碼器架構(gòu)，原Transformer 模型在進行翻譯任務時，需要使用位置編碼對數(shù)據(jù)點序列位置信息進行捕捉，否則會影響翻譯結(jié)果，并利用Decoder 對編碼后的信息進行解碼和生成。而洪水時間序列數(shù)據(jù)是典型的多變量時間序列數(shù)據(jù)，通過多變量輸入對單個流量值進行滾動預測，此任務中位置編碼作用性低，且不需要Decoder 結(jié)構(gòu)進行并行計算。因此，為更好的滿足洪水預報任務，對原Transformer 模型進行改進，去掉位置編碼及解碼器部分，且調(diào)整模型內(nèi)部結(jié)構(gòu)，增加卷積層和全局平均池化結(jié)構(gòu)，使用全連接層進行結(jié)果輸出。

模型采用原Transformer 中的多頭縮放點注意力（Multi-Head scaled dot-product Attention，多頭注意力）機制；注意力機制可描述為將查詢（query，Q）和一組鍵值對（key-value，K-V）映射到輸出，其中輸出為value（V）的加權(quán)求和，權(quán)重取決于由query 和value 的相似性，將h個縮放點注意力的輸出進行特征融合做最終輸出，每一個注意力的輸出稱作一個頭。圖1 為多頭縮放點積注意力結(jié)構(gòu)。

圖1 多頭縮放點積注意力結(jié)構(gòu)Fig.1 Multiple head scaling point product attention structure

（1）縮放點注意力。

（2）多頭縮放點注意力。

其中，WiQ∈Rdmodel×dk，WiK∈Rdmodel×dk，WiV∈Rdmodel×dk，WO∈Rhdv×dmodel，h表示注意力頭的數(shù)量，設置dk=dmodel/h，d為向量的維度，T表示矩陣的轉(zhuǎn)置。

1.3 GRU-Transformer

在改進的Transformer 模型輸入部分耦合GRU 層對時間序列數(shù)據(jù)進行特征提取，將時間序列數(shù)據(jù)重構(gòu)；GRU 層充分利用了當前的數(shù)據(jù)特征，并使用其門結(jié)構(gòu)來決定是否記住或忘記以前的特征，構(gòu)建如圖2所示的GRU-Transformer 模型。GRUTransformer 模型由具有一層隱藏層的GRU 層、多個編碼層和輸出層構(gòu)成，編碼層包括多頭注意力層、殘差和歸一化、卷積層，卷積層為兩層一維卷積，提取數(shù)據(jù)深層特征且卷積層通過權(quán)值共享和稀疏連接來保證單層卷積中訓練參數(shù)少，提高前向傳播時的效率，并使用Dropout 層防止模型過擬合；輸出層采用全局平均池化層對向量化的數(shù)據(jù)全局平均池化，將多維的輸入一維化，之后經(jīng)全連接層輸出，最后與GRU 層進行向量拼接并經(jīng)全連接層做最終輸出。

圖2 GRU-Transformer結(jié)構(gòu)圖Fig.2 Structure of GRU-Transformer

1.4 ANN

人工神經(jīng)網(wǎng)絡的功能類似于人腦和神經(jīng)系統(tǒng)，是人工智能的一種形式，它可以用數(shù)據(jù)集進行訓練，進行預測模型，并在沒有參數(shù)的情況下學習內(nèi)在關(guān)系［21］。本文選用在水文預報中應用最廣泛的BP 神經(jīng)網(wǎng)絡模型作為對照模型［22-25］，圖3為具有一個隱藏層的ANN架構(gòu)圖（典型的3層BP神經(jīng)網(wǎng)絡）。

圖3 具有一個隱藏層的ANN架構(gòu)（典型的3層BP神經(jīng)網(wǎng)絡）Fig.3 ANN architecture with one hidden layer（typical three-layer feed forward artificial neural networks）

2 GRU-Transformer洪水預報模型構(gòu)建

2.1 數(shù)據(jù)處理

模型所用數(shù)據(jù)包括降雨和流量數(shù)據(jù)，兩者間數(shù)值尺度、單位差異大，為了消除量綱對模型運算的干擾使模型加快收斂［26］對數(shù)據(jù)進行max-min 歸一化處理至（0，1）。將24個站點原始洪水數(shù)據(jù)資料處理為如表1 中的形式，設置不同預見期T，利用t-T時刻的降雨徑流數(shù)據(jù)預報t時刻出口斷面流量Q，P1～P24分別對應24個站點實測降雨量。

表1 處理后的數(shù)據(jù)形式Tab.1 Processed data form

2.2 模型基本參數(shù)設置

在模型訓練之前，需通過實驗設定模型超參數(shù)［27］，初步發(fā)現(xiàn)GRU-Transformer 模型中注意力頭的維度、頭的數(shù)量、全連接層維度和編碼塊數(shù)量4個參數(shù)對訓練效果影響較大。以NSE為目標函數(shù)，采用網(wǎng)格搜索法［28］對超參數(shù)進行尋優(yōu)，尋優(yōu)范圍設置為：注意力頭維度范圍［4，512］、注意力頭數(shù)量范圍［1，256］、全連接層維度范圍［4，512］、編碼塊數(shù)量范圍［1，10］。本文同時選用ANN、WOA-GRU 模型作為對比實驗，各模型參數(shù)設置如表2所示。

表2 模型參數(shù)設置Tab.2 Model parameter setting

2.3 模型預測過程

洪水預報過程采用滑動窗口的模式實現(xiàn)不同預見期下徑流量滾動預報，沿時間軸滑動，到達數(shù)據(jù)集的時間結(jié)束，數(shù)據(jù)形狀為窗口。輸入變量為前期的降雨和流量特征，通過GRUTransformer 洪水預報模型模擬降雨和徑流間的非線性關(guān)系，最終輸出預報的洪水過程。圖4 為GRU-Transformer 洪水預報模型詳細示意圖，描述了模型預測過程。式（4）和（5）為模型輸入和輸出數(shù)據(jù)的格式，從輸入到輸出具體過程如下：

圖4 GRU-Transformer洪水預報模型詳細示意圖Fig.4 Detailed schematic diagram of GRU Transformer flood forecasting model

（1）數(shù)據(jù)輸入：輸入洪水數(shù)據(jù)可以表示為U=［Q，P］，其中徑流數(shù)據(jù)矩陣為Q=［Q（t-T-i），Q（t-T-i+1），…，Q（t-T）］T，降雨數(shù)據(jù)矩陣為P=［P1，P2，…，P24］，Pj=［pj（t-T-i），pj（t-T-i+1），…，pj（t-T）］T，（j=1，2，…，24）（T為預見期，i為時間步長，設定值為1。），輸入形狀為［（None，1，25）］。

（2）GRU 層：嵌入了其他更多維度的數(shù)據(jù)特征O，經(jīng)隱藏層得到向量UG=［QG，PG，OG］；輸出形狀為［（None，1，50）］。

（3）多頭注意力層：多頭注意力層將輸入數(shù)據(jù)映射到多個不同的子空間；輸出形狀為［（None，1，50）］。

（4）殘差&歸一化：將原輸入與上一步輸出相加，防止梯度爆炸，輸出形狀為［（None，1，50）］。

（5）卷積層及Dropout 層：使用兩層一維卷積層代替全連接層卷積計算，進行非線性映射，加入Dropout 防止過擬合；輸出形狀為［（None，1，50）］。

（6）全局平均池化及全連接層：通過全局平均池化進行數(shù)據(jù)降維，并對整個網(wǎng)絡在結(jié)構(gòu)上做正則化防止過擬合，經(jīng)全連接層輸出；輸出形狀為［（None，1，16）］。

（7）Concatenate 特征融合及全連接層：將GRU 層輸出與上一步的輸出進行向量拼接，經(jīng)全連接層輸出最終結(jié)果；輸出形狀為［（None，1）］。

2.4 評價指標

對模型預測結(jié)果的評價選取NSE、RMSE、MAE、R2、MAPE作為評價指標，其數(shù)學表達式如下：

式中：Q和Qi分別表示觀測流量和模擬流量；和i表示觀測和模擬流量平均值，i表示第i個時刻，n表示時段數(shù)；NSE取值范圍為-∞（未擬合）到1（完全擬合）；RMSE取值范圍為0（完全擬合）到+∞（未擬合），MAE是絕對誤差的平均值，描述了觀測數(shù)據(jù)和模擬結(jié)果之間的差異，R2的取值范圍為0（未擬合）到1（完全擬合），MAPE的取值范圍為0（完全擬合）到+∞（未擬合）［29］。

3 GRU-Transformer 洪水預報模型實例檢驗及比較研究

3.1 研究區(qū)及數(shù)據(jù)選取

選取故縣水庫控制流域作為研究案例，橫跨陜西省和河南省，地理位置介于E109°7′～E111°4′，N33°7′～E34°4′，流域面積4 759 km2，如圖5所示。流域為暖溫帶山地季風氣候，年降雨量600～900 mm，降雨量年際變化大，洪水頻發(fā)。多年平均徑流量為12.81 億m3，最大和最小年徑流量分別為31.5 億m3、5.2 億m3，實測洪峰流量最大值為4 130 m3/s（1954年8月）。本文選取故縣水庫上游24 個雨量及水文站點1990-2016年間共49 場洪水進行洪水過程模擬預報，時間間隔為1 h，其中1990-2011年的39場洪水為訓練集，2011-2016年的10場洪水為驗證集。

圖5 研究區(qū)位置圖Fig.5 Location map of study area

3.2 整體預報效果評價

圖6為GRU-Transformer、WOA-GRU、ANN模型等3種模型在預見期1～6 h 下的降雨-徑流過程線圖，可以看出，預報流量過程線和實測流量過程線基本吻合。表3 為在預見期T為1～6 h 下對3 種模型預報效果評價指標統(tǒng)計，通過對比結(jié)果可見，在T=1 h 時GRU-Transformer 模型預報性能最佳，此時率定期和驗證期的NSE、RMSE、MAE、R2、MAPE分別為0.96、33.27 m3/s、21.73 m3/s、0.96、13.91% 和0.95、12.07 m3/s、6.36 m3/s、0.93、10.05%，預測結(jié)果已十分接近實際；在T=6 h 時，GRU-Transformer 模型預報精度有所下降，此時率定期和驗證期NSE、RMSE、MAE、R2、MAPE分別為0.87、83.75 m3/s、30.15 m3/s、0.88、24.85%和0.86、35.91 m3/s、20.7 m3/s、0.84、20.11%；在相同預見期下，相對于WOA-GRU、ANN 模型，GRU-Transformer 模型的各項預報精度評價指標更優(yōu)，預報效果最好，說明GRU-Transformer 模型在處理降雨和徑流關(guān)系上具有更好的非線性模擬能力。

表3 模型預報效果評價指標統(tǒng)計表Tab.3 Statistics of model prediction effect evaluation indicators

圖6 預見期1～6 h下3種模型率定期和驗證期洪水過程預報結(jié)果對比Fig.6 Comparison of flood process prediction results of three models at regular and verification periods during the forecast period of 1～6 h

圖7 為3 種模型分別在預見期T=1 h、T=3 h、T=6 h 下率定期、驗證期的實測和預報流量散點圖?？梢奊RU-Transformer耦合模型和單個模型WOA-GRU、ANN 模型相比，其散點圖更接近1∶1線，在模型驗證期、T=1 h、3 h和6 h時，GRU-Transformer 模型R2值分別為0.93、0.91 和0.84，WOA-GRU 模型的R2值為0.91、0.88 和0.80，ANN 模型的R2值為0.83、0.79 和0.70，GRUTransformer 模型的R2值在相同預見期下優(yōu)于其他模型，表明該模型可以更好地反映模擬流量和實測流量之間的關(guān)系。以上結(jié)果顯示，GRU-Transformer 模型徑流預報結(jié)果優(yōu)于ANN 和WOA-GRU模型。但結(jié)合表3來看，3種模型的預報精度會隨著預見期的增加出現(xiàn)下降，這是因為預見期增長導致訓練集中輸入與輸出的時間間隔增大，數(shù)據(jù)的關(guān)聯(lián)性下降，從而導致機器學習模型預報精度下降。

圖7 不同預見期下3種模型在率定期和驗證期實測、模擬流量散點圖Fig.7 Scatter chart of measured and simulated flows of the three models in the periodic and validation periods

3.3 場次洪水預報效果

為了更深一步了解模型對洪水過程的預報效果，進一步分析了驗證期中2 場典型洪水事件在T=1，3，6 h 下的降雨徑流過程線對比情況，2 場典型洪水事件分別為20150908 場次洪水（洪水1）和20160711場次洪水（洪水2）。從圖8可以看出，ANN在較小流量洪水過程模擬中及洪峰前多產(chǎn)生波動，WOA-GRU模型在模擬洪水過程開始階段表現(xiàn)出較小誤差的波動，可能是由于WOA-GRU 模型中記憶單元的存在，較多保存了前一場洪水的數(shù)據(jù)特征導致的；而GRU-Transformer 模型預報流量最接近實測流量，能夠較好的預報洪峰，且在洪水退水階段表現(xiàn)出良好的預報效果?？梢奊RU-Transformer 模型整體預報效果最為穩(wěn)定，具有較好的洪水預報性能。同時，隨著預見期的增加模型的預報效果隨預見期的增加降低，模型出現(xiàn)低估洪峰的現(xiàn)象，并表現(xiàn)出滯后性，且隨預見期滯后現(xiàn)象更明顯，這是因為隨預見期增長，輸入數(shù)據(jù)和待預報的流量數(shù)據(jù)之間相關(guān)性降低，準確學習挖掘洪水數(shù)據(jù)特征較為困難導致的。

圖8 實測流量及ANN、WOA-GRU和GRU-Transformer模型預測結(jié)果對比（洪水事件1、2）Fig.8 Comparison of measured discharge and prediction results of ANN，WOA-GRU and GRU-Transformer models（flood events 1 and 2）

3.4 GRU-Transformer模型魯棒性評估

如圖9所示，在相同預見期下，GRU-Transformer 比WOAGRU 和ANN 模型的NSE、RMSE、MAE更優(yōu)，說明GRU-Transformer 對降雨徑流模擬性能最好。3 種模型的預報效果均與預見期密切相關(guān)，并且隨預見期增大而變差。但GRU-Transformer 模擬表現(xiàn)出隨著預見期增加預報精度呈現(xiàn)緩慢下降趨勢，而不是急速下降，這說明GRU-Transformer 模型魯棒性最好。GRU-Transformer 模型的構(gòu)建是機器學習在洪水預報領(lǐng)域新的嘗試，可以有效的進行洪水預報和模擬，但需要在更多的流域進行驗證以及進一步研究其在水文預報的應用。未來，進一步調(diào)整模型結(jié)構(gòu)降低模型訓練耗時，結(jié)合更多的方法以提高預報精度和穩(wěn)定性。

4 結(jié)論

提出了構(gòu)建GRU-Transformer 模型應用于故縣水庫控制流域洪水過程預報，建立預見期1～6 h 下預報模型，并與WOAGRU、ANN模型進行模擬效果的對比，得到以下結(jié)論。

（1）GRU-Transformer 模型在洪水預報種具有較好的適用性，在預見期1～6 h 洪水預報中，GRU-Transformer 預報精度較高，校準期和驗證期的NSE均大于0.85，且預報精度在相同預見期下優(yōu)于WOA-GRU 和ANN模型，但預報精度會隨著預見期增大而出現(xiàn)一定程度的下降。

（2）GRU-Transformer 模型較穩(wěn)定地更好預測洪峰，且在較小流量洪水過程預報時及洪水退水階段模擬效果表現(xiàn)出優(yōu)異效果，但隨預見期增加出現(xiàn)低估洪峰現(xiàn)象。

（3）與GRU-Transformer 模型比WOA-GRU 和ANN 模型具有更好的魯棒性，隨洪水預見期增大，其預報精度呈緩慢下降，降低的最慢。