渠海峰 何光鑫 康志明 程 勇 王 軍 莊瀟然 李遠祿

1 南京信息工程大學,南京 210044 2 中國氣象局廣州熱帶海洋氣象研究所,廣東省區(qū)域數值天氣預報重點實驗室,廣州 510640 3 江蘇省氣象臺,南京 210008

提 要: 基于循環(huán)神經網絡的雷達回波外推算法的預報結果隨時間逐漸模糊失真,同時難以預報強回波區(qū)域。針對上述問題,提出一種上下文融合和注意力機制的時空長短期記憶網絡模型。該方法通過上下文融合模塊充分提取雷達圖像不同尺度的短期上下文信息;通過注意力模塊拓寬預測單元的時間感受域,使模型感知更多的時間動態(tài)。以2019—2021年4—9月江蘇省氣象雷達數據為樣本,通過試驗對比分析,基于上下文融合和注意力機制的時空長短期記憶網絡取得了更好的預測性能。在外推60 min,閾值為10、20、40 dBz的條件下,臨界成功指數和HSS分別達到0.7611、0.5326、0.2369和0.7335、0.5735、0.3075,有效提高了預測精度。

引 言

降水短時臨近預報一直是氣象預報的一項重要任務,通常是指對某一地區(qū)未來短時間內(通常是0～2 h)的降雨量進行預測(Singh et al,2017),準確的短時臨近預報可以在暴雨、雷暴等惡劣天氣提供預防作業(yè)(如為農業(yè)、航海等提供天氣指導),減少人員傷亡和財產損失。因此,如何利用雷達回波外推技術獲取精準、快速的天氣短時臨近預報,成為氣象研究方面的熱點問題。

降水短時臨近預報可以看作是一種時空序列預測問題。預測雷達圖通過Z-R關系(Marshall and Palmer,1948)轉換為降雨強度,作為最終短時臨近預報。傳統(tǒng)的雷達回波外推方法主要有交叉相關法(Rinehart and Garvey,1978;Zou et al,2019)、單體質心法(Chung and Yao,2020;Lakshmanan et al,2009)和光流法(Ayzel et al,2019;Woo and Wong,2017)。交叉相關法是將整個數據區(qū)域劃分成若干小區(qū)域,然后在相鄰時刻雷達回波圖像的小區(qū)域之間計算相關系數,通過最大相關系數確定相鄰時刻圖像中的區(qū)域對應關系,進而確定回波區(qū)域的平均運動。但是,在強對流天氣中,跟蹤失敗的情況就會顯著增加。單體質心法是將雷暴視為三維單體進行識別、分析和追蹤,對雷暴進行擬合外推來做臨近預報。該方法在雷達回波較為零散或出現(xiàn)合并、分裂現(xiàn)象時,準確度將會大大下降。而光流法本質上是通過計算雷達回波的光流場得到回波的運動矢量場,并基于運動矢量場對雷達回波進行外推,但光流法在計算光流矢量和外推兩步時存在累計誤差。雷達回波圖像數據作為一類序列圖像數據,以上三種傳統(tǒng)方法沒有充分學習海量雷達數據內部蘊含的復雜天氣變化規(guī)律,存在外推準確率低的問題。

近年來,深度學習是機器學習中發(fā)展最為迅速的技術,針對傳統(tǒng)方法存在的問題,越來越多的人嘗試采用深度學習方法來解決視頻預測(Bei et al,2021;Chang et al,2021;Tamaru et al,2021)、交通流預測(Tian and Chan,2021;Yin et al,2022;Zhao et al,2022)和降水短時臨近預報(陳錦鵬等,2021;郭瀚陽等,2019;顧建峰等,2020;黃驕文等,2021;黃興友等,2021;尹麒名等,2021;周康輝等,2021;袁凱等,2022;陳鶴等,2022)等時空序列預測問題。深度學習方法可以處理復雜的時空關系,以便從大量先前的雷達回波序列中自適應地學習降水量變化的規(guī)律。例如,Shi et al(2015)提出了將卷積神經網絡(CNN)和長短期記憶網絡(LSTM)相結合的卷積LSTM(ConvLSTM)模型用于降水預測,LSTM用于提取時間動態(tài)信息并存儲在時間記憶單元中,CNN則負責提取空間信息。因此,該網絡可以對時空信息進行更好的學習和建模?；谘h(huán)神經網絡的預報方法,采用堆疊網絡單元的方式搭建整體網絡架構,考慮到ConvLSTM只關注了時間信息,而忽略了來自不同單元層之間的空間信息。Wang et al(2017)提出了ST-LSTM單元(spatio-temporal LSTM),通過在ConvLSTM中添加一個新的、并行的空間記憶單元,來保存每個單元層的空間特征并將其應用在新的端到端模型PredRNN上。Wang et al(2018)進一步將雙記憶單元采用級聯(lián)的方式構建Causal-LSTM單元,并加入梯度高速公路單元(gradient highway unit,GHU) 緩解梯度消失問題,形成新的端到端模型PredRNN++。Wang et al(2019a)提出了一種新的模型E3D-LSTM(eidetic 3D LSTM),將3D卷積集成到RNN中,使存儲單元能夠存儲更好的短期特征。對于長期關系,通過門控制的自注意力機制使當前記憶狀態(tài)與其歷史記憶狀態(tài)相互作用。但由于集成的3D卷積,使E3D-LSTM的計算負載非常高。Wang et al(2019b)提出了MIM(memory in memory),可以捕捉雷達回波圖像中的非平穩(wěn)和近似平穩(wěn)特性。Luo et al(2021)提出了一種新的PFST-LSTM單元(pseudo flow spatio-temporal LSTM),其開發(fā)的空間存儲單元和位置對齊模塊,解決了位置不匹配和缺少空間外觀保護器的問題。Yang et al(2023)提出了CEMA-LSTM,引入多頭注意機制塊(MAB)使用位置和信道注意機制來捕獲雷達回波的全局特征。Geng et al(2022)提出了一種注意力融合時空殘差網絡(AF-SRNet)來精確預測對流降水的弱連續(xù)性。具體而言,時空殘差網絡用于提取雷達回波和降水數據的深層時空特征,實現(xiàn)了更精確的對流降水預報。

盡管上述方法有了重大改進,但這些網絡仍存在一些缺陷:(1)輸入數據和隱藏狀態(tài)之間的上下文特征相關性較弱,不能相互幫助識別和保存重要信息;(2)隨著預測時間增加,會出現(xiàn)記憶單元中存儲信息逐漸衰減的問題,即當前時刻記憶單元很難有效回憶起先前時刻存儲記憶。這些問題導致在雷達回波外推任務中,隨著預測時間的增加,雷達回波預測圖像逐漸模糊,反射率較高的雷達回波區(qū)域有消失的趨勢,這大大影響了預測精度。

針對上述問題,本文提出了上下文融合和注意力機制的時空LSTM模型(CAST-LSTM)。首先,提出了上下文融合模塊,有效地提取圖像多尺度時空信息并提高上下文相關性。然后,提出了一種注意力模塊,通過拓寬網絡模型的時間感受域,使模型感知更多的時間信息。將這兩個模塊集成到網絡單元中,性能顯著提高,尤其是在強降雨地區(qū)。

1 數 據

1.1 Moving MNIST數據集

Moving MNIST數據集是時空序列預測任務中使用最廣泛的數據集,在有限的范圍內,幾個數字隨機移動,具有一些運動模式,包括旋轉縮放、亮度變化等。每20個連續(xù)幀劃分為一個序列。其中10幀用于輸入,10幀用于預測,每幀的大小為64×64。訓練集包括10 000個序列,驗證集為2000個序列,測試集為3000個序列。本文通過Moving MNIST數據集初步檢驗改進模型對時空序列預測任務的性能。使用訓練集對網絡進行訓練;使用驗證集調整模型結構和超參數,使模型性能達到最佳;最后使用測試集檢驗模型的性能。

1.2 雷達數據集

使用江蘇氣象雷達數據集來評估模型在真實場景下的雷達回波外推性能。數據集為2019—2021年4—9月對江蘇多部S波段氣象雷達質量控制及組網拼圖后得到的實際觀測數據,覆蓋整個江蘇省區(qū)域面積,該數據集由江蘇省氣象臺制作,以灰度圖形式存儲。數據取值范圍為0～70 dBz,水平分辨率為0.01°(約1 km),時間間隔為6 min,單時次數據(即單張圖片)的網格尺寸為480×560像素。

在本文中,將數據集中每20張間隔為6 min的雷達圖像作為一個序列樣本。在每個序列樣本中,前10張回波圖像作為輸入,后10張作為實際輸出,即根據過去一小時的觀察結果預測未來一小時的結果。將所有序列樣本按4∶1的比例劃分為訓練樣本和檢驗樣本,其中訓練樣本含21 103組,檢驗樣本含5275組,使用訓練樣本對網絡模型進行訓練,使用檢驗樣本進行測試評估。由于檢驗樣本沒有參與算法的訓練和參數調整,因此可以客觀地衡量算法的學習能力和預報效果。

使用江蘇2022年4—9月雷達數據資料,采用與上文相同的處理方式,從中挑選并劃分出5143組序列樣本用于檢驗算法的泛化性能及在實際業(yè)務中的可用性。

2 算法描述

本節(jié)詳細介紹CAST-LSTM模型。首先介紹上下文融合模塊,然后闡述注意力模塊,并描述如何將上下文融合模塊和注意力模塊嵌入到ST-LSTM單元中。最后,將介紹所提出的CAST-LSTM模型的整體外推結構。

2.1 上下文融合模塊

注:Xt和表示上下文信息,其中Xt表示當前時刻輸入,表示先前時刻隱藏狀態(tài);“σ”表示Sigmoid函數。圖1 上下文融合模塊Fig.1 Context fusion module

在卷積操作中,卷積核大小代表著感受野的范圍大小。卷積核偏小時,每次滑動提取信息的范圍更小,偏向于捕捉較小范圍間變化較慢的信息;卷積核偏大時,每次滑動提取信息的范圍更大,偏向于捕捉較大范圍間變化較快的信息。因此,不同尺寸的卷積運算相結合可以充分提取雷達回波圖像中更全面的多尺度時空演變特征,而好的預測結果需要網絡模型充分的提取特征。因此,本文提取上下文不同尺度時空特征如式(1)所示:

(1)

(2)

(3)

式中:“⊙”表示矩陣的Hadamard積(下同),“W”表示對應的卷積核。

由上述公式可見,通過對上下文信息進行不同尺寸的卷積來提取更精細的多尺度時空特征。使用融合門來控制上下文融合過程,提高了當前輸入和先前隱藏狀態(tài)的上下文相關性。

2.2 注意力模塊

圖2 嵌入模型的注意力模塊Fig.2 Attention module embedded in model

所示:

(4)

(5)

式中Catt可以表示為時間注意力信息,代表一種長期的運動趨勢。通過當前空間狀態(tài)與歷史空間狀態(tài)之間相關性所得的注意力分數可以更好地、有選擇性地保留歷史時間記憶單元的信息。

(6)

2.3 CAST-LSTM單元

圖3 上下文融合注意力長短期記憶單元內部結構圖Fig.3 Internal structure diagram of long short-term memory unit of context fusion attention

(7)

2.4 CAST-LSTM網絡結構

圖4 CAST-LSTM網絡模型結構Fig.4 CAST-LSTM network model structure

3 試驗分析

在本章節(jié),將分別在Moving MNIST數據集和2019—2021年4—9月江蘇省氣象雷達數據分別進行試驗,在2022年4—9月江蘇省氣象雷達數據上進一步檢驗算法的泛化性能及在實際業(yè)務中的可用性,并與現(xiàn)有模型對比分析。按照圖4所示應用了四層CAST-LSTAM單元,每個單元的通道數設置為64,通道數即預測單元中進行卷積操作時的卷積核數量,卷積核大小設置為5×5。所有模型均在基于Pytorch框架上進行訓練和測試,試驗在NVIDIA A10 GPU上實現(xiàn),輸入圖像的大小受硬件設備限制(如GPU顯存),本文試驗中占用顯存約21Gb。選擇Adam優(yōu)化器進行優(yōu)化,其學習率設置為0.0001,而批大小設置為4。為了穩(wěn)定訓練過程,在CAST-LSTM中的每個卷積層之后使用層歸一化。

3.1 Moving MNIST試驗

為了評估性能,本文采用了兩種常用的指標,包括均方誤差(MSE)、結構相似性指數(SSIM)。較低的MSE及較高的SSIM表示更好的預測性能,如表1所示。

表1 不同方法在移動MNIST數據集(10楨→10楨)中的結果Table 1 Results of different methods for moving MNIST datasets (10 frames → 10 frames)

本文提出的CAST-LSTM顯著優(yōu)于其他方法,尤其是在最后兩個時間步中的預測,如圖5所示。CAST-LSTM網絡很好地保留了數字的變化細節(jié),特別是處理重疊的軌跡,保持了隨時間變化的清晰度。相比較之下,ConvLSTM、PredRNN網絡預測結果很快變得模糊,逐漸丟失細節(jié)信息;而其他方法雖然也能取得一定的預測結果,但在最后時間步的預測結果中CAST-LSTM可以保留更多的細節(jié)信息,在位置精度和空間外觀方面更有優(yōu)勢。

圖5 不同方法在移動MNIST數據集中的結果Fig.5 Results of different methods for mobile MNIST dataset

3.2 雷達數據集試驗

本試驗實現(xiàn)以過去十個時間步的觀察結果來預測未來十個時間步的結果。本文使用數據集為間隔6 min的連續(xù)雷達資料,即根據過去一小時的觀察結果預測未來一小時的結果。

對著前面的洼地，對著山羊，王婆追蹤過去痛苦的日子。她想把那些日子捉回，因為今日的日子還不如昨日。洼地沒人種，上崗那些往日的麥田荒亂在那里。她在傷心地追想。

3.2.1 評估指標

在評估方面,本文使用臨界成功指數(CSI)和HSS(heidke skill score)指標來評估結果。為此,應用以下變換將地面實況和預測回波圖的像素值p轉換為反射率dBz,如式(8)所示:

dBz=p×95/255-10

(8)

通過設置閾值將預測回波圖和地面實況圖轉換為二進制矩陣。若雷達回波值大于給定閾值,則將相應的值設置為1;否則設置為0。類比到氣象上如表2所示,計算真陽性預測數TP(預測=1,真值=1)、假陽性預測數FP(預測=1,真值=0)、真陰性預測數TN(預測=0,真值=0)和假陰性預測數FN(預測=0,真值=1)。

表2 列聯(lián)表Table 2 Contingency table

CSI和HSS的具體公式如式(9)所示:

HSS=

(9)

具體來說,分別選擇10、20和40 dBz作為閾值。CSI和HSS是綜合度量,考慮了檢測概率和虛警率,可以直接反映模型的優(yōu)劣。CSI和HSS越大性能越好。

3.2.2 結果與分析

表3顯示了在2019—2021年4—9月江蘇省雷達數據集不同方法的對比結果?？梢钥吹奖疚奶岢龅腃AST-LSTM模型在所有閾值下的CSI和HSS性能最佳,并且隨著閾值的增加,模型的優(yōu)勢變得越來越明顯。特別是,當閾值為40 dBz時,評估的CSI和HSS指標達到0.2369和0.3075,分別比PredRNN算法提高了30.5%和31.5%,比PFST-LSTM算法高9.9%和8.6%。這意味著開發(fā)的上下文融合模塊和注意力模塊有助于提高對強降水區(qū)域的預測效果。

表3 2019—2021年4—9月江蘇省雷達數據集不同方法的CSI和HSS評分結果Table 3 Scoring results of CSI and HSS under different methods for dataset of Jiangsu radar from April to September of 2019-2021

為了更好地說明結果,描述了圖6所示的在2019—2021年4—9月江蘇省雷達數據中檢驗樣本集不同閾值的CSI和HSS變化曲線,以顯示各種模型在不同時間步下的性能?？梢钥吹?本文提出的模型整體上優(yōu)于其他模型,在40 dBz時差距最為明顯,原因是CAST-LSTM融入了上下文融合模塊和注意力模塊,上下文融合模塊充分提取不同尺度時空信息,提高上下文相關性;注意力模塊可以從更寬的感受域感知更多的時間動態(tài),減少了信息丟失,這更好地模擬了短期和長期依賴關系。因此,CAST-LSTM可以更好地保留預測結果的細節(jié)性,在強回波區(qū)域的預測結果也表現(xiàn)得更出色。此外,Pred-RNN的結果總是比本文提出的模型差,尤其是在高閾值下。這是因為PredRNN存在沒有充分提取上下文相關性信息和記憶單元信息丟失的問題。此外,由于偽流位置對齊模塊的設計,PFST-LSTM取得了第二的性能。至于ConvLSTM模型,其性能在試驗中表現(xiàn)最差。

圖6 2019—2021年4—9月江蘇省雷達數據集中檢驗樣本集不同閾值下的(a,c,e)CSI和(b,d,f)HSS變化曲線Fig.6 Variation curves of (a, c, e) CSI and (b, d, f) HSS at different thresholds for the test sample of dataset of Jiangsu radar from April to September of 2019-2021

為了更好地比較和理解結果,在圖7中可視化了2021年5月15日02:06—03:00江蘇省雷達數據不同方法下的預測結果。從地面真值序列中看到,回波圖像有三個主要的強回波區(qū)域,回波區(qū)域的強度變得更高,位置也隨之變化,且主要回波區(qū)域向圖像右側移動。在02:18之前,各個模型之間的預測結果差異較小,且非常接近實況。然后,隨著預測時間的增加,強回波開始衰減,同時預報圖像的細節(jié)也開始減少。在02:36,盡管每個模型的預測結果中都丟失了一些細節(jié),但仍可以大致預測回波的整體輪廓和變化趨勢,其中CAST-LSTM的預測效果最好。隨著預測時間繼續(xù)增加,ConvLSTM的外推結果逐漸變得模糊,強回波區(qū)域逐漸變小甚至消失,整個預測邊界區(qū)域也逐漸平滑,只能預測出回波的大致輪廓。這是因為ConvLSTM只關注時間信息而忽略了來自不同單元層之間的空間信息。Pred-RNN在最后時刻盡管保留了部分紅色區(qū)域,但回波強度仍被大大低估了。同樣的問題也出現(xiàn)在PredRNN++、E3D-LSTM和MIM的外推圖像中。盡管這些方法同時關注了時空信息,但這些網絡在預測過程中存在信息丟失問題,因此隨時間增加強回波逐步衰減。與上述方法相比,PFST-LSTM和CAST-LSTM的外推圖與觀測結果更相似,但只有CAST-LSTM模型更好地保留三個強回波區(qū)域,且預測結果的細節(jié)性也較高。這是因為CAST-LSTM的時空感知注意力機制能有效改善信息丟失問題,且多尺度上下文融合模塊可以更好地幫助網絡在預測中保持較多的細節(jié)性。

注:第一行為預測時輸入的2021年5月15日01:06—02:00的雷達圖像,第二行為02:06—03:00的實際觀測圖像;其他行為不同模型下的預測結果。圖7 2021年5月15日02:06—03:00江蘇省雷達數據集不同方法下的預測結果Fig.7 Prediction results under different methods for dataset of Jiangsu radar from 02:06 BT to 03:00 BT 15 May 2021

此外,為了說明模型的泛化性及在業(yè)務中的實際可用性,本文使用江蘇省2022年4—9月雷達數據進行驗證。在三個閾值條件下進行外推時長為1 h 的試驗,表4顯示了使用不同模型的試驗結果。

表4 2022年4—9月江蘇省雷達數據集在不同方法下外推60分鐘的CSI和HSS評分結果Table 4 Scoring results of CSI and HSS under different methods for dataset of Jiangsu radar from April to September 2022

除了本文提出的CAST-LSTM模型之外,還采用了ConvLSTM、PredRNN、PredRNN++、MIM、E3D-LSTM和PFST-LSTM先進模型進行對比。可以看到CAST-LSTM模型在所有閾值下的CSI和HSS性能最佳,并且隨著閾值的增加,模型的優(yōu)勢變得越來越明顯。特別是,當閾值為40 dBz 時,評估的CSI和HSS指標達到0.2331和0.3037,分別比PredRNN算法提高了29.3%和30.6%,比PFST-LSTM算法高8.7%和8.2%。這意味著提出的上下文融合模塊和注意力模塊有助于提高對強回波區(qū)域的預測效果。

為了更直觀地觀察外推中數據變化過程,對2022年4—9月江蘇省雷達數據在不同閾值條件下CAST-LSTM模型與ConvLSTM、PredRNN等其他主流算法在10個時序(1 h)中各項指標變化進行統(tǒng)計,結果如圖8所示。從圖中可以看出本模型整體上優(yōu)于其他模型,尤其是對強回波的預測能力,特別是在最后幾個時序中,CAST-LSTM模型實現(xiàn)了更好的預測結果。這是因為CAST-LSTM模型更關注上下文特征信息的有效提取,并且通過注意力機制有效緩解了信息傳遞過程中的衰減問題。

圖8 2022年4—9月江蘇雷達數據集中檢驗樣本集不同閾值下的(a,c,e)CSI和(b,d,f)HSS變化曲線Fig.8 Variation curves of (a, c, e) CSI and (b, d, f) HSS at different thresholds for the test sample of dataset of Jiangsu radar from April to September 2022

為了更好地展示試驗結果,在圖9中可視化了2022年7月28日07:36—08:30江蘇雷達數據不同方法下的預測結果。從地面真值序列中看到,隨著時間推移,回波圖像有兩個主要的強回波區(qū)域:中下方的強回波區(qū)域向圖像下方移動,且強度逐漸減弱;右側帶狀強回波區(qū)域向圖像右下方移動。從預測結果來看,所有模型都成功地預測了雷達回波的整體運動趨勢,但外推圖像在一些細節(jié)(如邊界、回波強度)上仍存在差異。在07:48,各個模型之間的預測結果差異較小,且非常接近實況。在07:48以后,ConvLSTM的預測結果中強回波區(qū)域開始衰退。在08:12,ConvLSTM無法有效預測強回波區(qū)域的演變趨勢,其他模型仍可以預測強回波區(qū)域的位置和雷達回波的部分細節(jié)。隨著預報時間繼續(xù)增加,其他模型相較于ConvLSTM保留了更多的高回波信息,其中PredRNN和E3D-LSTM在最后幾個時刻中強回波區(qū)也逐漸消散,PredRNN++、MIM外推結果有所改善,但對強回波的預測仍存在偏差。只有PFST-LSTM和CAST-LSTM可以更好地預測強回波區(qū)域,其中CAST-LSTM更能預測強回波區(qū)域的強度和位置,也可以很好地預測回波變化趨勢且細節(jié)效果也更好。

注:第一行為預測時輸入的2022年7月28日06:36—07:30的雷達圖像,第二行為07:36—08:30實際觀測圖像;其他行為不同模型下的預測結果。圖9 2022年7月28日07:36—08:30江蘇省雷達數據集不同方法下的預測結果Fig.9 Prediction results under different methods for dataset of Jiangsu radar from 07:36 BT to 08:30 BT 28 July 2022

4 結 論

本文提出了一種新的雷達回波外推方法,即CAST-LSTM。使用Moving MNIST數據集和2019—2021年4—9月江蘇省氣象雷達數據資料進行測試檢驗,并使用2022年4—9月江蘇省雷達數據進行實際驗證。通過與幾種現(xiàn)有算法的對比分析,得出以下結論。

(1) 在Moving MNIST數據集中,CAST-LSTM算法的MSE為最低、SSIM最高,與幾種現(xiàn)有算法相比,性能得到明顯提升;在可視化實例中,CAST-LSTM算法具有更好的預測結果,很好地保留了數字的移動軌跡和變化細節(jié)。

(2) 在江蘇省氣象雷達數據中,CAST-LSTM算法有效提高了預測精度;在可視化實例中,CAST-LSTM算法在較長的時間內有效提高預測結果的準確性,在強回波區(qū)域的預測結果也表現(xiàn)得更出色。

(3) 本文提出的上下文融合模塊有效提高網絡單元的上下文相關性,提取多尺度特征信息;注意力模塊可以從拓寬的感受域中感知更多的時間動態(tài),減少信息丟失。通過將兩個模塊添加到網絡模型中,可以進一步提高預報精度,特別是對于降雨量大且強度持續(xù)增加的地區(qū)。

目前深度學習算法使雷達回波外推效果得到了很大的提升,但距離真實實況仍有一定的差距。在后續(xù)的研究中,將研究如何在雷達回波外推任務中考慮更多的氣象因素,探索更有效的算法進一步提高降水短時臨近預報的預測能力。