朱靜群
摘要:天氣雷達(dá)在我國災(zāi)害性天氣監(jiān)測及預(yù)警方面發(fā)揮著重要作用,當(dāng)前全國各地也已完成了新一代天氣雷達(dá)觀測網(wǎng)的建設(shè)工作。為更好地發(fā)揮天氣雷達(dá)在天氣監(jiān)測及預(yù)警方面的作用,有必要將多部雷達(dá)網(wǎng)資料進(jìn)行組網(wǎng)拼圖,以解決單部雷達(dá)探測范圍的有效性、數(shù)據(jù)不完整等問題,進(jìn)而更大范圍地進(jìn)行災(zāi)害性天氣的監(jiān)測和預(yù)警?;诖耍疚囊阅呈《嗖刻鞖饫走_(dá)網(wǎng)資料為例,提出應(yīng)用RabbitMQ消息中間技術(shù),對多部天氣雷達(dá)網(wǎng)資料進(jìn)行拼圖處理,歸納總結(jié)天氣雷達(dá)網(wǎng)資料拼圖的處理要點(diǎn),以供參考。
關(guān)鍵詞:天氣雷達(dá);組網(wǎng)拼圖;拼圖處理
我國天氣雷達(dá)系統(tǒng)建設(shè)時(shí)間始于1988年,目前,全國已建233部多普勒天氣雷達(dá)系統(tǒng)。該系統(tǒng)在我國氣象業(yè)務(wù)中具有重要的作用,以多普勒效應(yīng)為基礎(chǔ),當(dāng)雷達(dá)發(fā)射波束與降水粒子為相對運(yùn)動時(shí),通過探測接受信號與發(fā)射信號的差異,測得定散射體相對雷達(dá)的速度,同時(shí)還能推演出大氣風(fēng)場、氣流垂直速度分布等的情況。因此,多普勒天氣雷達(dá)在研究降水形成、分析天氣系統(tǒng)、災(zāi)害性天氣監(jiān)測等方面具有重要意義。
天氣雷達(dá)網(wǎng)生成的數(shù)據(jù)資料,需要通過組網(wǎng)拼圖的方式,完整反映各種尺寸天氣系統(tǒng)的移動演變過程,進(jìn)而實(shí)現(xiàn)更大范圍的天氣監(jiān)測。基于這一訴求,國內(nèi)氣象學(xué)者紛紛開展天氣雷達(dá)組網(wǎng)拼圖技術(shù)的研究,胡鵬宇等人(2022)以TITAN系統(tǒng)為基礎(chǔ)框架,引入了大數(shù)據(jù)處理技術(shù),構(gòu)建了遼寧省及周邊地區(qū)10部雷達(dá)組網(wǎng)拼圖系統(tǒng),并實(shí)現(xiàn)了雷達(dá)數(shù)據(jù)的分布式處理;陳鮑發(fā)等人(2020)構(gòu)建了基于天氣雷達(dá)風(fēng)暴識別跟蹤信息的拼圖系統(tǒng),形成了多部雷達(dá)的組合STI產(chǎn)品。天氣雷達(dá)網(wǎng)資料拼圖的傳統(tǒng)方法是以多核處理器并行的方式進(jìn)行拼圖處理,這種方式并不能滿足當(dāng)前氣象業(yè)務(wù)精細(xì)化發(fā)展的需求。因此,如何有效提升雷達(dá)拼圖的時(shí)效性,是當(dāng)前亟待解決的問題。從現(xiàn)有的研究情況來看,各氣象學(xué)者均積極引入了各種先進(jìn)技術(shù),進(jìn)行天氣雷達(dá)資料的組網(wǎng)拼圖處理。消息中間是一種可分布式數(shù)據(jù)交換的技術(shù),可在不同計(jì)算機(jī)之間進(jìn)行異步數(shù)據(jù)的傳遞,正因?yàn)檫@一優(yōu)勢,該技術(shù)目前在氣象數(shù)據(jù)傳遞和處理中被廣泛應(yīng)用。
當(dāng)前,氣象業(yè)務(wù)逐漸朝著精細(xì)化的方向發(fā)展,也因此提高了天氣雷達(dá)拼圖的時(shí)效性要求。為滿足氣象業(yè)務(wù)的精細(xì)化發(fā)展要求,本研究對天氣雷達(dá)拼圖處理系統(tǒng)進(jìn)行優(yōu)化設(shè)計(jì),主要通過應(yīng)用RabbitMQ消息中間技術(shù)構(gòu)建、分布、并行的雷達(dá)組網(wǎng)拼圖處理系統(tǒng)。
一、雷達(dá)資料
天氣雷達(dá)工作過程中,主要對9個(gè)仰角進(jìn)行探測,探測模式為VCP21體模式,探測范圍約為460km,探測頻次為6min/次,主要探測反射率因子、徑向速度、速度譜寬這三類數(shù)據(jù)。探測所得的數(shù)據(jù),可通過流傳傳輸方式傳至省氣象信息中心,并以統(tǒng)一的標(biāo)準(zhǔn)格式存儲。
由于探測所得的全部仰角數(shù)據(jù),是在傳至信息中心后生成全體基數(shù)據(jù)文件,其時(shí)效性滯后。為了快速獲得雷達(dá)拼圖產(chǎn)品,實(shí)現(xiàn)全省覆蓋,采取雷達(dá)組網(wǎng)拼圖處理方法,是基于單站逐仰角反射率因子數(shù)據(jù)進(jìn)行的,由此可形成覆蓋全省的反射率因子雷達(dá)拼圖產(chǎn)品。
二、拼圖流程
由于傳統(tǒng)雷達(dá)組網(wǎng)拼圖方式的工作效率較低,且拼圖產(chǎn)品滯后時(shí)間較長,難以滿足氣象業(yè)務(wù)精細(xì)化的需求。為提高雷達(dá)拼圖產(chǎn)品的時(shí)效性,在雷達(dá)組網(wǎng)拼圖處理系統(tǒng)中引入了RabbitMQ消息中間技術(shù)。這一流程大致包括以下幾個(gè)步驟:
其一,數(shù)據(jù)提取。通過數(shù)據(jù)接口對省氣象信息共享綜合平臺,獲取最新時(shí)次單站逐仰角雷達(dá)數(shù)據(jù),然后對獲取的數(shù)據(jù)進(jìn)行解碼,由此提取反射率因子數(shù)據(jù)。然后將解碼后的數(shù)據(jù)傳送至MQ消息隊(duì)列中。
其二,數(shù)據(jù)處理。雷達(dá)接收端接收到信號后,逐一進(jìn)行數(shù)據(jù)的處理,包括數(shù)據(jù)質(zhì)控、網(wǎng)格化處理、數(shù)據(jù)緩存等,從而獲得網(wǎng)格化的單站逐仰角反射率因子雷達(dá)數(shù)據(jù)。
其三,拼接處理。獲取網(wǎng)格化反射率因子數(shù)據(jù)后,采用多進(jìn)程并行的方式進(jìn)行單站逐仰角數(shù)據(jù)的拼接,從而獲得探測區(qū)雷達(dá)拼圖產(chǎn)品。
三、關(guān)鍵技術(shù)
(一)RabbitMQ
RabbitMQ是一種應(yīng)用程序?qū)?yīng)用程序的通信方法,其技術(shù)優(yōu)勢在于可實(shí)現(xiàn)數(shù)據(jù)的可靠傳遞及異步數(shù)據(jù)交換。RabbitMQ是在AMQP的基礎(chǔ)上進(jìn)行的,可規(guī)范統(tǒng)一眾多消息中間件標(biāo)準(zhǔn),具有高安全性、高可靠性的特征。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,其逐漸朝著高性能、分布式集群計(jì)算等方向發(fā)展。而基于AMQP協(xié)議標(biāo)準(zhǔn),RabbitMQ不僅能在不同的操作系統(tǒng)中運(yùn)行,而且支持多種開發(fā)語言客戶端,適用于分布式系統(tǒng)中進(jìn)行消息存儲和轉(zhuǎn)發(fā)處理。
RabbitMQ主要由服務(wù)端和客戶端這兩個(gè)部分構(gòu)成。其中,服務(wù)端主要由交換主題和隊(duì)列構(gòu)成,客戶端主要分為消息發(fā)布者和信息消費(fèi)者這兩類客戶。RabbitMQ可提供多種交換主題,用以滿足不同業(yè)務(wù)應(yīng)用場景的需要。交換主題主要負(fù)責(zé)接收消息,之后結(jié)合路由鍵值信息將信息發(fā)送至消息隊(duì)列中。RabbitMQ的傳輸模式,可降低消息發(fā)布與消息消費(fèi)之間的耦合程度。
在天氣雷達(dá)拼圖處理中,通過應(yīng)用MQ消息中間技術(shù)進(jìn)行Topic模式和路由鍵值的模糊匹配,可實(shí)現(xiàn)隊(duì)列與Excchange綁定,進(jìn)而完成一個(gè)消息發(fā)布與多個(gè)消息對立的并列處理。在對各雷達(dá)站逐仰角數(shù)據(jù)文件同步處理的過程中,為提高數(shù)據(jù)的處理效率,文中建立了多個(gè)消息隊(duì)列,每個(gè)消息隊(duì)列負(fù)責(zé)一個(gè)逐仰角雷達(dá)數(shù)據(jù)的處理。消息處理客戶端主要分為雷達(dá)數(shù)據(jù)下載和雷達(dá)數(shù)據(jù)處理這兩個(gè)模塊。其中,在雷達(dá)數(shù)據(jù)下載模塊,可從省氣象信息共享平臺上下載最新時(shí)次的雷達(dá)數(shù)據(jù),并可對下載的雷達(dá)數(shù)據(jù)進(jìn)行解碼處理,處理后的數(shù)據(jù)根據(jù)消息體結(jié)構(gòu)進(jìn)行消息封裝,并發(fā)送至相應(yīng)的消息隊(duì)列中;雷達(dá)數(shù)據(jù)處理模塊負(fù)責(zé)提取消息隊(duì)列中的消息體數(shù)據(jù),并進(jìn)行數(shù)據(jù)質(zhì)控處理、網(wǎng)格化處理和緩存處理。數(shù)據(jù)處理完成后,可實(shí)時(shí)監(jiān)控消息隊(duì)列的更新情況,由此實(shí)現(xiàn)消息的實(shí)時(shí)調(diào)度處理。
(二)雷達(dá)數(shù)據(jù)質(zhì)控處理
考慮雷達(dá)探測過程中會受地形、建筑物等因素的限制,為提高雷達(dá)數(shù)據(jù)質(zhì)量,有必要對雷達(dá)探測數(shù)據(jù)進(jìn)行質(zhì)控處理。文中主要采用回波紋理變化方法,具體的處理步驟如下:
(1)剔除回波孤立點(diǎn)。剔除雷達(dá)反射率孤立點(diǎn)的目的是減少孤立點(diǎn)的噪聲影響。孤立點(diǎn)計(jì)算公式為:
PX=N/Ntotal
在式(1)中,N為5個(gè)方位角和5個(gè)距離庫像素內(nèi)全部反射率為非缺省值個(gè)數(shù);Ntotal為所有像素個(gè)數(shù),共25個(gè)。在Px<75%時(shí),說明次點(diǎn)標(biāo)記的孤立點(diǎn)已被剔除。以南昌雷達(dá)站為例,對該點(diǎn)孤立點(diǎn)進(jìn)行剔除,剔除前后對比見圖1。對比發(fā)現(xiàn),南昌雷達(dá)0.5[°]仰角反射率因子孤立點(diǎn)得到有效剔除。
(2)回波紋理變化處理。通過像素點(diǎn)與同一錐面上像素點(diǎn)的反射率因子的方差均值來體現(xiàn)雷達(dá)反射率因子水平紋理變化的特征,計(jì)算公式為[TDBZ=j=1Nbeami=2NgateZi,j-Zi-1,jNbeam×Ngate]。在公式中,[TDBZ]為雷達(dá)反射率因子的[TDBZ]值;[Z]表示反射率因子;[i]用于表示不同方位角像素點(diǎn)的位置;[j]用于表示不同距離庫方向像素點(diǎn)的位置;[Nbeam]為方位角個(gè)數(shù),取值7;[Ngate]指距離庫的個(gè)數(shù),取值7。當(dāng)TDBZ值>25dBz時(shí),則說明該點(diǎn)雷達(dá)反射率因子有水平上不連續(xù)的情況出現(xiàn),需要對此點(diǎn)的回波進(jìn)行剔除處理。圖2a為南昌雷達(dá)站0.5仰角反射率因子的TDBZ值,結(jié)合圖片可得知,TDBZ值分布在雷達(dá)站附近,由于受到附近建筑物、地物遮擋影響,使得雷達(dá)探測回波呈現(xiàn)出不連續(xù)的狀態(tài)。因此,就需要對區(qū)域雷達(dá)探測回波紋理變化處理,紋理變化處理后見圖2b。可以發(fā)現(xiàn),在回波紋理變化處理后,有效剔除了該區(qū)域的不連續(xù)回波。
(三)雷達(dá)數(shù)據(jù)網(wǎng)格化處理
在雷達(dá)基數(shù)據(jù)文件中,反射率因子主要通過極坐標(biāo)的方式進(jìn)行存儲,換句話說,反射率因子相對雷達(dá)位置用方位、仰角、距離等數(shù)據(jù)表示。為了便于雷達(dá)網(wǎng)數(shù)據(jù)資料的拼接,還需要對坐標(biāo)格式的雷達(dá)數(shù)據(jù)進(jìn)行網(wǎng)格化處理,將坐標(biāo)格式的雷達(dá)數(shù)據(jù)轉(zhuǎn)變?yōu)榈冉?jīng)緯度的網(wǎng)格數(shù)據(jù)。在具體的處理過程中,主要采用雙線性插值方法處理,先通過直角坐標(biāo)網(wǎng)格點(diǎn)經(jīng)緯度數(shù)據(jù)獲得雷達(dá)位置的距離與方位角坐標(biāo),并找出臨近的四個(gè)極坐標(biāo)數(shù)據(jù),然后對這四個(gè)極坐標(biāo)數(shù)據(jù)插值,便可獲得直角坐標(biāo)網(wǎng)格點(diǎn)的反射率值。
(四)數(shù)據(jù)緩存處理
結(jié)合雷達(dá)資料可知,研究區(qū)探測頻率為6min/次,但考慮到區(qū)域內(nèi)各雷達(dá)站的啟動時(shí)間及傳輸時(shí)效有所差異,可能在同一時(shí)次內(nèi)雷達(dá)探測數(shù)據(jù)無法同步生成。因此,為了能提高雷達(dá)拼圖的效率,同時(shí)避免在拼圖處理時(shí)出現(xiàn)數(shù)據(jù)重復(fù)處理的情形,需要對各時(shí)次生成的雷達(dá)數(shù)據(jù)進(jìn)行緩存處理,待全部雷達(dá)數(shù)據(jù)緩存后,再從緩存數(shù)據(jù)中提取雷達(dá)反射率因子數(shù)據(jù),然后進(jìn)行拼圖處理。在雷達(dá)網(wǎng)格化數(shù)據(jù)緩存處理方面,本研究采用Redis緩存技術(shù),該技術(shù)通過鍵值進(jìn)行數(shù)據(jù)存取處理,且能設(shè)置數(shù)據(jù)緩存的期限,滿足數(shù)據(jù)動態(tài)緩存的業(yè)務(wù)需求。為便于在拼圖處理中快速獲取同一時(shí)次的雷達(dá)數(shù)據(jù),要先對數(shù)據(jù)緩存時(shí)間進(jìn)行標(biāo)準(zhǔn)化處理,結(jié)合雷達(dá)探測的頻次,每個(gè)小時(shí)設(shè)置10個(gè)時(shí)次,主要為00、06、12、18、24、30、36、42、48、54min,采取鄰近的方法對雷達(dá)探測時(shí)間進(jìn)行標(biāo)準(zhǔn)化處理,如雷達(dá)探測時(shí)間為10:10,根據(jù)上述處理規(guī)則,數(shù)據(jù)緩存時(shí)間為10:12。數(shù)據(jù)緩存時(shí)間經(jīng)標(biāo)準(zhǔn)化處理后,基于Key值唯一性的原則,設(shè)置緩存數(shù)據(jù)的Key值。
(五)雷達(dá)組網(wǎng)拼圖處理
在對雷達(dá)數(shù)據(jù)進(jìn)行網(wǎng)格化處理后,為實(shí)現(xiàn)多部雷達(dá)的組網(wǎng)拼圖處理,可基于單站逐仰角雷達(dá)反射率因子數(shù)據(jù)進(jìn)行拼接,這一過程中,可能會出現(xiàn)重疊的部分。對于重疊部分,通常有最大值、最小距離和平均值這三種處理方法。為了避免出現(xiàn)遺漏,并突出表現(xiàn)強(qiáng)對流天氣,本文在處理重疊區(qū)域時(shí)采用了最大值方法。該方法主要是針對重疊區(qū)域提取反射率因子的最大值。此外,針對雷達(dá)重疊區(qū)域,傳統(tǒng)的拼圖處理方法具有操作復(fù)雜、處理耗時(shí)長等弊端,本研究提出了一種快速、簡便的組網(wǎng)拼圖方法,具體思路為:先在研究區(qū)域范圍內(nèi)生成一個(gè)1000×1000網(wǎng)格初始場,然后根據(jù)雷達(dá)站的坐標(biāo)及網(wǎng)格場,計(jì)算出各個(gè)點(diǎn)的拼圖網(wǎng)格點(diǎn),并進(jìn)行拼圖網(wǎng)格初始場的更新,可獲得同一網(wǎng)格各部雷達(dá)的反射率數(shù)據(jù),接著將拼圖網(wǎng)格場劃分為若干子區(qū)域,計(jì)算各個(gè)子區(qū)域網(wǎng)格點(diǎn)反射率的最大值,最后基于各個(gè)子區(qū)域網(wǎng)格點(diǎn)反射率的最大值進(jìn)行拼接處理,獲得最終的雷達(dá)拼圖產(chǎn)品。采用這一組網(wǎng)拼圖的方法,可避免對重疊區(qū)域的重復(fù)計(jì)算,并經(jīng)分區(qū)處理,減少網(wǎng)格點(diǎn)遍歷次數(shù),進(jìn)而提高雷達(dá)組網(wǎng)拼圖的處理效率。
四、系統(tǒng)實(shí)現(xiàn)
本研究基于分布式并行設(shè)計(jì)思想,采用消息中間技術(shù)對雷達(dá)拼圖處理時(shí)效進(jìn)行優(yōu)化,進(jìn)一步結(jié)合雷達(dá)數(shù)據(jù)質(zhì)控方法及高效便捷的拼圖方法,實(shí)現(xiàn)了對該省多部雷達(dá)的同步觀測和組網(wǎng)拼圖。在該拼圖系統(tǒng)中,通過流傳輸和分布式處理方法,可按需生成雷達(dá)單站及組網(wǎng)產(chǎn)品,為天氣分析、臨近預(yù)報(bào)、氣象災(zāi)害監(jiān)測等業(yè)務(wù)的開展提供基礎(chǔ)支持。實(shí)踐證明,經(jīng)過優(yōu)化,雷達(dá)資料預(yù)處理時(shí)間顯著縮短,有效解決了雷達(dá)拼圖產(chǎn)品的時(shí)效性問題。
參考文獻(xiàn):
[1]胡鵬宇,陳傳雷,徐爽,嚴(yán)俊,侯婉婷.一種基于分布式的雷達(dá)拼圖處理系統(tǒng)框架[J].氣象科技,2022,50(05):630-635.
[2]袁正國,李顯風(fēng),鄧衛(wèi)華,等.基于“云+端”架構(gòu)的江西省雷達(dá)拼圖系統(tǒng)設(shè)計(jì)[J].科學(xué)技術(shù)與工程,2022,22(18):7773-7779.
[3]吳翀,劉黎平,仰美霖,馬建立,李娟.X波段雙偏振雷達(dá)相態(tài)識別與拼圖的關(guān)鍵技術(shù)[J].應(yīng)用氣象學(xué)報(bào),2021,32(02):200-216.
[4]陳鮑發(fā),馬中元,徐芬,夏文梅,鄭媛媛,余劍浩.天氣雷達(dá)風(fēng)暴跟蹤信息拼圖技術(shù)設(shè)計(jì)與應(yīng)用[J].氣象科學(xué),2020,40(06):838-848.
[5]謝千里,李百鋒.天氣雷達(dá)三維柵格化拼圖算法[J].裝備制造技術(shù),2018(05):193-195+230.
[6]王欽,梁明增,張甦,潘微多.基于VB.NET的氣象雷達(dá)拼圖設(shè)計(jì)與實(shí)現(xiàn)[J].中國民航飛行學(xué)院學(xué)報(bào),2017,28(02):55-57+62.