陳 璐 馬 可 李重陽

(1.西安航天天繪數(shù)據(jù)技術有限公司 西安 710100)(2.西安電子工程研究所 西安 710100)

一種氣象雷達數(shù)據(jù)混合壓縮算法*

陳 璐1馬 可2李重陽2

(1.西安航天天繪數(shù)據(jù)技術有限公司 西安 710100)(2.西安電子工程研究所 西安 710100)

針對氣象雷達數(shù)據(jù)壓縮的問題,提出了一種氣象雷達數(shù)據(jù)壓縮混合算法。該算法由預壓縮、有損壓縮和無損壓縮三個步驟組成。首先根據(jù)氣象雷達數(shù)據(jù)說明不同用戶對數(shù)據(jù)的需求;其次介紹預壓縮算法,并按照不同用戶的需求,提出可以采用無損壓縮和有損壓縮兩種數(shù)據(jù)壓縮算法對氣象雷達數(shù)據(jù)進行壓縮;最后給出混合壓縮算法的流程圖,并利用實測數(shù)據(jù)驗證該混合壓縮算法的有效性。

氣象雷達; 數(shù)據(jù)壓縮; 混合壓縮算法

Class Number TN958

1 引言

氣象雷達能夠準確快速地觀測氣象的變化過程,對預測暴雨、冰雹等災害天氣起到重要作用[1～2]。為了更準確快速地預測氣象災害,往往需要多部氣象雷達進行組網(wǎng)并共享數(shù)據(jù)[3～4]。而氣象雷達的觀測目標是面目標,與傳統(tǒng)雷達相比,其生成的數(shù)據(jù)量較大,不利于數(shù)據(jù)的傳輸與共享。因此,在實際工作中需要先對氣象雷達數(shù)據(jù)進行壓縮,然后再進行數(shù)據(jù)傳輸與共享[5～6]。

目前,國內外進行的氣象數(shù)據(jù)壓縮多是基于特征圖像的壓縮[7],或是基于特征點的篩選[8],其著重于對圖像或是特征數(shù)據(jù)的壓縮。本文則著重于對氣象原始數(shù)據(jù)進行壓縮,亦可針對不同的用戶需求,靈活地裁剪氣象需求,以達到更高的壓縮率。

本文在說明了氣象雷達數(shù)據(jù)種類與特點后,介紹了一種氣象雷達數(shù)據(jù)混合壓縮算法,該算法由預壓縮、有損壓縮和無損壓縮三部分組成。針對不同的用戶需求,該算法可以靈活地將氣象雷達數(shù)據(jù)進行壓縮。

2 氣象雷達數(shù)據(jù)種類與特點

以某型雙偏振氣象雷達[9～10]為例,一個典型的體掃觀測模式(觀測距離150km,庫長100m,角度分辨率1°,數(shù)據(jù)種類9種,數(shù)據(jù)位寬8bit/16bit,層數(shù)24,掃描速度18°/s),如不采取壓縮措施,8bit位寬的單次體掃就會生成約100M的數(shù)據(jù),耗時約8min。若在汛期24小時開機觀測,一天就會占用約18G硬盤空間。如希望在網(wǎng)上被10個用戶同時瀏覽,則需要約20Mb/s的帶寬才能滿足要求。16bit位寬的數(shù)據(jù)硬盤和網(wǎng)絡需求還要加倍。顯然,這么大的硬盤占用這么高的帶寬需求是不現(xiàn)實的。因此,選擇一種好的氣象雷達數(shù)據(jù)壓縮算法,能夠大大減少磁盤空間占用,同時網(wǎng)絡的負載也會更小,提高用戶體驗滿意度。

雙偏振多普勒氣象雷達生成的數(shù)據(jù)有以下九種:未進行地物對消的強度數(shù)據(jù)DBT,進行地物對消的強度數(shù)據(jù)DBZ,速度V,譜寬W,差分反射率ZDR,雙極化比相差KDP,極化差分相位PHIDP,雙極化相關系數(shù)RHOHV,粒子分類數(shù)據(jù)HCLASS。

不同用戶對氣象雷達數(shù)據(jù)需求不同:普通氣象觀測人員只關心DBZ;需要進行氣象預測和其它特殊需求的人員關心DBZ、V、HCLASS;科研人員則對所有的九種數(shù)據(jù)都需要。因此,對于只需求部分數(shù)據(jù)的人員,在進行數(shù)據(jù)壓縮時可以忽略部分數(shù)據(jù)信息,這樣可以提高壓縮效率,這種數(shù)據(jù)壓縮算法稱為有損壓縮算法[11～12];而對于科研人員,則需要對氣象雷達數(shù)據(jù)全部保留,這類數(shù)據(jù)壓縮算法稱為無損壓縮算法[13～14]。

3 數(shù)據(jù)壓縮算法

3.1 預壓縮算法[15]

氣象雷達在工作時,只要徑向上的庫沒有數(shù)據(jù),其數(shù)值即為0(如晴朗天氣,強對流天氣的某些方位、俯仰角度)。因此,一個氣象徑向數(shù)據(jù)往往存在著很多連續(xù)的0。如果能在徑向數(shù)據(jù)生成或剛接收時就利用一種簡單的算法,將這些連續(xù)的0壓縮起來,無疑可以提高后續(xù)步驟的效率。這種算法稱為預壓縮算法。

預壓縮算法基于16-bit數(shù)據(jù)段,并不包含數(shù)據(jù)包頭部的壓縮?；谛实目紤],預壓縮算法對單獨一個或者兩個0不進行壓縮。應用了預壓縮算法的數(shù)據(jù)段是從16-bit壓縮碼開始的。這個壓縮碼代表著忽略的0的個數(shù)或者緊跟的數(shù)據(jù)字節(jié)數(shù)。

預壓縮算法原理簡單,計算量極小,適用于8bit或16bit數(shù)據(jù),即使在不采用任何后續(xù)壓縮算法的情況下,其數(shù)據(jù)壓縮率也十分可觀,特別在數(shù)據(jù)有多個連續(xù)0的情況下(晴朗天氣)尤其顯著。更為重要的是,預壓縮算法保留了數(shù)據(jù)的全部信息,屬于無損壓縮。因此,在數(shù)據(jù)生成時就應用此算法,可以提高傳輸效率,也減小了后續(xù)壓縮算法的計算壓力。

3.2 無損壓縮算法

無損壓縮算法重在保留數(shù)據(jù)全部信息的基礎上壓縮數(shù)據(jù),最大限度地去除冗余信息是無損壓縮追求的目標。有很多成熟的無損壓縮算法:Huffman編碼,屬于統(tǒng)計式壓縮法,主要根據(jù)源數(shù)據(jù)符號發(fā)生概率進行編碼;算術編碼,比Huffman更為復雜的熵編碼方法,壓縮率更高,但方法復雜,編碼速度慢,適用于圖片、文本數(shù)據(jù)的壓縮;Lz系列算法,基于字典壓縮的算法,衍生了lz77,lz78,lzs,lzw等算法,廣泛應用于WinRar,WinZip軟件中,適用于各種類型數(shù)據(jù)的壓縮[16～18]。

對于HCLASS數(shù)據(jù),其包含的數(shù)據(jù)為:非氣象目標、雨、濕雪、雪、霰、冰雹。一個HCLASS數(shù)據(jù)占用8bit或16bit,但其值僅有6種。因此,利用一個字節(jié)代表2個HCLASS數(shù)據(jù),如表1所示。

從表1中可以看出,可用一個字節(jié)的前四位表達一個HCLASS數(shù)據(jù),后四位表達下一個HCLASS數(shù)據(jù)。這樣對于8bit數(shù)據(jù),處理后的數(shù)據(jù)大小為處理前的1/2;而16bit數(shù)據(jù)僅為處理前的1/4。

對于其它類型的數(shù)據(jù),一種可以考慮的算法是將相鄰的數(shù)據(jù)相減,保存其差值。因其差值較小,可以在此基礎上應用其他壓縮算法。但在強對流天氣下,相鄰的庫之間也可能存在著較大差值,且正負值不確定。因此,針對除HCLASS外的數(shù)據(jù)專用無損壓縮算法還在研究,目前直接使用成熟的商用壓縮算法進行壓縮。

3.3 有損壓縮算法

在氣象雷達實際應用中,面向的使用對象不同,所需的數(shù)據(jù)類型、大小也不同。例如,針對科研人員,需要傳輸所有數(shù)據(jù);而對于氣象觀測人員,主要傳輸部分DBZ數(shù)據(jù)及HCLASS粒子識別數(shù)據(jù);而對于防雹作業(yè)人員,依據(jù)其作業(yè)距離遠近及觀測設備的顯示分辨率,傳輸部分DBZ數(shù)據(jù)及HCLASS粒子識別數(shù)據(jù)即可滿足其使用要求。因此,從用戶需求角度出發(fā),很多原始數(shù)據(jù)是多余的,可以適當裁剪,這種數(shù)據(jù)壓縮方法稱作有損壓縮算法。而數(shù)據(jù)裁剪主要分為三個部分:類型裁剪、長度裁剪和精度裁剪。

數(shù)據(jù)類型裁剪先判斷用戶屬于何種類型,針對不同類型的用戶發(fā)送其相應需求的數(shù)據(jù)。例如,科研人員需要全部數(shù)據(jù);而氣象觀測人員則主要關注DBZ,V及HCLASS數(shù)據(jù);而防雹人員只關心DBZ及HCLASS數(shù)據(jù)。

數(shù)據(jù)長度裁剪,以上文中提到的某型雙偏振多普勒氣象雷達為例,該雷達一個徑向的數(shù)據(jù)可包含150km的數(shù)據(jù)信息,分別存儲在近1500個庫中。實際應用中,用戶可能僅需要顯示100km以內的天氣狀況,且用戶提供給顯示區(qū)域的大小也僅為600*600像素,不可能顯示下1500個庫。這種情況下就需要數(shù)據(jù)長度的裁剪。以體掃模式為例,簡要的數(shù)據(jù)裁剪算法如下:

1) 根據(jù)用戶顯示距離裁剪

設用戶顯示的距離為L,庫長為N,數(shù)據(jù)庫數(shù)為BinData,則用戶需要的庫數(shù)

BinNum=Min(Floor(L/N),BinData)

Floor函數(shù)為向上取整函數(shù),因為用戶需要的庫數(shù)是經(jīng)計算得出的,L/N的值可能不是整數(shù)。Min函數(shù)選擇Floor(L/N)與BinData里較小數(shù)值的數(shù)。

2) 根據(jù)用戶顯示分辨率裁剪

設用戶提供的顯示區(qū)域分辨率為y*y,那么一個徑向庫數(shù)據(jù)顯示的像素數(shù)x=ceil(y/2)。若x>BinNum,說明顯示像素數(shù)大于數(shù)據(jù)庫數(shù),將數(shù)據(jù)不裁剪全部發(fā)給用戶,這種情況發(fā)生概率較小。若x

設i為第i個顯示像素(1

通過顯示距離和顯示分辨率裁剪數(shù)據(jù),能夠在滿足用戶顯示需求的基礎上壓縮數(shù)據(jù)。以本節(jié)初始的例子為例,可將一個徑向的數(shù)據(jù)由1500個裁減至600個,壓縮效果顯著。

3) 根據(jù)數(shù)據(jù)精度裁剪

目前,某型雙偏振氣象雷達信號處理器可產(chǎn)生8bit或16bit兩種大小的數(shù)據(jù)。數(shù)據(jù)類型與對應的取值范圍如表2所示。

通過表2可以看出,雖然16bit數(shù)據(jù)表達范圍更廣、精度更高,但8bit數(shù)據(jù)對于非科研需求已經(jīng)能夠滿足。將16bit數(shù)據(jù)先轉換成8bit數(shù)據(jù)再進行儲存,可以直接減少一半存儲空間。因數(shù)據(jù)表達不是線性的,所以基本的轉換思路是通過16bit數(shù)據(jù)計算出真實值,再反推出8bit數(shù)據(jù)值。

4 數(shù)據(jù)混合壓縮算法

結合以上各種類型的氣象雷達數(shù)據(jù)壓縮算法,提出了一種氣象雷達數(shù)據(jù)混合壓縮算法,流程如圖1所示。

1) 先將原始數(shù)據(jù)經(jīng)過預壓縮,壓縮掉其中的連續(xù)的0。本操作可在數(shù)據(jù)剛接收時完成,以提高數(shù)據(jù)傳輸效率;

圖1 數(shù)據(jù)混合壓縮算法流程圖

2) 依據(jù)用戶需求,對數(shù)據(jù)進行有損壓縮;

3) 對裁剪后的數(shù)據(jù)應用無損壓縮算法,生成壓縮后的數(shù)據(jù)。

5 實測結果

以上文中的某雙偏振多普勒氣象雷達來測試本文提出的數(shù)據(jù)混合壓縮算法。其中數(shù)據(jù)位數(shù)為16bit,用戶為防冰雹作業(yè)人員,關心100km內的數(shù)據(jù)情況,顯示分辨率為600*600,無損壓縮算法基于Lzw算法。原始數(shù)據(jù)提供晴天及對流兩種天氣,其組合反射率圖如圖2所示。

(a)晴空數(shù)據(jù)

(b)對流數(shù)據(jù)圖2 氣象雷達組合反射率圖

對于這兩組數(shù)據(jù)應用數(shù)據(jù)混合壓縮算法,結果如表3所示(數(shù)據(jù)1為晴空數(shù)據(jù),數(shù)據(jù)2為對流天氣數(shù)據(jù))。定義壓縮比為原始數(shù)據(jù)大小除以壓縮后數(shù)據(jù)大小。

表3 數(shù)據(jù)混合壓縮算法測試結果

本測試是在僅考慮數(shù)據(jù)狀態(tài)下的測試結果,在實際使用中,需要對數(shù)據(jù)添加額外的封裝信息及冗余信息,故實際結果略有不同。

本測試采用的壓縮方法,在無損壓縮階段,采用了CRC循環(huán)冗余校驗確保數(shù)據(jù)準確性;在有損壓縮階段,依據(jù)用戶需求對數(shù)據(jù)進行裁剪,最大程度上保留了用戶關心的信息,經(jīng)過實際驗證,其結果是可靠的。

從算法測試結果看,應用了本文提出的數(shù)據(jù)混合壓縮算法的數(shù)據(jù)最高可以達到2911壓縮比,即使在天氣情況復雜,數(shù)據(jù)保存全面的情況下也能達到18的壓縮比,極大地節(jié)約了硬盤空間及網(wǎng)絡資源。

6 結語

本文介紹了一種氣象雷達數(shù)據(jù)混合壓縮算法。該方法由不同算法組成,包含預壓縮算法、有損壓縮算法及無損壓縮算法。每一種算法又包含了不同步驟,本文依次對其進行了分析。最后,以某型雙偏振多普勒氣象雷達典型體掃模式生成數(shù)據(jù)為例,說明了該數(shù)據(jù)混合壓縮算法滿足應用要求,符合預期。這種數(shù)據(jù)混合壓縮算法已應用于某型雙偏振多普勒氣象雷達數(shù)據(jù)存儲及傳輸中,極大地減少了硬盤及網(wǎng)絡資源占用。

[1] 胡繼榮.氣象雷達數(shù)據(jù)的傳輸方式和算法的基本研究[J].電子設計工程,2016,24(4):125-127. HU Jirong. Researches on efficient radar data transmission for weather service networks[J]. Electronic Design Engineering,2016,24(4):125-127.

[2] 陳威,李鳳昌,章建軍,等.基于小波零樹的雷達回波數(shù)據(jù)的壓縮[J].計算機工程與應用,2004,40(6):217-219. CHEN Wei, LI Fengchang, ZHANG Jianjun, et al. Data Compression of Radar Signal Based on Wavelet Zero-tree[J]. Computer Engineering and Applications,2004,40(6):217-219.

[3] 艾未華,黃云仙,白雪,等.嵌入式零樹編碼在天氣雷達回波數(shù)據(jù)壓縮中的應用[J].計算機應用與軟件,2004,21(11):56-57,101. AI Weihua, HUANG Yunxian, BAI Xue, et al. Weather Radar Data Compression Based on Zerotree Wavelet Algorithm[J]. Computer Applications and Software,2004,21(11):56-57,101.

[4] 馬寧,朱福萌,尹志軍,等.改進游程編碼在天氣雷達數(shù)據(jù)壓縮中的應用[J].解放軍理工大學學報(自然科學版),2004,5(6):88-90. MA Ning, ZHU Fuyin, YIN Zhijun, et al. Advanced RLE Coding for Weather Radar Data Compression[J]. Journal of PLA University of Science and Technology(Natural Science Edition),2004,5(6):88-90.

[5] 葉紅,安東升.基于小波變化的衛(wèi)星云圖壓縮方法[J].計算機工程與科學,2004,26(10):60-62. YE Hong, AN Dongsheng. Satellite Cloud Imagery Compression Based on Wavelet Transform[J]. Computer Engineering and Science,2004,26(10):60-62.

[6] 程敏,翁寧泉,劉慶,等.基于時間序列分段的氣象數(shù)據(jù)壓縮算法[J].計算機系統(tǒng)應用,2014,23(8):125-129. CHENG Min, WENG Ningquan, LIU Qing, et al. Meteorological Data Compression Algorithm Based on Time-Series Segmentation[J]. Computer Systems & Applications,2014,23(8):125-129.

[7] 曾玲,饒志宏.幾種數(shù)據(jù)壓縮算法的比較[J].通信技術,2002(9):12-15. ZENG Ling, RAO Zhihong. Comparision of Several Kinds of Algorithms for Data Compression[J]. Communications Technology,2002(9):12-15.

[8] 張昊琳,葉飛躍,任恩茂,等.矢量圖壓縮的關鍵點保持算法研究[J].計算機工程與應用,2015(11):238-241,265. ZHANG Haolin, YE Feiyue, REN Enmao, et al. Research of keeping key point algorithm in vector compression[J]. Computer Engineering and Applications,2015(11):238-241,265.

[9] 劉應軍,顧松山,周雨華,等.新一代天氣雷達體掃模式的比較分析[J].氣象,2006,32(1):44-50. LIU Yingjun, GU Songshan, ZHOU Yuhua, et al. Comparison of CINRAD/SA Volume Coverage Patterns on Algorithms Output[J]. Meteorological Monthly,2006,32(1):44-50.

[10] 李重陽,蘇小敏,吳凡.氣象雷達數(shù)據(jù)壓縮方法分析[J].信息與電腦,2015(16):87-88. LI Chongyang, SU Xiaomin, WU Fan. Analysis of weather radar data compression method[J]. China Computer & Communication,2015(16):87-88.

[11] 易洛鋒.新一代氣象雷達數(shù)據(jù)分析及存儲系統(tǒng)的設計及實現(xiàn)[D].成都:電子科技大學,2013:10-35. YI Luofeng. Design and Implementation of a New Generation Weather Radar Data Analysis and Storage System[D]. Chengdu: University of Electronic Science and Technology of China,2013:10-35.

[12] 李嘯.多普勒氣象雷達原始回波數(shù)據(jù)混合壓縮算法研究[D].南京:南京郵電大學,2011:5-55. LI Xiao. Research on Doppler Weather Radar Raw Reflectivity Data Hybird Compression Algorithm[D]. Nanjing: Nanjing University of Posts and Telecommunications,2011:5-55.

[13] 鄭翠芳.幾種常用無損數(shù)據(jù)壓縮算法研究[J].計算機技術與發(fā)展,2011,21(9):73-76. ZHENG Cuifang. Research of Several Common Lossless Data Compression Algorithms[J]. Computer Technology and Development,2011,21(9):73-76.

[14] 許海英.氣象雷達原始回波數(shù)據(jù)無損壓縮算法研究[D].成都:電子科技大學,2007:22-45. XU Haiying. Research on lossless compression algorithm for radar raw data[D]. Chengdu: University of Electronic Science and Technology of China,2007:22-45.

[15] 劉林.基于LZW優(yōu)化算法的雷達數(shù)據(jù)壓縮技術[J].艦船科學技術,2015,37(11):120-123. LIU Lin. Radar data optimization technique based on LZW compression algorithm[J]. Ship Science and Technology,2015,37(11):120-123.

[16] 黃云仙,馬爍,艾未華,等.一種新的多普勒天氣雷達回波數(shù)據(jù)無損壓縮[J].解放軍理工大學學報(自然科學版),2012,13(2):232-236. HUANG Yunxian, MA Shuo, AI Weihua, et al. Novel lossless compression of Doppler weather radar data[J]. Journal of PLA University of Science and Technology(Natural Science Edition),2012,13(2):232-236.

[17] 常傳文,茅文深.雷達數(shù)據(jù)無損壓縮研究[J].艦船電子工程,2008,28(4):103-105. CHANG Chuanwen, MAO Wenshen. Research on Radar Data Lossless Compression[J]. Ship Electronic Engineering,2008,28(4):103-105.

[18] 王志剛,常傳文,茅文深,等.LZW算法優(yōu)化及在雷達數(shù)據(jù)壓縮中的應用[J].計算機與數(shù)字工程,2009,37(1):32-34,164. WANG Zhigang, CHANG Chuanwen, MAO Wenshen. LZW Algorithm Optimizing and the Application in Radar Data Compression[J]. Computer and Digtal Engineering,2009,37(1):32-34,164.

A New Hybrid Data Compression Algorithm for Weather Radar

CHEN Lu1MA Ke2LI Chongyang2

(1. Xi’an Aerospace Remote Sensing Data Technology Co., Ltd, Xi’an 710100) (2. Xi’an Electronic Engineering Research Institute, Xi’an 710100)

In order to solve the problem of data compression of meteorological radar, a hybrid algorithm of radar data compression is proposed. The algorithm consists of three steps including pre-compression, lossy compression and lossless compression. Firstly, the paper introduced the weather radar data illustrate the different needs of users for data; Secondly, according to the practical requirements of the diverse users, it proposed the adoption of lossless compression and lossy compression algorithm for the data; Finally, the flow chart of hybrid compression algorithm was presented and verified based on the actual data.

weather radar, data compression, hybrid compression algorithm

2016年9月13日,

2016年10月20日

中國氣象局開放基金資助項目;預研基金資助項目(編號:40405080401)資助。

陳璐,女,碩士,工程師,研究方向:圖像處理技術。馬可,男,碩士,工程師,研究方向:雷達總體技術。李重陽,男,碩士,工程師,研究方向:氣象雷達技術。

TN958

10.3969/j.issn.1672-9722.2017.03.008