史昶彬
(南京郵電大學(xué) 南京 210003)
網(wǎng)絡(luò)雷達(dá)能夠提供更廣的覆蓋范圍、實(shí)現(xiàn)空域的精細(xì)化測(cè)量,進(jìn)一步提高對(duì)災(zāi)害性天氣的監(jiān)測(cè)預(yù)警能力。在網(wǎng)絡(luò)雷達(dá)中,雷達(dá)作為一種沒(méi)有人機(jī)交互界面的傳感器,采集到的數(shù)據(jù)經(jīng)過(guò)必要的處理,再通過(guò)通信電路(如E1)傳輸?shù)娇刂浦行?。目前,?guó)外的網(wǎng)絡(luò)雷達(dá)是通過(guò)100~300Mb的高速數(shù)據(jù)網(wǎng)進(jìn)行數(shù)據(jù)傳輸,這種傳輸成本在國(guó)內(nèi)是不能接受的,必須通過(guò)必要的技術(shù)手段降低數(shù)據(jù)傳輸率,有效地使用國(guó)內(nèi)的通訊傳輸網(wǎng)。
目前對(duì)于天氣雷達(dá)數(shù)據(jù)壓縮,有人產(chǎn)生了結(jié)合小波變換和熵編碼的靈感,考慮到基于游程和可逆整數(shù)小波變換技術(shù)的天氣雷達(dá)數(shù)據(jù)壓縮技術(shù),包括使用可逆整數(shù)小波變換和位平面編碼的無(wú)損壓縮技術(shù)或者使用整數(shù)映射為整數(shù)的小波變換進(jìn)行有損壓縮[1];通過(guò)研究傳統(tǒng)的熵編碼方法,提出一種基于改進(jìn)游程編碼的綜合無(wú)失真壓縮算法,應(yīng)用于天氣雷達(dá)原始數(shù)據(jù)壓縮[2];將氣象雷達(dá)原始回波二進(jìn)制類(lèi)型數(shù)據(jù)文件進(jìn)行無(wú)損壓縮,將位圖壓縮算法、哈夫曼壓縮算法進(jìn)行組合,設(shè)計(jì)位圖壓縮+哈夫曼壓縮算法,此類(lèi)算法復(fù)雜度較大,不適于工程應(yīng)用[3]。
本文通過(guò)一些壓縮實(shí)驗(yàn),將雷達(dá)回波進(jìn)行小波變換后的系數(shù)進(jìn)行不同比特?cái)?shù)的量化,對(duì)量化后的系數(shù)采用LZW、算術(shù)編碼等無(wú)損壓縮技術(shù),并提出了新的BWT+PPMD的無(wú)損壓縮方案,分別計(jì)算各自的壓縮比和信噪比損失,通過(guò)發(fā)現(xiàn)BWT+PPMD能在相同信噪比損失的情況下獲得最好的壓縮性能;同時(shí)分析了不同壓縮比情況下,一維或二維小波變換對(duì)信噪比損失的影響,為進(jìn)一步研究網(wǎng)絡(luò)雷達(dá)數(shù)據(jù)的傳輸提供重要的依據(jù)。
設(shè)計(jì)天氣雷達(dá)數(shù)據(jù)壓縮過(guò)程如下 : 接收端接收信號(hào)后,經(jīng)過(guò)解壓縮、反量化、小波逆變換來(lái)重構(gòu)原始數(shù)據(jù)。
氣象雷達(dá)所探測(cè)的物體如云、雨、冰雹等是延續(xù)分布在廣大空間中的散射介質(zhì),為了取得對(duì)目標(biāo)物的分辨力,雷達(dá)發(fā)射的是一連串窄脈沖信號(hào),而在發(fā)射脈沖的間歇期間,依次接收到自近及遠(yuǎn)的目標(biāo)物回波信號(hào)[4]。本文所采用的是從現(xiàn)場(chǎng)采集的單載頻天氣雷達(dá)雨天原始回波的I和Q數(shù)據(jù)(見(jiàn)圖2),有1114個(gè)距離門(mén),64個(gè)脈沖,每個(gè)數(shù)據(jù)由24比特表示,因此原始數(shù)據(jù)大小為1114×2×64×24÷3 =427776Bytes。
為了能充分利用相同距離門(mén)64個(gè)累積數(shù)據(jù)的相關(guān)性,將其視為一個(gè)特殊的二維圖像進(jìn)行處理。在小波變換之前,將一個(gè)射線(xiàn)方向上的雷達(dá)數(shù)據(jù)排列成為64×2228(64行,2228列)的數(shù)據(jù)矩陣,如圖1。
圖1 天氣雷達(dá)雷達(dá)數(shù)據(jù)矩陣
圖2 雨天IQ數(shù)據(jù)
小波變換本質(zhì)上是一種變換編碼,是針對(duì)統(tǒng)計(jì)冗余進(jìn)行壓縮的方法,具有良好的時(shí)域和頻域局部分析特性,通過(guò)對(duì)小波分解域的系數(shù)分配不同的量化比特?cái)?shù)來(lái)實(shí)現(xiàn)信號(hào)壓縮。
研究表明,對(duì)于一維信號(hào),一般采用規(guī)范正交基,針對(duì)不同信號(hào),迅速搜索出想要的正交基,但是雷達(dá)信號(hào)千變?nèi)f化,實(shí)際中不好實(shí)現(xiàn),比較而言,固定一個(gè)平均效果較好的小波基組更為可行;對(duì)于二維信號(hào),常用的Daubenchies小波函數(shù)系數(shù)并不具有最優(yōu)信號(hào)壓縮性能,由于具有正交、緊支、對(duì)稱(chēng)性的小波變換函數(shù)在理論上是不存在的,因此實(shí)際常用能量緊支性接近正交變換的雙正交小波變換。本文選取bior1.1小波,通過(guò)小波變換,去除輸入數(shù)據(jù)的一部分相關(guān)性,實(shí)現(xiàn)變換域中信號(hào)能量的集中,量化時(shí)賦予不同的比特?cái)?shù)便實(shí)現(xiàn)了壓縮。
本文分一維和二維小波分解2種情況分別討論,以便分析出不同的小波變換對(duì)信噪比損失和壓縮比的影響。
小波變換后,數(shù)據(jù)的定義域由整數(shù)變成了范圍大得多的浮點(diǎn)數(shù),存儲(chǔ)這些浮點(diǎn)數(shù)其實(shí)比存原始信號(hào)占用了更多的空間,因此有必要對(duì)這些浮點(diǎn)數(shù)實(shí)施量化步驟。量化的方法有很多種,一般來(lái)說(shuō),效果越好,實(shí)現(xiàn)起來(lái)也越復(fù)雜。矢量量化是一種失真較小的量化技術(shù),但也有不利的一面,比如算法復(fù)雜,而且經(jīng)過(guò)小波變換去相關(guān)后,鄰近小波系數(shù)的相關(guān)性較小,矢量量化優(yōu)勢(shì)并不明顯。在此,本文采用通用性較強(qiáng),且易于實(shí)現(xiàn)的均勻量化的方案,量化可以選擇不同的量化比特?cái)?shù)(6bit-16bit)。
現(xiàn)有的無(wú)損壓縮主要有2種形式:統(tǒng)計(jì)模型,比如Huffman Coding,Arithmetic Coding;字典算法,比如LZW算法[5]。無(wú)損壓縮的迅速發(fā)展催生了 如 :BWT(Burrows Wheeler Transformation) 編碼算法、動(dòng)態(tài)馬爾科夫壓縮編碼(DMC)、PPM(Prediction by Partial Matching)編碼。BWT[6]是由Michael Burrows 和 David Wheeler于 1994年提出的一種用于無(wú)損壓縮的數(shù)據(jù)變換方法,它本身并不是一種壓縮算法,而是基于數(shù)據(jù)塊的字母矩陣進(jìn)行輪換,對(duì)塊即字符串輪轉(zhuǎn)換后產(chǎn)生的矩陣進(jìn)行排序,然后再抽取矩陣的某列作為變換的結(jié)果代替原串,從而調(diào)整了壓縮元素之間的相對(duì)順序來(lái)提高壓縮比和壓縮速度。PPM數(shù)據(jù)壓縮算法是由Cleary和 Witten 于1984年提出的一種上下文統(tǒng)計(jì)模型技術(shù)[7]。它根據(jù)輸入字符中一定長(zhǎng)度的上下文后面字符出現(xiàn)的次數(shù),得出每個(gè)上下文的預(yù)測(cè)概率,隨后根據(jù)該概率用算術(shù)編碼進(jìn)行編碼,而且PPM是一種自適應(yīng)技術(shù),每個(gè)上下文模型的預(yù)測(cè)概率將會(huì)隨著輸入字符串的改變而改變。隨后各國(guó)專(zhuān)家提出PPM的優(yōu)化衍生算法,如PPMC、PPM*、PPMII、PPMD。
本文結(jié)合BWT的壓縮速度與PPM的高壓縮比,提出一種先BWT變換,再PPM壓縮的無(wú)損壓縮算法。
為了驗(yàn)證本文提出的算法,用MATLAB進(jìn)行仿真,對(duì)實(shí)地采集的雨天雷達(dá)原始數(shù)據(jù)進(jìn)行壓縮試驗(yàn)。算法采用bior1.1進(jìn)行5層小波分解。
各種壓縮算法的優(yōu)劣要通過(guò)壓縮性能評(píng)價(jià)指標(biāo)來(lái)綜合分析。作為一個(gè)性能優(yōu)越的壓縮算法,不僅要求具有較高的恢復(fù)精度,還要求有理想的壓縮效率,但是它們是相互 矛盾的,實(shí)際應(yīng)用中只能折中選取方案。目前常用的壓縮評(píng)價(jià)指標(biāo)包括相似性指標(biāo)[8]:CC(Cross Correlation)、PRD(Precent Root mean square Difference)、RMSE(Root Means Square Error);誤差指標(biāo):PE(Peak Error)等。本文采用信噪比損失作為評(píng)價(jià)算法性能的指標(biāo)。由圖2,距雷達(dá)近的數(shù)據(jù)采樣值較大,距雷達(dá)遠(yuǎn)的數(shù)據(jù)采樣值較小,為了探尋算法對(duì)不同距離的采樣點(diǎn)信噪比損失的影響,選取第58和1957個(gè)距離門(mén)信噪比損失作為樣本(分別以SL1、SL2表示)來(lái)比較。
對(duì)于單載頻天氣雷達(dá),距離中心雷達(dá)越近,各距離門(mén)樣點(diǎn)的信噪比越大;距離中心雷達(dá)越遠(yuǎn),各距離門(mén)樣點(diǎn)的信噪比越小。由圖3、圖4可以看出,隨著量化比特?cái)?shù)的減少,各采樣點(diǎn)信噪比均有所下降(量化誤差引入了量化噪聲);遠(yuǎn)距離門(mén)采樣點(diǎn)的信噪比惡化速度要比近距離門(mén)采樣點(diǎn)的信噪比的惡化速度快。
圖3 SL1、10比特、6比特、量化后的頻譜
圖4 SL2、10比特、6比特、量化后的頻譜
系統(tǒng)的實(shí)驗(yàn)結(jié)果如表1所示。
從表1可以看出,隨著量化比特?cái)?shù)的減小,壓縮比也越小,甚至可以達(dá)到12倍,但是CC、PRD、RMSE等壓縮指標(biāo)在壓縮比滿(mǎn)足條件的同時(shí)都有所惡化;各距離門(mén)的信噪比損失也會(huì)隨著量化比特?cái)?shù)的減小而增大。
PPMD的壓縮性能要高于LZW和算術(shù)編碼,而通過(guò)BWT的字符輪換變化后,再進(jìn)行PPMD壓縮,壓縮比又得到了一定的提高。
由圖5可以看出,在量化比特?cái)?shù)相同的情況下,若壓縮倍數(shù)小于等于7,則經(jīng)二維小波變換后的信噪比損失要小于一維小波變換后的信噪比損失;若壓縮倍數(shù)大于等于7,則經(jīng)二維小波變換后的信噪比損失要大于一維小波變換后的信噪比損失。壓縮比與信噪比損失始終是一對(duì)相互矛盾的性能指標(biāo),在比對(duì)各項(xiàng)性能數(shù)據(jù)之后,發(fā)現(xiàn)了一個(gè)性能轉(zhuǎn)折點(diǎn),即在壓縮倍數(shù)小于7時(shí),二維小波變換性能要優(yōu)于一維小波變換,這為用戶(hù)選擇量化比特?cái)?shù)與方法時(shí),提供了一個(gè)可參考的臨界值,若要求壓縮倍數(shù)大于10倍,建議采用一維小波結(jié)合BWT+PPMD的壓縮方案。
本文通過(guò)結(jié)合BWT的壓縮速度和PPMD的壓縮效率,提出了一種小波變換、均勻量化、和BWT+PPMD的天氣雷達(dá)數(shù)據(jù)壓縮算法,實(shí)驗(yàn)結(jié)果表明該算法較LZW和算術(shù)編碼的壓縮比高,實(shí)驗(yàn)具有顯著實(shí)用價(jià)值。然而,當(dāng)前對(duì)于天氣雷達(dá)原始IQ數(shù)據(jù)的壓縮仍然是一個(gè)嶄新的課題,有待根據(jù)數(shù)據(jù)特性進(jìn)一步提出優(yōu)化方案。
表1 量化性能對(duì)照表
圖5 壓縮比與信噪比損失曲線(xiàn)
[1] Yan Wei,Zhu Zhaoda,Wang Qingdong,Ma Ning,Some new techniques used in digital weather radar networking and composition,CIE International Conference of Radar Proceedings,2001:874-877.
[2] 黃銳, 唐繼勇. 文本類(lèi)型氣象雷達(dá)原始回波數(shù)據(jù)的無(wú)損壓縮[J]. 通信與信息技術(shù), 2008(01).
[3] 馬寧, 朱福萌, 尹志軍, 蔣林輝. 改進(jìn)游程編碼在天氣雷達(dá)數(shù)據(jù)壓縮中的應(yīng)用[J]. 解放軍理工大學(xué)學(xué)報(bào):自然科學(xué)版, 2004(06).
[4] 焦忠生,沈超玲.氣象雷達(dá)原理[M].北京:氣象出版社,2005.
[5] 吳樂(lè)南.數(shù)據(jù)壓縮的原理與應(yīng)用.北京:電子工業(yè)出版社,1995.
[6] Burrows M , Wheeler D J . A Block - sorting Lossless Data Compression Algorithm [ R ] . SRC Research Report 124 [ s. l . ] :Digital Systems Research Center,1998.
[7] J.Cleary and I. Witten, Data compression using adaptive coding and partial string matching, in IEEE Transactions on Communications, 1984,COM-32(4).
[8] 高永麗. 信號(hào)處理中的數(shù)據(jù)壓縮評(píng)價(jià)指標(biāo)研究[J]. 楚雄師范學(xué)院學(xué)報(bào), 2008(03).