付東洋,李宇隆,侯駿雄,肖志強
(廣東海洋大學信息學院 海洋遙感與信息技術實驗室,廣東 廣州 524088)
衛(wèi)星海洋遙感數(shù)據(jù)的無損壓縮及解壓算法
付東洋,李宇隆,侯駿雄,肖志強
(廣東海洋大學信息學院 海洋遙感與信息技術實驗室,廣東 廣州 524088)
在分析衛(wèi)星海洋遙感單軌三級數(shù)據(jù)產(chǎn)品特征的基礎上,針對游程編碼無損壓縮算法特征,提出了優(yōu)化游程編碼壓縮算法,運用該算法實現(xiàn)了海洋遙感三級數(shù)據(jù)產(chǎn)品的無損壓縮,并與流行的WinRAR壓縮軟件進行了比較測試,結果表明上述算法對海洋遙感數(shù)據(jù)均有較高的壓縮率,優(yōu)化游程編碼壓縮算法在空間復雜度及時間復雜度上均有明顯的比較優(yōu)勢,可極大節(jié)約海洋遙感數(shù)據(jù)的存儲與共享發(fā)布空間。
海洋遙感數(shù)據(jù);無損壓縮;解壓縮;優(yōu)化游程編碼;壓縮比
潘德爐[1]指出,隨著衛(wèi)星遙感技術向高時間分辨率、高空間分辨率和高輻射分辨率方向的快速發(fā)展,空間遙感與信息技術已經(jīng)發(fā)展成為滿足人類對海洋資源和環(huán)境不同尺度和不同層次連續(xù)、動態(tài)的信息需求的必要手段,海洋光學遙感在實施大范圍海面瞬間信息監(jiān)測、數(shù)年至幾十年長序列全球海洋數(shù)據(jù)采集等方面,表現(xiàn)出了極大的優(yōu)勢。但是,在遙感數(shù)字化圖像分發(fā)與處理中,普通城市的高分辨率遙感鑲嵌圖可達幾十GB的數(shù)據(jù)量,超大的數(shù)據(jù)量給衛(wèi)星鏈路的帶寬、圖像數(shù)據(jù)的傳輸、存儲、共享、瀏覽和網(wǎng)絡發(fā)布帶來了時間和網(wǎng)絡資源上的巨大壓力。以我校海洋遙感與信息技術實驗室為例,該室每天可接收和處理9顆衛(wèi)星(如MODIS系列、NOAA系列、FY、HY、MTSAT)資料,包括原始數(shù)據(jù)以及 1 級、2 級、3級等各種產(chǎn)品的數(shù)據(jù)和圖像,同時為保證數(shù)據(jù)資源的長期連續(xù)性和可靠性,這些圖像及數(shù)據(jù)均需實施雙備份,這樣每天的數(shù)據(jù)量可超過30 GB,因此,如何將海量的遙感數(shù)據(jù)進行有效的壓縮與存儲已成為人們日益關注的問題。赫華穎[2]比較了基于不同小波基的壓縮算法對不同地貌結構遙感圖像壓縮效率的高低,并發(fā)現(xiàn)D(9,7)小波基的應用效果最好;李強[3]根據(jù)遙感圖像局部相關性較弱、紋理復雜豐富的特點,提出了基于小波分析理論的自適應標量、矢量混合量化壓縮方法,實現(xiàn)了遙感圖像紋理的高保真壓縮;周孝寬[4]基于空間重采樣壓縮算法實現(xiàn)遙感圖像的低運算復雜度的壓縮。上述壓縮算法的共同特點是適合于陸地遙感影像的有損壓縮,遙感數(shù)據(jù)屬于科學數(shù)據(jù),應盡可能地保證數(shù)據(jù)的真實性與可靠性,因而無損壓縮對于數(shù)據(jù)的存儲與發(fā)布具有十分重要的意義。張曉玲[5[6]提出的水平與垂直預測相結合的無損壓縮方法可使壓縮比在2倍左右。但這些壓縮算法基本上針對陸地航空或衛(wèi)星遙感領域,很少有學者涉及海洋遙感圖像數(shù)據(jù)的壓縮存儲與發(fā)布問題的研究,本文針對海量的衛(wèi)星海洋遙感圖像數(shù)據(jù)在存儲與發(fā)布中遇到的問題,并根據(jù)我國自主研究的海洋遙感數(shù)據(jù)產(chǎn)品的特點,比較研究了不同壓縮算法對海表溫度、葉綠素a濃度等不同遙感產(chǎn)品在壓縮比方面的差異,提出的優(yōu)化游程編碼壓縮算法對于海洋遙感L3A產(chǎn)品壓縮具有較大的優(yōu)勢。
海洋遙感數(shù)據(jù)接收與處理系統(tǒng)的一般流程如圖1所示,其單軌L3A級水色水溫產(chǎn)品具有以下特征:
(1)其空間分辨率較陸地遙感而言小得多,目前可達1 km,但通常每軌影像可覆蓋20~30個經(jīng)緯度的空間范圍,相應的數(shù)據(jù)文件可達600萬個像素以上,因而數(shù)據(jù)量巨大。
(2)海洋遙感研究的是海洋科學領域的問題,通常是海表光學、水溫及水色特征的反應,因而不涉及陸地部分的信息,一般在數(shù)據(jù)處理過程中,將陸地信息用0掩模掉。
(3)由于受天氣(云、雨、霧、風沙)等原因的影響,很多時候數(shù)據(jù)缺失嚴重,如圖2(海表溫度)、圖3(葉綠素濃度)所示,可實現(xiàn)圖像數(shù)據(jù)的壓縮存儲、共享及發(fā)布。
圖1 衛(wèi)星海洋遙感數(shù)據(jù)接收與處理流程
圖2 2010年2月3日遙感海表溫度—NOAA
圖3 2007年5月6日遙感葉綠素濃度—MODIS
(4)海表葉綠素濃度、透明度、懸浮物含量等水色要素均為非負值,對我國及東南亞海域,海表溫度一般亦為非負值,即有效數(shù)據(jù)通常具有非負特征。
游程編碼(RLE)是壓縮文件最簡單的方法之一。它是把一系列的重復值用一個單獨的值再加上一個計數(shù)值來取代。該算法對于具有長重復值的串的壓縮很有效。其算法流程圖如圖4a所示,該算法壓縮比主要是取決于數(shù)據(jù)本身的特點,當海洋遙感圖像數(shù)據(jù)中的陸地面積越大,獲得的壓縮比越高。反之,該算法就顯得力不從心,同一行的海洋水色水溫數(shù)值往往不具有連續(xù)性,而連續(xù)幾行具有相同數(shù)值的情況更少。同時,為了將壓縮數(shù)據(jù)與普通數(shù)據(jù)區(qū)分,該算法本身包含有標志性數(shù)據(jù),特別是當出現(xiàn)類似1X1Y1Z情況時,壓縮后反而會使數(shù)據(jù)串長度增加一倍,這是一種“病態(tài)”情況。由于海洋水色數(shù)據(jù)非負,且對于東南亞海域,海洋水溫數(shù)據(jù)亦具有非負的特點,所以可取消游程編中區(qū)分壓縮數(shù)據(jù)的最高標志位并將非連續(xù)重復的數(shù)據(jù)取反,即變?yōu)樨摂?shù),這樣就可以通過正副來區(qū)分哪些是壓縮數(shù)據(jù)哪些是非壓縮數(shù)據(jù)。以此達到優(yōu)化游程編碼的目的。而且當出現(xiàn)類似上述XYZ的“病態(tài)”情況時,壓縮時寫入(-X)(-Y)(-Z),還原時判斷到負值再取絕對值即還原為XYZ。這樣就實現(xiàn)了原算法的優(yōu)化。優(yōu)化游程編碼(DRLE)壓縮算法如圖4b所示。
為了比較驗證優(yōu)化游程編碼與常規(guī)的三元組壓縮算法、Huffman編碼壓縮算法、游程編碼及常見的壓縮工具Win-RAR在海洋遙感數(shù)據(jù)文件壓縮效率上的優(yōu)劣程度,我們選取了廣東海洋大學海洋遙感與信息技術實驗室提供的2011年5月的NOAA(National Oceanic and Atmospheric Administration)系列衛(wèi)星海表溫度(SST)3A數(shù)據(jù)文件92個及MODIS(The Moderate Resolution Imaging Spectroradiometer)衛(wèi)星葉綠素a濃度(CHL)數(shù)據(jù)文件70個,并與經(jīng)典的WinRAR壓縮工具進行了對比實驗,實驗及測試結果如表1所示,相應的92個海表溫度文件(原始大小為:1 045 167 830字節(jié))的壓縮情況如圖6所示,70個葉綠素a濃度(原始大小為:410 593 008字節(jié))壓縮文件結果如圖5所示。
(1)與WinRAR壓縮工具一樣,不論是三元組、哈夫曼編碼、游程編碼還是本文改進的優(yōu)化游程編碼壓縮算法均能高效地壓縮海洋遙感三級產(chǎn)品數(shù)據(jù),且解壓結果均可完整正確復原。
(2)對于70個葉綠素濃度數(shù)據(jù)文件,就空間復雜度,壓縮率最高的是WinRAR,其壓縮率達4.11%,其次是哈夫曼編碼,優(yōu)化游程編碼也接近WinRAR算法,效果相對較差的是三元組壓縮算法;但從時間復雜度來看,最佳的是游程壓縮和優(yōu)化游程壓縮,用時不到三元組算法及WinRAR算法的1/4。
圖4 壓縮算法流程
表1 海洋遙感之海表溫度及葉綠素a濃度L3A數(shù)據(jù)壓縮統(tǒng)計表
(3)對于92個海表溫度數(shù)據(jù)文件,就空間復雜度,壓縮率最高的是WinRAR工具,其壓縮率達2.36%,其次是優(yōu)化游程編碼,達3.56%,非常接近WinRAR算法,效果相對較差的是三元組和游程編碼壓縮算法;但從時間復雜度來看,最佳的是游程編碼,優(yōu)化游程編碼和三元組算法,它們均約Win-RAR算法的1/3,是哈夫曼編碼算法的1/6。
(1)從評價壓縮算法的空間復雜度來看,對于水色水溫數(shù)據(jù),WinRAR壓縮工具都最好的,最接近該方法的是本文改進的優(yōu)化游程編碼。
(2)從評價壓縮算法的時間復雜度來看,對于水色水溫數(shù)據(jù),游程編碼和優(yōu)化游程編碼是最好,而WinRAR壓縮工具都在該兩算法的3倍時長以上,時間復雜度也最高,該算法不適宜于實時性要求較高的場合。
(3)綜合比較5種算法,不論在空間復雜度還是時間復雜度上,本文提出的針對海洋遙感數(shù)據(jù)文件的優(yōu)化游程編碼算法都有明顯的比較優(yōu)勢。
圖5 5種不同壓縮算法對70個葉綠素濃度數(shù)據(jù)文件壓縮結果比較
圖6 5種不同壓縮算法對92個海表溫度數(shù)據(jù)文件壓縮結果比較
[1]潘德爐,王迪峰.我國海洋光學遙感應用科學研究的新進展[J].地球科學進展,2004,19(4):506-512.
[2]赫華穎,陸書寧.幾種小波基在遙感圖像壓縮中的應用效果比較[J].國土資源遙感,2008,77(3):27-31.
[3]李強,王正志.基于小波理論的遙感圖像高保真壓縮方法研究[J].遙感學報,1999,3(1):31-37.
[4]周孝寬,程子敬.基于空間重采樣的遙感圖像壓縮[J].北京航空航天大學學報,2001,27(5):611-614.
[5]張曉玲,毋立芳.基于感知器的遙感圖像無損壓縮編碼[J].電子與信息學報,2001,23(7):712-715.
[6]耿則勛,錢曾波.遙感影像無損壓縮編碼的實驗分析與改進[J].測繪學報,1996,25(4):262-265.
Lossless Compression and Decompression Algorithms for Satellite Ocean Remote Sensing Data
FU Dong-yang,LI Yu-long,HOU Jun-xiong,XIAO Zhi-qiang
(Lab of Ocean Remote Sensing&Information Technology,Information College,Guangdong Ocean University,Zhanjiang Guangdong 524088,China)
Based on analysis of the satellite ocean remote sensing L3A data products and the features of RLE(run-length encoding).An optimization algorithm to run-length encoding (ORLE)compression was put forward,which was used for lossless compression to ocean remote sensing L3A data.The lossless compression effectiveness has been tested and compared with WinRAR.The results show that all the algorithms for ocean remote sensing data have a higher compression ratio,ORLE algorithm has advantages in the space and time complexity.A significant reduction of storage,sharing and publishing space in ocean remote sensing scientific data is realized.
ocean remote sensing data;lossless compression;decompression;optimization run-length encoding;compression ratio
TP751.1
A
1003-2029(2012)02-0045-04
2011-10-21
國家海洋公益專項資助項目(200805028);廣東海洋大學自然科學基金資助項目(1012152);博時基金資助項目(1112332);衛(wèi)星海洋環(huán)境動力學國家重點實驗室開放基金資助項目(SOED1202);中國科學院南海海洋研究所熱帶海洋環(huán)境國家重點實驗室開放基金資助項目(LTO1105)
付東洋(1969-),男,博士,副教授,研究方向為海洋遙感。Email:fdy163@163.com