王卓琳, 高心丹

(東北林業(yè)大學(xué) 信息與計(jì)算機(jī)工程學(xué)院, 哈爾濱 150000)

0 引 言

隨著遙感技術(shù)的發(fā)展，遙感數(shù)據(jù)逐步呈現(xiàn)多源，多尺度，多時(shí)相，全球覆蓋和高分辨率特征，數(shù)據(jù)量爆炸性增長(zhǎng)[1]。遙感以其能夠表達(dá)大容量數(shù)據(jù)的特點(diǎn)廣泛應(yīng)用在對(duì)地、軍事、勘探、水污染防治、林火防治以及莊稼病蟲害監(jiān)測(cè)等有空間大范圍數(shù)據(jù)量需求的領(lǐng)域。如何能高效地存儲(chǔ)和查詢遙感影像數(shù)據(jù)，在海量的信息中有效提取所需信息，已成為地理信息科學(xué)領(lǐng)域日益關(guān)注的熱點(diǎn)問題[2-3]。

傳統(tǒng)的數(shù)據(jù)管理方式為文件系統(tǒng)方式，存在讀寫速率低，傳輸速率慢等缺點(diǎn)。隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，逐漸提高了數(shù)據(jù)的共享性，減小了數(shù)據(jù)的冗余，提高了數(shù)據(jù)的一致性和完整性。在此基礎(chǔ)上，文獻(xiàn)[4]中提出了一種線性四叉樹技術(shù)的影像金字塔模型快速索引機(jī)制，該機(jī)制可以根據(jù)用戶需要以不同分辨率進(jìn)行存儲(chǔ)與顯示，但是海量影像數(shù)據(jù)的存儲(chǔ)性能低下。文獻(xiàn)[5]中提出了一種基于影像塊組織的遙感數(shù)據(jù)分布Key-Value存儲(chǔ)模型，結(jié)合開源分布式文件系統(tǒng)HDFS[6]，實(shí)現(xiàn)了影像數(shù)據(jù)的分布式高效存儲(chǔ)與空間區(qū)域檢索，有效地解決了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)技術(shù)不能滿足存儲(chǔ)和管理海量數(shù)據(jù)的性能需求和海量數(shù)據(jù)在單節(jié)點(diǎn)存儲(chǔ)的效率和可擴(kuò)展性不足等缺點(diǎn)。但是這種方法無法實(shí)現(xiàn)快速隨機(jī)訪問數(shù)據(jù)，因此文獻(xiàn)[7]中研究基于HBase的分布式存儲(chǔ),釆用網(wǎng)格法對(duì)地理空間進(jìn)行劃分，構(gòu)建索引表，計(jì)算出每個(gè)網(wǎng)格單元對(duì)應(yīng)的ID，設(shè)計(jì)行鍵和列族方案，提高了存儲(chǔ)和查詢效率。在金字塔構(gòu)建部分，文獻(xiàn)[4,8]中都采用降采樣方法來構(gòu)建金字塔，但在金字塔構(gòu)建中卻耗費(fèi)了很長(zhǎng)時(shí)間，因此文獻(xiàn)[9] 在文獻(xiàn)[4,8]的基礎(chǔ)上采用分布式網(wǎng)格金字塔生成算法(Distributed Grid Pyramid Generation Algorithm，DGPG)并行構(gòu)建金字塔，節(jié)約了金字塔構(gòu)建時(shí)間，提高了效率，但同樣存在金字塔構(gòu)建中上層分辨率降低，導(dǎo)致金字塔上層影像重要內(nèi)容的清晰度和存儲(chǔ)性能降低的問題。

為在構(gòu)建影像金字塔過程中降低分辨率的損失，作者采用尋優(yōu)算法替代降采樣。在經(jīng)典尋優(yōu)算法中，遺傳算法[10]搜索速度較為緩慢，不能很好進(jìn)行局部搜索；粒子群算法[11]在算法后期不能很好的跳出局部最優(yōu)；蟻群算法[12]引入了信息素，加大了算法的時(shí)間復(fù)雜度，降低了算法效率(尤其是在樣品較多的情況下)。為解決上述問題，本文實(shí)驗(yàn)中引入了一種新型的用于解決圖像問題的群體智能算法—貓群算法[13-14]，并結(jié)合MapReduce[15]并行框架構(gòu)建金字塔；然后使用HBase[16]存儲(chǔ)影像數(shù)據(jù)，設(shè)計(jì)了一種結(jié)合地物標(biāo)識(shí)碼和四叉樹索引ID兩種信息的行鍵方案進(jìn)行索引查詢，大幅提高查詢的處理速度。

貓群算法是建立在貓的行為模式和群體智能基礎(chǔ)上的一種非數(shù)值優(yōu)化計(jì)算方法。該算法將貓群分為兩種工作模式，在搜尋模式下，通過對(duì)自身位置的復(fù)制，之后再對(duì)復(fù)制副本應(yīng)用變異算子，加深了對(duì)自身位置周圍的搜索，有效地提高了問題的求解性能; 在跟蹤模式下，利用最優(yōu)解的位置來不斷的更新貓的當(dāng)前位置，使得解不斷地向著最優(yōu)解的方向逼近，最終達(dá)到全局最優(yōu)解。影像金字塔結(jié)合了分塊和細(xì)節(jié)層次模型LOD兩者的特點(diǎn)，以原始圖像作為底層，通過對(duì)原始圖像采用重采樣的方法，建立一系列地理覆蓋范圍相同但詳盡程度和分辨率不同的多個(gè)影像。為了提高影像金字塔各層的分辨率，本文采用貓群算法對(duì)金字塔下層尋優(yōu)來獲得上一層，進(jìn)而構(gòu)建金字塔。

1 高分辨率影像金字塔的并行構(gòu)建

影像金字塔最初用于機(jī)器視覺和圖像壓縮。一幅影像的金字塔是一系列以金字塔形狀排列的分辨率逐步降低，且來源于同一張?jiān)加跋竦挠跋窦蟍17-18]。其通過貓群算法尋優(yōu)獲得，直到達(dá)到某個(gè)終止條件停止。金字塔的底部是待處理影像的高分辨率表示，而頂部是低分辨率的近似。將一層一層的影像比喻成金字塔，層級(jí)越高，則影像越小，分辨率越低。

在瀏覽影像數(shù)據(jù)時(shí)，需要根據(jù)當(dāng)前顯示的影像數(shù)據(jù)的分辨率來抽取金字塔相應(yīng)層的數(shù)據(jù)。設(shè)原始影像數(shù)據(jù)的分辨率為R0，倍率為2，則第I層?xùn)鸥駭?shù)據(jù)的分辨率為：

RI=R0×2-I

(1)

設(shè)影像分塊為X×Y個(gè)像素，影像數(shù)據(jù)的像素為寬×高，則金字塔等級(jí)層數(shù)I的計(jì)算式為：

I=[log2max(Width/X,Height/Y)+1]

(2)

I級(jí)金字塔水平方向總塊數(shù)H和垂直方向總塊數(shù)V的計(jì)算式分別為：

(3)

(4)

式中：[]表示取整；| |表示向下取整。

本文釆用線性四叉樹對(duì)地理空間進(jìn)行劃分，將劃分好的每個(gè)網(wǎng)格單元進(jìn)行編碼，然后利用MapReduce并行計(jì)算框架結(jié)合貓群算法構(gòu)建金字塔。

1.1 線性四叉樹編碼

影像金字塔的線性四叉樹編碼實(shí)質(zhì)就是用線性四叉樹的數(shù)據(jù)結(jié)構(gòu)來表示多分辨率遙感影像的索引[19]，影像金字塔與線性四叉樹的映射關(guān)系如圖1所示。

圖1 影像金字塔與線性四叉樹的映射關(guān)系

由圖1可以看出，I-2層第1行第2列的編碼可以表示為：000001；I-2層第1行第3列的編碼可以表示為：000100；I-2層第2行第2列的編碼可以表示為：000011；I-2層第2行第3列的編碼可以表示為：000110，以此類推。

1.2 貓群算法尋優(yōu)構(gòu)建金字塔

因以2倍率構(gòu)建金字塔，所以金字塔上層的每一塊影像只需在其下一層中找到該層每4個(gè)相鄰的影像塊及其附近的一塊能代替該4個(gè)影像塊即可。假設(shè)原始影像可以分成4類，分別用C1、C2、C3、C4來表示。構(gòu)建中可能出現(xiàn)4種情況，現(xiàn)將它們分為2組來討論，4種情況的示意簡(jiǎn)圖如圖2所示。

(a)(b)(c)(d)

圖2 金字塔下層每4個(gè)相鄰的影像塊情況

若每相鄰的4個(gè)影像塊中有3塊或4塊的影像屬于同一類，上一層的影像就用該類中的一個(gè)影像塊代替，該影像塊根據(jù)特征相似度在4個(gè)影像塊同類中最大，不同類中最小的原則選取。如圖2中的(a)和(b)所示，則用C1類代替，具體用C1類中的哪個(gè)塊代替，則根據(jù)計(jì)算的相似度決定。如果是圖2中(c)和(d)的情況，則運(yùn)用貓群算法進(jìn)行搜索尋優(yōu)，找到能代替該4個(gè)相鄰影像塊數(shù)據(jù)的那個(gè)影像塊，用其構(gòu)建金字塔上一層。設(shè)f為找出搜索范圍內(nèi)影像塊特征相似度在該類中較大的，在不同類中較小的影像塊且影像塊數(shù)最多的目標(biāo)影像塊，x為目標(biāo)影像塊。搜索范圍以C1影像塊為例如圖3所示，其余3個(gè)影像塊的搜索范圍同C1。

圖3 貓群算法搜索范圍

圖3中C1影像塊的搜索范圍為以C1為中心的八個(gè)方位上搜索。圖中紅色+藍(lán)色區(qū)域?yàn)樗褜ひ淮蔚乃阉鞣秶?，若該區(qū)域不能找出最優(yōu)解，則搜尋范圍擴(kuò)充為紅色+藍(lán)色+黃色區(qū)域，以此類推。

貓群算法中各術(shù)語代表如下：

貓算法中的一個(gè)解,對(duì)應(yīng)金字塔構(gòu)建問題中的一個(gè)影像塊解。

貓群金字塔構(gòu)建問題中的所有影像塊解。

適應(yīng)度貓所處位置的適應(yīng)度,在算法中表現(xiàn)為貓所處位置的優(yōu)劣，在金字塔構(gòu)建問題中代表影像塊解的特征相似度和影像塊數(shù)。

記憶池(smp) 在搜尋模式下，記憶池的大小代表貓能夠搜索的地點(diǎn)數(shù)量，通過變異算子，改變?cè)?，使記憶池?chǔ)存了貓自身的鄰域內(nèi)能夠搜索的新地點(diǎn)。貓將依據(jù)適應(yīng)度的大小從記憶池中選擇一個(gè)最好的位置點(diǎn)。

個(gè)體上每個(gè)基因的改變范圍(srd)：在算法開始之前設(shè)定，在本文算法中代表影像塊解每一特征的變異概率。

每個(gè)個(gè)體上需要改變的基因的個(gè)數(shù)(cdc)：在算法開始之前設(shè)定，在本算法中代表影像塊解可變異的特征數(shù)。

分組率(mr)：分組率將貓群隨機(jī)分為跟蹤模式和搜尋模式2組，指的是跟蹤模式的貓?jiān)谪埲褐兴嫉谋壤?，通常為較小的數(shù)。

跟蹤模式是來模擬貓?zhí)幱诟櫊顟B(tài)下建立的模型。在該模式下，通過改變貓的每一個(gè)特征的速度來改變貓的位置。跟蹤模式可以通過以下2步來描述。

(1) 速度更新。.每只貓都有自己的一個(gè)當(dāng)前速度，記為Vi={Vi1,Vi2,…,Vil}，每只貓根據(jù)式(5)來更新自己的速度。記Xbest(t) 為當(dāng)前貓群里經(jīng)歷的最優(yōu)位置，即適應(yīng)度最好的貓。

d=1,2,…,l

(5)

(2) 位置更新。每只貓根據(jù)下式更新自己的位置：

(6)

搜尋模式是模擬貓?jiān)谒奶幩阉鞑ふ蚁乱粋€(gè)地點(diǎn)所建立的模型。貓復(fù)制自身副本，在自身鄰域內(nèi)加一個(gè)隨機(jī)擾動(dòng)到達(dá)新的位置，再根據(jù)適應(yīng)度函數(shù)求取適應(yīng)度最高的點(diǎn)作為貓所要移動(dòng)到的位置點(diǎn)。其副本的位置更新函數(shù)為：

(7)

式中:srd=0.2，即每個(gè)貓個(gè)體上的特征值變化范圍控制在0.2之內(nèi)，相當(dāng)于是在自身鄰域內(nèi)搜索。

設(shè)貓群為X={Xi,i=1,2,…,n}，Xi為D維模式向量，代表第i個(gè)貓(影像塊)總特征，內(nèi)部可擁有表示光譜信息的DN值，反射率值、波段相關(guān)系數(shù)、表示空間信息的像素位置、大小等。如擴(kuò)展開，還可加入顏色特征信息，紋理信息、煽、能量等。該小節(jié)問題就是要找出搜索范圍內(nèi)該影像塊特征相似度在同類中相似度較大的，在不同類中較小的那個(gè)影像塊且所占影像塊數(shù)最多的。設(shè)任意 2個(gè)貓的同一基因(特征)分別為：X1=(x11,x12,…,x1d)，X2=(x21,x22,…,x2d)，其中d為基因中分量的個(gè)數(shù)。C[X1,X2]為X1與X2的基因?qū)傩灾档募?那么X1與X2之間的距離為:

(8)

假如定義其光譜特征距離為D1，采用特征空間網(wǎng)格劃分方法得到的紋理和形狀特征距離分別為D2和D3，則光譜特征為:

(9)

由式(9)進(jìn)一步可得，圖像空間的2個(gè)貓(網(wǎng)格)N1和N2，設(shè)它們的相似性為S，則相似性為:

(10)

式中:ωi為經(jīng)驗(yàn)權(quán)值;ω1,ω2,ω3為3個(gè)影像塊特征的權(quán)重;ω1+ω2+ω3=1。

由式(8)～(10)可得貓群算法的適應(yīng)度函數(shù)為：

Cat(i).fitness=max[sum(class(N))]∪max(S(i,k))∪min(S(i,N-k))

(11)

式中:i為目標(biāo)影像塊;k為某類影像塊的集合;N為搜索范圍內(nèi)所有影像塊的集合。max[sum(class)(N)]是指搜索范圍內(nèi)所有影像塊中某類影像塊數(shù)量占總影像塊數(shù)量(1/4以上)最多的，max(S(i,k))是指該尋找的目標(biāo)影像塊與某類影像塊集合相似度(大于50%)最大的，min(S(i,N-k))是指該尋找的目標(biāo)影像塊與其他類影像塊集合相似度最小(小于10%)的。以上各參數(shù)值是根據(jù)實(shí)際數(shù)據(jù)類別數(shù)量和具體情況經(jīng)過反復(fù)實(shí)驗(yàn)得到的。

算法實(shí)現(xiàn)偽代碼如下:

貓群算法尋優(yōu)構(gòu)建金字塔偽代碼

%初始化貓的數(shù)目N，記憶池大小smp,個(gè)體上每個(gè)基因的改變范圍srd,每個(gè)個(gè)體上需要改變的基因的個(gè)數(shù)cdc，分組率mr,貓的初始位置X、初始速度V和初始適應(yīng)度Cat(1).fitness=0

%if跟蹤模式

%適應(yīng)度計(jì)算

Cat.(i)fitness=max[sum(class(N))]∪max(S(i,k))∪min(S(i,N-k));

%最優(yōu)解，直接退出

%else搜尋模式

%將自身位置復(fù)制smp份，同自身一起存入記憶池

forn=2:smp

current_Cat(N)=Cat(i);

end

%對(duì)記憶池復(fù)制的位置進(jìn)行改變

%適應(yīng)度計(jì)算

current_Cat.fitness=max[sum(class(N))]∪max(S(i,k))∪min(S(i,N-k));

%最優(yōu)解，直接退出

%記錄搜尋的最好位置

max_Cat=current_Cat(1);

for n=2:smp

if max_Cat.fitness

max_Cat =current_Cat(N);

end

end

Cat(i) =max_Cat;

end

1.3 MapReduce并行構(gòu)建金字塔

為了提高金字塔的構(gòu)建速率，本文使用MapReduce并行計(jì)算框架，通過對(duì)金字塔的每一層分別使用MapReduce來解決傳統(tǒng)的串行方法構(gòu)建金字塔效率低下的問題。在原始圖像已經(jīng)分好類的前提下，以原始圖像作為金字塔的最底層即第0層，然后依次從最底層出發(fā)通過2I×2I→1(I為金字塔的層數(shù))影像塊的映射關(guān)系運(yùn)用MapReduce得到金字塔第1層、第2層...第I層。但是這只是在滿足圖2中(a)、(b)兩種情況下的映射關(guān)系，如若不是這兩種情況則需要結(jié)合貓群算法尋優(yōu)，第0層均采用如圖1～3 所示的紅色+藍(lán)色+黃色區(qū)域，即(21+4)2個(gè)影像塊作為尋優(yōu)范圍來找出金字塔第1層所對(duì)應(yīng)的一個(gè)影像塊，金字塔的第1層均采用如圖4 所示的藍(lán)色+黃色+綠色區(qū)域，即(22+4)2個(gè)影像塊作為尋優(yōu)范圍來找出金字塔第2層所對(duì)應(yīng)的一個(gè)影像塊......以此類推，金字塔的第I-1層均采用(2I+4)2個(gè)影像塊作為尋優(yōu)范圍來找出金字塔第I層所對(duì)應(yīng)的一個(gè)影像塊。

圖4 并行構(gòu)建中金字塔第1層到第2層映射范圍

如圖4所示，C1-C16→1為金字塔第0層到第2層的塊數(shù)映射關(guān)系，但是結(jié)合貓群算法后實(shí)質(zhì)的映射關(guān)系為藍(lán)色+黃色+綠色影像塊區(qū)域→1，即貓群算法在此區(qū)域內(nèi)尋優(yōu)找到所對(duì)應(yīng)的一個(gè)影像塊。

Map 函數(shù)讀取影像分塊并計(jì)算它們對(duì)應(yīng)的上層金字塔對(duì)應(yīng)的編碼號(hào)，鍵為影像分塊的編碼號(hào)，值為影像分塊文件；Reduce函數(shù)結(jié)合貓群算法對(duì)構(gòu)成該層金字塔的影像分塊進(jìn)行抽樣處理生成新的影像塊?？偟膩碚f就是通過(2I+4)2→1影像塊的新映射關(guān)系運(yùn)用MapReduce得到金字塔第1層、第2層...第I層。其中總體的并行構(gòu)建流程如下圖5所示。

圖5 影像金字塔并行構(gòu)建的MapReduce算法

圖5所示的是金字塔并行構(gòu)建的核心流程，從圖中可以看出所有尋優(yōu)范圍的金字塔第0層的相鄰影像塊都經(jīng)Map函數(shù)寫入并計(jì)算它們對(duì)應(yīng)的上層金字塔對(duì)應(yīng)的編碼號(hào)(這里僅列出金字塔第1層4個(gè)影像塊的構(gòu)建過程)，然后通過Reduce函數(shù)合并，再結(jié)合貓群算法最終得到金字塔第1層影像。

2 影像數(shù)據(jù)的分布式存儲(chǔ)

HBase的基本存儲(chǔ)單元cell是由行鍵RowKey、時(shí)間戳TimeStamp、列族ColumnFamily組成。其中行鍵是確定行的標(biāo)識(shí)符，時(shí)間戳是保證cell的時(shí)間版本特性，列族是預(yù)先定義的，并可以根據(jù)自己的實(shí)際需求定義[20]。由于HBase是按列存儲(chǔ)的，即按Key-Value的形式存儲(chǔ)，而且對(duì)影像數(shù)據(jù)進(jìn)行查詢時(shí)，按照行鍵、列族和時(shí)間戳的順序進(jìn)行定位，因此想要快速查詢所需要的影像信息，行鍵RowKey的設(shè)計(jì)是至關(guān)重要的。本文將表的行鍵設(shè)計(jì)為，地物標(biāo)識(shí)碼+四叉樹索引ID，其中地物標(biāo)識(shí)碼即不同地物用不同的二進(jìn)制編碼來表示，如樹木：00，河流：01，建筑物：10。具體地物標(biāo)識(shí)碼用幾位二進(jìn)制表示，可以根據(jù)實(shí)際需要將影像分為了幾種類別來確定。下面是行鍵這樣設(shè)計(jì)的原因：

(1) 設(shè)計(jì)地物標(biāo)識(shí)碼+四叉樹索引ID的行鍵方案，是針對(duì)實(shí)際中需要快速定位特定影像數(shù)據(jù)的需求，比如在林火防治領(lǐng)域就需要找到可燃物、水源、道路等，來提前設(shè)計(jì)好林火撲救方案，以免森林火災(zāi)一旦發(fā)生，造成撲救不及時(shí)而帶來的不必要的損失。

(2) 行鍵和空間對(duì)象一一對(duì)應(yīng)，設(shè)計(jì)地物標(biāo)識(shí)碼+四叉樹索引ID可以讓行鍵和地物最大限度的對(duì)應(yīng)。

(3) 根據(jù)行鍵長(zhǎng)度設(shè)計(jì)的原則，結(jié)合遙感影像數(shù)據(jù)的特性，將行鍵的長(zhǎng)度定義為32 B(8 B的整數(shù)倍)，其中ID占16 B。例如某一個(gè)空間對(duì)象的ID為0001100010010101，地物為建筑物，假如其地物標(biāo)識(shí)碼為011(共分為5類，針葉林000、闊葉林001、河流010、建筑物011、其他100)則它的行鍵設(shè)計(jì)為:0001100010010101011。

HBase的表結(jié)構(gòu)設(shè)計(jì)見表1。

表1 HBase的表結(jié)構(gòu)設(shè)計(jì)

表1中列族1為遙感影像數(shù)據(jù)信息，包括影像塊和經(jīng)緯度坐標(biāo)；列族2為存儲(chǔ)遙感影像數(shù)據(jù)的元數(shù)據(jù)信息，其中包括分辨率、精度和數(shù)據(jù)源。

HBase數(shù)據(jù)庫(kù)是按列存儲(chǔ)的，而按列存儲(chǔ)的本質(zhì)含義就是按照Key-Value的形式進(jìn)行存儲(chǔ)。所以本文通過HBase與MapReduce相結(jié)合來實(shí)現(xiàn)影像數(shù)據(jù)的并行入庫(kù)，從而提高入庫(kù)效率。本文HBase鍵值對(duì)中不同字段的排列如圖6所示。

圖6 HBase鍵值對(duì)中不同字段的排列

由圖6可以看出本文的鍵Key依次由行鍵、列族和時(shí)間戳組成，值Value就是cell所對(duì)應(yīng)的值。

3 實(shí)驗(yàn)分析與評(píng)估

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

本實(shí)驗(yàn)采用虛擬軟件XenServer6.2將3臺(tái)曙光 I450-G10塔式服務(wù)器(InterXeon E5-2407四核2.2 GHz處理器，8GB內(nèi)存)虛擬成6臺(tái)主機(jī)，一臺(tái)HP Compaq dx2308(Intel Pentium E2160 1.8 GHz處理器，1GB內(nèi)存)作為Master。具體的軟件配置見表2。

本文實(shí)驗(yàn)數(shù)據(jù)來源有兩個(gè)：其中1幅高分辨率影像數(shù)據(jù)來自于國(guó)產(chǎn)衛(wèi)星高分二號(hào)GF-2，研究區(qū)位于大興安嶺，大興安嶺全長(zhǎng)1 200 km，寬200～300 km。此遙感影像包括0.8 m的全色單波段和3.2 m分辨率的多光譜波段，具有4個(gè)標(biāo)準(zhǔn)波譜段( 紅、綠、藍(lán)、近紅外) 。其地理位置是：東經(jīng)123°76′31.81″～124°16′10.30″，北緯 50°02′10.21″～50°27′02.73″。該一景圖像成像時(shí)間為2015年7月14日02∶57。它的全色中心波長(zhǎng)為0.814 0 μm，多光譜：藍(lán)光波段(Band1)中心波長(zhǎng)0.502 0 μm，綠光波段(Band2)中心波長(zhǎng)0.576 0 μm，紅光波段(Band3)中心波長(zhǎng)0.680 0 μm，近紅外波段(Band4)中心波長(zhǎng)0.810 0 μm；另一幅影像來源于Landsat 8衛(wèi)星，研究區(qū)位于河南信陽(yáng)。地理位置是：東經(jīng)113°32′12.10″～114°25′12.33″，北緯 31°43′20.33″～32°38′36.94″。成像時(shí)間為2016年4月27日08:52。此遙感影像包括9個(gè)波段，空間分辨率為30 m，其中包括一個(gè)15 m的全色波段，成像寬幅為185 km×185 km，其中光譜信息為：Band5波段為(0.845～0.885 μm)，全色波段Band8波段范圍較窄，藍(lán)色波段Band 1波段為(0.433～0.453 μm) ，短波紅外波段Band 9波段為(1.360～1.390 μm) 。

表2 軟件配置表

3.2 數(shù)據(jù)完整性比較

在數(shù)據(jù)的完整性實(shí)驗(yàn)中，本文選取大興安嶺和信陽(yáng)影像的1/64大小(706×706像素)的且已經(jīng)標(biāo)記好地物的遙感影像圖。為了驗(yàn)證研究方法的完整性，本文分別對(duì)2幅影像進(jìn)行128×128、256×256、512×512、1 024×1 024分塊，然后利用貓群算法分別得到368×353像素大小的影像，其原始影像和貓群尋優(yōu)后的影像分別如圖7所示。最后在各影像中隨機(jī)選取100個(gè)點(diǎn)和原始圖像對(duì)應(yīng)的100個(gè)點(diǎn)進(jìn)行相似度比較，重復(fù)3次，取平均值。發(fā)現(xiàn)影像分塊越精細(xì)，數(shù)據(jù)的完整性就越好，實(shí)驗(yàn)結(jié)果圖如8所示。

(a)(b)(c)(d)

圖7 貓群算法尋優(yōu)后影像圖

圖7(a)為大興安嶺地區(qū)的1/64大小的且已經(jīng)標(biāo)記好地物的遙感影像圖，圖7(b)為(a)經(jīng)過貓群算法以1∶4的比例構(gòu)建出來的影像，圖7(c)為河南信陽(yáng)地區(qū)的1/64大小的且已經(jīng)標(biāo)記好地物的遙感影像圖，圖7(d)在(c)基礎(chǔ)上經(jīng)過貓群算法以1∶4的比例構(gòu)建出來的影像。

由圖8(a)、(b)可以看出，運(yùn)用貓群算法對(duì)金字塔進(jìn)行構(gòu)建不會(huì)損失大量的數(shù)據(jù)，數(shù)據(jù)的完整性可以得到保證；并且隨著影像分塊數(shù)目的增多，貓群算法尋優(yōu)構(gòu)建金字塔的完整性也越來越好。運(yùn)用貓群算法后信陽(yáng)地區(qū)的數(shù)據(jù)完整性明顯高于大興安嶺地區(qū)的原因經(jīng)分析是類別比較集中且每個(gè)類別范圍相對(duì)較大。

3.3 影像數(shù)據(jù)的并行存儲(chǔ)

在數(shù)據(jù)的存儲(chǔ)實(shí)驗(yàn)中，本文選取3幅高分二號(hào)衛(wèi)星的遙感影像圖，經(jīng)處理影像數(shù)據(jù)的大小分別為623 MB、1.49 GB和3.21 GB。分別對(duì)上述3幅影像進(jìn)行并行金字塔的構(gòu)建和數(shù)據(jù)的并行寫入實(shí)驗(yàn)。

為了驗(yàn)證本文提出算法的有效性，分別對(duì)不同大小的遙感影像進(jìn)行并行的構(gòu)建金字塔。由圖9可知，本文提出的并行構(gòu)建金字塔的方法所需時(shí)間要遠(yuǎn)遠(yuǎn)小于傳統(tǒng)方法。當(dāng)數(shù)據(jù)量逐漸增加時(shí)，傳統(tǒng)構(gòu)建金字塔的方法所需時(shí)間增加幅度較大而本文的并行構(gòu)建方法時(shí)間雖然有所增加但是幅度較小，由此可看出本文提出的方法有效地減少了金字塔構(gòu)建所需的時(shí)間。

在金字塔創(chuàng)建完成后，為了驗(yàn)證本文提出方法的可擴(kuò)展性分別對(duì)上述3幅圖像進(jìn)行數(shù)據(jù)的導(dǎo)入。研究在隨著處理節(jié)點(diǎn)的增加，本文采用的并行處理方法加速比的差異，其中加速比為：

speedup=T1/Tp

(12)

式中:T1為單處理器下的運(yùn)行時(shí)間，Tp為p個(gè)處理器的并行運(yùn)行時(shí)間。變化趨勢(shì)如圖10所示。

圖9 影像金字塔并行構(gòu)建

圖10 加速比對(duì)比圖

由圖10的實(shí)驗(yàn)結(jié)果可知，當(dāng)實(shí)驗(yàn)數(shù)據(jù)較少時(shí)并行算法的加速比效果并不是很理想，數(shù)據(jù)導(dǎo)入時(shí)間幾乎不變，但是隨著數(shù)據(jù)的增大加速比逐漸增大，數(shù)據(jù)寫入的時(shí)間減少，本文提出的并行方法效率提高。這主要是因?yàn)?，?shù)據(jù)量較少時(shí)在HBase上存儲(chǔ)時(shí)需要?jiǎng)澐值膔egion數(shù)量較少，數(shù)據(jù)只存在固定的幾個(gè)節(jié)點(diǎn)中，從而導(dǎo)致數(shù)據(jù)導(dǎo)入時(shí)間變化不大。但是，隨著數(shù)據(jù)量的增大HBase需要的region數(shù)量增多，這時(shí)不同的節(jié)點(diǎn)均可寫入到HBase中，并行算法加速效果比較明顯。

3.4 影像數(shù)據(jù)的并行查詢

在進(jìn)行數(shù)據(jù)的查詢實(shí)驗(yàn)時(shí)，本文選擇image3影像中分辨率最高的一層中地物標(biāo)識(shí)為針葉林的影像塊作為查詢對(duì)象，分別將整幅影像占比為10%～70%作為輸入的查詢范圍，測(cè)試數(shù)據(jù)包含的文件數(shù)量從6 554張到45 875張。實(shí)驗(yàn)結(jié)果如圖11所示。由圖可見，在查詢范圍較少時(shí)本文改進(jìn)行鍵的設(shè)計(jì)方法和行鍵中不加地物標(biāo)識(shí)碼的方法查詢時(shí)間相差不大，并且后者的查詢性能要優(yōu)于本文方法。但是隨著查詢范圍的增加本文方法的查詢時(shí)間增長(zhǎng)較慢，且查詢時(shí)間要低于后者的方法。

4 結(jié) 語

以HBase分布式數(shù)據(jù)庫(kù)為工具，采用線性四叉樹構(gòu)建影像金字塔來解決遙感影像大數(shù)據(jù)的存儲(chǔ)效率低及查找速度慢等問題。實(shí)驗(yàn)中為減小金字塔構(gòu)建中分辨率的損失，利用貓群算法和MapReduce并行處理架構(gòu)相結(jié)合來構(gòu)建金字塔，不僅相對(duì)提高了金字塔上層影像的清晰度，同時(shí)還提高了數(shù)據(jù)的存儲(chǔ)性能。實(shí)驗(yàn)通過對(duì)RowKey的設(shè)計(jì)，有效地提高了數(shù)據(jù)的讀取性能。本研究將為遙感影像的存儲(chǔ)及特征識(shí)別等應(yīng)用提供借鑒和參考。

圖11 索引改進(jìn)前后實(shí)驗(yàn)對(duì)比圖