冶鑫晨 于炯 錢育蓉

摘 要：隨著相關(guān)技術(shù)的進(jìn)步，在軌運(yùn)行的遙感衛(wèi)星的數(shù)量逐步增加，運(yùn)行時(shí)間增長(zhǎng)，衛(wèi)星所攜帶設(shè)備的成像分辨率不斷提高，隨之而產(chǎn)生的遙感數(shù)據(jù)急劇增長(zhǎng)，原有的單機(jī)運(yùn)行的GIS（Geographical Information System，地理信息系統(tǒng)）已經(jīng)無(wú)法滿足需求。當(dāng)前的研究顯示分布式的存儲(chǔ)方案已經(jīng)成為未來(lái)海量遙感數(shù)據(jù)存儲(chǔ)的必然選擇，而面對(duì)隨著數(shù)據(jù)量增加而不斷擴(kuò)展的分布式節(jié)點(diǎn)，分布式存儲(chǔ)帶來(lái)的能耗問(wèn)題變得日益突出。

【關(guān)鍵詞】Hadoop 遙感影像

1 引言

數(shù)據(jù)存儲(chǔ)帶來(lái)的能耗問(wèn)題一直是各國(guó)的研究者關(guān)注的重點(diǎn)，目前針對(duì)云存儲(chǔ)平臺(tái)的節(jié)能研究也廣泛存在，文獻(xiàn)指出目前云平臺(tái)的節(jié)能研究多從硬件節(jié)能和軟件節(jié)能兩個(gè)方面來(lái)實(shí)現(xiàn)的。硬件層次上主要通過(guò)DVFS等技術(shù)通過(guò)根據(jù)運(yùn)行在芯片上的程序?qū)τ?jì)算能力需求，動(dòng)態(tài)的對(duì)芯片的運(yùn)行頻率和電壓進(jìn)行調(diào)節(jié)來(lái)達(dá)到節(jié)能的目的。軟件層次上的節(jié)能研究更加多層次，對(duì)于類似Hadoop這樣的通用的分布式架構(gòu)，通常使用數(shù)據(jù)放置策略和節(jié)點(diǎn)調(diào)度策略相配合來(lái)實(shí)現(xiàn)節(jié)能。目前較少有研究針對(duì)數(shù)據(jù)內(nèi)在特性優(yōu)化數(shù)據(jù)放置策略的研究，在遙感影像數(shù)據(jù)這樣單一數(shù)據(jù)源產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)中，針對(duì)數(shù)據(jù)內(nèi)在特性進(jìn)行優(yōu)化數(shù)據(jù)放置策略是解決云存儲(chǔ)能耗問(wèn)題的新思路和方法。

2 基于遙感影像特性的HDFS數(shù)據(jù)放置算法

本文的工作目標(biāo)是在hadoop平臺(tái)上對(duì)HDFS分布式文件系統(tǒng)的數(shù)據(jù)放置策略進(jìn)行更改，根據(jù)衛(wèi)星遙感影像數(shù)據(jù)特性優(yōu)化存儲(chǔ)策略，在系統(tǒng)負(fù)載較低時(shí)關(guān)閉部分節(jié)點(diǎn)達(dá)到節(jié)能的目的。

2.1 遙感影像數(shù)據(jù)的特性

遙感影像數(shù)據(jù)的讀取和查詢通常通過(guò)影像數(shù)據(jù)對(duì)應(yīng)的地理位置進(jìn)行，而單次查詢的數(shù)據(jù)對(duì)應(yīng)的地理空間范圍上相近或者臨近的。對(duì)大量遙感影像查詢記錄分析發(fā)現(xiàn)，對(duì)于感影像數(shù)據(jù)在對(duì)應(yīng)地理空間上的訪問(wèn)存在高頻度中心向周圍遞減的特性。

2.2 遙感影像存儲(chǔ)建模

對(duì)同一波段的遙感影像數(shù)據(jù)進(jìn)行空間建模，根據(jù)所在空間經(jīng)緯度進(jìn)行分割為m*n個(gè)分片，每個(gè)分片的影像數(shù)據(jù)對(duì)應(yīng)HDFS中的一個(gè)數(shù)據(jù)塊，標(biāo)識(shí)每個(gè)數(shù)據(jù)塊為dij，記錄每個(gè)數(shù)據(jù)塊的訪問(wèn)次數(shù)為aij，建立數(shù)據(jù)塊訪問(wèn)次數(shù)矩陣Fm×n：

對(duì)各個(gè)數(shù)據(jù)塊的訪問(wèn)次數(shù)進(jìn)行排序，數(shù)據(jù)塊訪問(wèn)次數(shù)排位為cij，建立數(shù)據(jù)塊訪問(wèn)次數(shù)排序矩陣Dm×n：

根據(jù)數(shù)據(jù)塊的訪問(wèn)頻度對(duì)數(shù)據(jù)塊進(jìn)行分組，首先選取數(shù)據(jù)塊訪問(wèn)次數(shù)最高的數(shù)據(jù)塊作為分組E1中心數(shù)據(jù)塊dsisj：

asisj=max aij

選定數(shù)據(jù)塊dsisj記錄在分組E1中，對(duì)數(shù)據(jù)塊dsisj周圍的數(shù)據(jù)塊進(jìn)行8向搜尋，當(dāng)cij>β×m×n時(shí)將數(shù)據(jù)塊dij記錄在分組E1中，其中β為數(shù)據(jù)塊分組邊界因子（β<1），對(duì)記錄在分組內(nèi)的數(shù)據(jù)塊繼續(xù)做8向搜尋，直至沒(méi)有新的數(shù)據(jù)塊滿足條件為止。在沒(méi)有被選中的數(shù)據(jù)塊中選取數(shù)據(jù)塊訪問(wèn)次數(shù)最高的數(shù)據(jù)塊作為分組E2中心數(shù)據(jù)塊dsisj，重復(fù)上述過(guò)程，直至Ep+1的中心數(shù)據(jù)塊dsisj的數(shù)據(jù)塊訪問(wèn)次數(shù)csisj<α×m×n，其中α為分組抑制因子（α<β），創(chuàng)建數(shù)據(jù)塊分布的數(shù)量為p。

2.3 副本放置策略

為了保證節(jié)能算法的效果，HDFS集群內(nèi)需要擁有10個(gè)以上存儲(chǔ)空間和計(jì)算性能相同的Datanode節(jié)點(diǎn)。遙感影像數(shù)據(jù)存入順序?yàn)椋?/p>

（1）分組E1中的數(shù)據(jù)塊選擇集群內(nèi)剩余空間最大的節(jié)點(diǎn)存入，在剩余的節(jié)點(diǎn)中選取剩余空間最大的兩個(gè)存入分組E1的副本，在節(jié)點(diǎn)存儲(chǔ)中，數(shù)據(jù)塊的的存放順序按照分組數(shù)據(jù)塊的排序來(lái)進(jìn)行；

（2）分組Ep中的數(shù)據(jù)塊在集群中選取存儲(chǔ)空間剩余最小的節(jié)點(diǎn)來(lái)儲(chǔ)存，同樣在另外的節(jié)點(diǎn)上儲(chǔ)存兩個(gè)副本。接下來(lái)按照分組E2、Ep-1、E3、Ep-2……的順序來(lái)存儲(chǔ)數(shù)據(jù)塊；

（3）當(dāng)分組的數(shù)據(jù)塊都已經(jīng)存入集群后，將在分組時(shí)沒(méi)有被選擇的數(shù)據(jù)塊按照節(jié)點(diǎn)剩余空間大小的比例隨機(jī)存入節(jié)點(diǎn)當(dāng)中。

3 實(shí)驗(yàn)與分析

節(jié)能效果實(shí)驗(yàn)使用云環(huán)境仿真平臺(tái)CloudSim模擬一個(gè)擁有60個(gè)節(jié)點(diǎn)的集群，比較在模擬的24小時(shí)遙感影像數(shù)據(jù)查詢的不同負(fù)載情況下，默認(rèn)HDFS策略、動(dòng)態(tài)數(shù)據(jù)放置策略、本文所使用策略節(jié)點(diǎn)開(kāi)啟情況對(duì)比，如圖1所示。

通過(guò)對(duì)比可以發(fā)現(xiàn)本文所使用的策略相較HDFS默認(rèn)策略節(jié)點(diǎn)開(kāi)啟率降低了53%，在中高訪問(wèn)頻率時(shí)較動(dòng)態(tài)數(shù)據(jù)放置策略優(yōu)化效果明顯，但是由于數(shù)據(jù)塊分組細(xì)分不夠，在低負(fù)載時(shí)此策略節(jié)點(diǎn)開(kāi)啟率過(guò)高需要后期優(yōu)化。

4 總結(jié)與展望

本文對(duì)HDFS的數(shù)據(jù)放置策略根據(jù)遙感影像數(shù)據(jù)的特性進(jìn)行優(yōu)化，映射數(shù)據(jù)塊對(duì)應(yīng)影像的空間位置建模，用訪問(wèn)頻率設(shè)置存儲(chǔ)中心對(duì)數(shù)據(jù)進(jìn)行聚類，在中等負(fù)載的實(shí)驗(yàn)環(huán)境中表現(xiàn)出比通用的節(jié)能算法更好的節(jié)能效果。下一步的工作在于優(yōu)化策略在較低功耗時(shí)的節(jié)能表現(xiàn)。

作者簡(jiǎn)介

[1]錢育蓉，于炯，王衛(wèi)源，孫華，廖彬，楊興耀.云計(jì)算環(huán)境下軟硬件節(jié)能和負(fù)載均衡策略[J].計(jì)算機(jī)應(yīng)用，2013，33（12）：3326-3330.

[2]廖彬，于炯，孫華，等.基于存儲(chǔ)結(jié)構(gòu)重配置的分布式存儲(chǔ)系統(tǒng)節(jié)能算法[J]. 計(jì)算機(jī)研究與發(fā)展，2013，50（1）：3-18.

[3]于炯，廖彬，張?zhí)?，?云存儲(chǔ)系統(tǒng)節(jié)能研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2014，8（9）：1025-1040.

[4]康俊鋒.云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)與高效管理技術(shù)研究[D].浙江大學(xué)，2011.

作者單位

新疆大學(xué)軟件學(xué)院 新疆維吾爾自治區(qū)烏魯木齊市 830008