涂超凡 張啟飛 陳應(yīng)莊 張昱昶 劉二騰 干紅華 張尉東 白 凡 鄭賢榕

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計(jì)算機(jī)科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計(jì)算機(jī)科學(xué)系 美國(guó) 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

對(duì)等結(jié)構(gòu)的混合集群的層次化存儲(chǔ)策略研究

涂超凡1張啟飛1陳應(yīng)莊1張昱昶1劉二騰1干紅華1張尉東2白 凡3鄭賢榕4

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計(jì)算機(jī)科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計(jì)算機(jī)科學(xué)系 美國(guó) 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

隨著分布式存儲(chǔ)系統(tǒng)的規(guī)模迅猛增長(zhǎng)，能耗問(wèn)題日益凸顯。在存儲(chǔ)集群混合低能耗節(jié)點(diǎn)已成為解決能耗問(wèn)題的重要途徑之一。針對(duì)如何在對(duì)等結(jié)構(gòu)的混合集群中區(qū)別使用不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的問(wèn)題，在一個(gè)對(duì)等結(jié)構(gòu)分布式系統(tǒng)ZDFS上設(shè)計(jì)并實(shí)現(xiàn)了一種基于對(duì)等結(jié)構(gòu)的層次化存儲(chǔ)策略——虛擬節(jié)點(diǎn)分層重映射(VHR)。該策略不影響對(duì)等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動(dòng)區(qū)分使用不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)，可操作性強(qiáng)。實(shí)驗(yàn)在真實(shí)X86和ARM混合集群上進(jìn)行。實(shí)驗(yàn)表明，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的優(yōu)勢(shì)，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

存儲(chǔ)系統(tǒng) 對(duì)等結(jié)構(gòu) 混合集群 層次化

0 引 言

2020年的全球的數(shù)據(jù)量將從2013年的4.4 ZB 擴(kuò)展到44 ZB[1]，爆發(fā)增長(zhǎng)的數(shù)據(jù)量必然伴隨急劇增加的存儲(chǔ)需求。業(yè)界對(duì)大規(guī)模存儲(chǔ)系統(tǒng)進(jìn)行了具體的實(shí)踐，比如Google公司的GFS[2]、Amazon的Dynamo[3]以及開(kāi)源的HDFS[4]。存儲(chǔ)系統(tǒng)的規(guī)模迅猛增長(zhǎng)使得存儲(chǔ)系統(tǒng)的能耗問(wèn)題日趨嚴(yán)重。一些大型存儲(chǔ)系統(tǒng)的能耗占到整個(gè)數(shù)據(jù)中心能耗的三分之一以上[5-6]。相關(guān)人員在存儲(chǔ)系統(tǒng)節(jié)能領(lǐng)域做了相關(guān)大量研究，主要可以分為軟件節(jié)能技術(shù)與硬件節(jié)能技術(shù)兩類(lèi)[7]。

軟件節(jié)能技術(shù)通過(guò)創(chuàng)造時(shí)機(jī)讓設(shè)備、節(jié)點(diǎn)進(jìn)入低能耗狀態(tài)從而節(jié)能。Gurumurthi等人使磁盤(pán)依據(jù)負(fù)載 調(diào)整轉(zhuǎn)速?gòu)亩档湍芎腫8]；Harnik等人規(guī)律性地關(guān)閉周期性空閑的存儲(chǔ)節(jié)點(diǎn)以此降低能耗[9]；Leverich等人改變某種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)副本放置方法從而關(guān)閉空閑節(jié)點(diǎn)，降低9～50%系統(tǒng)能耗[10]；Pinheiro等人把數(shù)據(jù)分為原始和冗余兩種并放置到不同位置，關(guān)閉空閑節(jié)點(diǎn)實(shí)現(xiàn)能耗下降[11]。

硬件節(jié)能技術(shù)是指通過(guò)引入低能耗設(shè)備降低系統(tǒng)能耗。比如Szalay等人將SSD應(yīng)用在輔助節(jié)點(diǎn)上，關(guān)閉普通節(jié)點(diǎn)以降低能耗[12]；Hamilton構(gòu)建適用于低能耗Athlon處理器的服務(wù)器機(jī)架結(jié)構(gòu)以降低能耗[13]；Vasudevan等人使用嵌入式芯片和快速閃存構(gòu)建了一個(gè)7倍于普通機(jī)器能效的存儲(chǔ)集群[14]。近年來(lái)，隨著ARM的快速發(fā)展，搭載ARM的低能耗存儲(chǔ)節(jié)點(diǎn)得以應(yīng)用。Facebook公司在Open Vault冷區(qū)存儲(chǔ)中使用一個(gè)4核ARM處理器驅(qū)動(dòng)了15塊硬盤(pán)，降低了系統(tǒng)能耗[15]；Baidu公司開(kāi)發(fā)了支持X86和ARM節(jié)點(diǎn)混合部署的云存儲(chǔ)系統(tǒng)，存儲(chǔ)密度提升了70%，TCO降低了25%[16]。

在存儲(chǔ)集群混合低能耗節(jié)點(diǎn)已成為解決能耗問(wèn)題的重要途徑之一。目前進(jìn)行混合節(jié)點(diǎn)的研究實(shí)踐主要是基于主從結(jié)構(gòu)，主從結(jié)構(gòu)的分布式存儲(chǔ)系統(tǒng)存在擴(kuò)展性差、單點(diǎn)故障等問(wèn)題。高擴(kuò)展特性的對(duì)等結(jié)構(gòu)的分布式系統(tǒng)如Dynamo[3]、Ceph[17]等受到日益重視，而對(duì)等結(jié)構(gòu)的系統(tǒng)一般采用定位算法替換了傳統(tǒng)的查文件分布表機(jī)制，這也帶來(lái)了如何在對(duì)等結(jié)構(gòu)的混合集群中區(qū)別使用不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的問(wèn)題。針對(duì)這個(gè)問(wèn)題，本文在一個(gè)對(duì)等結(jié)構(gòu)分布式系統(tǒng)ZDFS[18]上進(jìn)行了混合集群的層次化存儲(chǔ)的研究。

1 ZDFS

ZDFS使用和Dynamo[3]相似的一致性哈希算法。ZDFS有三個(gè)主要組件：DataNode存儲(chǔ)所有數(shù)據(jù)；Client暴露存儲(chǔ)接口給上層應(yīng)用,直接向DataNodes集群發(fā)起數(shù)據(jù)讀寫(xiě)請(qǐng)求；Monitor負(fù)責(zé)維護(hù)存儲(chǔ)節(jié)點(diǎn)集群全局信息，處理節(jié)點(diǎn)加入和離線(xiàn)事務(wù)。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

ZDFS中有虛擬節(jié)點(diǎn)概念，如圖2所示。其中，該數(shù)據(jù)文件存儲(chǔ)到Vnode c所對(duì)應(yīng)的DataNode上。

圖2 一致性哈希環(huán)

與Ceph[17]數(shù)據(jù)尋址方式相似，ZDFS的Client僅僅使用不定期更新的少量本地元數(shù)據(jù)，即可確定存放File的DataNode地址，如表1所示。

表1 虛擬節(jié)點(diǎn)路由表

ZDFS預(yù)設(shè)每個(gè)數(shù)據(jù)有3份拷貝。Monitor將三個(gè)連續(xù)的虛擬節(jié)點(diǎn)放置在三個(gè)不同的DataNode上，在此基礎(chǔ)上，DataNode將依據(jù)后繼節(jié)點(diǎn)規(guī)則進(jìn)行數(shù)據(jù)備份，如圖3所示。

圖3 三副本備份機(jī)制

2 虛擬節(jié)點(diǎn)分層重映射

ZDFS是作為大規(guī)模的分布式系統(tǒng)設(shè)計(jì)，ZDFS分布式系統(tǒng)具有良好的可拓展性，在ZDFS上進(jìn)行混合節(jié)點(diǎn)集群層次化存儲(chǔ)研究主要有以下原因：

(1) 冷區(qū)數(shù)據(jù)量很大

系統(tǒng)的高可靠性要求使得其采用了3副本備份機(jī)制，而備份數(shù)據(jù)卻不常使用。系統(tǒng)容量與存儲(chǔ)機(jī)器規(guī)模成正相關(guān)，這意味著需要部署更多的存儲(chǔ)節(jié)點(diǎn)來(lái)滿(mǎn)足系統(tǒng)的存儲(chǔ)需求，極大地增加了系統(tǒng)能耗。

(2) 層次化存儲(chǔ)是數(shù)據(jù)中心提升效率的必然要求

在存儲(chǔ)節(jié)點(diǎn)集群中混合不同的結(jié)構(gòu)、性能的節(jié)點(diǎn)，若不加以區(qū)別利用，可能增加系統(tǒng)延遲，帶來(lái)不穩(wěn)定性因素，以及高性能類(lèi)別節(jié)點(diǎn)的硬件優(yōu)勢(shì)將不能得到充分發(fā)揮。

本文用HighNode和LowNode分別表示兩種不同類(lèi)型的物理存儲(chǔ)節(jié)點(diǎn)。策略是在HighNode上優(yōu)選使用高能耗高性能處理器和高速存儲(chǔ)介質(zhì)，LowNode上優(yōu)選使用低功耗處理器和普通存儲(chǔ)介質(zhì)。表2是ZDFS下混合集群執(zhí)行層次化混合和無(wú)層次化混合情況下兩種物理存儲(chǔ)節(jié)點(diǎn)的功能。

表2 不同類(lèi)型節(jié)點(diǎn)的功能

無(wú)層次化策略下的后繼節(jié)點(diǎn)規(guī)則可以表式為：

{vnode(i)_next=vnode(i+1)(i為小于N的自然數(shù)，N為虛擬節(jié)點(diǎn)總數(shù));vnode(i)_next=vnode(0)(i等于N-1時(shí))}

層次化混合下的LowNode和HighNode功能不同，ZDFS系統(tǒng)必須區(qū)分使用這兩種不同類(lèi)別的存儲(chǔ)節(jié)點(diǎn)。但ZDFS使用了一致性哈希算法替換了傳統(tǒng)的主從結(jié)構(gòu)中的文件分布表，系統(tǒng)無(wú)法通過(guò)查表區(qū)分不同類(lèi)別的節(jié)點(diǎn)。為應(yīng)對(duì)這個(gè)問(wèn)題，本文提出了一種對(duì)等結(jié)構(gòu)下區(qū)別使用不同類(lèi)型節(jié)點(diǎn)的層次化存儲(chǔ)策略——虛擬節(jié)點(diǎn)分層重映射VHR，系統(tǒng)無(wú)需查表即可自動(dòng)區(qū)分使用不同類(lèi)型的存儲(chǔ)節(jié)點(diǎn)，且不影響系統(tǒng)的高拓展性。

由于本文的混合集群中只混合了兩種類(lèi)型節(jié)點(diǎn)，將虛擬節(jié)點(diǎn)分類(lèi)為奇數(shù)類(lèi)虛擬節(jié)點(diǎn)和偶數(shù)類(lèi)虛擬節(jié)點(diǎn)。設(shè)定將所有奇數(shù)虛擬節(jié)點(diǎn)映射到LowNode集群，所有偶數(shù)虛擬節(jié)點(diǎn)映射到HighNode集群，如圖4所示。

圖4 奇偶虛擬節(jié)點(diǎn)分別映射不同類(lèi)型節(jié)點(diǎn)集群

相應(yīng)的后繼節(jié)點(diǎn)規(guī)則設(shè)定為：

{vnode(2j)_next=vnode(2j+1);vnode(2j+1)_next=vnode(2j+3)(j為小于N的自然數(shù)，2N為虛擬節(jié)點(diǎn)總數(shù))}

從上可知，主數(shù)據(jù)存放在HighNode集群中；備份數(shù)據(jù)存放在LowNode集群中.當(dāng)設(shè)定Monitor只向Client發(fā)送偶數(shù)虛擬節(jié)點(diǎn)的路由表信息，LowNode集群將對(duì)Client不可見(jiàn)。

接下來(lái)探討虛擬節(jié)點(diǎn)分層重映射的細(xì)節(jié)，用數(shù)學(xué)抽象描述了其中的兩個(gè)重要部分。

2.1 節(jié)點(diǎn)加入流程

系統(tǒng)獲取新加入存儲(chǔ)節(jié)點(diǎn)，記為p，然后執(zhí)行節(jié)點(diǎn)加入流程，其使用：

算法1 節(jié)點(diǎn)加入算法

a) 平均化收集預(yù)分配的虛擬節(jié)點(diǎn)，放入收集容器集合φ；

b) 選取元素i，其中i∈φ,更新i對(duì)應(yīng)的物理存儲(chǔ)節(jié)點(diǎn)映射歸屬，即R(i)=p；

c) 遷移對(duì)應(yīng)物理存儲(chǔ)節(jié)點(diǎn)下至p，即D(i)=p；

d) 更新存儲(chǔ)節(jié)點(diǎn)與i有關(guān)的邏輯前驅(qū)和后繼關(guān)系；

e)φ=φ-{i}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實(shí)現(xiàn)上，步驟a)主要是對(duì)對(duì)應(yīng)類(lèi)型的虛擬節(jié)點(diǎn)總數(shù)進(jìn)行回收，得到回收節(jié)點(diǎn)集合φ，ZDFS提出了不同的存儲(chǔ)節(jié)點(diǎn)標(biāo)記為不同的存儲(chǔ)域，數(shù)據(jù)的各個(gè)備份要保證放在不同的區(qū)，保證某區(qū)的存儲(chǔ)節(jié)點(diǎn)宕機(jī)時(shí)，能從其他備份區(qū)中恢復(fù)。因而，具體策略實(shí)現(xiàn)上，回收再分配時(shí)需保證邏輯相鄰兩個(gè)虛擬節(jié)點(diǎn)不能映射至相同的物理存儲(chǔ)節(jié)點(diǎn)；

步驟b)中，R(i)=p關(guān)系函數(shù)為虛擬節(jié)點(diǎn)x的映射主機(jī)。Monitor更新φ的映射關(guān)系至p，并協(xié)調(diào)p建立相應(yīng)的存儲(chǔ)目錄區(qū)。

步驟c)中，D(i)=p關(guān)系函數(shù)為虛擬節(jié)點(diǎn)i對(duì)應(yīng)存儲(chǔ)的數(shù)據(jù)所存儲(chǔ)的主機(jī)為p，Monitor協(xié)調(diào)φ集合對(duì)應(yīng)的物理存儲(chǔ)主機(jī)，將數(shù)據(jù)遷移至p，并更新(刪除)數(shù)據(jù)的對(duì)象。

步驟d)中，告知并更新其他存儲(chǔ)節(jié)點(diǎn)的前驅(qū)和后繼的映射關(guān)系，保證數(shù)據(jù)的備份機(jī)制的實(shí)施。

2.2 節(jié)點(diǎn)離線(xiàn)流程

若p出現(xiàn)宕機(jī)情況，系統(tǒng)刪除該物理節(jié)點(diǎn)，然后執(zhí)行節(jié)點(diǎn)離線(xiàn)流程，其處理使用：

算法2 節(jié)點(diǎn)離線(xiàn)算法

a) 獲取p節(jié)點(diǎn)所分配的虛擬節(jié)點(diǎn)集合φ；

b) 選取元素x，其中x∈φ,將x節(jié)點(diǎn)分配至新的物理節(jié)點(diǎn)q；

c) 分別遷移x的邏輯第一前驅(qū)px1和第二前驅(qū)px2對(duì)應(yīng)的物理節(jié)點(diǎn)數(shù)據(jù)至q的x目錄下的第一二拷貝區(qū)；

d) 更新的邏輯前驅(qū)及后繼關(guān)系；

e)φ=φ-{x}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實(shí)現(xiàn)上，步驟b)把虛擬節(jié)點(diǎn)p重映射到相同類(lèi)型的存儲(chǔ)節(jié)點(diǎn)，和節(jié)點(diǎn)加入流程一致，需確保邏輯相鄰兩個(gè)虛擬節(jié)點(diǎn)不能映射至相同的物理存儲(chǔ)主機(jī)；步驟c)將確保在新的物理存儲(chǔ)節(jié)點(diǎn)q成為p節(jié)點(diǎn)的替代節(jié)點(diǎn)之前，已經(jīng)完成遷移存儲(chǔ)節(jié)點(diǎn)的之前存儲(chǔ)數(shù)據(jù)。

本文設(shè)計(jì)實(shí)現(xiàn)的虛擬節(jié)點(diǎn)分層重映射(VHR)將不同虛擬節(jié)點(diǎn)集合分層映射到不同類(lèi)型的存儲(chǔ)節(jié)點(diǎn)上，實(shí)現(xiàn)了在對(duì)等結(jié)構(gòu)下不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的層次化，具有以下運(yùn)行特點(diǎn)：

(1) 自動(dòng)的混合節(jié)點(diǎn)集群管理

存儲(chǔ)節(jié)點(diǎn)加入或離線(xiàn)時(shí)，系統(tǒng)根據(jù)其節(jié)點(diǎn)類(lèi)型，自動(dòng)分配或回收對(duì)應(yīng)的虛擬節(jié)點(diǎn)。同時(shí)，虛擬節(jié)點(diǎn)的分配與回收機(jī)制在保證數(shù)據(jù)拷貝存儲(chǔ)到互異存儲(chǔ)節(jié)點(diǎn)的情況下，通過(guò)均衡算法保證存儲(chǔ)數(shù)據(jù)在集群中的均衡化存儲(chǔ)，具有較高的可用性。

(2) 不破壞系統(tǒng)的高拓展特性

在混合集群的數(shù)據(jù)遷移過(guò)程中，Monitor節(jié)點(diǎn)的負(fù)載很輕，只負(fù)責(zé)向某一時(shí)間加入或宕機(jī)的存儲(chǔ)節(jié)點(diǎn)發(fā)送相應(yīng)指令，具體數(shù)據(jù)遷移操作在存儲(chǔ)節(jié)點(diǎn)之間自動(dòng)獨(dú)立完成。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)在真實(shí)網(wǎng)絡(luò)環(huán)境下進(jìn)行，拓?fù)浣Y(jié)構(gòu)如圖5所示。所有節(jié)點(diǎn)均在同一個(gè)局域網(wǎng)中。圖5中包含有6臺(tái)HighNode、6臺(tái)LowNode、1臺(tái)Monitor、1臺(tái)Client。交換機(jī)采用1臺(tái)TP-Link的10/100/1000M自適應(yīng)交換機(jī)，能耗功率測(cè)量使用了多臺(tái)TECMANTM9微型電力檢測(cè)儀。

圖5 系統(tǒng)拓?fù)?/p>

各個(gè)節(jié)點(diǎn)軟件主要采用C語(yǔ)言編寫(xiě)，軟件運(yùn)行環(huán)境為Ubuntu14.04。實(shí)驗(yàn)中，HighNode運(yùn)行在X86 架構(gòu)的PC工作站上，LowNode運(yùn)行在ARM評(píng)估板上。如表3所示。

表3 硬件配置

3.1 能耗水平

實(shí)驗(yàn)通過(guò)對(duì)4個(gè)不同的實(shí)驗(yàn)組的對(duì)比測(cè)試進(jìn)行，每一個(gè)實(shí)驗(yàn)組的配置均不相同，每一個(gè)實(shí)驗(yàn)組的運(yùn)行時(shí)的整體能耗水平如表4所示。

表4 不同實(shí)驗(yàn)組的能耗水平

實(shí)驗(yàn)組1中全為HighNode，故其整體能耗水平最高；實(shí)驗(yàn)組2的存儲(chǔ)集群中全部部署為L(zhǎng)owNode，故其整體能耗水平最低；實(shí)驗(yàn)組3和實(shí)驗(yàn)組4在存儲(chǔ)集群中混合部署了相同數(shù)量的HighNode和相同數(shù)量的LowNode，整體能耗水平相近。接下來(lái)的兩個(gè)小節(jié)分別進(jìn)行了不同實(shí)驗(yàn)組的吞吐性能和文件下載用時(shí)測(cè)試。

3.2 吞吐性能

最大吞吐性能測(cè)試的文件規(guī)模為100GB，測(cè)試方式是采集Client節(jié)點(diǎn)的以太網(wǎng)端口的最大I/O數(shù)據(jù)，測(cè)試結(jié)果如表5所示。

表5 不同實(shí)驗(yàn)組的最大吞吐性能 MB/s

實(shí)驗(yàn)組3比實(shí)驗(yàn)組4在最大吞吐性能上有輕微的優(yōu)勢(shì)，因?yàn)閷?shí)驗(yàn)組4的混合集群中LowNode對(duì)Client是隱藏的，LowNode不參與對(duì)Client的數(shù)據(jù)傳輸。隨著文件大小的增加，實(shí)驗(yàn)組1、實(shí)驗(yàn)組3和實(shí)驗(yàn)組4的最大吞吐表現(xiàn)趨于一致，系統(tǒng)限制開(kāi)始成為制約系統(tǒng)最大吞吐的主要因素。

3.3 下載時(shí)間

下載時(shí)間測(cè)試在每一個(gè)實(shí)驗(yàn)組上分別進(jìn)行，Client從存儲(chǔ)集群中選擇10 GB大小的數(shù)據(jù)文件進(jìn)行下載，記錄所有數(shù)據(jù)全部完成下載的用時(shí)，測(cè)試結(jié)果如表6所示。

表6 不同實(shí)驗(yàn)組的10 GB規(guī)模的文件下載時(shí)間 s

實(shí)驗(yàn)組1有最短的測(cè)試結(jié)果，因其部署的節(jié)點(diǎn)全為HighNode；實(shí)驗(yàn)組2的下載用時(shí)最長(zhǎng)，因其部署的節(jié)點(diǎn)全為L(zhǎng)owNode；實(shí)驗(yàn)組4執(zhí)行了本文的VHR混合策略，系統(tǒng)區(qū)分使用了不同的存儲(chǔ)節(jié)點(diǎn)，在數(shù)據(jù)文件下載時(shí)，Client只與混合集群中的HighNode進(jìn)行數(shù)據(jù)傳輸，故測(cè)試結(jié)果和實(shí)驗(yàn)組1相近；而實(shí)驗(yàn)組3執(zhí)行了普通的無(wú)層次化混合，系統(tǒng)不能區(qū)分使用不同的存儲(chǔ)節(jié)點(diǎn)，Client與LowNode進(jìn)行數(shù)據(jù)傳輸時(shí)引起了更多時(shí)間開(kāi)銷(xiāo)。除此之外，對(duì)等結(jié)構(gòu)下在無(wú)層次化混合下的文件查找、目錄列表等功能如ls命令，低性能的節(jié)點(diǎn)將進(jìn)一步增加系統(tǒng)延遲，給系統(tǒng)帶來(lái)不穩(wěn)定因素。

結(jié)合上文的能耗、吞吐測(cè)試結(jié)果，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類(lèi)型的存儲(chǔ)節(jié)點(diǎn)的優(yōu)勢(shì)，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

4 結(jié) 語(yǔ)

針對(duì)如何在對(duì)等結(jié)構(gòu)的混合集群中區(qū)別使用不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的問(wèn)題，本文在一個(gè)對(duì)等結(jié)構(gòu)分布式系統(tǒng)ZDFS上進(jìn)行了混合集群的層次化存儲(chǔ)的研究，設(shè)計(jì)并實(shí)現(xiàn)了一種基于對(duì)等結(jié)構(gòu)的層次化存儲(chǔ)策略——虛擬節(jié)點(diǎn)分層重映射(VHR)。該策略不影響對(duì)等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動(dòng)區(qū)分使用不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)，可操作性強(qiáng)。實(shí)驗(yàn)在真實(shí)X86和ARM混合集群上進(jìn)行，實(shí)驗(yàn)表明，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類(lèi)型存儲(chǔ)節(jié)點(diǎn)的優(yōu)勢(shì)，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。本文接下來(lái)的工作包括繼續(xù)優(yōu)化系統(tǒng)，支持更多類(lèi)型節(jié)點(diǎn)等等。

[1] Dell EMC.The Digital Universe of Opportunities:Rich Data and the Increasing Value of the Internet of Things[OL].http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

[2] Ghemawat S,Gobioff H,Leung S T.The Google file system[J].ACM SIGOPS Operating Systems Review.New York:ACM,2003,37(5):29-43.

[3] DeCandia G,Hastorun D,Jampani M,et al.Dynamo:Amazon’s Highly Available Key-Value Store[J].ACM SIGOPS Operating Systems Review,2007,41(6):205-220.

[4] Shvachko K,Kuang H,Radia S,et al.The Hadoop Distributed File System[C]//Mass Storage Systems and Technologies (MSST),2010 IEEE 26th Symposium on.New Jersey:IEEE,2010:1-10.

[5] EPA.Report to Congress on Server and Data Center Energy Efficiency[OL].https://datacenters.lbl.gov/sites/ all/files/EPA_Datacenter_Report_Congress_Final1.pdf.

[6] Battles B,Belleville C,Grabau S,et al.Reducing data center power consumption through efficient storage[R].WP-7010-0709,NetApp White Paper,2007.

[7] Wang Y,Sun W,Zhou S,et al.Key Technologies of Distributed Storage for Cloud Computing[J].Journal of Software,2012,23(4):962-986.

[8] Gurumurthi S,Sivasubramaniam A,Kandemir M,et al.Reducing Disk Power Consumption in Servers with DRPM[J].Computer,2003,36(12):59-66.

[9] Harnik D,Naor D,Segall I.Low power mode in cloud storage systems[C]//2009 IEEE International Symposium on Parallel and Distributed Processing.IEEE,2009:1-8.

[10] Leverich J,Kozyrakis C.On The Energy (In)Efficiency of Hadoop Clusters[J].ACM SIGOPS Operating Systems Review,2010,44(1):61-65.

[11] Pinheiro E,Bianchini R,Dubnicki C.Exploiting Redundancy to Conserve Energy in Storage Systems[C]//Proceedings of the Joint International Conference on Measurement and Modeling of Computer Systems,2006:15-26.

[12] Szalay A S,Bell G C,Huang H H,et al.Low-power amdahl-balanced blades for data intensive computing[J].ACM SIGOPS Operating Systems Review,2010,44(1):71-75.

[13] Hamilton J.Cooperative expendable micro-slice servers (CEMS):low cost,low power servers for internet-scale services[C]//Conference on Innovative Data Systems Research,2009:1-8.

[14] Vasudevan V,Franklin J,Andersen D,et al.FAWNdamentally Power-efficient Clusters[C]//Proceedings of the 12th Conference on Hot Topics in Operating Systems.Berkeley,CA,USA:USENIX,2009:22.

[15] Open Compute Project.ARM Server Motherboard Design for Open Vault Chassis Hardware v0.3[OL].http://www.opencompute.org/wp/wp-content/uploads/2013/01/Open_Compute_Project_ARM_Server_Specification_v0.3.pdf.

[16] Anna Wang.Chinese Internet Giant Baidu Rolls Out World’s First Commercial Deployment of Marvell’s ARM Processor-based Server[OL].http://developer.baidu.com/en/events.html.

[17] Weil S A,Brandt S A,Miller E L,et al.Ceph:A scalable,high-performance distributed file system[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.USENIX Association,2006:307-320.

[18] Zhang Q,Zhang W,Li W,et al.Cloud Storage System For Small File Based on P2P[J].Journal of Zhejiang University (Engineering Science),2013,47(1):8-14,93.

RESEARCH ON HIERARCHICAL STORAGE STRATEGY ON P2P HYBRID CLUSTER

Tu Chaofan1Zhang Qifei1Chen Yingzhuang1Zhang Yuchang1Liu Erteng1Gan Honghua1Zhang Weidong2Bai Fan3Zheng Xianrong4

1(SchoolofSoftwareTechnology,ZhejiangUniversity,Ningbo315048,Zhejiang,China)2(SchoolofElectronicsEngineeringandComputerScience,PekingUniversity,Beijing100871,China)3(DepartmentofElectricalEngineeringandComputerScience,NorthwesternUniversity,Evanston60201,USA)4(CentralInstitute,InsigmaTechnologyCompanyLtd,Hangzhou310030,Zhejiang,China)

With the scale of distributed storage systems growing rapidly, the problem of energy consumption has become increasingly prominent, and storage cluster hybrid low-power node has become one of the important ways to solve this problem. To face the problem of how to use different types of storage nodes discriminatively, in this paper, a hierarchical storage strategy called vnode hierarchical remapping (VHR) is designed and implemented based on a P2P distributed system of ZDFS. The strategy didn’t affect the high scalability of P2P, so that the system can automatically distinguish between the use of different types of storage nodes with strong operability. Experiments are carried out on a real X86 and ARM hybrid cluster, and experiments show that the VHR works well and plays to the advantages of different types of storage nodes. Under the condition of the performance degradation is not obvious, the overall level of energy consumption was reduced by 44.8%.

Storage system P2P Hybrid cluster Hierarchical

2015-11-20。國(guó)家關(guān)鍵科技支撐項(xiàng)目(2014BAH23F03)；國(guó)家環(huán)境公益項(xiàng)目(2013A610064)；寧波自然科學(xué)基金項(xiàng)目(2013B10036)；寧波智能交互多媒體遠(yuǎn)程教育系統(tǒng)項(xiàng)目(2013B10036)。涂超凡，碩士生，主研領(lǐng)域：分布式系統(tǒng)，物聯(lián)網(wǎng)。張啟飛，講師。陳應(yīng)莊，碩士生。張昱昶，碩士生。劉二騰，講師。干紅華，副教授。張尉東，博士生。白凡，碩士生。鄭賢榕，高工。

TP3

A

10.3969/j.issn.1000-386x.2017.04.002