鄭志蘊，孟慧平，李 鈍，王振飛

（鄭州大學(xué) 信息工程學(xué)院，河南 鄭州450001）

0 引 言

目前，云存儲中數(shù)據(jù)冗余存儲技術(shù)主要包括副本冗余和糾刪碼冗余兩種技術(shù)。副本冗余存儲設(shè)計簡單，支持高并發(fā)訪問，但消耗空間大；糾刪碼機制雖然能夠節(jié)省存儲開銷，但造成了讀數(shù)據(jù)性能的下降［1］。本文在分析現(xiàn)有冗余存儲方案的基礎(chǔ)上，從存儲開銷和訪問質(zhì)量等方面考慮，提出一種基于糾刪碼的動態(tài)副本冗余存儲方案DRBEC（dynamic replication based on erasure codes），將糾刪碼策略和副本策略合理結(jié)合，在盡量減小空間消耗的同時，提高系統(tǒng)的訪問效率。

1 相關(guān)技術(shù)和研究

副本冗余和糾刪碼冗余采用完全不同的方式對文件數(shù)據(jù)進行冗余存儲。副本冗余策略是對文件進行簡單的復(fù)制后，將各個副本文件分別存儲在不同的集群節(jié)點服務(wù)器上，進行多副本靜態(tài)保存，提高系統(tǒng)的容錯能力、提升數(shù)據(jù)資源的使用效率和數(shù)據(jù)的訪問性能。糾刪碼冗余策略則是將文件分割后進行編碼冗余保存?；诩m刪碼的容錯技術(shù)可以簡單記為 （n，k，t，Q），其編碼使用過程為：

（1）將待存文件數(shù)據(jù)分為k個分片；

（2）將k個分片進行冗余編碼，生成n （n＞k）個冗余分片，并且將它們分別存儲在不同的服務(wù)器節(jié)點上；

（3）當(dāng)用戶訪問或者修復(fù)數(shù)據(jù)時，從n個分片中選取t（k≤t＜n）個有效分片，從每個分片上下載Q 比例的存儲量來進行譯碼，恢復(fù)原文件數(shù)據(jù)。

云存儲中最常用的糾刪碼為 RS （reed－solomon codes）［2］糾刪碼，它是一種線性編碼，可記為 （n，k，k，1），即譯碼時需要下載k個完全分片?？紤]到修復(fù)網(wǎng)絡(luò)帶寬問題，Dimakis等人在Infocomm 會議中提出的一種基于網(wǎng)絡(luò)的新型糾刪碼——再生碼 （regenerating codes，RC）［3］。RC碼的參數(shù)表示為 ｛［n，k，d］， （α，β，B）｝，將大小為B的文件編碼存儲在n個節(jié)點上，每個節(jié)點存儲α數(shù)據(jù)量，修復(fù)節(jié)點時連接任意存活的d （k≤d≤n－1，系統(tǒng)節(jié)點k為修復(fù)節(jié)點的最小連接個數(shù)）個節(jié)點，每個節(jié)點的下載量為β（β≤α），節(jié)點的修復(fù)帶寬為γ＝d·β。

相同冗余度情況下，糾刪碼消耗的空間比純副本方案更小，容錯能力較強，空間利用率高［4］。卡內(nèi)基梅隆大學(xué)的PDL （parallel data lab）實驗室提出了DiskReduce［5］的系統(tǒng)方案，采用異步編碼方式，先將文件進行3倍副本的存儲，之后在后臺進行編碼，利用多副本的高效訪問來提高系統(tǒng)的I／O 吞吐量和計算并行性。DiskReduce考慮到系統(tǒng)的訪問效率和存儲消耗，但僅以時間關(guān)系來判斷編碼的時機，沒有提出更好地編碼機制。文獻 ［6］提出了一種改進方案Noah，該方案基于編碼策略和動態(tài)副本策略的結(jié)合，將編碼后的分片進行冗余存儲，實時監(jiān)控文件的訪問頻度，并根據(jù)需求動態(tài)改變分片副本的數(shù)量和位置，有效減少空間的浪費、改善了系統(tǒng)的負載均衡能力，但用戶的訪問仍然需要譯碼開銷?，F(xiàn)有研究結(jié)果表明，由于網(wǎng)絡(luò)問題而致使用戶無法接入集中式服務(wù)的時間達1.5%～2%［7］，這種實時監(jiān)控下進行的動態(tài)調(diào)整沒有考慮網(wǎng)絡(luò)延遲給用戶訪問性能造成的影響。

文獻 ［1］中，作者經(jīng)過實驗結(jié)果表明副本數(shù)量的增加會顯著提高讀數(shù)據(jù)的吞吐量。根據(jù)一些行業(yè)報告，云存儲中有70%以上的數(shù)據(jù)是被靜態(tài)存儲的，很少甚至可能不會再被訪問，對于靜態(tài)存儲的數(shù)據(jù)若用副本方案存儲會浪費大量的存儲空間。

綜上所述，本文結(jié)合糾刪碼和副本策略的優(yōu)缺點，提出一種基于糾刪碼的動態(tài)副本冗余存儲方案DRBEC，在糾刪碼策略的基礎(chǔ)上使用副本策略，并動態(tài)調(diào)整副本的數(shù)量。

2 DRBEC方案

本文提出的基于糾刪碼的動態(tài)副本冗余存儲方案DRBEC，其基本設(shè)計思想如下：

（1）首先，在未知文件使用熱度的情況下，通過對RS碼和RC碼的比較，創(chuàng)新地使用RC碼對文件進行編碼，實現(xiàn)文件的編碼冗余存儲；

（2）其次，根據(jù)文件的訪問記錄，預(yù)測其訪問熱度，再結(jié)合系統(tǒng)當(dāng)前的狀態(tài)，在糾刪碼的基礎(chǔ)上增加原文件的副本存在形式，并動態(tài)調(diào)整原文件的副本數(shù)量。

對于靜態(tài)文件，系統(tǒng)將它們以糾刪碼的方式冗余存儲，用較小的空間消耗保證了數(shù)據(jù)的可靠性；對于訪問頻繁的熱點文件，系統(tǒng)根據(jù)其訪問熱度將文件還原后，適時調(diào)整原文件副本的數(shù)量，從而提高用戶的訪問質(zhì)量。

2.1 基于RC再生碼的編碼冗余存儲

云存儲中，使用糾刪碼冗余策略來存儲數(shù)據(jù)，可以高效的利用存儲空間保證系統(tǒng)的可靠性，但編碼和譯碼過程將帶來不容忽視的帶寬消耗問題。云計算環(huán)境下，帶寬消耗應(yīng)作為糾刪碼設(shè)計主要關(guān)注的指標(biāo)［8］。

2.1.1 RC碼的帶寬優(yōu)勢

RC碼是一種基于網(wǎng)絡(luò)的編碼。最小存儲量的RC 編碼稱為MSR （minimum storage regenerating）編碼，對于大小為B的文件，節(jié)點存儲量αMSR＝B／k，修復(fù)帶寬γMSR＝B＊d／ （k＊d－k2＋k）。相比RS編碼，RC 編碼擁有更小的恢復(fù)帶寬。MSR 編碼與RS編碼的比較結(jié)果見表1。

表1 MSR 編碼與RS編碼的對比

從表1中可以看出，RS編碼與MSR 編碼的空間消耗和系統(tǒng)可靠性是相同的。當(dāng)d＝k時，MSR 編碼的修復(fù)帶寬與RC碼的修復(fù)帶寬相同，即γMSR＝γRC＝B；但當(dāng)d＞k時，修復(fù)帶寬γMSR＜γRC＝B。MSR 編碼的修復(fù)帶寬與連接節(jié)點個數(shù)d的關(guān)系如圖1所示，當(dāng)d－k＞0時，MSR 編碼的修復(fù)帶寬遠遠小于RS編碼，并且隨著連接節(jié)點d－k值的增大，節(jié)點的修復(fù)帶寬減小。

圖1 MSR 編碼的修復(fù)帶寬消耗與d－k值的關(guān)系

2.1.2 基于RC碼的分組編碼存儲

在使用糾刪碼進行文件冗余存儲時，通常是將整個文件分片后直接進行編碼存儲，導(dǎo)致文件更新時需要將整個文件還原更新后重新編碼。為了降低用戶更新數(shù)據(jù)引起的重新編碼開銷，本文中對文件進行RC 碼編碼時提出先分組后編碼的思想：將文件分片后分為兩組，最后一個分片作為單獨一組進行多副本保存，其它分片作為另一組進行糾刪碼編碼冗余保存。文件更新時，只需追加到最后一個分片上，對最后一個分片的各個副本進行更新，而無需對整個文件進行重新編碼。

Rashmi等人在文獻 ［9］中給出RC碼的最小存儲量編碼方案PM＿MSR：令β＝t，取d＝2k－2，則B＝k＊ （k－1）＊t，α＝ （k－1）＊t?；赑M＿MSR 方案的RC 碼分組編碼算法如下：

（1）將原文件分為k＊ （k－1）＋1 個分片：b1，b2，…，bk（k－1），bk（k－1）＋1，將前k＊ （k－1）個分片劃分為組B1，最后一個分片bk（k－1）＋1劃分為組B2；

（2）將B1組中各個分片進行條帶化，用向量珚B＝ ［b1，b2，…，bk（k－1）］表示。取珚B 的前 （k－1）＊k／2個分片構(gòu)成的 （α×α）矩陣X 的上三角部分，且XT＝X。B1組剩余的分片構(gòu)成 （α×α）矩陣Y 的上三角，且YT＝Y(jié)。定義 （d×α）的數(shù)據(jù)矩陣為

（3）定義基于有限域Fq上運算的范德蒙德修復(fù)矩陣R＝ ［ф Λф］，ф是 （n×α）維矩陣，Λ為 （n×n）的對角矩陣，其對角線元素互不相同，且矩陣R 的任意2α行線性無關(guān)、Λ的任意α行線性無關(guān)；

（4）RC碼編碼矩陣為C（b），且有

第i行的編碼向量Ci＝Ri·D（b），由節(jié)點i存儲。

如圖2所示，當(dāng)還原文件時，先還原組B1數(shù)據(jù)。由任意k個節(jié)點得到C（b）的k行向量，組成 （k×d）矩陣。由式 （1）和式 （2）可知Rk·D（b）＝Wk·X＋Zk·Y。由于矩陣R 的任意2α行線性無關(guān)，且矩陣X 和Y 為對稱矩陣，可以解出矩陣X 和Y，從而得到D（b）并還原出珚B＝ ［b1，b2，…，bk（k－1）］。得到B1組數(shù)據(jù)后，將恢復(fù)出的B1數(shù)據(jù)與B2組數(shù)據(jù)的副本結(jié)合，從而還原出整個原文件。而修復(fù)失效節(jié)點時，則從剩余有效節(jié)點中任選d個節(jié)點獲取γ＝d·β的有效數(shù)據(jù)來精確恢復(fù)失效節(jié)點。

圖2 基于PM＿MSR 分組編碼的數(shù)據(jù)重構(gòu)過程

2.2 動態(tài)調(diào)整文件副本

文件上傳后，如果單純以糾刪碼方式存儲文件，其提供訪問的能力有限，并且用戶訪問延遲過大。因此當(dāng)文件訪問熱度增加到一定程度后，本文通過調(diào)整原文件的副本數(shù)量來保證用戶的訪問質(zhì)量。對于云存儲這種特殊服務(wù)，在網(wǎng)絡(luò)傳輸帶寬和磁盤I／O 帶寬有限的情況下，通過預(yù)測來尋找合適的副本創(chuàng)建時機，可以提高系統(tǒng)的整體性能。

2.2.1 文件熱度預(yù)測

將文件的周期訪問量按時間排列后呈現(xiàn)時間序列，一份文件相近周期的訪問量具有相似性，隨著文件創(chuàng)建時間的推移，文件的訪問熱度呈現(xiàn)先上升后下降的趨勢［10］。因此本文采用基于多項式的非線性曲線擬合預(yù)測方法來預(yù)測文件的訪問熱度，根據(jù)歷史記錄對時間序列值進行多項式擬合，得到被測對象的發(fā)展趨勢，從而預(yù)測下個序列值。多項式曲線擬合模型為

將訪問量按觀察周期T 的先后列為時間序列，得到自變量和因變量的n個觀察值為：x11，x22，x33，…，xTn和y（T1），y（T2），y（T3），…，y（Tn），則輸入矩陣X 和Y如下

系數(shù)矩陣β＝ ［β0β1… βn］，由式 （3）知Y＝X·βT，從而求出β，得到時間序列的擬合曲線。

不同時間段，用戶對于數(shù)據(jù)的訪問熱度呈現(xiàn)波動現(xiàn)象。對文件周期訪問量的時間序列，將Tn＋1前的n個周期T1，T2，T3，T4，T5，…，Tn的周期訪問量進行t次曲線擬合，次數(shù)為t（t＝2，3，4）的擬合曲線的擬合誤差為

式中：yTi——周期Ti的實際訪問量，yt（Ti）為Ti的擬合訪問值。通過比較t，得到擬合誤差最小的ts，其對應(yīng)的擬合曲線為yts。則預(yù)測得到周期Tn＋1的訪問量為

鑒于用戶對文件訪問的隨機性，訪問量在短期內(nèi)隨著時間呈現(xiàn)波動，如果僅僅通過n個觀察周期擬合得到的整體趨勢來進行預(yù)測，預(yù)測結(jié)果誤差較大。本文對基于n個周期進行的簡單曲線擬合預(yù)測方法進行改進，將預(yù)測周期Tn＋1前的3個周期作為短周期進行小趨勢預(yù)測，而后把該結(jié)果與基于n個周期的整體趨勢得到的預(yù)測值進行加權(quán)平均，用近期小趨勢預(yù)測值調(diào)整n個周期的大趨勢預(yù)測結(jié)果，從而減小預(yù)測誤差。

近期小趨勢預(yù)測采用二次曲線的預(yù)測，其模型為

2.2.2 副本的動態(tài)生成和刪除

對于云中的文件資源R，當(dāng)實際訪問量超過了云系統(tǒng)中R 所能提供的訪問上限時，增加資源R 的副本數(shù)量，則可以增加R 提供訪問的能力；若文件訪問量減少，減少副本以減少存儲開銷。為此，本文結(jié)合2.2.1 小節(jié)給出的文件訪問熱度預(yù)測結(jié)果，動態(tài)管理副本的生成和刪除。

用戶在周期Tz中對資源R 訪問總數(shù)WR（Tz）和文件當(dāng)前的副本數(shù)量r（Tz）由主節(jié)點nameNode記錄保存。R在服務(wù)器i上的副本或編碼分片Ri的訪問隊列被記錄在一張表中，由數(shù)據(jù)節(jié)點dataNode服務(wù)器i動態(tài)維護。將服務(wù)器i上Ri的周期訪問量，即隊列個數(shù)記為Ri（Tz）。在本文中，為了更加清晰的說明副本生成和刪除時機的計算模型，特給出以下幾個定義：

定義1 令η為存儲資源R 編碼分片的服務(wù)器節(jié)點集合，ε為擁有資源R 副本的服務(wù)器節(jié)點集合，δk（Tz）為服務(wù)器k在周期Tz內(nèi)可響應(yīng)的訪問次數(shù)。資源R 以糾刪碼形式提供訪問的上限為ζ（Tz），并且對任意i都有ζ（Tz）≤ζi∈η（Tz）。則資源R 的總訪問上限為

定義2 當(dāng)文件基于 ［n，k，d］MSR 編碼時，周期Tz中文件冗余度MR定義為：MR（Tz）＝n／k＋r（Tz），其中r（Tz）為當(dāng)前周期中文件R 的副本數(shù)量。則定義資源R 的副本價值系數(shù)為

定義3 周期Tz中資源R 的訪問權(quán)重函數(shù)定義為

式中：n——最近n個周期。則服務(wù)器i上資源R 的副本Ri的訪問權(quán)重為

在判斷副本的生成時機時，在周期Tz中根據(jù)式 （8）預(yù)測得到資源R 在周期Tz＋1的訪問總量WR（Tz＋1），再由定義1中式 （9）計算出資源R 當(dāng)前的訪問上限ΨR（Tz），如果有WR（Tz＋1）≥ΨR（Tz）時，表示在Tz的下個周期Tz＋1中，對資源R 的訪問量將大于系統(tǒng)當(dāng)前所能提供的訪問上限，則應(yīng)該為資源R 創(chuàng)建副本。用戶可以選擇訪問新增副本服務(wù)器上的資源R。

在定義刪除副本的時機時，在周期Tz中，當(dāng)由定義2中式 （10）計算出副本價值系數(shù)SR（Tz）≤1，即文件的訪問量小于文件的冗余度，或者當(dāng)系統(tǒng)檢測到?jīng)]有足夠的存儲空間時，需要選取適當(dāng)?shù)母北具M行刪除操作。由定義3中式 （11）和式 （12）計算各個副本資源的訪問權(quán)重，按照最近最久不用 （least recently used，LRU）置換算法進行資源選取，選擇權(quán)重θRi（Tz）最小的服務(wù)器上的副本資源對其進行懶惰刪除，即僅將空間狀態(tài)為標(biāo)為可用，但仍保留其數(shù)據(jù)信息。當(dāng)系統(tǒng)需要該空間時，才將磁盤信息進行徹底刪除并用新數(shù)據(jù)覆蓋。

3 仿真實驗

為了驗證本文提出的基于糾刪碼的動態(tài)副本冗余方案（DRBEC）的有效性，實驗分為兩部分，首先從網(wǎng)絡(luò)上捕獲數(shù)據(jù)，對改進的曲線擬合預(yù)測效果進行驗證。其次，搭建集群實驗環(huán)境，驗證該方案在數(shù)據(jù)存儲空間消耗和用戶訪問質(zhì)量方面的效果。

3.1 改進后曲線擬合的預(yù)測準(zhǔn)確度

實驗數(shù)據(jù)基于對100個網(wǎng)絡(luò)熱點視頻和熱點文獻 （每天訪問量大于1000）的跟蹤記錄，設(shè)定周期為10min，記錄這些文件的各個周期訪問量。依據(jù)2.2.1 小節(jié)改進前和改進后的曲線擬合方法，對這些文件的周期訪問量進行預(yù)測。圖3展示了預(yù)測準(zhǔn)確度大于80%的概率。

圖3 2種曲線擬合預(yù)測準(zhǔn)確度大于80%的概率

由圖3可以看出改進前簡單的曲線擬合預(yù)測的準(zhǔn)確度達到80%以上的概率只有60%左右，而改進后利用大趨勢和小趨勢的結(jié)合來減小波動給預(yù)測結(jié)果造成的誤差，使改進后的曲線擬合的預(yù)測準(zhǔn)確度在80%以上的概率達到90%左右，遠遠大于改進前的簡單曲線擬合。

3.2 集群環(huán)境下DRBEC方案的驗證實驗

基于Xen虛擬機搭建hadoop集群存儲平臺，1個name－Node和6個dataNode節(jié)點服務(wù)器使用內(nèi)存為2G，硬盤為50G，系統(tǒng)為Red hat Enterprise Linux 5。使用Hadoop集群的基準(zhǔn)測試系統(tǒng)SWIM （statistical workload injector for mapreduce）［11］，根據(jù)Yahoo的2000個Hadoop集群節(jié)點1個月的歷史信息，產(chǎn)生新的模擬數(shù)據(jù)訪問程序，來訪問系統(tǒng)中50GB的存儲文件。在不考慮刪除文件的情況下，圖4展示了SWIM 進行基準(zhǔn)測試時系統(tǒng)的空間消耗情況。

圖4 系統(tǒng)存儲空間消耗

對于冗余度r＝3的純副本方案，消耗的存儲空間始終是原文件的3倍，大于150GB。而DRBEC 方案中，采用［n＝5，k＝3，d＝4］的RC 碼進行編碼，由于采用分組編碼，文件上傳后最初消耗的存儲空間100G。隨后系統(tǒng)中一些文件的訪問熱度增加，文件的副本數(shù)量也隨之改變，空間消耗呈現(xiàn)波動。當(dāng)文件訪問熱度下降并趨于平穩(wěn)時，空間消耗也下降趨于平穩(wěn)，并且DRBEC方案整體空間消耗量遠遠小于純副本方案。

在使用Apache組織開發(fā)的壓力測試工具jmeter模擬用戶對于熱點文件的訪問時，用戶對不同大小的文件訪問的平均延遲時間如圖5所示。

圖5 對不同大小文件訪問的平均延遲

當(dāng)熱點文件的并發(fā)訪問量很高時，Noah方案中動態(tài)副本策略采用實時監(jiān)控方式，副本生成時的網(wǎng)絡(luò)延遲影響用戶的訪問質(zhì)量，而DRBEC方案預(yù)測文件的訪問熱度，針對預(yù)測結(jié)果提前更改文件的副本數(shù)量，有效減少了實時檢測方式下網(wǎng)絡(luò)和磁盤I／O 帶來的延遲，提高了用戶的訪問成功率。

圖6展示2種方式下對不同大小的文件訪問成功率對比。隨著文件的增大，訪問延遲時間就越長，文件請求超過一定時間時，訪問就失敗，因此實時監(jiān)控下文件創(chuàng)建的延遲造成不能及時響應(yīng)用戶的訪問，降低了文件的訪問成功率。而DRBEC方案下，由于預(yù)測而提前增加的副本服務(wù)器減小了文件創(chuàng)建延遲的影響，使用戶的訪問能夠得到及時地響應(yīng)，提高了用戶訪問的成功率。

圖6 對不同大小文件的訪問成功率

4 結(jié)束語

本文針對單一冗余策略的不足，提出DRBEC方案，基于恢復(fù)帶寬更小的RC 碼冗余存儲的基礎(chǔ)上使用動態(tài)副本策略，采用預(yù)測得到文件的訪問熱度實時改變文件的副本數(shù)量。通過搭建原型系統(tǒng)的實驗和分析結(jié)果表明，DRBEC方案能有效降低網(wǎng)絡(luò)延遲和磁盤I／O 性能給用戶帶來的訪問延遲，提高用戶的訪問質(zhì)量，解決了冗余存儲帶來的空間消耗和用戶數(shù)據(jù)的高可靠性、高效訪問之間的矛盾。

在未來的工作中，將對DRBEC方案中數(shù)據(jù)存放的安全性做進一步研究，并且考慮系統(tǒng)的負載均衡問題，使存儲系統(tǒng)更加可靠，為用戶提供更加高效的訪問，并在實際場景下對其效果進行測試。

［1］CHENG Zhendong，LUAN Zhongzhi，MENG You，et al.Research and practice on erasure codes in cloud ［J］.Computer Science and Exploration，2013，7 （4）：315－325 （in Chinese）.［程振東，欒鐘治，孟由，等.云文件系統(tǒng)中糾刪碼技術(shù)的研究與實現(xiàn) ［J］.計算機科學(xué)與探索，2013，7 （4）：315－325.］

［2］DU Junchao，LIU Hui，LI Xiaojun，et al.The performance evaluation of the wireless sensor network information distribution protocol based on RS code［J］.Computer Science，2011，38 （B10）：315－318 （in Chinese）. ［杜軍朝，劉惠，李曉軍，等.基于RS糾刪碼的無線傳感器網(wǎng)絡(luò)信息分發(fā)協(xié)議性能評價［J］.計算機科學(xué)，2011，38 （B10）：315－318.］

［3］Dimakis A G，Godfrey P B，Wu Y，et al.Network coding for distributed storage systems ［J］.IEEE Transactions on Information Theory，2010，56 （9）：4539－4551.

［4］Dimakis A G，Ramchandran K，Wu Y，et al.A survey on network codes for distributed storage ［J］.Proceedings of the IEEE，2011，99 （3）：476－489.

［5］Fan B，Tantisiriroj W，Xiao L，et al.DiskReduce：RAID for data－intensive scalable computing ［C］／／Proceedings of the 4th Annual Workshop on Petascale Data Storage.ACM，2009：6－10.

［6］LI Xiaokai，DAI Xiang，LI Wenjie，et al.HDFS improvement system based on dynamic replication redundancy and erasure code strategy ［J］.Computer Application，2012，32 （8）：2150－2153 （in Chinese）.［李曉愷，代翔，李文杰，等.基于糾刪碼和動態(tài)副本策略的HDFS 改進系統(tǒng) ［J］.計算機應(yīng)用，2012，32 （8）：2150－2153.］

［7］Bonvin N，Papaioannou T G，Aberer K.The costs and limits of availability for replicated services［C］∥ACDC，2009.

［8］Khan O，Burns R，Plank J，et al.Rethinking erasure codes for cloud file systems：Minimizing I／O for recovery and degraded reads［C］／／Proc of USENIX FAST，2012.

［9］Rashmi K V，Shah N B，Kumar P V.Optimal exact－regenerating codes for distributed storage at the MSR and MBR points via a product－matrix construction ［J］.IEEE Transactions on Information Theory，2011，57 （8）：5227－5239.

［10］DONG Jiguang，CHEN Weiwei，WU Haijia，et al.The research on load balance based on dynamic copy in cloud storage［J］.Computer Application and Rearch，2012，29 （9）：3422－3424 （in Chinese）.［董繼光，陳衛(wèi)衛(wèi)，吳海佳，等.基于動態(tài)副本技術(shù)的云存儲負載均衡研究 ［J］.計算機應(yīng)用研究，2012，29 （9）：3422－3424.］

［11］Chen Y，Ganapathi A，Griffith R，et al.The case for evaluating MapReduce performance using workload suites［C］／／IEEE 19th International Symposium on Modeling，Analysis ＆ Simulation of Computer and Telecommunication Systems，2011：390－399.