夏亞楠, 王 勇

(桂林電子科技大學 計算機與信息安全學院,廣西 桂林 541004)

隨著信息化的普及,各行各業(yè)每天產(chǎn)生的數(shù)據(jù)量都在以指數(shù)級的速度快速增長,預(yù)計到2025年,全球數(shù)據(jù)量相較2016年將增加10倍[1]。傳統(tǒng)的存儲模式已經(jīng)無法應(yīng)對海量數(shù)據(jù)的存儲需求,而分布式存儲系統(tǒng)通過廉價的商用硬件較好地解決了這一問題,目前投入商業(yè)使用的有OpenStack Swift、Amazon EBS、Ceph等[2]。其中,Ceph因具有可擴展性、高性能、統(tǒng)一存儲以及適用范圍廣的優(yōu)勢,被廣泛應(yīng)用于當前主流的軟硬平臺。

作為分布式對象存儲典型代表,Ceph 最初由Weil等開發(fā)提出,十多年間已經(jīng)有超過100家公司(機構(gòu))研究與使用Ceph,其中包括歐洲原子能研究組織、Yahoo、阿里巴巴等。同時由于不同的應(yīng)用場景對存儲系統(tǒng)的關(guān)注點不同,吸引許多學者開展了一系列針對Ceph性能優(yōu)化的研究,主要包括讀寫性能優(yōu)化、節(jié)點工作負載優(yōu)化、存儲數(shù)據(jù)分布的優(yōu)化等方面。為了提高Ceph中數(shù)據(jù)的讀寫性能,Zhan等[3]針對librados庫方法,應(yīng)用2種多線程算法來優(yōu)化讀寫性能,使得大文件的下載速度和小文件的上傳、下載速度得到了提升;Ceph節(jié)點工作負載方面,Sevilla等[4]設(shè)計了可編程元數(shù)據(jù)存儲系統(tǒng),將策略和遷移機制分離,可以滿足用戶不同需求時節(jié)點負載均衡;在存儲節(jié)點選擇方面,SHA 等[5]根據(jù)Ceph的架構(gòu)和MapReduce的特性,提出了一種混合整數(shù)線性規(guī)劃方法來選擇最優(yōu)的存儲節(jié)點,解決了Ceph存儲系統(tǒng)中應(yīng)用MapReduce算法配合CRUSH 算法進行節(jié)點選擇時系統(tǒng)性能較差的問題。但是這些對Ceph集群數(shù)據(jù)存儲位置選擇策略和工作負載的研究并未考慮節(jié)點間的網(wǎng)絡(luò)狀態(tài)信息。

SDN作為一種新的網(wǎng)絡(luò)模型,解決了傳統(tǒng)的網(wǎng)絡(luò)狀態(tài)測量方法存在的網(wǎng)絡(luò)配置復(fù)雜且資源消耗較大的問題[6]。目前SDN在網(wǎng)絡(luò)狀態(tài)信息測量方面的研究有:Harewood-Gill等[7]針對現(xiàn)有網(wǎng)絡(luò)方法無法應(yīng)對Qos要求指數(shù)增長的問題,提出利用SDN 綜合考慮時延和帶寬的Q-Routing算法來選擇最佳路徑,該算法與K-Shortest Path算法相比具有更快的路徑計算速度;Okwuibe等[8]在邊緣云環(huán)境下提出一種基于SDN的資源管理模型,該模型對內(nèi)存、帶寬等資源進行集中管理,并自動計算不同條件下的最佳資源分配方案,根據(jù)預(yù)定義的約束動態(tài)調(diào)整分配的資源,降低了系統(tǒng)的部署成本;王勇等[9]設(shè)計出一種SDN與Ceph結(jié)合的架構(gòu),利用SDN 獲取的信息選擇性能最優(yōu)OSD 的方式,顯著提升了Ceph的讀性能。這些工作為在Ceph中獲取網(wǎng)絡(luò)狀態(tài)信息來進行節(jié)點選擇提供了有力依據(jù)。

雖然國內(nèi)外學者在Ceph性能優(yōu)化和利用SDN優(yōu)化網(wǎng)絡(luò)存儲方面取得了很多成果,但較少有研究從利用SDN獲取的網(wǎng)絡(luò)信息來增強系統(tǒng)容錯性的角度優(yōu)化Ceph性能[10]。因此,考慮Ceph集群中節(jié)點的負載狀況,結(jié)合SDN中集中控制思想,給出一種提升集群故障節(jié)點修復(fù)性能的節(jié)點容錯選擇(fault-tolerant node selection based on Ceph,簡稱FTNSC)算法。

1 Ceph數(shù)據(jù)修復(fù)過程及問題描述

Ceph的三副本模式提供了良好的容錯性,使得在出現(xiàn)磁盤故障、服務(wù)器宕機等故障時不會出現(xiàn)數(shù)據(jù)丟失,但在故障發(fā)生后仍需對丟失的副本數(shù)據(jù)進行修復(fù),以保證數(shù)據(jù)的高可靠性[11]。按照是否能夠依靠日志進行修復(fù),Ceph中存在2種修復(fù)方式:Recovery和Backfill[12]?？紤]受損副本能夠通過日志進行修復(fù)的Recovery過程。根據(jù)受損副本存在的位置不同,Recovery有2種修復(fù)的方式,當降級對象在Primary PG上時,Primary PG所在主OSD會通過Pull方式從其他的副本拉取待修復(fù)對象的權(quán)威版本至本地完成修復(fù);當其他副本存在降級對象時,Primary PG所在主OSD 會通過Push方式主動將待修復(fù)對象的權(quán)威版本推送到目標副本,由副本完成修復(fù)[13]。最后當數(shù)據(jù)修復(fù)工作完成后,副本中的數(shù)據(jù)恢復(fù)一致。若數(shù)據(jù)放置節(jié)點的負載較高或節(jié)點間網(wǎng)絡(luò)狀態(tài)較差,將會影響數(shù)據(jù)修復(fù)過程的修復(fù)時延。

Ceph中數(shù)據(jù)的映射過程如圖1所示,從圖1可知,Ceph將數(shù)據(jù)映射到OSD上主要分為3步:1)將文件切分為同等大小的多個對象,每個對象獲得唯一的ID,記為oid。2)利用哈希函數(shù)對每個oid進行哈希運算,得到的結(jié)果與mask(mask=PGs-1)值按位進行與操作,生成PG的編號pgid。3)通過crush算法將PG映射到OSD中。此過程運算如式(1)所示。

圖1 數(shù)據(jù)映射過程

其中:CRUSH_Map表示保存集群拓撲狀態(tài)等信息的映射表;CRUSH_Rule表示副本的容錯規(guī)則,最終得到存放三副本的3個OSD,其中編號最小的為Primary OSD(主OSD),剩余的為Replica OSD(次OSD)。在CRUSH 算法中,CRUSH Maps作為記錄存儲集群的層級結(jié)構(gòu)與副本映射以及節(jié)點權(quán)重的參數(shù),將存儲容量作為權(quán)重決策的唯一因素,卻未考慮節(jié)點負載和網(wǎng)絡(luò)狀態(tài)對于集群的影響,這會導(dǎo)致節(jié)點負載過高或網(wǎng)絡(luò)性能很差的節(jié)點仍會被選為存儲節(jié)點,影響集群的整體性能。

根據(jù)對Ceph發(fā)生故障時的數(shù)據(jù)修復(fù)過程和節(jié)點的選擇算法分析發(fā)現(xiàn),雖然Ceph的節(jié)點選擇策略能夠?qū)?shù)據(jù)均勻地分布在集群中的同時,也保證了集群的穩(wěn)定性和靈活性,但是由于CRUSH 過程將節(jié)點的剩余存儲容量作為數(shù)據(jù)映射過程中選擇主次OSD的唯一決定因素,當有節(jié)點發(fā)生故障時較高的節(jié)點負載和副本之間較差的網(wǎng)絡(luò)狀態(tài)會導(dǎo)致節(jié)點的修復(fù)時延較長,后續(xù)故障會導(dǎo)致更高的數(shù)據(jù)丟失概率。針對上述問題,綜合考慮異構(gòu)節(jié)點的性能和副本之間的網(wǎng)絡(luò)狀態(tài),建立優(yōu)化Ceph系統(tǒng)性能的存儲節(jié)點選擇模型,以期在節(jié)點發(fā)生故障時能夠盡快地完成數(shù)據(jù)修復(fù),減少發(fā)生數(shù)據(jù)損壞的風險。

2 Ceph分布式存儲系統(tǒng)的節(jié)點容錯選擇算法

在具有N個OSD節(jié)點的Ceph集群中,每個節(jié)點最多可存放一份數(shù)據(jù)副本,將副本數(shù)設(shè)為3,則Ceph中的節(jié)點容錯選擇問題可總結(jié)為選擇合適的放置數(shù)據(jù)副本的OSD集合,使得節(jié)點出現(xiàn)故障時,最小化節(jié)點的數(shù)據(jù)修復(fù)時延。根據(jù)對節(jié)點容錯選擇方法的定義,按兩階段分別對主、次OSD進行選擇。

2.1 副本放置問題建模

將節(jié)點故障后的修復(fù)時延定義為2部分:節(jié)點處理時延和數(shù)據(jù)傳輸時延,具體模型構(gòu)建流程如圖2所示。

圖2 模型構(gòu)建流程

對于節(jié)點的處理時延,考慮節(jié)點異構(gòu)對于節(jié)點數(shù)據(jù)處理能力的影響,采用齊鳳林等[14]對節(jié)點處理能力的定義。考慮影響節(jié)點處理能力的因素有CPU性能、IO速率、內(nèi)存及芯片,分別用f1,f2,f3,f4來表示,并為這些影響因素分配相應(yīng)的權(quán)重w1,w2,w3,w4,則節(jié)點i的處理能力可表示為p=1

假設(shè)節(jié)點Ni需要處理的數(shù)據(jù)量為D,能力轉(zhuǎn)化系數(shù)為?,則節(jié)點Ni對數(shù)據(jù)的處理時延為

對于數(shù)據(jù)的傳輸時延,參考秦華等[15]對傳輸時延的定義,將傳輸路徑上各段鏈路的傳輸時延之和作為端到端的傳輸時延,設(shè)E(Ni,Nj)為節(jié)點Ni與Nj之間的傳輸路徑,b為路徑帶寬,則節(jié)點Ni與Nj之間的傳輸時延為

在對失效節(jié)點的數(shù)據(jù)進行修復(fù)時,若是主OSD故障,則需要從次OSD拉取需要修復(fù)的數(shù)據(jù)到本地;若次OSD發(fā)生故障,則需主OSD 主動將數(shù)據(jù)Push到次OSD,整個數(shù)據(jù)修復(fù)時間包括源節(jié)點和目的節(jié)點的處理時間以及數(shù)據(jù)的傳輸時間:

其中,約束條件(7)中rj表示節(jié)點j的剩余容量,Dij表示從節(jié)點i傳輸?shù)焦?jié)點j的數(shù)據(jù)量,式(7)確保放置副本內(nèi)容資源請求不超過節(jié)點的剩余容量。約束條件(8)表示共有2個節(jié)點為節(jié)點i的數(shù)據(jù)提供副本訪問,即保證每份數(shù)據(jù)的三副本存儲。式(9)表示只考慮單點故障即一次修復(fù)操作只修復(fù)一個失效節(jié)點。式(10)中,φij為二進制決策變量,當φij值為1時,表示節(jié)點i將修復(fù)數(shù)據(jù)發(fā)往節(jié)點j,對節(jié)點j進行故障修復(fù),當φij值為0時則反之。式(11)中,xij表示副本放置的決策,xij=1時,表示節(jié)點j為節(jié)點i提供副本訪問,當xij值為0時,表示節(jié)點j為節(jié)點i提供副本訪問。

2.2 基于多屬性決策的主OSD選擇

根據(jù)Ceph數(shù)據(jù)映射過程可知,在Ceph的節(jié)點選擇中僅僅以節(jié)點的剩余存儲容量作為節(jié)點被選擇的權(quán)重因子。對此在考慮節(jié)點剩余容量的基礎(chǔ)上增加節(jié)點CPU、IO、芯片3個指標作為節(jié)點選擇的權(quán)重因素,使用基于理想解的副本選擇方法確定出具有最優(yōu)處理性能的節(jié)點,作為副本數(shù)據(jù)存放的主OSD。

逼近理想解排序法(technique for order preference by similarity to ideal solution, 簡稱TOPSIS)是一種有效的多屬性決策方案,該方法從歸一化的原始數(shù)據(jù)矩陣中構(gòu)造出決策問題的正理想解和負理想解,通過計算各方案與正、負理想解的距離作為評價方案的準則[16]。主OSD選擇算法設(shè)計如下:

步驟1:決策矩陣構(gòu)造及其歸一化

設(shè)基于多屬性決策的主OSD 問題中有m個節(jié)點,得到節(jié)點方案集P={P1,P2,…,Pm},每個節(jié)點有4個屬性指標,構(gòu)成節(jié)點屬性集A={A1,A2,A3,A4},決策矩陣構(gòu)造如下:

步驟2:構(gòu)造加權(quán)決策矩陣

OSD節(jié)點的CPU、I/O、內(nèi)存及芯片對節(jié)點處理能力的影響是不同的,對于相對重要的屬性如I/O分配較大的權(quán)重因子,每個屬性分配的具體權(quán)重Wj通過實驗的方式獲取[17]。得到加權(quán)決策矩陣

其中,Z+表示加權(quán)決策矩陣的正理想解,由集群中所有候選節(jié)點上每種屬性的最大值構(gòu)成;Z-表示加權(quán)決策矩陣的負理想解,由集群中所有候選節(jié)點上每種屬性的最小值構(gòu)成。

步驟4:計算每個候選節(jié)點到正負理想解的距離

2.3 基于人工蜂群算法的次OSD選擇

FTNSC算法在2.2節(jié)得到的節(jié)點性能最優(yōu)的主OSD基礎(chǔ)上,考慮節(jié)點性能以及與主OSD之間的網(wǎng)絡(luò)狀態(tài)對數(shù)據(jù)修復(fù)時延的影響,計算出不同候選節(jié)點的適應(yīng)度值,通過人工蜂群算法選擇出合適的次OSD節(jié)點。

人工蜂群(artificial bee colony,簡稱ABC)算法是一種模擬蜂群尋找蜜源過程的群體智能優(yōu)化算法,具有結(jié)構(gòu)簡單、控制參數(shù)較少及魯棒性強等特點。人工蜂群中的蜜蜂分為3種:雇傭蜂、跟隨蜂和偵查蜂。3種蜜蜂通過分工協(xié)作開采蜜源,并通過蜜源的標記與不斷分享更新位置尋找最優(yōu)蜜源,即問題的最優(yōu)解[18]。其中,蜜源的位置對應(yīng)優(yōu)化問題的一個可行解,蜜源的蜜量對應(yīng)適應(yīng)度值。算法步驟如下:

1)解的構(gòu)造和編碼:基本的ABC算法適用于連續(xù)型論域,并不適用于本節(jié)點選擇問題的整數(shù)編碼方式,因此將其進行離散化處理。假設(shè)集群中共有N個OSD節(jié)點,主OSD 的數(shù)據(jù)需要選擇2個次OSD進行放置,則解的構(gòu)造如式(20)所示。

xi={x1i,x2i},xji∈[xjmin,xjmax],i=1,2,…,N。(20)

其中:xi為第i個蜜源,即第i個節(jié)點選擇方案;xji表示第j個次OSD 選擇為編號為i的節(jié)點存儲數(shù)據(jù);xjmax、xjmin分別代表集群中OSD節(jié)點編號的上限和下限。如編碼{3,17},表示第一個次OSD節(jié)點選擇集群中id=3的節(jié)點,第二個次OSD 選擇集群中id=3的節(jié)點。

3)確定適應(yīng)度函數(shù)值:對于每個初始解,根據(jù)式(22)計算其適應(yīng)度值,判斷蜜源的優(yōu)劣。

設(shè)選擇出來的最佳主OSD節(jié)點編號為bm,則基于人工蜂群算法的次OSD選擇算法的適應(yīng)度函數(shù)表示選取具有節(jié)點處理性能以及與節(jié)點bm之間網(wǎng)絡(luò)狀態(tài)最好的節(jié)點作為次OSD,來減少發(fā)生故障時數(shù)據(jù)的修復(fù)時延。

5)跟隨蜂階段:雇傭蜂完成鄰域搜索后,跟隨蜂接收到雇傭蜂分享的信息后進行進一步開采,通過輪盤賭算法按式(25)計算的概率選擇蜜源,蜜源的適應(yīng)度值越大,被跟隨蜂選擇的概率越大。

6)偵查蜂階段:設(shè)定蜜源的開采上限為l次,若蜜源經(jīng)過l次迭代后適應(yīng)度值仍無變化,則為了防止陷入局部最優(yōu),將此蜜源淘汰,用式(21)產(chǎn)生的新蜜源替換。

迭代完成后,將適應(yīng)度值最大的蜜源作為最優(yōu)解,得到存放副本的2個次OSD節(jié)點,算法結(jié)束。

3 實驗設(shè)置與性能評估

為評估FTNSC算法的性能,在Mininet[19]網(wǎng)絡(luò)模擬器上模擬和構(gòu)建Ceph集群拓撲,并在SDN 控制器Ryu[20]上部署FTNSC算法。仿真實驗環(huán)境為:Intel Core i5-4210,操作系統(tǒng)為VMware Ubuntu 14.0,4 GiB 內(nèi)存,Mininet版本為2.3.0,Ryu 4.34以及1.3版本的Openflow協(xié)議。

將拓撲中存儲節(jié)點的個數(shù)設(shè)為24,節(jié)點中的數(shù)據(jù)采取三副本法則進行設(shè)置,網(wǎng)絡(luò)拓撲采用無向完全圖。模擬實驗場景中的異構(gòu)存儲節(jié)點的處理能力服從文獻[8],各異構(gòu)節(jié)點性能參數(shù)及其取值范圍為{CPU,[1,90]}, {I/O,[21,265]},{內(nèi)存,[0.3,76]}, {芯片,[0.5,23]},對應(yīng)的權(quán)重分別為30%,40%,20%,10%,節(jié)點能力轉(zhuǎn)化系數(shù)?為0.3。設(shè)置集群網(wǎng)絡(luò)拓撲中各鏈路的可用帶寬隨機均勻分布在50～100 Mbit/s,默認鏈路(Vi,Vj)與(Vj,Vi)相互獨立且大小相等。

Ceph集群中的失效節(jié)點的數(shù)據(jù)修復(fù)考慮2種情況:首先是降級對象發(fā)生在主OSD 節(jié)點,此時主OSD通過Pull方式從2個次OSD上拉取缺少的數(shù)據(jù);當次OSD 存在降級對象時,主OSD 通過Push方式主動將缺失數(shù)據(jù)推送到相應(yīng)的副本,本實驗中隨機設(shè)定故障節(jié)點來模擬Ceph集群中單節(jié)點失效的修復(fù)過程。算法分為2 個階段,第一個階段為主OSD的選擇過程,通過SDN 獲取異構(gòu)節(jié)點的CPU、IO、內(nèi)存以及芯片4個指標,并將其作為節(jié)點選擇的權(quán)重因素,使用基于理想解的副本選擇方法確定出具有最優(yōu)處理性能的節(jié)點。第二個階段在第一階段選擇出主OSD基礎(chǔ)上,考慮節(jié)點性能以及其與主OSD之間的網(wǎng)絡(luò)狀態(tài)對數(shù)據(jù)修復(fù)時延的影響,計算出不同候選節(jié)點的適應(yīng)度值,通過人工蜂群算法選擇出合適的次OSD節(jié)點。算法中涉及的參數(shù)如表1所示。

表1 算法參數(shù)取值

將FTNSC 算法與Ceph 云存儲系統(tǒng)原生的CRUSH 算法以及NSMBD 算法[8]進行對比實驗。其中,CRUSH 算法作為Ceph云存儲系統(tǒng)數(shù)據(jù)映射過程的經(jīng)典算法,將存儲節(jié)點按剩余存儲容量進行排序,選擇存儲容量性能最優(yōu)的3個節(jié)點。NSMBD是一種有效的針對小文件的Ceph存儲系統(tǒng)節(jié)點選擇方法,其利用SDN獲取集群中的網(wǎng)絡(luò)帶寬性能,并用逼近理想解排序法選擇出性能最優(yōu)的3個節(jié)點來存放數(shù)據(jù)副本,以提高讀寫操作的吞吐量和響應(yīng)時間。實驗測試數(shù)據(jù)修復(fù)時延,從所選節(jié)點的CPU、IO、內(nèi)存、芯片角度對比3種算法的性能,每組實驗測試5次,取平均值作為實驗結(jié)果。

3.1 節(jié)點故障的數(shù)據(jù)修復(fù)時延

為了測試3種不同算法對于不同大小數(shù)據(jù)修復(fù)對象的修復(fù)時延的性能,如圖3所示,實驗中制定了50、100、150、200、250、300 MiB 6種對象的工作量,比較Ceph原有的CRUSH 算法、NSMBD算法和本算法在不同修復(fù)數(shù)據(jù)對象時,完成故障節(jié)點數(shù)據(jù)修復(fù)的時間。

圖3 數(shù)據(jù)修復(fù)時延

從圖3可看出,對于6種不同規(guī)模的修復(fù)數(shù)據(jù),FTNSC算法均擁有最優(yōu)修復(fù)時延,且對于200 MiB以下的小規(guī)模修復(fù)數(shù)據(jù)有明顯提升,當修復(fù)數(shù)據(jù)的規(guī)模大于200 MiB時,數(shù)據(jù)修復(fù)時延的提升較小。由于CRUSH 算法選擇集群中剩余容量性能較優(yōu)的節(jié)點存儲數(shù)據(jù),但在節(jié)點發(fā)生失效而進行數(shù)據(jù)修復(fù)時,仍無法避免較差的網(wǎng)絡(luò)性能和節(jié)點其他性能的影響,導(dǎo)致修復(fù)時延較大。隨著修復(fù)數(shù)據(jù)量增大,上述缺陷得到一定程度的改善,但CRUSH 算法的修復(fù)時延在3種算法中仍最長。在不同的修復(fù)數(shù)據(jù)規(guī)模場景下,FTNSC算法的數(shù)據(jù)修復(fù)時延較CRUSH 算法減少了2%～29.7%,較NSMBD 算法減少了1.8%～18.4%,這是由于在實驗場景中引用了存儲節(jié)點處理能力的異構(gòu)和拓撲網(wǎng)絡(luò)狀況,為副本數(shù)據(jù)選擇性能最優(yōu)的節(jié)點進行存儲。

3.2 三副本節(jié)點性能

圖4為在修復(fù)數(shù)據(jù)大小為150 MiB,異構(gòu)節(jié)點的能力轉(zhuǎn)化系數(shù)為0.3時,FTNSC算法、NSMBD算法和CRUSH 算法所選OSD節(jié)點的CPU、IO、內(nèi)存及芯片性能情況。

圖4 節(jié)點性能

在節(jié)點的CPU、IO、芯片性能中,FTNSC算法所選主OSD的性能明顯優(yōu)于CRUSH 算法和NSMBD算法,這是由于FTNSC算法不僅考慮了集群節(jié)點的4種資源指標,還分別考慮了各個資源指標的權(quán)重情況,降低了所選節(jié)點某項資源指標性能較差的可能。對于次OSD,FTNSC算法在CPU 性能和IO速率上表現(xiàn)較好,但在內(nèi)存和芯片性能上提升并不明顯。Ceph存儲系統(tǒng)中的2種數(shù)據(jù)修復(fù)都依靠主OSD通過Pull或Push方式從次OSD中選取一個節(jié)點獲取或發(fā)送失效數(shù)據(jù),因此相對次OSD而言,主OSD在失效節(jié)點修復(fù)過程中具有更加重要的作用。在內(nèi)存方面,CRUSH 算法性能優(yōu)于FTNSC 算法,這是由于CRUSH 算法以內(nèi)存作為節(jié)點選擇的唯一標準。綜合4種指標,FTNSC算法所選節(jié)點的性能優(yōu)于另外2種算法,使得在發(fā)生節(jié)點失效時,節(jié)點具有更高的處理能力,從而減少數(shù)據(jù)修復(fù)的時延。

4 結(jié)束語

針對云存儲系統(tǒng)中大量使用廉價商用硬件引起的頻繁的節(jié)點失效問題,提出了一種Ceph存儲系統(tǒng)中FTNSC算法,通過優(yōu)化副本放置的節(jié)點位置來減少節(jié)點失效時的數(shù)據(jù)修復(fù)時延。首先利用軟件定義網(wǎng)絡(luò)技術(shù),獲得實時的網(wǎng)絡(luò)狀態(tài)和節(jié)點負載信息,并將其作為節(jié)點選擇方法的數(shù)據(jù)支撐;然后通過建立綜合考慮節(jié)點負載信息的多屬性決策數(shù)學模型確定主存儲節(jié)點位置;最后通過人工蜂群算法,根據(jù)與主存儲節(jié)點之間的網(wǎng)絡(luò)狀態(tài)以及節(jié)點性能得到最優(yōu)次存儲節(jié)點。實驗結(jié)果表明,FTNSC可以提高所選節(jié)點性能,同時減少數(shù)據(jù)的修復(fù)時延,降低集群中數(shù)據(jù)丟失的風險,從而提高整個存儲系統(tǒng)的可靠性。下一階段將考慮將FTNSC算法應(yīng)用到開源Ceph云存儲平臺上,產(chǎn)生實際價值。同時可以在SDN監(jiān)控的消耗問題上做進一步的研究,討論測量過程中對Ryu控制器的性能和交換機的帶寬資源的消耗。