張紅,薛東亮,李戰(zhàn)明*
(1 蘭州理工大學(xué) 電氣工程與信息工程學(xué)院,蘭州 730050;2 河南信息工程學(xué)校,鄭州 450011 )
云計(jì)算通過分布式處理方式,根據(jù)按需服務(wù)的原則,滿足用戶各種需求的一種新型商業(yè)模式,同時(shí)能提供個(gè)性化的IT服務(wù)[1,2].然而云計(jì)算服務(wù)所涉及的服務(wù)器、存儲(chǔ)、備份、網(wǎng)絡(luò)等設(shè)備,以及核心的技術(shù)虛擬化、自動(dòng)化都?xì)w屬數(shù)據(jù)中心范疇,所以云計(jì)算也被視為新一代數(shù)據(jù)中心的一個(gè)延伸方向.
當(dāng)管理成本、資源整合、業(yè)務(wù)響應(yīng)速度、信息安全以及能源管理各方面都凸顯危機(jī)時(shí),綠色數(shù)據(jù)中心應(yīng)運(yùn)而生.云計(jì)算(Cloud Computing)通過網(wǎng)絡(luò)有效聚合被虛擬化的計(jì)算資源,基于集中構(gòu)建的數(shù)據(jù)中心為單一用戶或多租客(Multi-tenant)提供動(dòng)態(tài)的、高性價(jià)比的、彈性規(guī)模擴(kuò)展的計(jì)算、存儲(chǔ)和各類信息服務(wù).綠色數(shù)據(jù)中心的含義就是通過各種技術(shù)手段,充分提高數(shù)據(jù)中心的能源效率,降低空氣中二氧化碳的排放量[3,4],盡量減少數(shù)據(jù)中心的系統(tǒng)耗電量,盡量讓空閑的資源節(jié)點(diǎn)滿負(fù)荷的運(yùn)轉(zhuǎn),盡量增大數(shù)據(jù)中心整體用電中用于IT系統(tǒng)比例.
預(yù)計(jì)未來五年我國數(shù)據(jù)中心處理能力的需求將達(dá)到7到10倍的增長,同時(shí)能耗的需求也將迅速攀升[5,6].在我國的能源結(jié)構(gòu)中,70%的能源靠燃煤獲得,這意味著云數(shù)據(jù)中心產(chǎn)生的高能耗還將帶來嚴(yán)重的環(huán)境問題;在一個(gè)數(shù)據(jù)中心的運(yùn)維成本費(fèi)用中,能耗占了40%以上;數(shù)據(jù)中心提供給云的動(dòng)力所排放的CO2已成為氣候變化的主要原因之一[7-9].
圖1描述的是2010年到2012年耗電量對(duì)比.
圖1 2010年到2012年耗電量對(duì)比Fig.1 Comparison of electricity consumption from 2010 to 2012
云數(shù)據(jù)中心的能源的使用效率常常通過電源使用效率(Power Usage Effectiveness,PUE)值和(數(shù)據(jù)中心基礎(chǔ)設(shè)施效率(Data Center Infrastructure Effectiveness,DCiE)值來衡量.其中,PUE值是指數(shù)據(jù)中心消耗的所有能源與IT負(fù)載消耗的能源之比.PUE值越接近于1,表示一個(gè)數(shù)據(jù)中心的綠色化程度越高.勞倫斯伯克利國家實(shí)驗(yàn)室(Lawrence Berkeley National Laboratory,LBNL)針對(duì)12個(gè)云數(shù)據(jù)中心能效情況的調(diào)查結(jié)果表明,數(shù)據(jù)中心的能耗分布為:IT設(shè)備占46%,溫控設(shè)備占31%,UPS設(shè)備(Uninterrupted Power Supply,無間斷供電)占8%,照明設(shè)施占4%、其它功耗占11%[10].圖2描述的是2010年到2012年耗電量增長率對(duì)比.
圖2 2010年到2012年耗電量增長率對(duì)比Fig.2 Comparison of growth rates of electricity consumption from 2010 to 2012
云計(jì)算平臺(tái)通過虛擬化和分布式等技術(shù),充分整合異構(gòu)資源和均衡資源負(fù)載,減少數(shù)據(jù)中心的能量消耗,從而實(shí)現(xiàn)綠色通信的目標(biāo).虛擬化通過降低能源成本和硬件成本的方式,改變著傳統(tǒng)的企業(yè)計(jì)算方式.在多年的實(shí)踐應(yīng)用過程中,虛擬化技術(shù)的優(yōu)勢(shì)已經(jīng)得到了業(yè)界的普遍認(rèn)可,在今后的發(fā)展過程中將更加普及.虛擬化技術(shù)的成熟是“云計(jì)算”快速發(fā)展的有力支持和保障[10].
云計(jì)算是通過使計(jì)算分布在大量的分布式計(jì)算機(jī)上,將異構(gòu)的資源有機(jī)整合成一體,根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng),資源整合在整個(gè)過程中舉足輕重.資源整合是指數(shù)據(jù)中心對(duì)不同層次、不同結(jié)構(gòu)的資源進(jìn)行識(shí)別與選擇、激活和有機(jī)融合,對(duì)資源的計(jì)算能力和異構(gòu)性進(jìn)行了封裝,從而讓綠色云計(jì)算系統(tǒng)的計(jì)算能力達(dá)到最優(yōu).
從資源整合和任務(wù)調(diào)度的角度針對(duì)面向綠色云計(jì)算的資源配置算法、任務(wù)調(diào)度策略及數(shù)據(jù)部署與緊湊機(jī)制等關(guān)鍵技術(shù)展開深入研究并提出解決方案,在保證系統(tǒng)QoS和SLA的前提下,使系統(tǒng)的各個(gè)環(huán)節(jié)運(yùn)行有序化,有效、合理地降低云數(shù)據(jù)中心的能耗.圖3描述的是綠色云計(jì)算的任務(wù)調(diào)度系統(tǒng)框架.
在任務(wù)調(diào)度的系統(tǒng)框架中,JobManager是SkyNet的Master,提供RPC服務(wù),接收并處理JobClient/Web提交的所有操作;與元數(shù)據(jù)通訊,維護(hù)Job元數(shù)據(jù);負(fù)責(zé)任務(wù)的統(tǒng)一配置維護(hù)、觸發(fā)、調(diào)度、監(jiān)控.JobMonitor: 監(jiān)控正在運(yùn)行的Job狀態(tài)、監(jiān)控任務(wù)池、監(jiān)控等待運(yùn)行的Job;JobWorker:SkyNet的Slave,從任務(wù)池中獲取Job、負(fù)責(zé)啟動(dòng)并收集Job的執(zhí)行狀態(tài),維護(hù)至元數(shù)據(jù)庫.JobClient/Web:SkyNet客戶端類,前端界面提供給用戶,用作任務(wù)的配置、管理、監(jiān)控等;任務(wù)元數(shù)據(jù):目前使用Mysql,保存Job的配置、依賴關(guān)系、運(yùn)行歷史、資源配置、告警配置等;
任務(wù)的執(zhí)行及服務(wù)的提供一般需要數(shù)據(jù)的支持.目前由物聯(lián)網(wǎng)(Internet of Things)、社會(huì)網(wǎng)絡(luò)(Social Networks)、移動(dòng)互聯(lián)網(wǎng)(Mobile Internet)等各類網(wǎng)絡(luò)應(yīng)用系統(tǒng)產(chǎn)生的大規(guī)模數(shù)據(jù)同樣依靠云計(jì)算數(shù)據(jù)中心來存儲(chǔ)和提供服務(wù).隨著的廣泛的普及,網(wǎng)絡(luò)每年產(chǎn)生的數(shù)據(jù)量以幾何級(jí)數(shù)增長.圖4描述的是綠色云計(jì)算的任務(wù)調(diào)度過程.
圖3 綠色云計(jì)算的任務(wù)調(diào)度系統(tǒng)框架Fig. 3 Task scheduling system Framework for Green Cloud Computing
圖4 綠色云計(jì)算的任務(wù)調(diào)度過程Fig.4 Task scheduling process of Green Cloud Computing
在詳細(xì)分析了綠色云計(jì)算的任務(wù)調(diào)度過程基礎(chǔ)上,結(jié)合遺傳算法具有較好的魯棒性和分布性等特征,本文設(shè)計(jì)一種基于資源整合的遺傳并行任務(wù)調(diào)度算法(Genetic Parallel Task Scheduling Algorithms Based on Resource Integration,GPTSA_RI).本文設(shè)計(jì)的GPTSA_RI算法的求解過程如下:
(1)初始化控制參數(shù):size 為群體規(guī)模,MaxGen為終止進(jìn)化代數(shù),Pc為交叉概率,Pm為變異概率.
(2)對(duì)要調(diào)度的資源和要執(zhí)行的任務(wù)進(jìn)行映射配對(duì),從而進(jìn)行基因編碼,并隨機(jī)產(chǎn)生初始種群.
(3)根據(jù)任務(wù)調(diào)度過程中,產(chǎn)生的能耗進(jìn)行適應(yīng)度評(píng)估.
ETC(i,j))+[vmin(i)]2×fmin(i)},
f(x)=e-∑Ei.
(4)分別對(duì)種群進(jìn)行選擇,交叉,變異操作,將更加優(yōu)良的個(gè)體產(chǎn)生到下一代子群.
(5)若滿足收斂條件,返回最優(yōu)解,結(jié)束算法;否則,返回到步驟(4).
仿真實(shí)驗(yàn)準(zhǔn)備了三種方案組合,方案1利用100項(xiàng)任務(wù)和5臺(tái)服務(wù)器,方案2利用500項(xiàng)任務(wù)和10臺(tái)服務(wù)器與方案3利用1000項(xiàng)任務(wù)和20臺(tái)服務(wù)器.為了測(cè)試本文設(shè)計(jì)的GPTSRI算法的性能,我們將其與文獻(xiàn)[1]的DECM 算法,文獻(xiàn)[3]的ARMCO算法進(jìn)行對(duì)比.
圖5到10分別顯示各方案中的任務(wù)調(diào)度的響應(yīng)時(shí)間(單位秒)和能量消耗(單位焦耳)的對(duì)比.通過仿真測(cè)試實(shí)驗(yàn)不難看出,在響應(yīng)時(shí)間和能量消耗等方面,本文設(shè)計(jì)的GPTSRI算法明顯優(yōu)于DECM 算法和ARMCO算法.
圖5 三種任務(wù)調(diào)度算法的響應(yīng)時(shí)間對(duì)比(任務(wù)數(shù)量100)Fig.5 Response time comparison of three task scheduling algorithms (number of tasks 100)
圖6 三種任務(wù)調(diào)度算法的能量消耗對(duì)比(任務(wù)數(shù)量100)Fig.6 Energy consumption comparison of three task scheduling algorithms (number of tasks 100)
圖7 三種任務(wù)調(diào)度算法的響應(yīng)時(shí)間對(duì)比(任務(wù)數(shù)量500)Fig.7 Response time comparison of three task scheduling algorithms (number of tasks 500)
圖8 三種任務(wù)調(diào)度算法的能量消耗對(duì)比(任務(wù)數(shù)量500)Fig.8 Energy consumption comparison of three task scheduling algorithms (number of tasks 500)
圖9 三種任務(wù)調(diào)度算法的響應(yīng)時(shí)間對(duì)比(任務(wù)數(shù)量1000)Fig.9 Response time comparison of three task scheduling algorithms (number of tasks 1000)
圖10 三種任務(wù)調(diào)度算法的能量消耗對(duì)比(任務(wù)數(shù)量1000)Fig.10 Energy consumption comparison of three task scheduling algorithms (number of tasks 1000)
云計(jì)算平臺(tái)通過虛擬化和分布式等技術(shù),充分整合異構(gòu)資源和均衡資源負(fù)載,減少數(shù)據(jù)中心的能量消耗,從而實(shí)現(xiàn)綠色通信的目標(biāo).本文基于資源整合策略,設(shè)計(jì)一種新的遺傳并行任務(wù)調(diào)度算法.該算法從資源整合和資源配置角度,充分考慮到綠色云計(jì)算平臺(tái)的分布性和異構(gòu)性等特征.從仿真測(cè)試的實(shí)驗(yàn)結(jié)果來看,該算法在響應(yīng)時(shí)間和能耗優(yōu)化等方面,都明顯優(yōu)于其他算法.
中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)2019年1期