黃焱，王鵬，謝高輝

?

基于PE方法的數(shù)據(jù)中心需量費(fèi)用優(yōu)化算法

黃焱1,2，王鵬3，謝高輝4

(1. 中國(guó)科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所，四川成都 610041；2. 中國(guó)科學(xué)院大學(xué)，北京 100049； 3. 西南民族大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川成都610041；4. 廣州五舟科技股份有限公司，廣東廣州 510000)

數(shù)據(jù)中心的電費(fèi)包含需量費(fèi)用和用量費(fèi)用2個(gè)部分，以往的數(shù)據(jù)中心電費(fèi)優(yōu)化研究通常未考慮需量費(fèi)用。在滿足服務(wù)質(zhì)量和響應(yīng)時(shí)間的約束條件下采用PE(partial execution)方法可以減少峰值功率，從而降低需量費(fèi)用。通過(guò)對(duì)時(shí)間、外部負(fù)載、服務(wù)質(zhì)量約束、響應(yīng)時(shí)間約束進(jìn)行建模，構(gòu)建電費(fèi)優(yōu)化問(wèn)題的模型，提出基于PE方法的需量費(fèi)用優(yōu)化算法PEDC（partial execution demand charge)，在高負(fù)載時(shí)間段執(zhí)行PE方法減小峰值功率以降低需量費(fèi)用并降低用量費(fèi)用，從而降低數(shù)據(jù)中心的總電費(fèi)。通過(guò)與4種算法進(jìn)行比較，并構(gòu)造準(zhǔn)確預(yù)測(cè)的負(fù)載數(shù)據(jù)對(duì)PEDC算法性能進(jìn)行測(cè)試，PEDC算法可以降低數(shù)據(jù)中心運(yùn)營(yíng)總電費(fèi)5.9%~12.7%，提升集群使用率1.32倍。

PE方法; 需量費(fèi)用; 用量費(fèi)用; 能耗費(fèi)用優(yōu)化

1 引言

近年來(lái)，云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等信息產(chǎn)業(yè)的前端領(lǐng)域高速發(fā)展，數(shù)據(jù)中心作為信息產(chǎn)業(yè)的后端基礎(chǔ)設(shè)施在集群數(shù)量和集群規(guī)模上呈現(xiàn)出快速增長(zhǎng)趨勢(shì)。谷歌、微軟公司的數(shù)據(jù)中心服務(wù)器數(shù)目均超過(guò)100萬(wàn)臺(tái)，阿里的“飛天”集群規(guī)模超過(guò)5 000臺(tái)[1]，全球TOP500超級(jí)計(jì)算機(jī)的CPU核數(shù)與計(jì)算性能的年增長(zhǎng)率達(dá)53%[2]，IDC預(yù)測(cè)到2017年全球數(shù)據(jù)中心的數(shù)量將達(dá)到860萬(wàn)個(gè)[3]。

數(shù)據(jù)中心的能耗巨大，2010年美國(guó)數(shù)據(jù)中心消耗的電能占其全國(guó)總能耗的1.7%~2.2%，2012年其消耗的電能比2011年增長(zhǎng)19%，2013年其數(shù)據(jù)中心每小時(shí)消耗910億度電，預(yù)計(jì)到2020年，數(shù)據(jù)中心消耗的電能將占全球能耗的8%，碳排放量為全球碳排放量的2.6%[4]，電費(fèi)成為數(shù)據(jù)中心最大的運(yùn)營(yíng)開(kāi)支。假定數(shù)據(jù)中心基礎(chǔ)設(shè)施的折舊期為15年，服務(wù)器的折舊期為3年，則數(shù)據(jù)中心的電費(fèi)占運(yùn)營(yíng)成本的41.6%[5]，因此，數(shù)據(jù)中心功耗優(yōu)化是研究的熱門領(lǐng)域。文獻(xiàn)[6]對(duì)數(shù)據(jù)中心能耗控制進(jìn)行綜述，將能耗控制方法劃分為硬件和算法2個(gè)層級(jí)：在硬件層可通過(guò)低功耗多核處理器芯片[7]、直流電源、高效制冷設(shè)備等硬件技術(shù)降低數(shù)據(jù)中心的功耗[8]；在算法層可通過(guò)DVFS (dynamic voltage and frequency scaling)、DFS(dynamic frequency scaling)和動(dòng)態(tài)節(jié)點(diǎn)控制技術(shù)等方法調(diào)節(jié)CPU的電壓、頻率從而對(duì)數(shù)據(jù)中心進(jìn)行節(jié)點(diǎn)級(jí)功耗控制[9]，也可以通過(guò)動(dòng)態(tài)調(diào)節(jié)數(shù)據(jù)中心的運(yùn)行節(jié)點(diǎn)數(shù)目，提高服務(wù)器使用率、減少處于閑置狀態(tài)的節(jié)點(diǎn)數(shù)量，從而降低數(shù)據(jù)中心的功耗[10]，進(jìn)行數(shù)據(jù)中心級(jí)功耗控制。

目前相關(guān)研究多利用電價(jià)在時(shí)間和地理位置上的差異對(duì)電費(fèi)進(jìn)行優(yōu)化。文獻(xiàn)[11~13]利用電價(jià)在地理位置上的差異，將負(fù)載分配到價(jià)格較低的區(qū)域執(zhí)行，對(duì)分布式數(shù)據(jù)中心的負(fù)載分配進(jìn)行調(diào)控，從而對(duì)電費(fèi)進(jìn)行優(yōu)化；文獻(xiàn)[8, 14, 15]利用電價(jià)在時(shí)間上的波動(dòng)對(duì)電費(fèi)進(jìn)行優(yōu)化，將負(fù)載盡量安排在低電價(jià)時(shí)段執(zhí)行，減少高電價(jià)時(shí)段的執(zhí)行；在對(duì)電費(fèi)進(jìn)行優(yōu)化的同時(shí)還可對(duì)服務(wù)質(zhì)量(QoS, quality of service)[12, 13]、對(duì)智能電網(wǎng)的影響[16, 17]、碳排放量[18]、UPS的使用[19]、動(dòng)態(tài)服務(wù)定價(jià)[20]等第二優(yōu)化目標(biāo)進(jìn)行優(yōu)化，文獻(xiàn)[21]對(duì)其進(jìn)行了詳細(xì)綜述。

上述研究中，電費(fèi)均是根據(jù)數(shù)據(jù)中心消耗的電量(kWh)和電價(jià)求得，而其電價(jià)大多采用智能電網(wǎng)實(shí)時(shí)的零售價(jià)格，這與數(shù)據(jù)中心的實(shí)際情況不符。由于數(shù)據(jù)中心長(zhǎng)期消耗巨大的電能[4]，一般都與電力運(yùn)營(yíng)商簽署長(zhǎng)期用電合同[22]，按照長(zhǎng)期合同電價(jià)進(jìn)行結(jié)算，而不是根據(jù)實(shí)時(shí)的零售電價(jià)進(jìn)行結(jié)算，這樣既可以使數(shù)據(jù)中心運(yùn)營(yíng)商合理地對(duì)業(yè)務(wù)運(yùn)營(yíng)進(jìn)行優(yōu)化，避免由于電價(jià)波動(dòng)給數(shù)據(jù)中心增加電力成本，也可以使電力供應(yīng)商有效掌握用電需求，合理規(guī)劃電力的生產(chǎn)與分配，提高電網(wǎng)的穩(wěn)定性。通過(guò)對(duì)多個(gè)地區(qū)大型用電單位的實(shí)際電力供應(yīng)合同進(jìn)行研究，發(fā)現(xiàn)電費(fèi)由用量費(fèi)用(EC, energy charge)和需量費(fèi)用(DC, demand charge)構(gòu)成。用量費(fèi)用是用電單位為所消耗的電量(kWh)支付的費(fèi)用，是大多數(shù)研究采用的常規(guī)電費(fèi)計(jì)算方式；需量費(fèi)用是用電單位為用電時(shí)間段中的峰值功率支付的費(fèi)用(kW)。目前對(duì)于數(shù)據(jù)中心用量費(fèi)用優(yōu)化的研究已經(jīng)很充分，但對(duì)其需用量費(fèi)用優(yōu)化的研究很少。本文基于此展開(kāi)研究，使用PE(partial execution)方法減少數(shù)據(jù)中心的峰值用電量，從而降低用量費(fèi)用。

本文首先對(duì)數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的相關(guān)研究進(jìn)行分析，介紹電價(jià)方案、PE方法、服務(wù)質(zhì)量等背景知識(shí)，發(fā)現(xiàn)目前的研究大多只對(duì)數(shù)據(jù)中心的用量費(fèi)用進(jìn)行優(yōu)化，沒(méi)有考慮需量費(fèi)用，而數(shù)據(jù)中心的需量費(fèi)用一般比用量費(fèi)用高得多，是電費(fèi)的主要部分，因此提出使用PE方法降低數(shù)據(jù)中心的峰值用電量的核心思想；然后對(duì)系統(tǒng)的時(shí)間、外部負(fù)載、服務(wù)質(zhì)量約束、響應(yīng)時(shí)間約束等進(jìn)行建模，構(gòu)建電力費(fèi)用優(yōu)化問(wèn)題模型，提出PEDC算法；最后將PEDC算法與4種算法進(jìn)行比較，并通過(guò)構(gòu)造準(zhǔn)確預(yù)測(cè)的負(fù)載數(shù)據(jù)對(duì)PEDC算法的性能進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明PEDC算法可以有效降低數(shù)據(jù)中心的需量費(fèi)用和用量費(fèi)用，并提高集群使用率。

本文主要?jiǎng)?chuàng)新點(diǎn)如下。

1) 采用數(shù)據(jù)中心實(shí)際使用的電費(fèi)合同，綜合考慮需量費(fèi)用和用量費(fèi)用，計(jì)費(fèi)模式符合數(shù)據(jù)中心的實(shí)際情況，將數(shù)據(jù)中心電費(fèi)優(yōu)化劃分為降低峰值功率和降低用電量2個(gè)問(wèn)題。

2) 使用//隊(duì)列模型對(duì)等待執(zhí)行的負(fù)載建模，運(yùn)行節(jié)點(diǎn)處于滿負(fù)載的狀態(tài)，避免空閑節(jié)點(diǎn)的電量消耗，提高節(jié)點(diǎn)的利用率。

3) 在算法優(yōu)化過(guò)程中，同時(shí)考慮服務(wù)質(zhì)量約束和響應(yīng)時(shí)間約束2個(gè)條件。

2 背景知識(shí)

本文的核心目標(biāo)是根據(jù)外部負(fù)載的情況，在滿足服務(wù)質(zhì)量約束[24]和負(fù)載響應(yīng)時(shí)間約束的條件下，確定執(zhí)行PE方法的時(shí)間段，降低數(shù)據(jù)中心的峰值用電量，減少其需量費(fèi)用。本節(jié)對(duì)文中涉及的電價(jià)方案、PE方法和服務(wù)質(zhì)量等關(guān)鍵的背景知識(shí)進(jìn)行講解。

2.1 電價(jià)方案

零售電價(jià)是電力運(yùn)營(yíng)商按照單位時(shí)間用電量($kWh)的定價(jià)方案，為了保障電網(wǎng)中零售用電的負(fù)載均衡，保障電網(wǎng)安全，電力運(yùn)營(yíng)商會(huì)根據(jù)電力負(fù)載制定不同地區(qū)和不同時(shí)間段的零售電價(jià)。數(shù)據(jù)中心是長(zhǎng)期、高負(fù)載用電單位，與電力運(yùn)營(yíng)商簽訂長(zhǎng)期用電合同，不使用零售電價(jià)。通過(guò)對(duì)電力運(yùn)營(yíng)商的長(zhǎng)期用電合同[25]的分析可以發(fā)現(xiàn)長(zhǎng)期電力合同從用電總量、峰值功率2個(gè)方面與用戶進(jìn)行約定，以15 min作為單位時(shí)間段進(jìn)行統(tǒng)計(jì)。用電總量是總計(jì)費(fèi)時(shí)間內(nèi)用戶消耗的電量(kWh)，峰值功率是所有時(shí)間段(15min)中最大的平均功率(kW)，峰值功率越大，電力運(yùn)營(yíng)商需要為其投入更多的基礎(chǔ)設(shè)施以保障穩(wěn)定供電，用戶因此需要支付越多的需量費(fèi)用。需量費(fèi)用可能比用量費(fèi)用大很多，例如，在美國(guó)GA地區(qū)某用電單位的峰值功率為10 MW、平均功率為6 MW，根據(jù)如表1所示的電價(jià)可求得其月用量費(fèi)用為$38 400，月需量費(fèi)用為$147 312，需量費(fèi)用是電費(fèi)的主要支出。

因此，合同電價(jià)包含用量?jī)r(jià)格和需量?jī)r(jià)格2個(gè)部分，表1列出了6個(gè)區(qū)域的合同電價(jià)，從中可以發(fā)現(xiàn)這些區(qū)域的需/用數(shù)值比存在較大差異，GA區(qū)域需/用數(shù)值比最大，OR區(qū)域需/用數(shù)值比最小，5.4節(jié)對(duì)各個(gè)區(qū)域分別進(jìn)行實(shí)驗(yàn)，研究區(qū)域電價(jià)差異對(duì)數(shù)據(jù)中心電費(fèi)的影響。

表1 6個(gè)區(qū)域的合同電價(jià)

2.2 PE方法

Web搜索、金融服務(wù)、仿真模擬等類型業(yè)務(wù)的計(jì)算結(jié)果精度取決于計(jì)算任務(wù)量，計(jì)算時(shí)間越長(zhǎng)，計(jì)算越充分，其計(jì)算結(jié)果越精確。PE方法正是這樣一種通過(guò)對(duì)不完全執(zhí)行任務(wù)來(lái)減少負(fù)載執(zhí)行量的方法[23]，適用于可接受近似計(jì)算結(jié)果的交互式類型負(fù)載的計(jì)算。本文采用PE方法減少負(fù)載高峰期的運(yùn)行負(fù)載數(shù)，從而降低需量費(fèi)用。

以搜索引擎類任務(wù)為例，當(dāng)搜索引擎接收到某個(gè)關(guān)鍵詞的搜索任務(wù)時(shí)，會(huì)首先在緩存中進(jìn)行檢索，如果沒(méi)有在緩存中檢索到，則會(huì)將搜索任務(wù)發(fā)送到檢索服務(wù)器集群，每臺(tái)檢索服務(wù)器對(duì)大量的文件進(jìn)行并發(fā)的檢索操作。搜索結(jié)果的精準(zhǔn)度與檢索的文檔數(shù)量有關(guān)，對(duì)全部文件進(jìn)行檢索所得到的結(jié)果為最優(yōu)結(jié)果，但花費(fèi)的時(shí)間會(huì)超出響應(yīng)時(shí)間的限制；如果采用PE方法對(duì)部分文件進(jìn)行檢索，會(huì)減少運(yùn)行的負(fù)載數(shù)目，縮短運(yùn)行時(shí)間，從而得到近似的搜索結(jié)果。

微軟Bing搜索服務(wù)的質(zhì)量與其后端計(jì)算執(zhí)行率的關(guān)系如圖1所示[23]，從圖中可以發(fā)現(xiàn)，當(dāng)負(fù)載執(zhí)行率為50%時(shí)的搜索服務(wù)質(zhì)量為0.82，當(dāng)進(jìn)一步提高負(fù)載執(zhí)行率時(shí)，服務(wù)質(zhì)量的提高速度變慢，無(wú)需將負(fù)載完全運(yùn)行即可獲得可接受的近似計(jì)算結(jié)果。因此在滿足計(jì)算精度要求的前提下在高負(fù)載時(shí)間段使用PE方法可以降低數(shù)據(jù)中心的峰值用電量、降低用量費(fèi)用。

2.3 服務(wù)質(zhì)量

服務(wù)質(zhì)量表示使用PE方法的交互式應(yīng)用響應(yīng)質(zhì)量與完全執(zhí)行的響應(yīng)質(zhì)量的比值，是此類應(yīng)用最重要的執(zhí)行評(píng)價(jià)指標(biāo)之一。在如圖1所示的Bing搜索服務(wù)中，每個(gè)負(fù)載執(zhí)行比率對(duì)著相應(yīng)的服務(wù)質(zhì)量。為了對(duì)問(wèn)題模型進(jìn)行簡(jiǎn)化，可按照服務(wù)質(zhì)量將服務(wù)分為高質(zhì)量服務(wù)和低質(zhì)量服務(wù)，這樣可以使用二進(jìn)制數(shù)0和1來(lái)表示服務(wù)質(zhì)量。交互式應(yīng)用對(duì)其高質(zhì)量服務(wù)占比的要求為服務(wù)質(zhì)量約束，搜索引擎服務(wù)一般要求其高質(zhì)量服務(wù)占比超過(guò)95%[23]。

3 系統(tǒng)模型

本文采用非連續(xù)時(shí)間模型，根據(jù)數(shù)據(jù)中心電費(fèi)合同以15 min為時(shí)間間隔將1天分為96個(gè)時(shí)間段，即，對(duì)時(shí)間段分別計(jì)算負(fù)載數(shù)量、平均功率、耗電量、電費(fèi)等參數(shù)并設(shè)定運(yùn)行節(jié)點(diǎn)數(shù)目。數(shù)據(jù)中心由同構(gòu)節(jié)點(diǎn)組成，時(shí)間段的運(yùn)行節(jié)點(diǎn)數(shù)目由負(fù)載大小以及能耗優(yōu)化策略決定，節(jié)點(diǎn)一旦運(yùn)行即處于滿負(fù)荷運(yùn)行狀態(tài)，因此每個(gè)節(jié)點(diǎn)的功耗相同。本文假定數(shù)據(jù)中心的PUE值固定，當(dāng)運(yùn)行節(jié)點(diǎn)數(shù)增加或減小時(shí)，制冷設(shè)備的功耗相應(yīng)地增加或減少。數(shù)據(jù)中心所處理的負(fù)載為交互式類型負(fù)載，有嚴(yán)格的響應(yīng)時(shí)間要求。

3.1 服務(wù)質(zhì)量約束

(2)

3.2 響應(yīng)時(shí)間約束

本文用//排隊(duì)模型來(lái)定義數(shù)據(jù)中心內(nèi)等待處理的負(fù)載任務(wù)，設(shè)時(shí)間段的外部負(fù)載量為，運(yùn)行節(jié)點(diǎn)數(shù)據(jù)數(shù)為，節(jié)點(diǎn)服務(wù)率為，負(fù)載在數(shù)據(jù)中心始終處于等待狀態(tài)，則負(fù)載的平均等待時(shí)間。設(shè)定負(fù)載響應(yīng)時(shí)間為，結(jié)合式(2)可得響應(yīng)時(shí)間的約束條件為

3.3 電力費(fèi)用模型

數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問(wèn)題P1表示如下

4 求解方法

(7)

4.1 求解需量費(fèi)用()的最小值

由式(6)可得

(8)

4.2 求解用量費(fèi)用()的最小值

由式(6)可得

(9)

4.3 PEDC算法流程

PEDC算法首先在滿足服務(wù)質(zhì)量約束(1)的條件下將負(fù)載最大時(shí)段的運(yùn)行模式設(shè)置為低質(zhì)量服務(wù)模式，再根據(jù)約束條件(8)求解運(yùn)行節(jié)點(diǎn)數(shù)，從而根據(jù)決定變量的數(shù)值求解數(shù)據(jù)中心電費(fèi)的最小值，PEDC算法基本流程如下：

if 滿足服務(wù)質(zhì)量約束條件(1) then

將()設(shè)置為1

else

將()設(shè)置為1

end if

end while

PEDC算法的計(jì)算時(shí)間和所需空間取決于2個(gè)部分：第1部分對(duì)已知負(fù)載使用PEDC算法階段，與這個(gè)階段所包含的時(shí)間段的個(gè)數(shù)有關(guān)；第2部分對(duì)未知負(fù)載使用PEDC算法階段，與這個(gè)階段所包含的時(shí)間段的個(gè)數(shù)有關(guān)，這2部分需要不斷地確定峰值負(fù)載所在位置，其時(shí)間復(fù)雜度和空間復(fù)雜度都為。

5 實(shí)驗(yàn)驗(yàn)證

5.1 實(shí)驗(yàn)參數(shù)說(shuō)明

本文設(shè)定數(shù)據(jù)中心由同構(gòu)服務(wù)器組成，服務(wù)器處于空閑狀態(tài)時(shí)的功率為400 W，處于滿負(fù)荷狀態(tài)時(shí)的功率為750 W，每個(gè)節(jié)點(diǎn)每秒可處理9個(gè)外部負(fù)載，負(fù)載的最大響應(yīng)時(shí)間為0.01 s。外部負(fù)載采用某數(shù)據(jù)中心的真實(shí)訪問(wèn)數(shù)據(jù)集，該數(shù)據(jù)集包含2015年3月15日~4月11日共計(jì)28天的外部訪問(wèn)數(shù)據(jù)(DATA1)，如圖2所示，可以看出外部負(fù)載的周期性較為規(guī)律。

5.2 對(duì)比算法

本文選取3月15日~3月21日共計(jì)7天的負(fù)載數(shù)據(jù)，使用PEDC算法計(jì)算數(shù)據(jù)中心28天的電費(fèi)，對(duì)PEDC算法的性能進(jìn)行評(píng)估，并分別與NOPE、RAND、BEST和CUPE算法的控制效果進(jìn)行對(duì)比，這5種算法的說(shuō)明如下。

PEDC：該算法使用本文構(gòu)造的基于PE方法的數(shù)據(jù)中心電費(fèi)優(yōu)化算法，在已知7天外部負(fù)載數(shù)據(jù)的條件下計(jì)算數(shù)據(jù)中心28天的運(yùn)行電費(fèi)。

NOPE：該算法使用負(fù)載等待隊(duì)列模型，但不使用PE方法，即所有時(shí)間段數(shù)據(jù)中心均運(yùn)行于高質(zhì)量服務(wù)模式。

RAND：該算法使用負(fù)載等待隊(duì)列模型并使用PE方法，PE方法的執(zhí)行時(shí)間從執(zhí)行時(shí)間段中隨機(jī)選取。

BEST：該算法在已知28天負(fù)載數(shù)據(jù)的情況下使用PEDC算法計(jì)算數(shù)據(jù)中心的運(yùn)行電費(fèi)，所得結(jié)果是PEDC算法最理想的優(yōu)化結(jié)果。

由于根據(jù)7天負(fù)載數(shù)據(jù)預(yù)測(cè)28天的負(fù)載與真實(shí)數(shù)據(jù)存在偏差，將4組相同的7天真實(shí)負(fù)載數(shù)據(jù)生成一組28天的負(fù)載數(shù)據(jù)(DATA2)，來(lái)模擬完全準(zhǔn)確預(yù)測(cè)負(fù)載的情況，對(duì)PEDC算法的性能進(jìn)行測(cè)試。PEDC-1和BEST-1算法是使用負(fù)載數(shù)據(jù)DATA2的PEDC算法和BEST算法。

5.3 運(yùn)行功率與運(yùn)行電費(fèi)分析

求解各算法在負(fù)載運(yùn)行中的最大運(yùn)行節(jié)點(diǎn)數(shù)和平均運(yùn)行節(jié)點(diǎn)數(shù)，得到數(shù)據(jù)中心的峰值功率和平均功率，如圖3所示。根據(jù)3.3節(jié)的電費(fèi)模型，計(jì)算數(shù)據(jù)中心的需量費(fèi)用、用量費(fèi)用和總電費(fèi)，如圖4所示，本節(jié)使用表1中SC區(qū)域的電價(jià)進(jìn)行實(shí)驗(yàn)分析。

5.3.1 運(yùn)行功率分析

由于NOPE算法不使用PE方法對(duì)峰值功率進(jìn)行調(diào)節(jié)，所有時(shí)間段數(shù)據(jù)中心均運(yùn)行在高質(zhì)量服務(wù)模式，所有負(fù)載均被完整地運(yùn)行，本文將其峰值功率作為基準(zhǔn)峰值功率，將其平均功率作為基準(zhǔn)平均功率。由于RAND算法隨機(jī)選取PE方法的執(zhí)行時(shí)間段，沒(méi)有抽取到峰值負(fù)載時(shí)間段運(yùn)行PE方法，因此峰值功率等于基準(zhǔn)峰值功率。CUPE算法模型中所有節(jié)點(diǎn)始終處于運(yùn)行狀態(tài)，存在空閑運(yùn)行功率，當(dāng)節(jié)點(diǎn)負(fù)載增加，運(yùn)行功率隨之增加，CUPE算法的峰值功率與PEDC算法的峰值功率相等，但平均功率是PEDC算法平均功率的1.7倍。PEDC算法的集群使用率為CUPE算法的2.32倍。

PEDC算法的峰值功率比基準(zhǔn)峰值功率降低了13.57%，低于BEST算法19.43%的降低率，2個(gè)數(shù)值之間存在差距的原因是預(yù)測(cè)負(fù)載數(shù)據(jù)與實(shí)際負(fù)載數(shù)據(jù)之間存在一定的差異。PEDC-1算法和BEST-1算法使用負(fù)載數(shù)據(jù)DATA2來(lái)模擬完全準(zhǔn)確預(yù)測(cè)負(fù)載數(shù)據(jù)的情況，數(shù)據(jù)顯示PEDC-1算法和BEST-1算法的峰值功率相同，表明負(fù)載數(shù)據(jù)預(yù)測(cè)越準(zhǔn)確，PEDC算法的能耗優(yōu)化效果越好；當(dāng)負(fù)載數(shù)據(jù)得到精確預(yù)測(cè)時(shí)，PEDC算法對(duì)峰值功率的優(yōu)化可以達(dá)到理論最優(yōu)值。

PEDC、BEST、RAND算法的平均功率均比基準(zhǔn)平均功率降低約2.62%，降低比例與5%的負(fù)載運(yùn)行于低質(zhì)量服務(wù)模式所減少的平均功率相符。

5.3.2 運(yùn)行電費(fèi)分析

將NOPE算法的需量費(fèi)用作為基準(zhǔn)需量費(fèi)用，用量費(fèi)用作為基準(zhǔn)用量費(fèi)用，總電費(fèi)作為基準(zhǔn)總電費(fèi)。數(shù)據(jù)中心的需量費(fèi)用由峰值功率決定，用量費(fèi)用由平均功率決定，PEDC、BEST、RAND、PEDC-1、BEST-1算法的需量費(fèi)用與基準(zhǔn)需量費(fèi)用的關(guān)系以及用量費(fèi)用與基準(zhǔn)用量費(fèi)用的關(guān)系與運(yùn)行功率部分的分析相同。CUPE算法的需量費(fèi)用等于基準(zhǔn)需量費(fèi)用，其用量費(fèi)用是PEDC算法用量費(fèi)用的1.7倍。

PEDC算法的總電費(fèi)比基準(zhǔn)總電費(fèi)降低了8.45%，高于RAND算法1.23%的降低率，低于BEST算法11.57%的降低率。使用負(fù)載數(shù)據(jù)DATA2的PEDC-1算法和BEST-1算法的總電費(fèi)降低率相等。CUPE算法的總電費(fèi)是PEDC算法總電費(fèi)的1.35倍。

5.4 區(qū)域電價(jià)對(duì)電費(fèi)的影響

為了驗(yàn)證不同區(qū)域電價(jià)對(duì)數(shù)據(jù)中心總電費(fèi)的影響，本節(jié)用表1中6個(gè)區(qū)域的合同電價(jià)對(duì)PEDC算法進(jìn)行實(shí)驗(yàn)，并與NOPE、BEST算法進(jìn)行比較。

圖5所示為在相同的負(fù)載數(shù)據(jù)(DATA1)下，6個(gè)區(qū)域分別用PEDC、NOPE、BEST算法計(jì)算所得的總電費(fèi)。設(shè)NOPE算法求得的總電費(fèi)為基準(zhǔn)總電費(fèi)，使用PEDC算法總電費(fèi)降低比率為5.9%~12.7%，使用BEST算法總電費(fèi)降低比率為7.34%~18.1%。GA區(qū)域降低比率最高，OR區(qū)域降低比率最低，這是由于PEDC、BEST算法可大幅降低需量費(fèi)用，對(duì)用量費(fèi)用的降低率較為固定，因此需量費(fèi)用/用量費(fèi)用數(shù)值比越高，總電費(fèi)降低比越高。

5.5 服務(wù)質(zhì)量約束對(duì)電費(fèi)的影響

本節(jié)使用PEDC算法通過(guò)調(diào)節(jié)服務(wù)質(zhì)量約束和服務(wù)質(zhì)量，研究其對(duì)數(shù)據(jù)中心電費(fèi)的影響。首先，調(diào)節(jié)服務(wù)質(zhì)量約束的數(shù)值，依次取0.95、0.9、0.85、0.8，需量費(fèi)用、用量費(fèi)用和總電價(jià)與的關(guān)系如圖6所示。由于隨著數(shù)值的減小，運(yùn)行負(fù)載總數(shù)成比例減少，因此PEDC算法和BEST算法的用量費(fèi)用與呈線性關(guān)系；由于預(yù)測(cè)負(fù)載數(shù)據(jù)與實(shí)際負(fù)載數(shù)據(jù)之間存在差異，PEDC算法的需量費(fèi)用減少較BEST算法更為緩慢；需量費(fèi)用和用量費(fèi)用疊加即得總電費(fèi)。

6 結(jié)束語(yǔ)

本文通過(guò)研究數(shù)據(jù)中心實(shí)際的電費(fèi)合同，發(fā)現(xiàn)其電費(fèi)包含需量費(fèi)用和用量費(fèi)用2個(gè)部分，在滿足服務(wù)質(zhì)量和響應(yīng)時(shí)間的條件下，通過(guò)在負(fù)載高峰期使用PE方法，可以降低數(shù)據(jù)中心的峰值電量，在降低需量費(fèi)用的同時(shí)降低用量費(fèi)用，從而減少數(shù)據(jù)中心運(yùn)行的總電費(fèi)。本文提出基于PE方法的數(shù)據(jù)中心需量費(fèi)用優(yōu)化算法PEDC，并與4種算法進(jìn)行實(shí)驗(yàn)比較，實(shí)驗(yàn)數(shù)據(jù)表明使用PEDC算法的總電費(fèi)比使用NOPE算法降低5.9%~12.7%，集群使用率為使用CUPE算法的2.32倍，PEDC算法可用于對(duì)搜素引擎、金融計(jì)算等交互式應(yīng)用領(lǐng)域的數(shù)據(jù)中心電費(fèi)進(jìn)行優(yōu)化，可與數(shù)據(jù)中心負(fù)載分配方法[26]結(jié)合使用，進(jìn)一步降低數(shù)據(jù)中心的能耗費(fèi)用。

[1] [EB/OL]. http://www.csdn.net/article/2013-10-30/2817347-awdc2013- feitian5k.

[2] [EB/OL].http://www.top500.org/lists.

[3] [EB/OL].http://www.idc.com/getdoc.Jsp?containerid=prus25237514.

[4] GAO PX, CURTIS AR, WONG B, et al. It's not easy being green[J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

[5] HAMILTON J. Cooperative expendable micro-slice servers(CEMS): low cost, low power servers for internet-scale services[C]//CIDR’09. c2009.

[6] BELOGLAZOV A, BUYYA R, LEE YC, et al. A taxonomy and survey of energy-efficient data centers and cloud somputing systems[J]. Advances in Computers, 2011, 82(2): 47-111.

[7] BARROSO LA, H?LZLE U. The case for energy-proportional computing[J]. IEEE Computer, 2007, 40(12): 33-37.

[8] YAO Y, HUANG L, SHARMA A, et al. Data centers power reduction: a two time scale approach for delay tolerant workloads[C]//IEEE INFOCOM. c2012: 1431-1439.

[9] GANDHI A, HARCHOL M, DAS R, et al. Optimal power allocation in server farms[C]//ACM SIGMETRICS. c2009:157-168.

[10] LIN M, WIERMAN A, ANDREW LL, et al. Dynamic right-sizing for power-proportional data centers[J]. IEEE/ACM Transactions on Networking, 2013, 21(5): 1378-1391.

[11] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment[C]//IEEE INFOCOM. c2010:1-9.

[12] RAO L, LIU X, ILIC MD, et al. Distributed coordination of internet data centers under multiregional electricity markets[J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

[13] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[14] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

[15] LUO J, RAO L, LIU X. Data center energy cost minimization: A spatio-temporal scheduling approach[C]//IEEE INFOCOM. c2013: 340-344.

[16] WANG H, HUANG J, LIN X, et al. Exploring smart grid and data center interactions for electric power load balancing[J]. Performance Evaluation Review, 2014, 41(3): 89-94.

[17] ZHOU Z, FANGMING L, ZONGPENG L, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response[C]//IEEE INFOCOM. c2015.

[18] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets[C]//HPCD’11. c2011. 271-272.

[19] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage[J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1149-1160.

[20] 王巍, 羅軍舟, 宋愛(ài)波. 基于動(dòng)態(tài)定價(jià)策略的數(shù)據(jù)中心能耗成本優(yōu)化[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(3): 599-612.

WANG W, LUO J X, SONG A B. Dynamic pricing based energy cost optimization in data center enviroments[J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

[21] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment[J]. IEEE Communications Surveys & Tutorials,2014, 16(1): 214-233.

[22] MALTZ DA. Challenges in cloud scale data centers[C]//ACM SIGMETRICS. c2013: 3-4.

[23] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution[C]//ACM SOCC.c 2012: 12-25.

[24] XU H, LI B. Reducing electricity demand charge for data centers with partial execution[C]// ACM e-Energy. c2014: 51-61.

[25] [EB/OL].http://www.cs.cityu.edu.hk/~hxu/share/Contracts.zip.

[26] 金嘉暉, 羅軍舟, 宋愛(ài)波. 基于數(shù)據(jù)中心負(fù)載分析的自適應(yīng)延遲調(diào)度算法[J]. 通信學(xué)報(bào), 2011, 32(7): 47-56.

JIN J H, LUO J Z, SONG A B. Adaptive delay scheduling algorithm based on data center load analysis[J]. Journal on Communications, 2013, 32(7): 47-56.

Optimizing demand charge of data center base on PE method

HUANG Yan1,2, WANG Peng3, XIE Gao-hui4

(1. Chengdu Institute of Computer Application, Chinese Academy of Sciences, Chengdu 610041, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. School of Computer Science and Technology, Southwest University for Nationalities, Chengdu 610041, China; 4. Guangzhou Wuzhou Technology Corporation, Guangzhou 510000, China)

Demand charge and energy charge are the two main components of data center electricity cost, previous researches have not take demand charge into consideration. PEDC algorithm was proposed by modeling time slot, workload, service quality constraint and response time constraint. With PEDC algorithm peak power was decreased by partial execution on the condition of service quality constraint and response time constraint. PE method was executed in the heavy loaded time slots to reduce peak power so as to optimize demand charge. Energy charge and total charge were also optimized. By comparing with four algorithms and with dataset accurately predicted, PEDC algorithm can reduce electricity cost by 5.9%~12.7% and improve cluster utilization 1.32 times.

PE method, demand charge, energy charge, energy cost optimization

TP393

A

10.11959/j.issn.1000-436x.2016056

2015-05-01；

2015-07-31

王鵬，wp002005@163.com

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.60702075)；廣東省科技廳高新技術(shù)產(chǎn)業(yè)化科技攻關(guān)基金資助項(xiàng)目(No.2011B010200007)；成都市創(chuàng)新發(fā)展戰(zhàn)略研究基金資助項(xiàng)目(No.11RKYB016ZF)

The National Natural Science Foundation of China(No.60702075), Guangdong Science and Technology Plan of Industrial High-Technology(No.2011B010200007), Chengdu Innovation and Development Strategy Research Project (No.11RKYB016ZF)

黃焱（1982-），男，江蘇泗陽(yáng)人，中國(guó)科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所博士生，主要研究方向?yàn)橹悄芩惴?、最?yōu)化理論等。

王鵬（1975-），男，四川犍為人，西南民族大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)橹悄芩惴?、高性能?jì)算等。

謝高輝（1979-），男，湖南郴州人，廣州五舟科技股份有限公司總經(jīng)理，主要研究方向?yàn)楦咝阅苡?jì)算。