武晉 何利力

摘 要：針對云計算數(shù)據(jù)中心能源消耗過高問題，分析了當前數(shù)據(jù)中心節(jié)能的相關研究成果，將數(shù)據(jù)中心計算節(jié)點的能耗優(yōu)化方式分為基于動態(tài)電壓頻率調整、基于關閉空閑服務器和基于虛擬化技術的能耗優(yōu)化3類，分別以綜述方式進行總結。討論了數(shù)據(jù)中心其它設備的能耗優(yōu)化策略，預測了未來研究方向，可為數(shù)據(jù)中心能耗優(yōu)化相關研究提供參考。

關鍵詞：數(shù)據(jù)中心;云計算;能耗優(yōu)化;節(jié)能策略

DOI：10. 11907/rjdk. 182807 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP302文獻標識碼：A 文章編號：1672-7800（2019）008-0004-04

A Summary of Research on Energy Optimization of Cloud Computing Data Center

WU Jin， HE Li-li

（School of Informatics and Electronics， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Absrtact： Aiming at the problem of high energy consumption in data center， this paper analyzes the related research of data center energy saving， and divides the energy consumption optimization mode of data center computing node into three categories， that is， based on dynamic voltage frequency adjustment， power consumption optimization based on shut-off idle server and virtualization technology， respectively， which are summed up in the way of review， The energy consumption optimization strategy of other devices in the data center is also discussed. Finally， the future research direction is predicted： the optimization of energy consumption to ensure service quality， the optimization of energy consumption oriented to heterogeneous cloud environment and the optimization of energy consumption based on task scheduling provide a theoretical reference for the research of energy consumption optimization of cloud computing data center.

Key Words： data center; cloud computing; energy consumption optimization; energy saving strategy

作者簡介：武晉（1993-），女，浙江理工大學信息學院碩士研究生，研究方向為云計算與大數(shù)據(jù);何利力（1966-），男，博士，浙江理工大學信息學院教授、博士生導師，研究方向為制造業(yè)信息化、企業(yè)智能。

0 引言

隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大和業(yè)務量的快速增長，云計算服務廣泛應用于互聯(lián)網(wǎng)相關領域。數(shù)據(jù)中心是云計算統(tǒng)一管理和資源調度平臺，隨著云計算的發(fā)展，數(shù)據(jù)中心的數(shù)量逐漸增多，規(guī)模也日趨龐大，但與此同時數(shù)據(jù)中心的能耗問題也日益顯現(xiàn)。谷歌在俄勒岡州建立的云計算數(shù)據(jù)中心滿載運行時所消耗的電能幾乎等于一個中型城市所有家庭用電量的總和[1]。根據(jù)2007年美國國會數(shù)據(jù)中心能源效率報告，數(shù)據(jù)中心3年內服務器、網(wǎng)絡設備和溫控設施等用電成本約為購買服務器等設備成本的1.5倍，未來該費用還會繼續(xù)增高[2]。根據(jù)美國勞倫斯伯克利國家實驗室的能源報告，美國數(shù)據(jù)中心在2014年耗電量已經達到了700億千瓦時，占美國總電量的1.8%[3]。2014年，全世界范圍內的數(shù)據(jù)中心耗電量是發(fā)電量的3%[4]。按照目前的增長速度，預計到2020年，數(shù)據(jù)中心的能耗將達到世界總電量的8%[5]。云計算數(shù)據(jù)中心能耗問題導致數(shù)據(jù)中心運行成本增加，給環(huán)境造成了嚴重負擔，成為制約云計算數(shù)據(jù)中心健康發(fā)展的關鍵問題。

1 計算節(jié)點能耗優(yōu)化

數(shù)據(jù)中心主要耗能設備為數(shù)據(jù)中心的計算節(jié)點，在進行海量數(shù)據(jù)運算時會產生大量能耗。影響計算節(jié)點能耗的因素較多，相關節(jié)能策略研究也最為豐富。本文介紹3種常用的云計算數(shù)據(jù)中心計算節(jié)點能耗優(yōu)化策略，分別為基于動態(tài)電壓頻率調整的能耗優(yōu)化策略、基于關閉空閑服務器的能耗優(yōu)化策略和基于虛擬化技術的能耗優(yōu)化策略。

1.1 動態(tài)電壓頻率調整能耗優(yōu)化

數(shù)據(jù)中心主要能耗來自計算節(jié)點，而計算節(jié)點的主要能耗來源于計算節(jié)點處理器。隨著多核技術和超頻技術的廣泛應用，處理器能耗成為業(yè)界關注的重點。處理器應用最為廣泛的節(jié)能策略是動態(tài)電壓頻率調整技術（Dynamic Voltage and Frequency Scaling，DVFS）。

DVFS是一種針對計算機中央處理器的電壓頻率動態(tài)調整電源管理技術，也是目前工業(yè)界和學術界普遍采用的低功耗優(yōu)化技術[6]。DVFS技術可以根據(jù)實時使用情況調整電源的電壓和芯片的工作頻率。DVFS技術的主要思想是根據(jù)計算節(jié)點的實時負載預測下一時間段所需性能，根據(jù)所需性能調整芯片的時鐘頻率和電壓。單個任務能耗和CPU的電壓及頻率關系如式（1）所示。

[E=AtCV2f]? （1）

其中，A為能耗系數(shù)，t表示執(zhí)行時間，C為電容負載，V為CPU電壓，f為CPU時鐘頻率。當CPU時鐘頻率降低時，電壓會隨之降低，因此調整芯片的頻率和電壓可有效降低系統(tǒng)能耗。DVFS技術尤其適用于計算節(jié)點處于閑置或低速運行狀態(tài)情景，能大大降低系統(tǒng)的空閑能耗。

基于DVFS技術的節(jié)能策略研究有：KIM K H 等[7]提出3種基于DVFS的節(jié)能策略，分別為Lowest-DVFS、δ-advanced-DVFS和Adaptive-DVFS。其中，Lowest-DVFS將CPU的速率調整為任務所要求的最低速率，也就是說所有虛擬機以其所需的最低MIPS執(zhí)行當前任務，這種方法會降低數(shù)據(jù)中心性能，但在虛擬機處理速度足以應對當前負載的情況下，這種策略耗能最低。為了克服Lowest-DVFS的性能過低問題采用δ-advanced-DVFS節(jié)能策略，該策略將當前虛擬機請求的MPIS增加了δ%，并且引入了伸縮模型。Adaptive-DVFS節(jié)能策略則根據(jù)已知的請求到達率和服務時間，分析得到最優(yōu)的伸縮模型，根據(jù)負載情況自動調整CPU性能。這3種模型中，Lowest-DVFS能耗最低，但無法滿足云計算數(shù)據(jù)中心最基本的性能需求與服務質量，無法應用于實際場景。Adaptive-DVFS節(jié)能策略具有較好的適應性，能夠在優(yōu)化的同時保障服務質量，這種能耗優(yōu)化模型性能取決于對負載情況預測的準確性。

齊巍巍[8]將DVFS技術和虛擬化技術結合，提出了一種基于多核物理服務器以及CPU執(zhí)行頻率變化的能耗計算模型，并分析了多核虛擬機模型的必要性以及多核虛擬機的部署約束條件，在此基礎上提出了一種多核虛擬機部署算法EMCVD。該算法能有效減少系統(tǒng)能耗并降低虛擬機遷移過程中的開銷，并考慮服務等級協(xié)議（Service Level Agreement，SLA）和服務質量（Quality of Service，Qos）。不足之處是沒有設置合適的SLA違反懲罰機制，而是采用硬約束方式執(zhí)行虛擬機截止時間。

1.2 關閉空閑服務器能耗優(yōu)化

基于關閉空閑服務器的能耗策略也稱為主機狀態(tài)切換（Host Switching），主要通過關閉空閑計算節(jié)點降低能源消耗從而實現(xiàn)整個數(shù)據(jù)中心的節(jié)能。當預知數(shù)據(jù)中心的負載情況時，該策略可極大節(jié)省數(shù)據(jù)中心的閑時能耗。但由于計算機由關閉到啟動需要較長時間，在調度不夠精準時，這種節(jié)能策略容易導致云計算數(shù)據(jù)中心性能降低。

關閉空閑服務器的節(jié)能策略研究較多，Berral等[9]利用機器學習方法預測負載遷移后應用和節(jié)點的關系模型，實現(xiàn)了更加智能的負載聯(lián)合和資源調度，依據(jù)工作負載情況關閉不需要的服務器，從而降低數(shù)據(jù)中心的能源消耗。通過機器學習方法預測負載情況有效提高了預測準確度。但文中將數(shù)據(jù)中心的計算節(jié)點假設為同構是其不足，因為實際上并不是所有數(shù)據(jù)中心都是同構的，很多數(shù)據(jù)中心的計算節(jié)點都是異構的。

Bin等[10]提出了一種動態(tài)集群配置策略，根據(jù)服務請求的歷史信息，利用最小二乘法預測未來的服務請求情況，通過動態(tài)調整服務集群開關機實現(xiàn)數(shù)據(jù)中心節(jié)能。通過最小二乘法能簡單高效預測服務請求和負載情況，但準確度遜于機器學習方法，而且服務器在啟動瞬間狀態(tài)轉換能耗非常高，如果不能精準預測會導致頻繁開關機，不利于能耗優(yōu)化，還可能大大降低數(shù)據(jù)中心性能與服務質量。

1.3 虛擬化技術能耗優(yōu)化

近年來虛擬化技術在云計算數(shù)據(jù)中心得到了廣泛應用。虛擬化技術可以提高計算節(jié)點的工作效率，是實現(xiàn)數(shù)據(jù)中心節(jié)能的重要策略，上述節(jié)能策略也往往要將虛擬化技術考慮在內，大部分相關研究也與虛擬化技術相結合。

目前廣泛使用的虛擬化技術包括KVM、Vmware和Xen等，這些技術允許在一個物理計算節(jié)點上創(chuàng)建多個虛擬機，可以通過虛擬機的遷移實現(xiàn)動態(tài)負載合并，將虛擬機整合到較少的物理節(jié)點中，通過與關閉空閑服務器的節(jié)能策略相結合降低閑時能耗。虛擬機遷移和關閉空閑服務器過程如圖1所示。

圖1 虛擬機遷移及關閉空閑服務器

基于虛擬化技術的能耗優(yōu)化分為虛擬機的初始化放置過程能耗優(yōu)化和虛擬機動態(tài)管理過程能耗優(yōu)化兩種。其中虛擬機的初始化放置指在數(shù)據(jù)中心剛剛啟動沒有負載的情況下，將虛擬機分配給物理節(jié)點，而虛擬機動態(tài)管理指當數(shù)據(jù)中心的條件改變或者數(shù)據(jù)中心的負載動態(tài)變化時，虛擬機的二次分配過程[11]。

Wang等[12]在虛擬機初始化放置過程中，通過將多個虛擬機整合到較少的活動節(jié)點實現(xiàn)能耗的優(yōu)化，該方法有效降低了數(shù)據(jù)中心的能耗，大大提高了資源利用率，但是容易造成負載不均問題，而且過高的負載會導致物理節(jié)點性能下降，從而降低整個數(shù)據(jù)中心性能。并且長期處于過高負載的計算節(jié)點更容易老化，加快了設備淘汰周期，提高了數(shù)據(jù)中心費用開銷。

孫蒙[13] 對虛擬機的初始化放置過程進行建模分析，將虛擬機初始化放置問題視為裝箱問題，提出了基于虛擬機放置的能耗優(yōu)化策略。該策略將裝箱問題中常用的降序最佳適應算法（Best? Fit Decreasing，BFD）和遺傳算法（Genetic Algorithm，GA）相結合，形成了BGA虛擬機放置算法。該算法使用BFD算法生成遺傳算法的初始種群，設計了基于能耗和資源利用率的適應度函數(shù)，并利用BFD算法將無效染色體修正為合理染色體，提高了遺傳算法的局部搜索能力，最終形成一種高效的虛擬機放置算法，實現(xiàn)數(shù)據(jù)中心節(jié)能。但在驗證算法有效性的實驗中沒有考慮SLA的違背率，在服務質量保障方面還存在改進的地方。

虛擬機動態(tài)管理主要針對數(shù)據(jù)中心負載變化時虛擬機的重分配問題，合理的虛擬機動態(tài)管理能夠提高數(shù)據(jù)中心的資源利用率和電源效率。VMware中的分布式電源管理（Distributed Power Management，DPM），利用虛擬機重新分配將工作負載整合到較少的物理機上并關閉沒有工作負載的主機，從而實現(xiàn)節(jié)能[14]。Gueyoung Jung等[15]針對虛擬機動態(tài)遷移問題，提出了一個整體控制器框架Mistral，Mistral的優(yōu)化目標包括性能、能耗和虛擬機遷移過程的瞬時開銷。該框架配置了多級分層控制器和可擴展優(yōu)化算法，能有效控制虛擬機遷移過程中的能耗、性能和瞬時開銷，該控制器框架適用于大型層級化數(shù)據(jù)中心，具有實際應用價值。

2 其它設備能耗優(yōu)化策略

以往研究中常將數(shù)據(jù)中心的其它設備能耗視為恒定值，但近年來數(shù)據(jù)中心的網(wǎng)絡設備、存儲設備和溫控設施的能耗優(yōu)化研究逐漸增多。

網(wǎng)絡設備消耗的電能已達到數(shù)據(jù)中心總消耗電能的20%～30%[16]。楊光等[17]從網(wǎng)絡設備功耗管理架構和網(wǎng)絡設備節(jié)能策略出發(fā)，提出了網(wǎng)絡級功耗管理架構和基于休眠喚醒和自適應鏈路速率混合節(jié)能策略，實現(xiàn)了網(wǎng)絡設備功耗的實時高效管理和網(wǎng)絡設備的能耗優(yōu)化。

云計算海量數(shù)據(jù)中只有少部分數(shù)據(jù)是經常訪問的，大部分數(shù)據(jù)很少訪問，這些數(shù)據(jù)被定義為“冷數(shù)據(jù)”，存儲系統(tǒng)的“冷數(shù)據(jù)”高達80%[18]。為降低 “冷數(shù)據(jù)”存儲能耗，許多設備廠商進行了相關研究，推出了與冷數(shù)據(jù)處理相適應的高容量、低功耗存儲設備，例如浪潮SA5224L4。針對存儲系統(tǒng)的能耗問題，董池[19]提出了預判性綠色數(shù)據(jù)分類策略（AGDC）和基于數(shù)據(jù)分類的綠色升降檔機制（DGLG），有效降低了數(shù)據(jù)中心存儲系統(tǒng)能耗。

由于數(shù)據(jù)中心需進行海量的數(shù)據(jù)運算，計算節(jié)點、網(wǎng)絡設備和存儲設備在運行過程中會產生大量的熱量，因此需要溫控設施進行散熱和制冷，以維護設備的正常使用，延長設備使用壽命。目前數(shù)據(jù)中心的溫控設施能耗已達到數(shù)據(jù)中心總能耗的25%～40%，盡管降低其它設備能耗在一定程度上可以降低溫控設施能耗，但溫控設施本身的能耗優(yōu)化仍不容忽視[20]。目前越來越多的數(shù)據(jù)中心采用自然冷源對機房進行降溫處理，例如在極地和沿河地帶建立大規(guī)模數(shù)據(jù)中心，可以節(jié)省大量電能。另外，數(shù)據(jù)中心通過優(yōu)化機房氣流組織、變頻空調技術和熱回收技術實現(xiàn)溫控設施的節(jié)能優(yōu)化。

3 未來研究方向展望

計算節(jié)點的能耗優(yōu)化仍是未來數(shù)據(jù)中心能耗優(yōu)化的主要研究方向。雖然近幾年在數(shù)據(jù)中心計算節(jié)點能耗優(yōu)化問題上相關研究已經給出了很多優(yōu)化方案并取得了顯著成果，但數(shù)據(jù)中心能耗優(yōu)化仍存在一些問題值得深入研究，未來可能的研究重點和機會主要有：以保障服務質量為前提的能耗優(yōu)化、面向異構云環(huán)境的能耗優(yōu)化和基于任務調度的能耗優(yōu)化。

保障服務質量是數(shù)據(jù)中心的基本要求，也是實現(xiàn)其它優(yōu)化目標的前提，如果能耗優(yōu)化無法保障基本性能和用戶需求，這種優(yōu)化策略就無法投入使用，就不具備現(xiàn)實意義。因此，應將保障服務質量作為數(shù)據(jù)中心能耗優(yōu)化的前提，在評價相關優(yōu)化算法時應統(tǒng)計SLA的違背情況，設置SLA違背次數(shù)閾值，設計SLA違背懲罰機制。

由于數(shù)據(jù)中心服務器由不同廠商提供，因此可能具有不同的硬件配置，不同的硬件配置導致數(shù)據(jù)中心計算節(jié)點在功能、性能以及耗電功率等方面不盡相同，所以很多數(shù)據(jù)中心都是異構的。因此在數(shù)據(jù)中心能耗優(yōu)化相關研究中，應充分考慮云環(huán)境的異構性。

任務調度是數(shù)據(jù)中心資源調度的重要研究方向，合理的任務調度算法能夠縮短處理時間，從而縮短計算節(jié)點活動時間，降低數(shù)據(jù)中心能耗。因此，能耗優(yōu)化可以作為任務調度的一個優(yōu)化方向，通過合理調度降低數(shù)據(jù)中心能耗。

4 結語

本文綜述了云計算數(shù)據(jù)中心計算節(jié)點的主要節(jié)能策略，包括動態(tài)電壓頻率調整節(jié)能策略、關閉空閑服務器節(jié)能策略和虛擬化節(jié)能策略，并分析了優(yōu)化內容和可能存在的問題。本文還對數(shù)據(jù)中心的其它設備能耗優(yōu)化相關研究進行了綜述，包括網(wǎng)絡設備、存儲設備和溫控設備等，從多個角度分析數(shù)據(jù)中心的節(jié)能策略。通過對目前研究成果的分析，對數(shù)據(jù)中心的能耗優(yōu)化方法有了更深的認識，并在此基礎上預測了數(shù)據(jù)中心能耗優(yōu)化的未來研究方向，為數(shù)據(jù)中心的節(jié)能優(yōu)化研究提供一定的理論指導。

參考文獻：

[1] LUO L，WU W，TSAI W T，et al. Simulation of power consumption of cloud data centers[J]. Simulation Modelling Practice and Theory， 2013， 39（Complete）：152-171.

[2] BRILL K G. Data center energy efficiency and productivity[C]. White Paper posted on the Uptime Institute， 2007.

[3] SHEHABI A，SMITH S， SARTOR D， et al. United states data center energy usage report[R]. Lawrence Berkeley National Laboratory， 2016.

[4] RALLO A. Industry outlook： data center energy efficiency[EB/OL]. http：//www.datacenterjournal.com/

[5] N DENG C，STEWART，LI? J. Concentrating renewable energy in grid-tied datacenters[C]. 2011 IEEE International Symposium on? Sustainable Systems and Technology （ISSST），2011：1-6.

[6] 吳文彬. 基于DVFS的數(shù)據(jù)中心節(jié)能研究[D].哈爾濱：哈爾濱工業(yè)大學，2017.

[7] KIM K H，BELOGLAZOV A，BUYYA R. Power-aware provisioning of virtual machines for real-time cloud services[J]. Concurrency and Computation： Practice and Experience，2011，23 （13）：1491-1505.

[8] 齊巍巍. 考慮DVFS的云計算系統(tǒng)虛擬機部署策略研究[D]. 成都：電子科技大學，2017.

[9] BERRAL J L，GOIRI， í？IGO， et al. Towards energy-aware scheduling in data centers using machine learning[C].International Conference on Energy-efficient Computing & Networking，DBLP， 2010.

[10] BIN L，JIAN Y，YU Z. Dynamic cluster configuration strategy for energy conservation based on online load prediction[J]. Computer Engineering， 2010， 36（24）：96-98.

[11] 馬飛. 云數(shù)據(jù)中心中虛擬機放置和實時遷移研究[D]. 北京：北京交通大學，2013.

[12] WANG Y，WANG X. Power optimization with performance assurance for multi-tier applications in virtualized data centers[C]. International Conference on Parallel Processing Workshops，IEEE Computer Society， 2010.

[13] 孫蒙. 面向綠色云計算的能耗優(yōu)化策略研究[D]. 南京：南京郵電大學，2017.

[14] ALI Q，ZHENG H，MANN T， et al. Power aware NUMA scheduler in VMware's ESXI hypervisor[C]. IEEE International Symposium on Workload Characterization，IEEE Computer Society， 2015.

[15] JUNG G，HILTUNEN M A，JOSHI K R，et al. Mistral： dynamically managing power， performance， and adaptation cost in cloud infrastructures[C]. IEEE International Conference on Distributed Computing Systems，IEEE，2010.

[16] 劉永，王新華，王朕，等. 數(shù)據(jù)中心節(jié)能算法研究綜述[J]. 微型機與應用，2012，31（7）：1-5.

[17] 楊光. 網(wǎng)絡設備功耗管理架構與節(jié)能策略研究[D]. 北京：北京郵電大學，2016.

[18] 姜曉青，王欽若.大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲技術概述[J]. 工業(yè)控制計算機，2016，29（6）：58-60.

[19] 董池. 面向云存儲系統(tǒng)的綠色數(shù)據(jù)管理策略研究[D]. 杭州：杭州電子科技大學，2015.

[20] 張穎琪. 數(shù)據(jù)中心的合理化冷卻方案[J]. 華東科技，2017（5）：64-66.

（責任編輯：杜能鋼）