李梓萌，譚麗麗，潘葉，匡華（中國移動通訊集團(tuán)廣東有限公司信息系統(tǒng)部，廣州 510623）

基于基線分析的云計算資源自動分配技術(shù)

李梓萌，譚麗麗，潘葉，匡華
（中國移動通訊集團(tuán)廣東有限公司信息系統(tǒng)部，廣州 510623）

0　引言

隨著互聯(lián)網(wǎng)與企業(yè)信息系統(tǒng)的迅速發(fā)展，其產(chǎn)生的數(shù)據(jù)也正在迅速膨脹。人們越來越多的認(rèn)識到數(shù)據(jù)對企業(yè)的重要性，對這些數(shù)據(jù)進(jìn)行分析挖掘能為企業(yè)的決策提供目的和資訊。通常企業(yè)創(chuàng)造的數(shù)據(jù)都是非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，若將這些數(shù)據(jù)下載到關(guān)系型數(shù)據(jù)庫來分析，會花費過多的時間與金錢。此時，一些如Map/Reduce這樣的分布式計算框架應(yīng)運而生。在將來，大型數(shù)據(jù)集的分析技術(shù)將會是企業(yè)必要的重要技術(shù)[1]。

1　項目背景和意義

2009-2011年，廣東移動在新全球通移動信息化大廈建設(shè)過程中，通過結(jié)合VDI[2]桌面虛擬化技術(shù)與瘦終端技術(shù)，在新大廈內(nèi)建立虛擬化辦公桌面系統(tǒng)，實現(xiàn)員工在大廈內(nèi)高效、安全、可控的移動辦公。并在此基礎(chǔ)上，實現(xiàn)應(yīng)用虛擬化，增加了對移動辦公和業(yè)務(wù)應(yīng)用系統(tǒng)的“應(yīng)用云”快速訪問服務(wù)。最終構(gòu)建了桌面虛擬化架構(gòu)（VDI）與應(yīng)用虛擬化結(jié)合的統(tǒng)一桌面云。

目前，統(tǒng)一桌面云每時每刻都在產(chǎn)生大量的運維數(shù)據(jù)。由于當(dāng)前系統(tǒng)主要依靠人工運維，所以無法處理如此大量的數(shù)據(jù)。大部分的數(shù)據(jù)被直接丟棄而無法加以利用。因此，通過利用Hadoop大型數(shù)據(jù)并行處理系統(tǒng)對龐大的運維數(shù)據(jù)進(jìn)行整理、分析、挖掘，對系統(tǒng)的性能狀況做出評估[3]，為運維決策提供數(shù)據(jù)支持。

2　項目的目標(biāo)和范圍

設(shè)計與實現(xiàn)一個較為完善的運維數(shù)據(jù)分析系統(tǒng)。該模塊全自動運行，每天從監(jiān)控服務(wù)器獲取最新的運維數(shù)據(jù)，對數(shù)據(jù)進(jìn)行格式化處理并加以分析，根據(jù)分析結(jié)果生成策略建議與運維腳本。

該數(shù)據(jù)分析模塊采用分層設(shè)計，由Web界面，控制腳本，數(shù)據(jù)處理程序，Map/Reduce并行運算框架和HDFS分布式存儲組成。Web界面負(fù)責(zé)分析結(jié)果與運維策略的呈現(xiàn)?？刂颇_本則負(fù)責(zé)按時將監(jiān)控數(shù)據(jù)導(dǎo)入數(shù)據(jù)分析模塊，定時啟動數(shù)據(jù)處理程序和分析程序。數(shù)據(jù)處理程序負(fù)責(zé)利用Map/Reduce并行運算框架對數(shù)據(jù)進(jìn)行整理和分析。HDFS分布式存儲則提供高性能，高容量的數(shù)據(jù)存儲支持。

3　技術(shù)與原理

本節(jié)將對項目設(shè)計與開發(fā)過程中使用到的一些技術(shù)和原理做簡要的闡述。這些技術(shù)包括：Hadoop分布式系統(tǒng)，Map/Reduce并行計算框以及K-means聚類算法。

3.1Hadoop 分布式系統(tǒng)

（1）Hadoop的架構(gòu)

Hadoop的核心由 Map/Reduce和 Hadoop Dis鄄tributed File System組成。其最低層是HDFS，它存儲著Hadoop所有節(jié)點上的文件，由NameNode和DataNode組成。Map/Reduce是位于HDFS的上一層，由Job鄄Tracker和TaskTracker組成。如圖1中的“Hadoop的簡單架構(gòu)”。

圖1　Hadoop的簡單架構(gòu)

3.2k-means 算法

K-means算法[7]是最為經(jīng)典的基于劃分的聚類算法。該算法最大的優(yōu)點在于簡潔快速，并且通過簡單地修改便可以應(yīng)用在分布式計算框架上，成為大規(guī)模數(shù)據(jù)分析的有力工具。

（1）K-means算法

K-means算法輸入為數(shù)值K和N個數(shù)據(jù)對象，然后對N個數(shù)據(jù)對象分成K個聚類，使獲得的聚類滿足以下條件：

①同一聚類中，數(shù)據(jù)對象相似度較高；

②不同聚類中，數(shù)據(jù)對象相似度較低；

每個聚類都有一個聚類中心，即每個聚類的質(zhì)心，一般以各聚類中的數(shù)據(jù)對象均值來計算。聚類中心體現(xiàn)該聚類的特征。

K-means算法的基本思想是：設(shè)立K個中心點，計算對象與中心點的相似性，把與中心點相似性高的對象劃為相應(yīng)的類別，更新中心點直到得出較好的聚類結(jié)果。

具體算法流程：

輸入K，data[n]；

設(shè)定中心點c[0]~c[k-1]

對于data[0]~data[n-1]，分別計算每個對象與c[0]~ c[k-1]之間的相似性dist[0]~dist[k-1]。取相似性最高的dist[i]，即當(dāng)前對象暫被劃分為第i類。

計算所有被標(biāo)記為第i類的對象的均值，作為最新的聚類中心c[i]。

重復(fù)（3）（4）直到c[i]的變化幅度小于閾值或已經(jīng)達(dá)到最大迭代次數(shù)。

關(guān)于相似性計算，相似性計算函數(shù)對聚類結(jié)果有著較大的影響。常見的相似性度量有：歐氏距離、曼哈頓距離、切比雪夫距離、明考斯基[8]距離等。

（2）基于歐氏距離相似性度量

歐氏距離[9]是最易于理解的一種距離計算方式，源自偶是空間中兩點之間的距離公式。采用歐式距離進(jìn)行相似性度量時，先對數(shù)據(jù)對象轉(zhuǎn)化為n維空間上的向量。如數(shù)據(jù)對象有3個數(shù)據(jù)值，則可以簡單轉(zhuǎn)化為3維空間上的向量。

當(dāng)完成將實際數(shù)據(jù)對象轉(zhuǎn)化為n維空間上向量的數(shù)學(xué)模型后，便可以套用公式（1）進(jìn)行相似性計算。

D（X，Y）表示數(shù)據(jù)對象X和Y之間的距離，當(dāng)函數(shù)值越小，X和Y的相似度越高。基于歐氏距離相似性度量比較適合用于數(shù)據(jù)對象中各個數(shù)據(jù)值并沒有嚴(yán)格的順序關(guān)系。

（3）基于形狀相似性度量

在計算負(fù)載曲線相似度時候，歐氏距離度量則顯得不夠科學(xué)。由于歐氏距離只考慮空間中點之間的距離，卻沒有考慮到各個維度的有著嚴(yán)格的順序關(guān)系，如負(fù)載曲線是隨著時間而變化的，如果采用歐氏距離計算負(fù)載曲線的相似度，必然會出現(xiàn)歐氏距離較小但曲線形狀卻不同的情況。

這里考慮采用數(shù)據(jù)對象間的協(xié)方差。假設(shè)n維向量X和Y（具有n個時間點的負(fù)載曲線），協(xié)方差則是衡量X和Y一起變化的尺度。如果X的最大值趨向于Y的最大值，并且X的最小值趨向于Y的最小值，則協(xié)方差將會是一個大正值。相反，協(xié)方差將會是一個負(fù)值。

設(shè)樣本相關(guān)系數(shù)為P（X，Y），則樣本相關(guān)系數(shù)[10]的公式見公式（2）。

公式（2）中X和Y均表示數(shù)據(jù)對象樣本均值。我們假設(shè)D（X，Y）表示負(fù)載曲線X和Y的相似度。最終基于形狀相似性度量[11]如公式（3）計算。

D（X，Y）=1-P（X，Y）

4　需求建模

本節(jié)將對廣東省移動統(tǒng)一桌面云現(xiàn)階段使用狀況以及現(xiàn)在所遇到的問題進(jìn)行一個簡單的描述。以解決問題為目標(biāo)，對需求進(jìn)行描述和建模。

4.1需求概述

當(dāng)前廣東移動的由桌面虛擬化架構(gòu)（VDI）與應(yīng)用虛擬化相結(jié)合的統(tǒng)一桌面云已經(jīng)能夠基本滿足日常辦公的需要。現(xiàn)有的系統(tǒng)已經(jīng)提供基礎(chǔ)設(shè)施資源的管理，調(diào)度和整合功能。

經(jīng)調(diào)研，當(dāng)前統(tǒng)一桌面云的需求如下：

（1）系統(tǒng)指標(biāo)與用戶體驗量化評估。統(tǒng)一桌面云需要建立一套用于評估系統(tǒng)指標(biāo)（性能、效率）和用戶體驗相關(guān)指標(biāo)（響應(yīng)時間）的方案。通過量化模型評估系統(tǒng)運行狀況和用戶體驗。

（2）運維數(shù)據(jù)挖掘。需要對統(tǒng)一桌面云產(chǎn)生的日常運維數(shù)據(jù)進(jìn)行整理、存儲、挖掘分析，最終發(fā)現(xiàn)系統(tǒng)運行狀態(tài)規(guī)律，并提供決策支持。

（3）自適應(yīng)資源供給模型。根據(jù)統(tǒng)一桌面云系統(tǒng)特性建立自適應(yīng)資源供給模型，系統(tǒng)根據(jù)該模型進(jìn)行資源分配決策，能自動地對資源分配進(jìn)行調(diào)整，以適應(yīng)不同用戶相應(yīng)的資源消耗與業(yè)務(wù)需求。

（4）系統(tǒng)魯棒性模型。統(tǒng)一桌面云需要建立一個系統(tǒng)魯棒性模型，在系統(tǒng)部分硬件出現(xiàn)故障的時候，完成故障恢復(fù)，保證核心業(yè)務(wù)和關(guān)鍵業(yè)務(wù)的正常運作。

本項目中，筆者主要負(fù)責(zé)解決運維數(shù)據(jù)挖掘的需求，實現(xiàn)數(shù)據(jù)分析系統(tǒng)。數(shù)據(jù)分析系統(tǒng)可以分為三個模塊：日志解析模塊：主要負(fù)責(zé)數(shù)據(jù)上傳、解析、格式化存儲；數(shù)據(jù)分析模塊，對格式化存儲的日志數(shù)據(jù)進(jìn)行整合、篩選，并加以分析，生成分析報告；決策支持模塊：根據(jù)分析報告，生成資源調(diào)配腳本提供管理員應(yīng)用和分析結(jié)果可視化。系統(tǒng)功能模塊劃分如圖2所示：

圖2　系統(tǒng)功能模塊劃分

4.2領(lǐng)域模型

本系統(tǒng)主要涉及4個角色：用戶、日志數(shù)據(jù)、分析報告和策略。其中用戶可以用一份或多份日志數(shù)據(jù)進(jìn)行分析，而日志數(shù)據(jù)可以由多個用戶進(jìn)行分析，日志與用戶之間是多對多關(guān)系。用戶可以使用一份或多份分析報告進(jìn)行策略生成，而分析報告可以被0個或多個用戶使用，因此分析報告與用戶之間的關(guān)系是多對多關(guān)系。用戶可以應(yīng)用一個策略，而策略可以被0個或多個用戶應(yīng)用，因此用戶與策略之間是多對一的關(guān)系。分析報告可以由多份日志數(shù)據(jù)分析而成，而一份日志數(shù)據(jù)可以生成多份分析報告，因此日志數(shù)據(jù)與分析報告是多對多關(guān)系。策略根據(jù)一份分析報告生成，而分析報告可以用于生成多份策略，因此策略與分析報告之間的關(guān)系是一對多的關(guān)系。

其領(lǐng)域模型如圖3所示：

圖3　領(lǐng)域模型

5　架構(gòu)設(shè)計

本系統(tǒng)采用分層設(shè)計。第一層為Hadoop核心層，主要是由Map/Reduce和HDFS兩部分組成。第二層為Hadoop分析層，利用基于Map/Reduce編程框架編寫的分析程序?qū)?shù)據(jù)進(jìn)行并行化分析。第三層為控制層，主要為終端或SSH。整個項目框架如圖4所示：

圖4　系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)圖的說明如下：

（1）用戶和其他系統(tǒng)通過終端或SSH登錄本系統(tǒng)；

（2）在SSH或終端上執(zhí)行分析層代碼包程序；

（3）分析程序通過調(diào)用核心層Map/Reduce計算框架執(zhí)行；

（4）分析程序通過讀取HDFS上的日志和數(shù)據(jù)并進(jìn)行分析；

（5）分析結(jié)果生成在HDFS上，并顯示在終端界面上；

（6）用戶和其他系統(tǒng)通過執(zhí)行命令，將結(jié)果從HDFS中取出。

6　模塊設(shè)計

本章將主要闡述 “日志解析模塊”、“數(shù)據(jù)分析模塊”和“策略生成模塊”三個模塊的Map/Reduce設(shè)計以及數(shù)據(jù)模型和關(guān)鍵算法原理。

6.1日志解析模塊

該模塊主要功能是實現(xiàn)對非格式化日志數(shù)據(jù)進(jìn)行解析并格式化存儲。通過利用Map/Reduce編程框架進(jìn)行并行化解析日志。在日志中提取出虛擬機(jī)性能數(shù)據(jù)（CPU、內(nèi)存使用量）和虛擬機(jī)進(jìn)程使用狀況等數(shù)據(jù)，經(jīng)過統(tǒng)計后按照一定的格式存儲。

該模塊采用Map/Reduce編程模型，Mapper負(fù)責(zé)讀取日志并解析，生成易于讀取的日志對象交給Re鄄ducer處理，Reducer負(fù)責(zé)將所有日志數(shù)據(jù)合并，并以固定格式輸出到HDFS上。日志數(shù)據(jù)主要分為兩類，一類是性能數(shù)據(jù)，即CPU、內(nèi)存的負(fù)載；另一類是進(jìn)程狀態(tài)信息。其中進(jìn)程狀態(tài)信息數(shù)據(jù)獲取非運行進(jìn)程列表，通過與監(jiān)控的進(jìn)程列表對比，得出正在運行的進(jìn)程。

6.2數(shù)據(jù)分析模塊

數(shù)據(jù)分析模塊主要有LogMerger和K-means兩個類實現(xiàn)。LogMerger主要實現(xiàn)對所有的日志數(shù)據(jù)按照虛擬機(jī)名進(jìn)行合并，合并方式采用求和平均方式。K-means主要實現(xiàn)對數(shù)據(jù)進(jìn)行聚類分析，為了提高計算負(fù)載量和效率，利用了Map/Reduce編程框架對K-means實現(xiàn)并行化。

并行K-means算法流程描述：

（1）聚類中心文件Cluster_i加入分布式緩存；

（2）執(zhí)行K-means Map/Reduce程序，生成新聚類中心文件Clusteri+1；

（3）迭代次數(shù)小于MAXITERATION，否則聚類結(jié)束。

（4）計算Cluster_i每一個中心與Cluster_i+1中的新中心的距離，如果距離大于THRESHOLD，則執(zhí)行回到（1），否則聚類結(jié)束。

并行K-means算法流程活動圖如圖5所示。

數(shù)據(jù)分析流程描述：

（1）LogMerger對日志數(shù)據(jù)進(jìn)行合并；

（2）截取出CPU負(fù)載數(shù)據(jù)，內(nèi)存負(fù)載數(shù)據(jù)和進(jìn)程使用頻率數(shù)據(jù)分別存儲在CPUDATA，MEMDATA和PROCDATA文件中；

（3）CPUDATA，MEMDATA，PROCDATA進(jìn)行K-means算法，對CPU，內(nèi)存負(fù)載數(shù)據(jù)采用基于形狀相似性距離計算方法。而對進(jìn)程使用頻率數(shù)據(jù)采用歐氏距離計算方法；

（4）K-means算法結(jié)束后，以最后的聚類中心作為分組特征，得出CPUGROUP，MEMGROUP和PROC鄄GROUP，分別代表虛擬機(jī)的各個分組一天的CPU負(fù)載基線，內(nèi)存負(fù)載基線和進(jìn)程使用頻率信息。

數(shù)據(jù)分析流程活動圖如圖6所示：

圖5　并行K-means算法流程活動圖

圖6　數(shù)據(jù)分析流程活動圖

7　部署與應(yīng)用

通過對統(tǒng)一桌面云實際生產(chǎn)環(huán)境中，500臺虛擬機(jī)兩個星期的性能基線數(shù)據(jù)進(jìn)行聚類分析，結(jié)果如下：

按照CPU性能基線聚類分析結(jié)果如圖7所示。

通過觀察CPU性能負(fù)載基線的分析結(jié)果，我們可以看到有3類用戶，CPUGROUP2類別的用戶對于CPU性能要求較高，而且負(fù)載相對較大，因此需要給予更多的CPU資源。而CPUGROUP0類別用戶在早上的時候CPU負(fù)載較高，而下午的時候負(fù)載較低。CPU鄄GROUP1類用戶則是下午的負(fù)載較高而早上相對較低。這些信息能提醒管理員，可以將CPUGROUP1和CPUGROUP0的虛擬機(jī)歸為同一臺物理機(jī)上，由于該兩類虛擬機(jī)的負(fù)載高峰相反，因此可以放在同一臺物理機(jī)上，達(dá)到資源利用的最大化和效益化。而CPU鄄GROUP2類別的用戶由于長期高負(fù)載，因此需把該類用戶與CPUGROUP0和CPUGROUP1類用戶分開，以避免出現(xiàn)同時負(fù)載高峰引起計算資源緊張和不平衡分配。

8　結(jié)語

數(shù)據(jù)分析模型方面，我研究了層次聚類算法，K-means聚類算法及其變種，參考了前輩在負(fù)載基線分析方面的經(jīng)驗，通過總結(jié)和試驗，逐漸建立了適用于統(tǒng)一桌面云運維數(shù)據(jù)的分析模型。在系統(tǒng)構(gòu)建過程中，為了降低各個模塊的耦合度，筆者編寫了一些簡單的接口，利用接口，工廠模式和動態(tài)綁定等方式來編寫系統(tǒng)。系統(tǒng)主要分為日志解析、數(shù)據(jù)分析、策略生成三個部分。這三個部分可以分別獨立運行也可以流水線運行。其中數(shù)據(jù)分析模塊中的K-means算法也設(shè)計成可獨立運作，方便以后擴(kuò)展或者替換算法。

總體而言，本人通過這個系統(tǒng)在分布式計算領(lǐng)域和數(shù)據(jù)挖掘領(lǐng)域做了一次初步探索，效果還是不錯，基本完成項目的需求。由于系統(tǒng)設(shè)計初期注重擴(kuò)展性，系統(tǒng)能夠方便地進(jìn)行二次開發(fā)和擴(kuò)展。在以后，筆者將繼續(xù)改進(jìn)算法，并增加更多數(shù)據(jù)分析流程，以便產(chǎn)生更多更有價值的數(shù)據(jù)分析報告，為自動化運維提供更多決策信息。

圖6　CPU性能負(fù)載基線聚類分析結(jié)果

[1]王珊，王會舉，覃雄派，周烜.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望.計算機(jī)學(xué)報，34（10）：1-12，2011.

[2]張慶萍.虛擬桌面基礎(chǔ)架構(gòu)（VDI）安全研究.計算機(jī)安全，72-74，2011.

[3]蔣超，張晨光.電力營業(yè)廳運維數(shù)據(jù)模型研究.見：2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集，2013，364-370.

[4]Tom White.Hadoop權(quán)威指南.清華大學(xué)出版社，2011.

[5]Dean J、Ghemawat S，Mapreduce：Simplified Data Processing on Large Clusters。Communications of ACM，2008,51（1）：107-113.

[6]Borthakur D，The Hadoop Distributed File System:Architecture and Design.Apache Software Foundation，2007,3-14.

[7]周麗娟，王慧，王文伯，張寧.面向海量數(shù)據(jù)的并行KMeans算法.大學(xué)學(xué)報（自然科學(xué)版），2012,40：150-152.

[8]任福棟，孫菲，任福捷.基于距離和的數(shù)據(jù)挖掘技術(shù)在中考成績處理中的應(yīng)用.齊齊哈爾大學(xué)學(xué)報（自然科學(xué)版），2010,26（4）：35-39.

[9]孟海東，張玉英，宋飛燕.一種基于加權(quán)歐氏距離聚類方法的研究.計算機(jī)應(yīng)用，2006，26（2）：152-153.

[10]嚴(yán)麗坤.相關(guān)系數(shù)與偏相關(guān)系數(shù)在相關(guān)分析中的應(yīng)用.云南財貿(mào)學(xué)院學(xué)報，2003，19（3）：78-80.

[11]苑津莎，李中.基于形狀相似距離的K-means聚類算法.華北電力大學(xué)學(xué)報（自然科學(xué)版），2009，36（6）：98-103.

譚麗麗，工學(xué)博士，高級工程師，從事領(lǐng)域為移動增值業(yè)務(wù)產(chǎn)品、移動互聯(lián)網(wǎng)業(yè)務(wù)開發(fā)、運營工作

李梓萌，碩士，研究方向為管理信息化和云計算

匡華，碩士，工程師，研究方向為云計算

Hadoop;Map/Reduce;Data Analysis;Clustering Analysis

Cloud Computing Resource Allocation Based on Baseline Analysis

LI Zi-meng，TAN Li-li，PAN Ye，KUANG Hua
（The Information System Department of Gmcc，Guangzhou 510623）

1007-1423（2016）06-0019-07

10.3969/j.issn.1007-1423.2016.06.005

陳梓豪（1992-），男，廣東廣州人，在讀研究生

2015-12-17

2016-02-10

廣東省移動構(gòu)建桌面虛擬化架構(gòu)（VDI）與應(yīng)用虛擬化結(jié)合的統(tǒng)一桌面云，實現(xiàn)員工在大廈內(nèi)高效、安全、可控的移動辦公。隨著統(tǒng)一桌面云的進(jìn)一步推廣和應(yīng)用，其日益增長的日志數(shù)據(jù)無法通過人工分析，為其運營維護(hù)提供決策支持。設(shè)計一個大數(shù)據(jù)分析系統(tǒng)，通過分布式并行計算框架分析統(tǒng)一桌面云所產(chǎn)生的大量數(shù)據(jù)，并最終生成決策建議。

Hadoop；Map/Reduce；數(shù)據(jù)分析；聚類算法

Guangdong Mobile to build a desktop virtualization infrastructure（VDI）and application virtualization combination of unified desktop cloud，employees inside the building efficient，safe，controllable mobile office.With the further promotion and application of unified desktop cloud，its growing log data cannot by manual analysis，decision support their operation and maintenance.The purpose is to design a data analysis system，distributed parallel computing framework to analyze large amounts of data generated by the unified desktop cloud，and the resulting policy recommendations.