鮑 陳，王海濤，汪千松，胡 冰

(安徽工程大學(xué) 現(xiàn)代教育技術(shù)中心，安徽 蕪湖 241000)

0 引 言

隨著PB級大數(shù)據(jù)時代的到來，高校信息化建設(shè)也在迅速發(fā)展。傳統(tǒng)的校園網(wǎng)數(shù)據(jù)中心采用“一套應(yīng)用一套系統(tǒng)”的IT資源配置模式，面臨管理復(fù)雜，資源利用率低，建設(shè)與運維成本高，業(yè)務(wù)的穩(wěn)定性與連續(xù)性較差，安全控制和數(shù)據(jù)的災(zāi)備困難等問題，已經(jīng)不能適應(yīng)當(dāng)前高校信息化的建設(shè)需求。云計算是一種采用虛擬化為基礎(chǔ)架構(gòu)，通過IT基礎(chǔ)架構(gòu)和軟件向網(wǎng)絡(luò)環(huán)境中的用戶按需提供資源和服務(wù)的技術(shù)[1-2]。文中首先在分析vSphere虛擬化架構(gòu)的基礎(chǔ)上，提出了vSphere私有云基礎(chǔ)架構(gòu)，通過搭建高性能服務(wù)器集群和共享存儲系統(tǒng)，利用vSphere的相關(guān)服務(wù)器虛擬化組件，對底層硬件進(jìn)行整合利用，利用vCloud Director組件，將IT基礎(chǔ)架構(gòu)轉(zhuǎn)變?yōu)樗接性?，?gòu)建新一代高可用性高校數(shù)據(jù)中心(Internet data center，IDC)。該方案有利于提高服務(wù)器整體利用率、簡化管理與運維，實現(xiàn)信息化系統(tǒng)的高可用性和高安全性以及集群內(nèi)主機(jī)和存儲的負(fù)載均衡。

從經(jīng)濟(jì)效益和管理安全性考慮，vSphere私有云基礎(chǔ)架構(gòu)的虛擬化構(gòu)建是必要的。實踐證明，該模式構(gòu)建的高校數(shù)據(jù)中心，優(yōu)化了IT基礎(chǔ)架構(gòu)服務(wù)模式，提升了高校信息化建設(shè)水平，也為其他高校同類建設(shè)項目提供了一個有意義的參考。

1 虛擬化技術(shù)

虛擬化技術(shù)[3-4]是通過映射或抽象的方式，通過虛擬化技術(shù)可以對包括基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計算資源的表示，訪問和管理進(jìn)行簡化，提高IT資源的利用率，如服務(wù)器、網(wǎng)絡(luò)或存儲設(shè)備，并且超出物理的局限性。虛擬化簡化了資源管理，集中并共享了資源，使它們變成邏輯資源以最大限度地得到利用。

由于采用的虛擬化技術(shù)不同，可以將系統(tǒng)虛擬化分為五大類：硬件仿真、全虛擬化、半虛擬化、硬件輔助虛擬化、操作系統(tǒng)級虛擬化。各種虛擬化技術(shù)對比如表1所示。

表1 各種虛擬化技術(shù)對比

2 vSphere虛擬化架構(gòu)分析

vSphere[5-6]是VMware公司首款云計算操作系統(tǒng)，以集成軟件包的形式提供虛擬化、管理、資源優(yōu)化、應(yīng)用程序可用性和操作自動化等功能；并匯聚物理硬件資源(包括計算、存儲和網(wǎng)絡(luò)資源)，允許用戶創(chuàng)建通用管理服務(wù)的私有云，為高校數(shù)據(jù)中心提供高可用性、高安全性和可擴(kuò)展性的虛擬資源解決方案。VMware vSphere虛擬化架構(gòu)如圖1所示。VMware vSphere在邏輯上由基礎(chǔ)架構(gòu)層(虛擬化層)、管理層和界面層構(gòu)成，其中基礎(chǔ)架構(gòu)層包含基礎(chǔ)架構(gòu)和應(yīng)用程序兩個服務(wù)。

圖1 vSphere虛擬化架構(gòu)

(1)基礎(chǔ)架構(gòu)服務(wù)。VMware vSphere通過基礎(chǔ)架構(gòu)服務(wù)抽象、聚合分配計算、存儲和網(wǎng)絡(luò)資源。①計算資源，即主機(jī)、集群和資源池；②存儲資源，即數(shù)據(jù)存儲和數(shù)據(jù)存儲集群。其存儲虛擬機(jī)的文件系統(tǒng)為VMFS。數(shù)據(jù)存儲技術(shù)包括FC、FCoE、iSCSI、NAS和DAS；③網(wǎng)絡(luò)資源，即使用虛擬交換機(jī)的主機(jī)和虛擬機(jī)提供網(wǎng)絡(luò)連接。虛擬交換機(jī)分為標(biāo)準(zhǔn)虛擬交換機(jī)(vSS)和分布式虛擬交換機(jī)(vDS)，支持VMkernel端口和虛擬端口組。

(2)應(yīng)用程序服務(wù)?？捎眯允侵柑峁?yīng)用、存儲資源、基礎(chǔ)架構(gòu)和管理，包括高可用性HA、故障容錯FT、數(shù)據(jù)保護(hù)、復(fù)制等。安全性是指提供安全虛擬應(yīng)用程序防護(hù)，vShield安全組件包括vShield Manager(管理界面)、vShield App(網(wǎng)卡級防火墻)、vShield Edge(路由器)、vShield EndPoint(防病毒)和vShield Data Security(數(shù)據(jù)安全)，用來保護(hù)虛擬化數(shù)據(jù)中心。

(3)管理層。包含vCenter Server。通過vCenter Server實現(xiàn)對數(shù)據(jù)中心進(jìn)行單點控制，并提供基本的數(shù)據(jù)中心服務(wù)，如訪問控制、性能監(jiān)視以及配置。

(4)用戶客戶端。用戶可通過vSphere Client和vSphere Web Client訪問vSphere數(shù)據(jù)中心。利用vSphere SDK開發(fā)靈活、簡潔并具有友好界面的VMware vSphere客戶應(yīng)用程序。

3 vSphere私有云平臺設(shè)計

3.1 存在問題與需求分析

隨著高校信息化建設(shè)的不斷深入，IT系統(tǒng)的規(guī)模越發(fā)龐大，傳統(tǒng)的校園網(wǎng)數(shù)據(jù)中心采用“一套應(yīng)用一套系統(tǒng)”的IT資源配置模式，已經(jīng)不能適應(yīng)當(dāng)前高校信息化建設(shè)需求。為了提高資源利用率，降低管理難度和系統(tǒng)維護(hù)風(fēng)險，減少機(jī)房基礎(chǔ)設(shè)施的投入，提高應(yīng)用和系統(tǒng)部署的效率，轉(zhuǎn)向虛擬化技術(shù)，提出以業(yè)務(wù)為中心“IT即服務(wù)”私有云構(gòu)建模式，對原有系統(tǒng)采用P2V遷移[7-8]。該私有云平臺的構(gòu)建，采用共享存儲架構(gòu)FC SAN，實現(xiàn)了CPU、內(nèi)存與存儲設(shè)備的分離，并利用ESXi組件對IT基礎(chǔ)資源進(jìn)行整合，構(gòu)建虛擬化基礎(chǔ)架構(gòu)平臺，同時使用vShield(vCloud networking and security，vCNS)組件對虛擬機(jī)平臺進(jìn)行安全防護(hù)。在虛擬化基礎(chǔ)架構(gòu)平臺上，利用vCloud Director組件，對虛擬化計算、存儲、網(wǎng)絡(luò)連接和安全性的虛擬數(shù)據(jù)中心實現(xiàn)安全配置，構(gòu)建一種vSphere私有云，提供彈性計算的基礎(chǔ)設(shè)施服務(wù)，從而達(dá)到新一代高校數(shù)據(jù)中心建設(shè)需求：高可用性基礎(chǔ)架構(gòu)，低成本，高IT資源利用率，管理和維護(hù)復(fù)雜度低，靈活、敏捷的IT服務(wù)交付。

3.2 總體架構(gòu)

針對原有校園網(wǎng)中心機(jī)房設(shè)施以及新一代高校數(shù)據(jù)中心建設(shè)需求分析，目前該校的虛擬化平臺物理架構(gòu)由8臺高性能IBM 3650M4服務(wù)器、FC SAN存儲系統(tǒng)(1臺EMC VNX5500存儲和2臺FC交換機(jī)EMCDS300)組成。通過vSphere集群將所有ESXi主機(jī)整合起來，形成一個大的資源池，通過vCenter Server提供統(tǒng)一管理服務(wù)，配置vShield實現(xiàn)對虛擬數(shù)據(jù)中心的安全防護(hù)，并利用vCloud Director組件構(gòu)建vSphere私有云。虛擬化平臺的物理架構(gòu)如圖2所示。

圖2 虛擬化平臺的物理架構(gòu)

4 vSphere私有云平臺架構(gòu)實施

4.1 IT基礎(chǔ)架構(gòu)實施

(1)安裝ESXi主機(jī)。

在每臺物理服務(wù)器上安裝虛擬化層ESXi操作系統(tǒng)，用于將服務(wù)器硬件資源進(jìn)行抽象化處理，并允許多個虛擬機(jī)共享這些資源。相對于傳統(tǒng)的OS，ESXi有更加嚴(yán)格的硬件限制，不是所有的存儲控制器和網(wǎng)卡都支持，需要通過查詢硬件兼容性列表HCL。因為共享存儲架構(gòu)采用的是FC SAN，需要每臺服務(wù)器配置相應(yīng)的萬兆以太網(wǎng)卡和HBA卡，通過查找HCL列表，購買相應(yīng)的萬兆以太網(wǎng)卡和HBA卡。ESXi系統(tǒng)安裝完成后，配置需要服務(wù)器名和IP地址。文中的8臺服務(wù)器名稱為ESXi01～ESXi08，IP地址為192.168.168.2/26～192.168.168.9/25。

(2)配置AD域控制器。

安裝活動目錄Active Directory組件，并將此服務(wù)器提升為域控制器，添加DNS服務(wù)功能，并設(shè)置DNS轉(zhuǎn)發(fā)器到當(dāng)?shù)谼NS服務(wù)器上。DNS服務(wù)器用集群中主機(jī)名。文中規(guī)劃的AD域控制器IP地址為：192.168.168.14/25。

(3)部署vCenter Server。

使用vSphere Client客戶端連接到ESXi01服務(wù)器，在此服務(wù)器上安裝SUSE Linux版的vCenter Server Application。通過選擇“File”(文件)→“Deploy OVF Template”(部署OVF模板)，設(shè)備導(dǎo)入到虛擬基礎(chǔ)架構(gòu)的ESXi主機(jī)中。vCenter Server Application部署完成后，可以通過控制臺配置網(wǎng)絡(luò)和時區(qū)。文中規(guī)劃的vCenter Server的IP地址為：192.168.168.10/25。打開Web瀏覽器并鍵入：https://192.168.168.10:5480，登錄后選擇嵌入式數(shù)據(jù)庫。單擊“Start vCenter”(啟動vCenter)，單擊“Services”(服務(wù))選項卡，啟動停止相關(guān)服務(wù)等操作。vCenter統(tǒng)一管理托管的ESXi主機(jī)。

(4)配置和管理虛擬網(wǎng)絡(luò)。

虛擬網(wǎng)絡(luò)為虛擬交換機(jī)的主機(jī)和虛擬機(jī)提供網(wǎng)絡(luò)連接。虛擬交換機(jī)支持VMkernel端口(用于IP存儲或vMotion遷移以及ESXi管理網(wǎng)絡(luò))，一個或多個虛擬端口組。配置管理網(wǎng)絡(luò)和vMotion網(wǎng)絡(luò)，為了兼容不同CPU類型，需要在vSphere Cluster配置過程中開啟EVC模式，并配置專用網(wǎng)絡(luò)，在標(biāo)準(zhǔn)交換機(jī)vSwitch0中，啟用vMotion和管理流量，遷移虛擬機(jī)。根據(jù)業(yè)務(wù)需求，添加標(biāo)準(zhǔn)交換機(jī)，通過端口組特性指定VLAN ID提供VLAN支持。新建分布式交換機(jī)，使得數(shù)據(jù)中心范圍內(nèi)的網(wǎng)絡(luò)聚合起來集中進(jìn)行網(wǎng)絡(luò)資源調(diào)配、管理和監(jiān)控。例如創(chuàng)建vlan 201的交換機(jī)支持toInternet，配置上綁定ESXi主機(jī)業(yè)務(wù)網(wǎng)絡(luò)物理網(wǎng)卡NIC，NIC網(wǎng)卡與上層核心交換機(jī)端口之間可以做成Trunk端口。

(5)配置EMC存儲，并創(chuàng)建VMFS數(shù)據(jù)存儲[9-11]。

文中采用FC SAN存儲架構(gòu)，包括一臺EMC VNX5500存儲系統(tǒng)，兩臺FC智能交換機(jī)。由于EMC存儲系統(tǒng)價格較高，為了方便存儲擴(kuò)展，方案中的FC交換機(jī)支持FC端口和IP端口，方便將價格相對低廉的IP SAN存儲網(wǎng)絡(luò)接入網(wǎng)絡(luò)存儲系統(tǒng)中。配置EMC存儲，輸入IP：https://1.1.1.1，進(jìn)入EMC VNX5500配置界面，創(chuàng)建存儲池，LUN劃分，注冊主機(jī)，創(chuàng)建存儲組并映射。在vSphere Client創(chuàng)建VMFS數(shù)據(jù)存儲步驟如下：在vCenter的“Inventory”清單中，選擇“Host and Clusters”視圖，在“Configuration”面板中單擊“Storage”鏈接，將顯示現(xiàn)有數(shù)據(jù)存儲，單擊“Datastores”按鈕，然后選擇“Add Storage”鏈接，選擇一個LUN來創(chuàng)建VMFS5數(shù)據(jù)存儲。

(6)創(chuàng)建高可用性主機(jī)和群集。

vSphere Client客戶端登錄vCenter Server，在“Hosts and Clusters”(主機(jī)和群集)清單視圖中，添加虛擬數(shù)據(jù)中心vDC，在vDC下添加8臺ESXi主機(jī)，打開HA和DRS功能。vSphere的vMotion、Storage vMotion、HA和DRS功能支持群集的高可用性。vMotion允許運行中的VM在相同LUN上的ESXi主機(jī)之間進(jìn)行遷移，而Storage vMotion則允許運行在同一個ESXi主機(jī)上的VM從一個存儲LUN轉(zhuǎn)移到另一個存儲LUN中。HA[12](high availability)，則允許vSphere HA群集中打開vSphere HA，當(dāng)某臺ESXi主機(jī)發(fā)生故障時，HA會在其他主機(jī)上重啟受影響的VM；當(dāng)VM停止發(fā)送心跳信號或VM進(jìn)程崩潰時，HA會重置VM。

4.2 虛擬化平臺安全

虛擬化平臺安全包括網(wǎng)絡(luò)安全、虛擬機(jī)安全、訪問控制安全[13]。①網(wǎng)絡(luò)安全。在vSwitch(虛擬交換機(jī))上進(jìn)行VLAN配置，隔離不同網(wǎng)段，由于主機(jī)和網(wǎng)絡(luò)之間的物理邊界消失或模糊，無法通過硬件網(wǎng)關(guān)設(shè)備來提供服務(wù)，通過搭建vShield虛擬防火墻的保護(hù)端到端，邊界到端點的數(shù)據(jù)安全(vShield部署過程如下：通過vSphere Client端，通過OVF模板部署，導(dǎo)入vShield-Manager- 5.5.4版本。vShield虛擬機(jī)的IP規(guī)劃為：192.168.168.39/25。通過瀏覽器配置vCenter、DNS 和NTP。并在每臺ESXi主機(jī)上，安裝vShield App(防火墻)，保護(hù)內(nèi)部網(wǎng)絡(luò)中VM之間通信，保護(hù)集群中的VM。vShield Edge 組件可提供網(wǎng)絡(luò)邊緣安全和網(wǎng)關(guān)服務(wù)，用于隔離端口組、vDS 端口組。vShield Edge 同時通過提供 DHCP、VPN、NAT 和負(fù)載平衡并隔離末端網(wǎng)絡(luò)連接到共享上行鏈路)。②虛擬機(jī)安全。vSphere提供了一種虛擬機(jī)快照保存?zhèn)浞菽Ｊ?，可以依一次性實現(xiàn)服務(wù)器的災(zāi)難恢復(fù)，最大程度地保護(hù)虛擬機(jī)安全。③訪問控制安全。vSphere提供基于RBAC[14]訪問控制方式。管理員登錄vCenter后，可以添加角色，并為角色添加特權(quán)。同時可以創(chuàng)建用戶，并將該角色賦予這個用戶。

4.3 私有云平臺實施與監(jiān)控

在虛擬化基礎(chǔ)架構(gòu)之上，通過vCloud Directory組件構(gòu)建多租戶云的私有云平臺，實現(xiàn)彈性計算的基礎(chǔ)設(shè)施服務(wù)。vCloud Directory安裝也是通過導(dǎo)入OVF模板的方式實現(xiàn)的。vCloud Directory配置之前需要確保vShield和vCloud Directory都正常安裝，安裝步驟如下：創(chuàng)建提供者虛擬數(shù)據(jù)中心vDC；創(chuàng)建虛擬分布式交換機(jī)vDS，創(chuàng)建一個外部網(wǎng)絡(luò)，配置外部網(wǎng)絡(luò)；創(chuàng)建地址池；新建組織，并使用LDAP添加組織的用戶，設(shè)置vApp租約策略；向組織分配資源，創(chuàng)建組織vDC；創(chuàng)建目錄(存儲vApp模板文件和媒體文件)、配置存儲、添加組織vDC網(wǎng)絡(luò)，創(chuàng)建和使用vApp，通過組織URL，使用組織的用戶賬號登錄，使用vApp模板創(chuàng)建vApp或者使用媒體文件創(chuàng)建vApp(使用組織下配置存儲和網(wǎng)絡(luò)池)，完成組織下的VM的創(chuàng)建。最后，在數(shù)據(jù)中心的Network Virtualization視圖中，添加vShield Edge(路由器)，然后添加Edge Interface(比如toInternet和toIntranet)，完成之后創(chuàng)建一個Edge的虛擬機(jī)，配置靜態(tài)路由和SNAT規(guī)則，實現(xiàn)Intranet訪問Internet。完成上述實施步驟，就可以構(gòu)建基于vCloud私有云，提供彈性計算的基礎(chǔ)設(shè)施服務(wù)。

基于vSphere私有云平臺部署完成后，為了保證原有業(yè)務(wù)系統(tǒng)的連續(xù)性，采用在原有物理主機(jī)上安裝VMware Converter組件實現(xiàn)P2V物理機(jī)在線遷移[15]。通過性能監(jiān)控vCops(vCenter operations manager)組件，提供虛擬化環(huán)境(IT基礎(chǔ)架構(gòu)中各ESXi主機(jī)、VM、存儲和網(wǎng)絡(luò))的運行狀況、容量和性能的可視化界面。經(jīng)過一段時間的運行測試，達(dá)到以下效果：整合現(xiàn)有IT基礎(chǔ)資源，實現(xiàn)資源統(tǒng)一管理；提高資源利用率、降低采購成本；提高平臺數(shù)據(jù)安全性；降低總體擁有成本(TCO)、提高投資回報率(ROI)。

4.4 運維成本分析

此次vSphere應(yīng)用部署中，配置了8臺高性能IBM 3650M4服務(wù)器，電源總功率約為750 W；IBM 3650M4主機(jī)各自運行在校園網(wǎng)DMZ區(qū)，使用vSphere套件，在硬件服務(wù)器上安裝ESXi Server平臺，將原有系統(tǒng)遷移至虛擬機(jī)平臺上。首先，從服務(wù)器耗電的角度，假設(shè)所有的服務(wù)器都是24小時不宕機(jī)運行，以每臺服務(wù)器每小時耗電約750 W，以每度電費0.538元計算，50臺電源的服務(wù)器每年所需電費約為：50×750×24×365×0.538÷1 000=176 733 元；虛擬化平臺采用8臺ESXi主機(jī)，其上運行50臺虛擬機(jī)VM，每年電費約為：8×750×24×365×0.538÷1 000=28 277.2元。從空調(diào)制冷角度，數(shù)據(jù)中心電力消耗被轉(zhuǎn)換為熱能，制冷系統(tǒng)處理1 W的熱量需要消耗電能約0.8 W。虛擬化平臺前50臺服務(wù)器一年的制冷電力消耗電費為：176 733 元×0.8=141 386.4 元；虛擬化平臺后8臺ESXi主機(jī)一年制冷電力消耗電費為：28 277.2×0.8=22 621.76。Forrester在《vCenter Operations TEI研究》中認(rèn)為，部署了vSphere 私有云基礎(chǔ)解決方案，可以使得IT成本資源使用量下降30%，IT工作效率上升69%。

綜上所述，通過vSphere私有云基礎(chǔ)解決方案對數(shù)據(jù)中心服務(wù)器集群進(jìn)行整合，大大減少了服務(wù)器數(shù)量，降低了數(shù)據(jù)中心能耗，節(jié)約了投資成本，減輕了管理難度。

5 結(jié)束語

提出一種高可用性的私有云基礎(chǔ)架構(gòu)解決方案，有效地解決了傳統(tǒng)高校數(shù)據(jù)中心建設(shè)中存在的問題，該方案具有投資少、易于維護(hù)、安全可靠、業(yè)務(wù)的穩(wěn)定性與連續(xù)性較好等特點。該方案從計算池、網(wǎng)絡(luò)池、存儲池、安全優(yōu)化池的角度，提出了一套基于私有云數(shù)據(jù)中心的解決方案；采用共享存儲架構(gòu)FC SAN，并通過vSphere集群[16]將所有ESXi主機(jī)進(jìn)行整合，形成資源池，通過vCenter Server提供統(tǒng)一管理服務(wù)，配置vShield實現(xiàn)對虛擬數(shù)據(jù)中心的安全防護(hù)，并利用vCloud Director組件，從而實現(xiàn)了vSphere私有云。實踐證明，該模式構(gòu)建的高校數(shù)據(jù)中心，優(yōu)化了IT基礎(chǔ)架構(gòu)服務(wù)模式，提升了高校信息化建設(shè)水平，構(gòu)建了低碳、節(jié)能、減排、綠色的高校數(shù)據(jù)中心機(jī)房，增強了信息化系統(tǒng)的高可用性和安全性，也為其他高校同類建設(shè)項目提供了一個有意義的參考。