■ 濟(jì)南 張雨

編者按：信息孤島、共享困難等問題，嚴(yán)重阻礙了企業(yè)信息化向更高階段發(fā)展，因此企業(yè)云戰(zhàn)略應(yīng)運(yùn)而生。本文將介紹私有云建設(shè)的具體方案，希望能對(duì)大家有所啟示。

虛擬化技術(shù)是企業(yè)私有云建設(shè)的主流技術(shù)，它可以有效提高資源利用效率、系統(tǒng)部署的靈活性和可靠性也會(huì)得到很大提高。

圖1 總體方案結(jié)構(gòu)圖

總體方案

虛擬化環(huán)境提供了一個(gè)功能完整的、標(biāo)準(zhǔn)開放的、方便集成的IaaS層，本層是整個(gè)云計(jì)算服務(wù)的基礎(chǔ)支撐，其核心部分是用虛擬化軟件構(gòu)建的云計(jì)算服務(wù)基礎(chǔ)架構(gòu)。通過部署虛擬化軟件、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等搭建虛擬化環(huán)境，形成統(tǒng)一的云計(jì)算平臺(tái)?？傮w方案如圖1所示。

計(jì)算資源池規(guī)劃

通過虛擬化技術(shù)構(gòu)建的資源池，可以實(shí)現(xiàn)對(duì)硬件和軟件資源的靈活、有效利用。虛擬化技術(shù)將標(biāo)準(zhǔn)服務(wù)器及其處理器、內(nèi)存、磁盤形成一個(gè)邏輯計(jì)算資源池中。操作系統(tǒng)及其應(yīng)用程序被隔離到安全、可移植的虛擬機(jī)中?；A(chǔ)架構(gòu)會(huì)根據(jù)每個(gè)虛擬機(jī)的需要和優(yōu)先級(jí)，將系統(tǒng)資源動(dòng)態(tài)地分配給它們，從而實(shí)現(xiàn)主機(jī)級(jí)容量分配，以及對(duì)服務(wù)器資源的控制。虛擬機(jī)可動(dòng)態(tài)、自動(dòng)地分配給資源池中最合適的主機(jī)，從而確保軟件應(yīng)用程序的服務(wù)級(jí)別。

通過將硬件資源聚合到資源池，使IT環(huán)境可得到優(yōu)化，從而動(dòng)態(tài)支持不斷變化的業(yè)務(wù)需求，同時(shí)確保靈活有效地利用硬件資源。

大型的應(yīng)用系統(tǒng)需求超過單臺(tái)服務(wù)器的性能時(shí)，采用RAC集群等虛擬化整合技術(shù)，將多臺(tái)服務(wù)器整合為服務(wù)器集群同時(shí)承擔(dān)。當(dāng)應(yīng)用需要單臺(tái)服務(wù)器處理多個(gè)業(yè)務(wù)和應(yīng)對(duì)大并發(fā)需求時(shí)，可采用虛擬化拆分技術(shù)，將單臺(tái)服務(wù)器拆分成多個(gè)虛擬機(jī)器滿足應(yīng)用的需求，有效提高了硬件資源的利用率和系統(tǒng)的高可用性。

主機(jī)集群系統(tǒng)（Cluster），通過虛擬化平臺(tái)HA、DRS等技術(shù)，實(shí)現(xiàn)任何一個(gè)主機(jī)系統(tǒng)出現(xiàn)故障，都可以自動(dòng)將該主機(jī)的負(fù)載轉(zhuǎn)移至系統(tǒng)內(nèi)的其他成員。配置的磁盤陣列采用雙冗余控制器，可在很大程度上避免單點(diǎn)故障，提高整個(gè)業(yè)務(wù)系統(tǒng)的可用性。

為了對(duì)數(shù)據(jù)進(jìn)行快速備份和恢復(fù)，虛擬化平臺(tái)采用自帶的快照軟件對(duì)業(yè)務(wù)數(shù)據(jù)做快照，按照時(shí)間計(jì)劃自動(dòng)將數(shù)據(jù)進(jìn)行快照，實(shí)現(xiàn)短時(shí)間點(diǎn)數(shù)據(jù)保護(hù)。

虛擬化技術(shù)應(yīng)用大大減少物理服務(wù)器的部署數(shù)量，并且具備智能電源管理技術(shù)，當(dāng)集群中的虛擬機(jī)所需資源較少時(shí)，會(huì)將工作負(fù)載整合到較少的服務(wù)器上，并關(guān)閉其余物理服務(wù)器以減少能耗。當(dāng)虛擬機(jī)資源需求增加時(shí)，會(huì)讓關(guān)閉的主機(jī)恢復(fù)聯(lián)機(jī)，以確保達(dá)到服務(wù)級(jí)別要求。

在現(xiàn)有網(wǎng)絡(luò)資源的基礎(chǔ)上，對(duì)服務(wù)器虛擬化資源統(tǒng)一整合后，將年久過保服務(wù)器上的核心應(yīng)用逐步遷移至性能更高的服務(wù)器上，保證業(yè)務(wù)正常運(yùn)行和具有充足的計(jì)算資源。虛擬化后CPU每核平均使用率提升至70%，考慮虛擬化資源占用及其它資源的復(fù)合增長(zhǎng)，初期部署規(guī)模7臺(tái)24核128GB內(nèi)存四路服務(wù)器。

考慮當(dāng)前網(wǎng)管中心有6臺(tái)近年采購(gòu)的浪潮NF8460M3服務(wù)器，可對(duì)其中4臺(tái)進(jìn)行內(nèi)存升級(jí)至256GB，以滿足新增業(yè)務(wù)的需求，并新增一臺(tái)服務(wù)器?？紤]初期并非所有業(yè)務(wù)一次性全部遷移至虛擬化平臺(tái)，按照“測(cè)試→部分遷移→測(cè)試、驗(yàn)證→全部遷移”的策略進(jìn)行遷移。

存儲(chǔ)資源池規(guī)劃

在網(wǎng)絡(luò)中心SAN架構(gòu)設(shè)計(jì)方面，采用Core-edge核心-邊緣的架構(gòu)方式。用2臺(tái)導(dǎo)向器級(jí)別的SAN交換機(jī)組成的冗余模式架構(gòu)，作為整個(gè)系統(tǒng)的核心，整合所有的業(yè)務(wù)主機(jī)、存儲(chǔ)系統(tǒng)并添加備份陣列。整合后的系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，集中度更高，可減少管理的復(fù)雜度并提升業(yè)務(wù)的運(yùn)行水平。在架構(gòu)設(shè)計(jì)方面要求所有的部件都是冗余的，包括交換機(jī)、服務(wù)器FC HBA卡、存儲(chǔ)陣列的前后端控制器、磁盤、磁帶庫(kù)驅(qū)動(dòng)器、光纖鏈路等。

在本項(xiàng)目中使用中高端存儲(chǔ)、交換、備份設(shè)備，要求每臺(tái)設(shè)備自身的可用性達(dá)到99.99%，以達(dá)到整個(gè)SAN網(wǎng)絡(luò)架構(gòu)的高可用性。

當(dāng)前數(shù)據(jù)中心無(wú)存儲(chǔ)設(shè)備，正在運(yùn)行的服務(wù)器數(shù)據(jù)空間為25.17TB，按40%的使用率計(jì)算，按年復(fù)合增長(zhǎng)率10%計(jì)算，配置不少于24TB的存儲(chǔ)空間，考慮業(yè)務(wù)的遷移需要一個(gè)過程，暫購(gòu)置一臺(tái)存儲(chǔ)設(shè)備，將來(lái)再增加一臺(tái)同等配置的存儲(chǔ)組成同步鏡像，部署主、從存儲(chǔ)，通過數(shù)據(jù)鏡像的方式實(shí)現(xiàn)主、從存儲(chǔ)的數(shù)據(jù)同步以及存儲(chǔ)故障時(shí)的設(shè)備切換，避免單臺(tái)故障、保證數(shù)據(jù)的高度可靠性和穩(wěn)定性。

虛擬化平臺(tái)的選擇

1.虛擬化的優(yōu)勢(shì)

（1）高效的云平臺(tái)

對(duì)于虛擬化平臺(tái)承接的眾多普通應(yīng)用，需要有大量低成本的服務(wù)器，來(lái)滿足綠色、低碳的應(yīng)用需求。傳統(tǒng)機(jī)架式服務(wù)器，密度有限，在空間上造成很大浪費(fèi)，不能滿足云計(jì)算、虛擬化工作的深入需求。而高密度刀片，由于刀片缺乏統(tǒng)一標(biāo)準(zhǔn)，各大廠商的產(chǎn)品缺乏通用性，成本居高不下。因而，高密度、低成本的通用型Rack服務(wù)器產(chǎn)品是虛擬化平臺(tái)的理想選擇。

（2）支持異構(gòu)的虛擬化

同構(gòu)與異構(gòu)并存；

對(duì)異構(gòu)系統(tǒng)統(tǒng)一分類，統(tǒng)一標(biāo)識(shí)，與同構(gòu)系統(tǒng)加以區(qū)分；

同構(gòu)系統(tǒng)資源池來(lái)滿足高級(jí)功能-實(shí)時(shí)遷移，動(dòng)態(tài)負(fù)載均衡，容災(zāi)；

異構(gòu)系統(tǒng)資源池，可以實(shí)現(xiàn)基礎(chǔ)功能-靜態(tài)遷移，靜態(tài)負(fù)載均衡；

（3）按需部署和調(diào)度

根據(jù)用途進(jìn)行分類，虛擬化平臺(tái)針對(duì)不同類型的硬件設(shè)備加以標(biāo)識(shí)區(qū)分。

根據(jù)不同的應(yīng)用類型，將資源劃分到不同的業(yè)務(wù)資源池中，部署業(yè)務(wù)時(shí)根據(jù)相應(yīng)類型的資源進(jìn)行部署。

（4）權(quán)限分級(jí)管理

平臺(tái)使用者可以根據(jù)其目的和角色進(jìn)行詳細(xì)的劃分。

運(yùn)營(yíng)部門：管理整個(gè)平臺(tái)。

管理層：關(guān)心平臺(tái)資源的利用情況。

查詢性能指標(biāo)：事件出發(fā)提醒，以此作為購(gòu)買硬件資源的依據(jù)。

業(yè)務(wù)管理部門：業(yè)務(wù)環(huán)境的搭建，業(yè)務(wù)部署，業(yè)務(wù)日常管理。

2.虛擬化平臺(tái)的對(duì)比

云計(jì)算平臺(tái)需要有資源池為其提供能力輸出，這種能力包括計(jì)算能力、存儲(chǔ)能力和網(wǎng)絡(luò)能力，為了將這些能力調(diào)度到其所需要的地方，云計(jì)算平臺(tái)還需要對(duì)能力進(jìn)行調(diào)度管理，這些能力均是由虛擬化資源池提供的。云計(jì)算離不開底層的虛擬化技術(shù)支持。

當(dāng)前虛擬化技術(shù)有超過60種，基于X86體系的超過50種，其中有4種虛擬化技術(shù)是當(dāng)前最為成熟而且應(yīng)用最為廣泛的，分別是：VMWARE的ESX、微軟的Hyper-V、開源的XEN和KVM。從虛擬化的實(shí)現(xiàn)方式來(lái)看，虛擬化架構(gòu)主要有兩種形式：宿主架構(gòu)和裸金屬架構(gòu)。

目前虛擬化軟件分為兩類：以Vmware、微軟、思杰等為代表的商用套裝軟件和以KVM、VirtualBox、OpenVZ等為代表的開源軟件。

從架構(gòu)上來(lái)看，各種虛擬化技術(shù)沒有明顯的性能差距，穩(wěn)定性也越來(lái)越接近，各自有著自身的優(yōu)勢(shì)場(chǎng)景和市場(chǎng)群體。因此，我們?cè)谶M(jìn)行虛擬化技術(shù)選型時(shí)，沒有局限于某一種虛擬化技術(shù)，而應(yīng)該有一套綜合管理平臺(tái)實(shí)現(xiàn)對(duì)各種虛擬化技術(shù)的兼容并蓄，實(shí)現(xiàn)不同技術(shù)架構(gòu)的統(tǒng)一管理及跨技術(shù)架構(gòu)的資源調(diào)度，最終達(dá)到云計(jì)算可運(yùn)營(yíng)的目的。但考慮到企業(yè)業(yè)務(wù)非常關(guān)鍵，需要一個(gè)健壯、成熟的平臺(tái)，在選型上以商業(yè)版虛擬化軟件為主，并 通 過VMware、Hyper-V、Citrix三種平臺(tái)功能、技術(shù)、市場(chǎng)等多方對(duì)比，最終選擇使用廣泛的VMware。

業(yè)務(wù)遷移

1.遷移規(guī)劃

（1）遷移的目標(biāo)是最小化整體遷移的時(shí)間和停機(jī)時(shí)間，對(duì)業(yè)務(wù)的影響降至最低。虛擬機(jī)遷移的性能指標(biāo)包括以下三個(gè)方面：

①整體遷移時(shí)間：從源主機(jī)開始遷移到遷移結(jié)束的時(shí)間。

②停機(jī)時(shí)間：遷移過程中，源主機(jī)、目的主機(jī)同時(shí)不可用的時(shí)間。

③對(duì)應(yīng)用程序的性能影響：遷移對(duì)于被遷移主機(jī)上運(yùn)行服務(wù)性能的影響程度。

（2）項(xiàng)目實(shí)施過程

①物理設(shè)備到貨上架，一般在5天之內(nèi)；

②新系統(tǒng)主機(jī)、網(wǎng)絡(luò)和存儲(chǔ)整個(gè)系統(tǒng)的規(guī)劃，一般在3天之內(nèi)；

③虛擬化平臺(tái)搭建，一般在3-5天之內(nèi)；

④虛擬化平臺(tái)配置，一般在1-3天之內(nèi)；

⑤虛擬平臺(tái)應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)創(chuàng)建，一般在2-5天之內(nèi)；

⑥應(yīng)用物理平臺(tái)數(shù)據(jù)庫(kù)建設(shè)，一般在3天之內(nèi)；

⑦其他應(yīng)用遷移，一般在10-20天之內(nèi)；

⑧管理系統(tǒng)創(chuàng)建，一般在3天之內(nèi)。

考慮到實(shí)施過程中需要進(jìn)行多方面的溝通交流，以及實(shí)施過程可能出現(xiàn)的技術(shù)難題等因素，預(yù)留3天時(shí)間機(jī)動(dòng)時(shí)間，全部工期在1個(gè)月左右完成。

2.遷移前準(zhǔn)備工作

遷移之前需要考慮的環(huán)境因素：

（1）對(duì)源物理機(jī)器進(jìn)行一次數(shù)據(jù)全備份；

（2）校驗(yàn)源物理機(jī)器的Hostname、網(wǎng)絡(luò)配置情況以及源物理機(jī)器的OS和Patch，確認(rèn)硬件平臺(tái)和模塊；

（3）校驗(yàn)源物理機(jī)器的硬件的設(shè)備，包括NIC、CPU、存儲(chǔ)卡以及其他的設(shè)備；

（4）獲取管理員的密碼；

（5）記錄源物理機(jī)器的IP/GateWay/DNS/WINS等設(shè)置；

（6）確認(rèn)與P2V的工具運(yùn)行的機(jī)器網(wǎng)絡(luò)連接是否正常，與目標(biāo)虛擬服務(wù)器之間的網(wǎng)絡(luò)連接是否正常；

（7）記錄源端的分區(qū)的情況和盤符；

（8）檢查是否有LIC和源端特定的硬件有關(guān)，比如MAC地址綁定；

（9）確認(rèn)是否有跟硬件相關(guān)的特定的應(yīng)用程序和服務(wù)；

（10）確認(rèn)目標(biāo)的VMFS是否有足夠大的空間容量。

3.遷移后的測(cè)試、驗(yàn)證和優(yōu)化

（1）移除不再使用的硬件和原硬件管理軟件（比如DELL OpenManage，HP SIM等等）；

（2）安裝VMware Tools工具；

（3）調(diào)整目標(biāo)虛擬機(jī)的vCPU個(gè)數(shù)和資源預(yù)分配；

（4）遷移后驗(yàn)證測(cè)試：

①確認(rèn)目標(biāo)虛擬機(jī)的名稱，SID值以及目標(biāo)虛擬機(jī)的OS和SP級(jí)別；

②確認(rèn)系統(tǒng)硬件是否有兼容性問題，測(cè)試硬件配置狀態(tài)，SCSI控制器類型是否正常；

③檢查Boot.ini、Event logs是否異常；

④確認(rèn)目標(biāo)虛擬機(jī)的硬件設(shè)備包括NIC、CPU、RAM和虛擬磁盤的大??；

⑤確認(rèn)目標(biāo)虛擬機(jī)的網(wǎng)絡(luò)是否可通,測(cè)試網(wǎng)絡(luò)訪問，及網(wǎng)絡(luò)速度；

⑥確認(rèn)目標(biāo)虛擬機(jī)的應(yīng)用程序是否能正常運(yùn)行，并檢測(cè)應(yīng)用程序日志是否異常；

⑦檢測(cè)一段時(shí)間內(nèi)，目標(biāo)虛擬機(jī)的資源使用是否異常；

⑧確認(rèn)目標(biāo)虛擬機(jī)的是否可以成功完成VCB備份；

⑨如位于Cluster里的主機(jī)，測(cè)試Vmotion和HA。

（5）遷移后的優(yōu)化：

在把應(yīng)用和服務(wù)遷移到新平臺(tái)上后，要密切關(guān)注業(yè)務(wù)運(yùn)行情況，這是至關(guān)重要的。應(yīng)當(dāng)建立性能和使用方面的一些準(zhǔn)則及閾值，并評(píng)估這些衡量標(biāo)準(zhǔn)對(duì)將來(lái)的調(diào)整及改進(jìn)意味著什么。必要時(shí)，還要考慮調(diào)整硬件配置、網(wǎng)絡(luò)設(shè)置或者增加帶寬。一旦完成最后的啟動(dòng)、成功進(jìn)入虛擬化操作系統(tǒng)，后續(xù)還有很多工作要做。由于物理環(huán)境與虛擬環(huán)境還是存在一定的差異性，運(yùn)維人員需要不斷監(jiān)控、評(píng)估、調(diào)整及改進(jìn)，來(lái)達(dá)到最終的遷移效果。

4.基于VMware Converter的P2V遷移

優(yōu)先采用VMware專業(yè)的遷移工具Converter進(jìn)行遷移，所有遷移過程將不破壞原有的應(yīng)用。遷移后的虛擬系統(tǒng)先工作在獨(dú)立的網(wǎng)段中測(cè)試一段時(shí)間，待工作穩(wěn)定后再逐漸替換原硬件上OA應(yīng)用的工作。這樣做的好處是可以最低限度的降低系統(tǒng)遷移的風(fēng)險(xiǎn)。

使用VMware vCenter Converter，可以簡(jiǎn)化物理機(jī)到虛擬機(jī)以及虛擬機(jī)格式之間的轉(zhuǎn)換過程。VMware vCenter Converter向?qū)Ы缑嬷庇^、操作方便。

備份系統(tǒng)

備份步驟如下：

在接入SAN的服務(wù)器上安裝備份軟件，則服務(wù)器成為通過SAN網(wǎng)絡(luò)直接向備份設(shè)備直接寫入數(shù)據(jù)的介質(zhì)代理服務(wù)器。

（1）在需要做數(shù)據(jù)備份的服務(wù)器上安裝備份軟件客戶端。

（2）由備份服務(wù)器發(fā)起備份作業(yè)，各服務(wù)器接受備份服務(wù)器的備份指令，從磁盤陣列中提取需要備份的數(shù)據(jù)，并直接通過SAN網(wǎng)絡(luò)將數(shù)據(jù)寫入備份設(shè)備中。

（3）備份作業(yè)結(jié)束后，返回一個(gè)成功備份的信息給備份服務(wù)器。

（4）發(fā)起數(shù)據(jù)恢復(fù)操作也是一樣，備份服務(wù)器接受數(shù)據(jù)恢復(fù)指令后，將備份記錄讀取任務(wù)分配給相應(yīng)的介質(zhì)服務(wù)器，然后由介質(zhì)服務(wù)器從備份設(shè)備中提取出來(lái)，恢復(fù)到指定的主機(jī)上。

（5）恢復(fù)作業(yè)結(jié)束后，也會(huì)返回一個(gè)成功恢復(fù)的信息給備份主服務(wù)器。

設(shè)備利舊

為高效利用資源，降低成本和管理難度。實(shí)際應(yīng)用中，傳統(tǒng)IT設(shè)備包括空調(diào)、交換機(jī)、路由器、服務(wù)器、存儲(chǔ)、機(jī)柜、供電、網(wǎng)絡(luò)等，都會(huì)碰到設(shè)備如何利舊的問題。

1.如何整合利用這些舊資源，需綜合考慮以下原則：

（1）設(shè)備是否在服務(wù)期內(nèi)，硬件廠商能否供應(yīng)配件。

（2）確保硬件與虛擬化軟件相兼容。（3）確保硬件具有足夠的擴(kuò)展能力。按目前虛擬化技術(shù)，虛擬機(jī)無(wú)法同時(shí)使用兩臺(tái)物理主機(jī)上的資源，服務(wù)器的硬件擴(kuò)展能力將決定它承載虛擬機(jī)的能力，也決定整合比，影響最終的總體擁有成本（TCO）與投資回報(bào)率（ROI）。塔式PC服務(wù)器、1U的機(jī)架式服務(wù)器，通常擴(kuò)展能力有限，不適合利舊。

（4）權(quán)衡利舊所減少的采購(gòu)成本與低密度整合所增加的運(yùn)維成本。

2.據(jù)此確定利舊方案：

（1）對(duì)使用期在3年以內(nèi)的部分設(shè)備依據(jù)設(shè)備實(shí)際配置情況投入基礎(chǔ)設(shè)施資源池虛擬化平臺(tái)應(yīng)用。

（2）對(duì)使用期在3年以內(nèi)的部分設(shè)備，依據(jù)設(shè)備實(shí)際配置情況，不能作為虛擬化平臺(tái)應(yīng)用的設(shè)備作為管理、備份、測(cè)試、運(yùn)維等節(jié)點(diǎn)。

（3）對(duì)使用期在5至7年仍正常運(yùn)轉(zhuǎn)的部分設(shè)備，以搭建實(shí)驗(yàn)測(cè)試環(huán)境為主，服務(wù)于測(cè)試平臺(tái)。

（4）對(duì)使用期在8年以上的，考慮到原廠已不再供應(yīng)零件，設(shè)備不再利用。