李雪鋒

摘 要：本文詳細描述了EMC VPLEX的數(shù)據(jù)中心雙活容災方案，包括方案選擇、搭建流程、故障模擬測試、業(yè)務遷移、后續(xù)規(guī)劃等等。通過VPLEX雙活容災方案，建立了一個統(tǒng)一的、整體部署的存儲異地容災系統(tǒng)框架，實現(xiàn)了兩校區(qū)數(shù)據(jù)中心的雙活容錯，提高了數(shù)據(jù)中心的連續(xù)可用性和安全性。

關鍵詞：雙活容災；數(shù)據(jù)安全；實時同步；存儲虛擬化

中圖分類號：G482 文獻標志碼：B 文章編號：1673-8454（2015）09-0059-03

一、建設背景

隨著學校信息化建設不斷發(fā)展，越來越多的業(yè)務系統(tǒng)隨之出現(xiàn)，如辦公自動化、財務信息查詢、電子郵件、科研管理、教務管理、餐飲管理、網(wǎng)盤、資源保障等系統(tǒng)，為全校師生在教學、科研、管理和生活等各個方面提供服務與便利。然而，不同的業(yè)務與數(shù)據(jù)分布在閔行校區(qū)和中北校區(qū)，數(shù)據(jù)的安全性與業(yè)務連續(xù)性的問題隨之而來。例如網(wǎng)盤業(yè)務運行在中北校區(qū)中心機房，如果發(fā)生機房斷電、網(wǎng)盤服務器宕機或者存儲層面損壞，都會直接導致網(wǎng)盤業(yè)務不能正常訪問，給師生造成巨大的影響。

針對數(shù)據(jù)安全和業(yè)務連續(xù)性問題，學校采用EMC VPLEX異地容災方案，可以確保數(shù)據(jù)零丟失和業(yè)務零停頓，實現(xiàn)中北校區(qū)與閔行校區(qū)數(shù)據(jù)中心雙活容災。

二、系統(tǒng)架構方案

在現(xiàn)有網(wǎng)絡架構的基礎上，華東師范大學閔行校區(qū)和中北校區(qū)通過EMC VPLEX方案實現(xiàn)數(shù)據(jù)中心雙活容災。其基本架構如圖1所示。

基于兩校區(qū)各有一臺EMC vnx5500存儲，采用EMC VPLEX的解決方案來實現(xiàn)兩校區(qū)的同步異地容災。在閔行校區(qū)和中北校區(qū)各部署一臺VPLEX設備，通過兩臺brocade 300光纖交換機將VPLEX的后端端口與存儲EMC vnx5500控制器做成雙鏈路冗余，VPLEX的前端端口用于生產服務器的連接。中北校區(qū)與閔行校區(qū)之間通過四根萬兆以太網(wǎng)（帶寬>=1Gb/s，RTT<=5ms）進行連接，用于兩校區(qū)的數(shù)據(jù)復制與通信。在第三點故障域部署Witness，主要用于監(jiān)視兩校區(qū)的VPLEX健康檢查與故障切換。當任何一臺VPLEX出現(xiàn)故障，Witness會通知另一臺VPLEX來接管，保障業(yè)務正常進行，實現(xiàn)兩校區(qū)數(shù)據(jù)中心的雙活容錯，提高數(shù)據(jù)中心的連續(xù)可用性和安全性。

三、異地容災

1.方案選擇

通過對EMC、DELL、NetAPP等主流供應商進行綜合考察與對比，結合學校自身實際情況，最終我們選擇EMC VPLEX存儲虛擬化技術方案來實現(xiàn)兩校區(qū)數(shù)據(jù)中心異地雙活容災。整個方案構建了一個統(tǒng)一的、整體部署的存儲系統(tǒng)框架，能夠充分提供高可靠性、高性能以及簡便管理等優(yōu)勢和特點。

（1）節(jié)省成本和兼容性好。在規(guī)劃異地容災時，中北校區(qū)和閔行校區(qū)已各有一臺EMC vnx5500，選擇使用EMC解決方案，既可以節(jié)省成本，又可以實現(xiàn)VPLEX與vnx5500的完美兼容。

（2）實現(xiàn)異地業(yè)務數(shù)據(jù)實時同步，保證數(shù)據(jù)一致性。中北校區(qū)和閔行校區(qū)相隔超過30公里，使用EMC解決方案可以實現(xiàn)異地實時同步，保證業(yè)務數(shù)據(jù)在兩校區(qū)的一致性。

（3）實現(xiàn)了業(yè)務數(shù)據(jù)異地容災，有效解決校區(qū)單點故障隱患。VPLEX將中北與閔行的存儲做成一個虛擬卷，當服務器寫數(shù)據(jù)到虛擬卷時，實際上是寫到中北和閔行這兩個存儲，相當于在兩校區(qū)都有一模一樣的數(shù)據(jù)。

（4）實現(xiàn)兩校區(qū)虛擬機的故障遷移。如將中北和閔行的服務器虛擬化后添加到同一個vcenter中，由VPLEX為vcenter提供共享存儲，當中北的服務器（或者閔行的服務器）發(fā)生故障時，虛擬機可以飄移到閔行（或者中北）繼續(xù)工作，不影響業(yè)務，對于用戶完全透明。

2.EMC VPLEX 搭建流程

EMC VPLEX的整體框架搭建工作主要包括以下三個過程。

（1）前期準備工作。存儲vnx5500配置、光纖跳線、網(wǎng)線跳線、brocade交換機配置、主機powerpath配置等

（2）VPLEX初始化工作。Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置等。

（3）Witness的搭建。Witness需要部署在一臺虛擬機上，并且要處于異于cluster-1與cluster-2的第三點故障域。

在VPLEX的搭建過程中，有兩個十分重要的卷：meta volume和logging volume。Meta volume主要用于存儲虛擬卷到物理卷映射、device、虛擬卷和系統(tǒng)配置信息等。每一個VPLEX配置四個meta volume，兩個作為online狀態(tài)，之間為mirror關系；另外兩個作為backup，用于每日23：30備份online的meta。Logging volume主要用于記錄當發(fā)生腦裂時數(shù)據(jù)的變化，當問題修復后，系統(tǒng)使用logging volume來將改變的信息同步到之前掛起的卷，保持信息一致。每一個VPLEX配置兩個logging volume，之間為mirror的關系。

3.虛擬卷創(chuàng)建流程

EMC VPLEX通過存儲虛擬化技術，將兩校區(qū)存儲進行虛擬化，做成一個虛擬卷。下面筆者來介紹創(chuàng)建虛擬卷流程。

（1）卷分配和標記卷。在中北和閔行的vnx5500上分別劃分相應大小的卷給VPLEX，VPLEX層面識別到新卷后并其進行標記，使新卷受VPLEX管理。當新卷被VPLEX標記后，意味著這個卷屬于VPLEX所有。

（2）創(chuàng)建區(qū)間。分別在中北和閔行的VPLEX上創(chuàng)建區(qū)間。區(qū)間用來對標記的新卷進行空間規(guī)劃，可以將標記卷的全部空間來做成一個區(qū)間，也可以在標記卷中劃分一部分空間來做成一個區(qū)間。比如標記卷容量大小500G，可以將500G的空間做成一個區(qū)間，也可以創(chuàng)建一個100G的區(qū)間，其余400G可以留著，有需要的時候繼續(xù)創(chuàng)建區(qū)間。

（3）創(chuàng)建設備。在中北和閔行的VPLEX上創(chuàng)建設備。這個過程就是區(qū)間與設備映射的過程，每一個區(qū)間對應一個設備。針對設備創(chuàng)建類型有四種可選：RAID-0；RAID-1；RAID-C；1：1mapping of extents to devices。

①RAID-0指在每個VPLEX上都要有至少兩個區(qū)間，用來做成raid0，提高數(shù)據(jù)讀寫速度；

②RAID-1指在每個VPLEX上都要有至少兩個區(qū)間，用來做成raid1，提高數(shù)據(jù)安全性；

③RAID-C指實現(xiàn)多個區(qū)間拼接成一個大區(qū)間；

④1：1mapping of extents to devices：就是extent與device之間一一對應。

（4）創(chuàng)建虛擬卷。在創(chuàng)建虛擬卷中，需要創(chuàng)建一個consistency group（CG），這個CG包含這個全局的虛擬卷，在CG中需要設定一定的規(guī)則，如winner：cluster1（5 second）；winner：cluster2（5 second）。

（5）服務器的注冊。服務器的注冊，VPLEX可以識別服務器的HBA卡信息，將HBA卡信息注冊到VPLEX中，給服務器分配存儲做準備。

（6）建立存儲視圖。目的就是將服務器的HBA卡信息、VPLEX的port以及虛擬卷三者結合到一起，實現(xiàn)VPLEX分配給服務器存儲的目的。

通過上面步驟，我們就成功建立了虛擬卷，在應用服務器經過磁盤掃描后，就可以識別到通過VPLEX分配的虛擬卷。

4.VPLEX故障模擬測試

在業(yè)務正式遷移到VPLEX之前，需要對VPLEX進行各種故障模擬測試，主要包括VPLEX前端口冗余性測試、VPLEX后端口冗余性、集群腦裂測試、一臺VPLEX的控制器冗余測試、Witness故障、一臺VPLEX與Witness同時故障、一臺SAN 交換機故障、閔行VPLEX到Witness的網(wǎng)絡故障、中北VPLEX到Witness的網(wǎng)絡故障、中北VPLEX到Witness及閔行到中北的網(wǎng)絡同時故障、中北VPLEX到Witness及中北到閔行的網(wǎng)絡同時故障、虛擬機兩校區(qū)飄移測試等。所有測試都成功完成，RPO與RTO達到預先設計的目標。上述測試也表明，對于終端用戶而言，是完全透明的，用戶無需做任何的更改與配置，整個過程都可以正常訪問應用系統(tǒng)。

5.業(yè)務遷移方案

EMC VPLEX搭建與測試完成之后，下一步就是進行相關業(yè)務遷移，主要涉及Oracle數(shù)據(jù)庫、人事系統(tǒng)、cas-ldap、portal門戶、科研、教務、網(wǎng)盤、研究生、Lenovo虛擬平臺等。根據(jù)主機層面是否安裝賽門鐵克的集群軟件SFRAC，將使用兩種不同方式遷移業(yè)務。

（1）針對服務器層面已經安裝SFRAC的業(yè)務系統(tǒng)，如人事系統(tǒng)、科研系統(tǒng)等。操作方案：

1）通過VPLEX為業(yè)務系統(tǒng)服務器分配4塊磁盤（包括1塊用作業(yè)務數(shù)據(jù)盤和3塊用作仲裁盤）；

2）通過賽門鐵克的SFRAC將原有業(yè)務數(shù)據(jù)磁盤與通過VPLEX分配的用作業(yè)務數(shù)據(jù)的磁盤做成鏡像；

3）將用于服務器HA的3塊仲裁盤替換為VPLEX分配的另外3塊磁盤。

（2）針對服務器層面并未安裝SFRAC的業(yè)務系統(tǒng)，如網(wǎng)盤、Lenovo虛擬平臺等。操作方案：

1）將直接由EMC vnx5500分配給業(yè)務系統(tǒng)的磁盤重新分配給VPLEX；

2）VPLEX對業(yè)務系統(tǒng)的磁盤進行封裝，最后做成一個虛擬卷；

3）將虛擬卷重新映射給業(yè)務服務器，服務器掛載磁盤，并提供業(yè)務訪問。

通過上述兩種方案，將涉及的業(yè)務成功地遷移到VPLEX上面，遷移后的網(wǎng)絡拓撲如圖2所示。

6.進一步規(guī)劃

VPLEX通過存儲虛擬化技術，將中北校區(qū)與閔行校區(qū)的存儲合二為一，實現(xiàn)數(shù)據(jù)層面的同步異地容災，但針對應用層面還需要做進一步的規(guī)劃。

（1）虛擬化規(guī)劃。計劃購買兩籠刀片放置中北和閔行兩個校區(qū)，部署ESX來實現(xiàn)兩校區(qū)的虛擬機的漂移。

（2）實體服務器規(guī)劃。針對對閔行校區(qū)，運行在實體服務器上的業(yè)務，將在中北購置服務器，通過集群軟件，來實現(xiàn)兩校區(qū)容災。

四、ESRS支持

ESRS（EMC Secure Remote Support）為EMC硬件和軟件產品提供了一個安全的遠程支持工具。支持廣泛的EMC硬件和軟件產品，是一個基于IP的遠程支持方式，允許客戶管理遠程支持，包括授權撥入客戶的EMC設備及EMC產品的 “connect home”。整體架構方案如圖3所示。

在ESRS部署中，需要在學校部署兩臺服務器，一臺為網(wǎng)關客戶端服務器，主要用于故障反饋及遠程訪問支持；另一臺為策略服務器，主要用于訪問控制和日志審計。當EMC VPLEX設備出現(xiàn)故障時，通過網(wǎng)關客戶端會將符合策略要求的日志發(fā)送給EMC公司后端支持，支持人員發(fā)現(xiàn)報警日志，聯(lián)系學校用戶，進行遠程支持。

五、結束語

EMC VPELX建立了一個統(tǒng)一的、整體部署的存儲異地容災的系統(tǒng)框架。通過存儲虛擬化技術，將兩校區(qū)存儲統(tǒng)籌管理，實現(xiàn)兩校區(qū)數(shù)據(jù)中心的雙活容錯，提高數(shù)據(jù)中心的連續(xù)可用性和安全性。

參考文獻：

[1][EB/OL].http：//www.emc.com.

[2]王樹鵬，云曉春，余翔湛.容災的理論與關鍵技術分析[J].計算機工程與應用，2004（28）：54-58.

[3][EB/OL].http：//www.brocade.com.

[4][EB/OL].http：//www.symantec.com.

（編輯：楊馥紅）