陳奕飛

摘 要：利用虛擬化技術(shù)建設(shè)省級(jí)政務(wù)云計(jì)算中心，實(shí)現(xiàn)各部門政務(wù)信息系統(tǒng)集中部署和共建共用是政府?dāng)?shù)據(jù)中心發(fā)展的趨勢(shì)。政務(wù)信息系統(tǒng)如何平穩(wěn)、安全地遷移是數(shù)據(jù)中心整合過程中各部門研究的重要課題。本文介紹了數(shù)據(jù)中心的現(xiàn)狀、遷移實(shí)施方案和技術(shù)難點(diǎn)，并提出關(guān)于教育數(shù)據(jù)中心整合遷移的幾點(diǎn)思考。

關(guān)鍵詞：教育；數(shù)據(jù)中心；整合遷移

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2018）11-0084-03

一、引言

為推動(dòng)電子政務(wù)資源的統(tǒng)籌建設(shè)和整合共享，福建省委省政府決定建設(shè)“數(shù)字福建云計(jì)算中心”。凡是能安全共享的，都不再分散運(yùn)行應(yīng)用；能依托云平臺(tái)建設(shè)的，都不再單獨(dú)建設(shè)承載環(huán)境；能從云平臺(tái)獲取的資源，都不再重復(fù)開發(fā)。 2017年福建省直部門數(shù)據(jù)中心信息系統(tǒng)（除涉密系統(tǒng)外）將全部遷移部署至數(shù)字福建云計(jì)算中心，在全國(guó)率先實(shí)現(xiàn)省直部門政務(wù)數(shù)據(jù)統(tǒng)建共享、匯聚開發(fā)。

二、數(shù)據(jù)中心基本情況

1.省級(jí)教育數(shù)據(jù)中心

省級(jí)教育數(shù)據(jù)中心2012年根據(jù)教育部《省級(jí)數(shù)據(jù)中心建設(shè)指南》規(guī)劃建設(shè)，2015年10月通過教育部專家組評(píng)估。數(shù)據(jù)中心采用虛擬化技術(shù)對(duì)計(jì)算資源、存儲(chǔ)資源進(jìn)行池化管理，配置相應(yīng)網(wǎng)絡(luò)安全設(shè)備，開通了多個(gè)運(yùn)營(yíng)商千兆網(wǎng)絡(luò)出口，現(xiàn)部署信息系統(tǒng)47個(gè)。

計(jì)算資源池由17臺(tái)高性能服務(wù)器（DELL R920，4顆12核，512G）組成。其中：6臺(tái)服務(wù)器搭建3套Oracle RAC（2套版本為11.2.0.3，1套版本為10.2.0.4）作為數(shù)據(jù)服務(wù)器； 11臺(tái)服務(wù)器通過VMware虛擬化平臺(tái)（vSphere版本5.0）進(jìn)行虛擬化動(dòng)態(tài)管理，現(xiàn)有虛擬服務(wù)器219臺(tái)。

存儲(chǔ)資源池由一套IBM V7000存儲(chǔ)（容量為80T）構(gòu)成，主要作為虛擬服務(wù)器的磁盤空間（55T）、數(shù)據(jù)庫(kù)存儲(chǔ)空間（15T）及NAS共享存儲(chǔ)空間（10T）。

數(shù)據(jù)中心內(nèi)部采用雙核心萬(wàn)兆三層交換機(jī)設(shè)備，所有匯聚層交換機(jī)設(shè)備采用雙上聯(lián)方式分別與兩臺(tái)核心交換機(jī)連接。存儲(chǔ)系統(tǒng)采用SAN技術(shù)，同時(shí)配置NAS網(wǎng)關(guān)對(duì)需要訪問NAS存儲(chǔ)的服務(wù)器提供服務(wù)。不同的業(yè)務(wù)通過安全分區(qū)及VLAN隔離，同時(shí)在網(wǎng)絡(luò)邊界部署防火墻、堡壘機(jī)、IPS、負(fù)載均衡、DNS、CA認(rèn)證等設(shè)備。

2.數(shù)字福建云計(jì)算中心

數(shù)字福建云計(jì)算中心以X86架構(gòu)為主構(gòu)建IAAS云平臺(tái)。在服務(wù)提供方面主要以計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)和安全資源提供為主，為新建系統(tǒng)分配虛擬服務(wù)器，為職能部門分配存儲(chǔ)空間，以盤活閑置的資源。另外，在資源使用與管理上通過云計(jì)算管理平臺(tái)，以流程和工單的方式申請(qǐng)、審核，以規(guī)范云資源的使用，并通過云計(jì)算運(yùn)營(yíng)管理平臺(tái)對(duì)云資源進(jìn)行開通、監(jiān)控、維護(hù)、優(yōu)化等，平臺(tái)通過并符合等保三級(jí)保護(hù)要求的安全保障。目前提供給省教育廳使用環(huán)境：虛擬化平臺(tái)為VMware（vSphere版本6.0），數(shù)據(jù)庫(kù)為Oracle（版本為11.2.0.4）。

三、省級(jí)教育數(shù)據(jù)中心整合遷移的實(shí)施方案

在梳理各信息系統(tǒng)資源的基礎(chǔ)上，制定省級(jí)教育數(shù)據(jù)中心遷移方案。遷移工作主要有以下幾項(xiàng)內(nèi)容：臨時(shí)過渡設(shè)備部署、遷移前設(shè)備IP變更、vsphere 平臺(tái)升級(jí)及虛擬機(jī)遷移、Oracle 數(shù)據(jù)庫(kù)升級(jí)及遷移、NAS 共享存儲(chǔ)遷移、IPSEC VPN設(shè)備托管。

1.臨時(shí)過渡設(shè)備部署

為了滿足數(shù)據(jù)庫(kù)和虛擬機(jī)遷移的需要，同時(shí)提高遷移效率，將在省級(jí)教育數(shù)據(jù)中心部署臨時(shí)過渡設(shè)備：DELL服務(wù)器2臺(tái)（4CPU/128G內(nèi)存/6×2T 磁盤），安裝ESXI 6.0操作系統(tǒng)，接入省級(jí)教育數(shù)據(jù)中心SAN網(wǎng)絡(luò)，加入原有的vcenter，進(jìn)行統(tǒng)一管理；EMC存儲(chǔ)1套（雙控制器/3個(gè)磁盤柜/30T）， 接入省級(jí)教育數(shù)據(jù)中心SAN網(wǎng)絡(luò)，并將lun映射給所有ESXI服務(wù)器。臨時(shí)過渡設(shè)備部署拓?fù)鋱D如圖1所示。

2.遷移前設(shè)備IP變更

根據(jù)數(shù)字福建云計(jì)算中心規(guī)劃，目前省級(jí)教育數(shù)據(jù)中心的服務(wù)器IP遷移后需要全部進(jìn)行變更。由于國(guó)家教育管理信息系統(tǒng)架構(gòu)復(fù)雜，為了確保遷移后系統(tǒng)快速恢復(fù)運(yùn)行，遷移前將根據(jù)數(shù)字福建云計(jì)算中心提供的IP規(guī)劃對(duì)省級(jí)數(shù)據(jù)中心各信息系統(tǒng)的服務(wù)器IP及相關(guān)配置進(jìn)行變更，待變更后信息系統(tǒng)運(yùn)行穩(wěn)定再進(jìn)行整體遷移。

3.虛擬服務(wù)器遷移

目前省級(jí)教育數(shù)據(jù)中心和數(shù)字福建云計(jì)算中心之間尚未建設(shè)專用的光纖線路，受傳輸速率的影響，虛擬機(jī)服務(wù)器的遷移無(wú)法通過vSphere 提供的跨主機(jī)vMotion 與跨存儲(chǔ)Storage vMotion在線遷移功能實(shí)現(xiàn)。因此，省級(jí)數(shù)據(jù)中心的虛擬服務(wù)器遷移將采用離線方式。

（1）VMware 虛擬化平臺(tái)升級(jí)

省級(jí)教育數(shù)據(jù)中心和數(shù)字福建云計(jì)算中心目前使用的VMware虛擬化平臺(tái)vsphere版本不一致，為確保遷移后虛擬服務(wù)器平穩(wěn)運(yùn)行，將對(duì)省級(jí)教育數(shù)據(jù)中心的VMware虛擬化平臺(tái)進(jìn)行升級(jí)。先升級(jí)vCenter 和Client，然后升級(jí)ESXI，最后升級(jí)VMware Tools。升級(jí)前需備份相應(yīng)數(shù)據(jù)，以備升級(jí)失敗時(shí)可回退。

（2）虛擬服務(wù)器導(dǎo)出

關(guān)閉虛擬機(jī)電源進(jìn)行虛擬機(jī)遷移。為避免虛擬機(jī)MAC地址更改，先將需要遷移的虛擬機(jī)使用vMotion和Stroage vMotion遷移至臨時(shí)過渡設(shè)備，再將遷移好的虛擬機(jī)（過渡設(shè)備上）克隆回原存儲(chǔ)存檔備份，保證原服務(wù)器上的數(shù)據(jù)完整性。

（3）虛擬服務(wù)器導(dǎo)入

將臨時(shí)過渡設(shè)備搬運(yùn)至數(shù)字福建云計(jì)算中心并接入VMware虛擬化平臺(tái)，在云計(jì)算中心技術(shù)員配合下將所有過渡設(shè)備上虛擬機(jī)使用的vMotion和Stroage vMotion遷移至數(shù)字福建云計(jì)算中心的VMware虛擬化平臺(tái)上。

4.數(shù)據(jù)遷移

數(shù)據(jù)遷移是省級(jí)數(shù)據(jù)中心整合遷移的重點(diǎn)和難點(diǎn)。在綜合考慮了數(shù)據(jù)庫(kù)規(guī)模、停機(jī)時(shí)間、升級(jí)風(fēng)險(xiǎn)后，省級(jí)教育數(shù)據(jù)中心3套Oracle 數(shù)據(jù)庫(kù)采用RMAN遷移，遷移前先將其中1套低版本Oracle 數(shù)據(jù)庫(kù)進(jìn)行升級(jí)。為確保數(shù)據(jù)安全性，數(shù)據(jù)庫(kù)RMAN備份的數(shù)據(jù)將拷貝到移動(dòng)硬盤由專人送至數(shù)字福建云計(jì)算中心進(jìn)行數(shù)據(jù)恢復(fù)。

（1）低版本數(shù)據(jù)庫(kù)升級(jí)

省級(jí)教育數(shù)據(jù)中心現(xiàn)有1套Oracle 10g數(shù)據(jù)庫(kù)需在遷移前升級(jí)至11g，待試運(yùn)行穩(wěn)定后再進(jìn)行遷移。數(shù)據(jù)庫(kù)升級(jí)步驟如下：搜集原數(shù)據(jù)庫(kù)配置信息；備份原數(shù)據(jù)庫(kù)到異機(jī)；數(shù)據(jù)庫(kù)停機(jī)，安裝11G 軟件程序；本地進(jìn)行軟件升級(jí)； 執(zhí)行腳本進(jìn)行庫(kù)文件升級(jí)；測(cè)試業(yè)務(wù)運(yùn)行情況，檢查數(shù)據(jù)庫(kù)一致性。

（2）數(shù)據(jù)庫(kù)RMAN備份

RMAN備份時(shí)關(guān)閉數(shù)據(jù)庫(kù)實(shí)例服務(wù)，切換到歸檔模式，利用前期準(zhǔn)備的腳本進(jìn)行數(shù)據(jù)庫(kù)全量備份，導(dǎo)出備份文件。備份腳本如下：

run {

Allocate channel c1 device type disk；

Allocate channel c2 device type disk；

Allocate channel c3 device type disk；

Allocate channel c4 device type disk；

BACKUP

FORMAT '/backup/orcl/${today}/le0_%d_%T_%u.bak'

database include current controlfile；

sql 'alter system archive log current'；

BACKUP

FORMAT '/backup/orcl/${today}/arch_%d_%T_%u.bak'

SKIP INACCESSIBLE

ARCHIVELOG ALL DELETE INPUT；

release channel c1；

release channel c2；

release channel c3；

release channel c4；

}

（3）數(shù)據(jù)庫(kù)RMAN恢復(fù)

將RMAN備份文件拷貝到數(shù)字福建云計(jì)算中心數(shù)據(jù)庫(kù)服務(wù)器上。RMAN數(shù)據(jù)恢復(fù)的步驟如下：使用備份文件恢復(fù)spfile，用spfile創(chuàng)建pfile，并修改pfile文件；從pfile啟動(dòng)到nomount，并使用pfile創(chuàng)建spfile；進(jìn)入rman，恢復(fù)控制文件；將數(shù)據(jù)庫(kù)啟動(dòng)到mount，注冊(cè)原數(shù)據(jù)庫(kù)備份集；恢復(fù)數(shù)據(jù)庫(kù)，Recover數(shù)據(jù)庫(kù)；啟動(dòng)數(shù)據(jù)庫(kù)，完成數(shù)據(jù)庫(kù)遷移。

（4）NAS共享存儲(chǔ)數(shù)據(jù)遷移

省級(jí)教育數(shù)據(jù)中心的NAS共享存儲(chǔ)容量有6T，主要存放學(xué)生和教師的照片、業(yè)務(wù)辦理的佐證材料圖片、校舍照片和視頻等非結(jié)構(gòu)化數(shù)據(jù)和部分業(yè)務(wù)系統(tǒng)運(yùn)行需要的文件。這些非結(jié)構(gòu)化數(shù)據(jù)文件容量小、數(shù)量多，對(duì)設(shè)備的I/O性能要求高，數(shù)據(jù)遷移時(shí)間較長(zhǎng)。為縮短遷移時(shí)間，按某個(gè)時(shí)間點(diǎn)先將數(shù)據(jù)全量備份到遷移過渡設(shè)備，待正式遷移關(guān)停業(yè)務(wù)系統(tǒng)后再進(jìn)行增量更新。更新完成后，將遷移臨時(shí)設(shè)備運(yùn)送至數(shù)字福建云計(jì)算中心并接入SAN網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)復(fù)制（應(yīng)先對(duì)與業(yè)務(wù)系統(tǒng)運(yùn)行相關(guān)的文件進(jìn)行復(fù)制，后復(fù)制相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)，以確保業(yè)務(wù)系統(tǒng)能在最短時(shí)間內(nèi)恢復(fù)對(duì)外服務(wù)）。同時(shí)各業(yè)務(wù)系統(tǒng)應(yīng)用服務(wù)器需重新進(jìn)行映射，以確保文件能被正確讀取。

5.IPSEC VPN網(wǎng)關(guān)設(shè)備托管

教育部IPSEC VPN網(wǎng)關(guān)與省級(jí)數(shù)據(jù)中心IPSEC VPN網(wǎng)關(guān)組建IPSEC VPN隧道，承擔(dān)著國(guó)家教育管理信息系統(tǒng)部省之間數(shù)據(jù)交換的任務(wù)。為確保數(shù)據(jù)中心遷移后與教育部間數(shù)據(jù)交換不中斷，遷移前需建設(shè)好IPSEC VPN隧道。

目前各省級(jí)教育數(shù)據(jù)中心都部署主備2臺(tái)IPSEC VPN網(wǎng)關(guān)設(shè)備，正式遷移前先將備用IPSEC VPN網(wǎng)關(guān)設(shè)備托管在數(shù)字福建云計(jì)算中心，并申請(qǐng)2個(gè)內(nèi)網(wǎng)C類IP段（?。?0.249.*.* ，部：10.250.*.*）供IPSEC VPN網(wǎng)關(guān)設(shè)備與服務(wù)器照射使用，申請(qǐng)3個(gè)外網(wǎng)IP（電信、聯(lián)通、移動(dòng)各1個(gè)）分配給防火墻映射出IPSEC VPN網(wǎng)關(guān)設(shè)備IP和端口，并利用臨時(shí)賬號(hào)（預(yù)先向教育部申請(qǐng)）進(jìn)行IPSEC VPN隧道測(cè)試。數(shù)字福建云計(jì)算中心要進(jìn)行路由配置，遷移后信息系統(tǒng)服務(wù)器訪問10.249.*.* 及10.250.*.*兩段IP的需求轉(zhuǎn)向訪問IPSEC VPN網(wǎng)關(guān)。主IPSEC VPN網(wǎng)關(guān)設(shè)備隨信息系統(tǒng)同時(shí)遷移托管。

四、省級(jí)教育數(shù)據(jù)中心整合遷移的幾點(diǎn)思考

截至2017年10月，省級(jí)教育數(shù)據(jù)中心47個(gè)信息系統(tǒng)按照制定方案分批次遷移至數(shù)字福建云計(jì)算中心，遷移過程中信息系統(tǒng)和托管設(shè)備均未出現(xiàn)重大故障，遷移后信息系統(tǒng)運(yùn)行穩(wěn)定，以下是關(guān)于省級(jí)教育數(shù)據(jù)中心遷移整合的幾點(diǎn)思考。

1.高度重視遷移前設(shè)備IP調(diào)整工作

省級(jí)數(shù)據(jù)中心設(shè)備IP的變更將對(duì)網(wǎng)絡(luò)環(huán)境、業(yè)務(wù)系統(tǒng)的正常運(yùn)行產(chǎn)生重大影響，要高度重視并制定詳細(xì)的方案，變更前備份設(shè)備相關(guān)參數(shù)，變更后修改業(yè)務(wù)系統(tǒng)配置文件。協(xié)調(diào)各業(yè)務(wù)系統(tǒng)集成商進(jìn)行技術(shù)支持，盡快啟動(dòng)服務(wù)恢復(fù)系統(tǒng)正常運(yùn)行，同時(shí)還要做好突發(fā)情況的應(yīng)急預(yù)案。

2.正確評(píng)估遷移需要的時(shí)間

遷移需要的時(shí)間受數(shù)據(jù)容量、網(wǎng)絡(luò)環(huán)境、設(shè)備性能的影響，時(shí)間評(píng)估時(shí)要充分考慮各方面因素。NAS共享存儲(chǔ)部分，有條件的可通過測(cè)試遷移來(lái)評(píng)估實(shí)際遷移時(shí)間。由于部分業(yè)務(wù)系統(tǒng)需實(shí)時(shí)辦理學(xué)生轉(zhuǎn)學(xué)、教師調(diào)動(dòng)等業(yè)務(wù)，系統(tǒng)遷移的最佳時(shí)間點(diǎn)為寒假期間或暑假8月10日學(xué)生年級(jí)升級(jí)操作完成后。

3.科學(xué)制定遷移后教科網(wǎng)建設(shè)規(guī)劃

目前數(shù)字福建云計(jì)算中心僅提供電信、聯(lián)通、移動(dòng)三家運(yùn)營(yíng)商互聯(lián)網(wǎng)出口帶寬，為解決省內(nèi)教科網(wǎng)用戶訪問省級(jí)信息系統(tǒng)速度慢的問題，擬建設(shè)一條VPN線路（從省教育廳至數(shù)字福建云計(jì)算中心）作為教科網(wǎng)出口帶寬。為降低建設(shè)費(fèi)用，VPN線路采用分段建設(shè)、共享使用的模式：省教育廳建設(shè)從本單位至省經(jīng)濟(jì)信息中心光纖線路；省經(jīng)濟(jì)信息中心負(fù)責(zé)建設(shè)從本單位至數(shù)字福建云計(jì)算中心光纖線路，供省直各部門共享使用。教科網(wǎng)VPN線路建設(shè)拓?fù)鋱D如圖2所示。

五、結(jié)束語(yǔ)

省直部門數(shù)據(jù)中心整合是政務(wù)信息化建設(shè)模式的創(chuàng)新，通過實(shí)施整合將健全政務(wù)信息化推進(jìn)和保障機(jī)制，顯著提高應(yīng)用保障水平，為下一階段開展全省政務(wù)信息系統(tǒng)整合共享打下堅(jiān)實(shí)基礎(chǔ)。

（編輯：王天鵬）