眭建新 陳毅波 胡其輝
[摘 要] 圍繞大規(guī)模數(shù)據(jù)中心遷移過程的需求和難題,科學(xué)合理地制定了系統(tǒng)分級分類遷移方案,幫助企業(yè)完成大規(guī)模數(shù)據(jù)中心遷移工作。文章主要技術(shù)內(nèi)容和創(chuàng)新之處在于:1)提出了基于軟硬件資源池的大規(guī)模數(shù)據(jù)中心的分批快速整體遷移方法;2)提出了大規(guī)模數(shù)據(jù)中心遷移中的設(shè)備利舊決策方法;3)提出了大規(guī)模數(shù)據(jù)中心遷移過程中分級分類分批次的時(shí)間優(yōu)化調(diào)度方法;4)提出數(shù)據(jù)中心服務(wù)連續(xù)性無縫遷移方法。
[關(guān)鍵詞] 數(shù)據(jù)中心;遷移;技術(shù)
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2018. 19. 061
[中圖分類號] TP308 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1673 - 0194(2018)19- 0142- 03
1 背景及問題
大規(guī)模數(shù)據(jù)中心承載了營銷、生產(chǎn)、財(cái)務(wù)管控等百余套信息系統(tǒng),對于企業(yè)業(yè)務(wù)的正常開展和穩(wěn)定運(yùn)行起著至關(guān)重要的作用。隨著公司信息化建設(shè)的深入開展,原有數(shù)據(jù)中心在空間布局、電氣消防、空調(diào)以及安防等方面均不能適應(yīng)信息化建設(shè)的需求。新老數(shù)據(jù)中心遷移工作將面臨諸多問題,需要進(jìn)行統(tǒng)籌考慮和協(xié)調(diào),管控和保障該項(xiàng)工作的順利進(jìn)行。大規(guī)模數(shù)據(jù)中心遷移的信息系統(tǒng)不僅數(shù)量多、范圍廣,而且工作任務(wù)重、時(shí)間緊、難度大。
通常,新數(shù)據(jù)中心通過綜合利用資源池和云計(jì)算技術(shù),以軟硬件資源池形式實(shí)現(xiàn)對硬件資源的集中管理、按需分配,從而提高資源利用效率,降低信息化建設(shè)成本,提升運(yùn)維管理水平,為集中式數(shù)據(jù)中心的建設(shè)提供安全、穩(wěn)定、柔性的硬件基礎(chǔ)設(shè)施服務(wù)。數(shù)據(jù)中心遷移工作涉及軟硬件資源、網(wǎng)絡(luò)、監(jiān)控配置和安全保障等各方面的配合,涉及大量與業(yè)務(wù)部門和上下級單位之間的協(xié)調(diào)工作,這些專業(yè)技術(shù)人員跨多個部門,來自多個不同的供應(yīng)商。另外,信息通信系統(tǒng)搬遷過渡技術(shù)復(fù)雜、工作量大,存在一定安全風(fēng)險(xiǎn)。因此需要研究并制定一套科學(xué)的搬遷方案,研究快速且平穩(wěn)可靠的遷移方法,保證數(shù)據(jù)中心安全平穩(wěn)地過渡到新數(shù)據(jù)中心,實(shí)現(xiàn)總體管控和協(xié)調(diào)。
2 總體思路
數(shù)據(jù)中心承載了營銷、生產(chǎn)、財(cái)務(wù)管控等百余套業(yè)務(wù)系統(tǒng),原有數(shù)據(jù)中心在計(jì)算機(jī)軟硬件資源、空間布局、電氣消防、能耗、安防等方面均不能適應(yīng)信息化建設(shè)的需求。公司新數(shù)據(jù)中心建成后,需要實(shí)施數(shù)據(jù)中心整體遷移,但數(shù)據(jù)中心遷移工作面臨的挑戰(zhàn)包括:(1)本次遷移的信息系統(tǒng)超100套,涉及虛擬機(jī)超400臺,物理設(shè)備超1 200臺,信息系統(tǒng)之間集成關(guān)聯(lián)關(guān)系復(fù)雜,如此大規(guī)模的數(shù)據(jù)中心系統(tǒng)包含大量未虛擬化的應(yīng)用和數(shù)據(jù),且包含大量商品化套裝軟件,只能采用數(shù)據(jù)中心整體遷移的方式;(2)搬遷過程面臨如何高效利用資源、縮短時(shí)間、降低成本的挑戰(zhàn),在遷移過程中,還要采用充分利舊減少購置和租賃的方式進(jìn)行成本控制;(3)數(shù)據(jù)中心承載了公司的核心業(yè)務(wù),為了保障業(yè)務(wù)的正常開展和穩(wěn)定運(yùn)行,數(shù)據(jù)中心遷移還需快速和盡量保障業(yè)務(wù)連續(xù),搬遷過程涉及多部門、多供應(yīng)商的協(xié)調(diào)調(diào)度與管控難題;(4)搬遷過程存在風(fēng)險(xiǎn),特別是系統(tǒng)長時(shí)間停運(yùn)和數(shù)據(jù)丟失風(fēng)險(xiǎn),數(shù)據(jù)中心遷移對于安全性、風(fēng)險(xiǎn)控制和架構(gòu)優(yōu)化與調(diào)整也提出了更高的需求。
本文圍繞公司大規(guī)模數(shù)據(jù)中心遷移過程中的成本控制、架構(gòu)調(diào)優(yōu),以及業(yè)務(wù)連續(xù)性、數(shù)據(jù)一致性、風(fēng)險(xiǎn)點(diǎn)管控等難題,科學(xué)合理地制定了系統(tǒng)分級分類遷移方案,圓滿完成了遷移工作,總體設(shè)計(jì)思路與技術(shù)路線如圖1所示。
3 技術(shù)方案
3.1 大規(guī)模數(shù)據(jù)中心整體遷移方法
本文遷移研究采用了一種基于虛擬化技術(shù)和兩階段重新部署技術(shù)的方法,對公司的大規(guī)模數(shù)據(jù)中心,進(jìn)行了分批快速的整體遷移。這種方法的基本思想,是將待遷移的數(shù)據(jù)中心設(shè)備、應(yīng)用與數(shù)據(jù)等,首先分為進(jìn)入虛擬資源池的資源和系統(tǒng),以及進(jìn)入物理資源池的資源和系統(tǒng)[1]。對于進(jìn)入虛擬資源池的系統(tǒng),采取虛擬化技術(shù),在新數(shù)據(jù)中心構(gòu)建虛擬資源池環(huán)境后,將原數(shù)據(jù)中心中由物理服務(wù)器承載的信息系統(tǒng)或原資源池承載的信息系統(tǒng),分別通過P2V(Physical to Virtual)和V2V(Virtual to Virtual)遷移技術(shù),實(shí)現(xiàn)原數(shù)據(jù)中心的系統(tǒng)至新數(shù)據(jù)中心虛擬資源池的遷移。物理資源池采用了兩階段重新部署的方式,租用了兩臺小型機(jī)作為過渡介質(zhì),首先將原數(shù)據(jù)中心中需要利舊,但又不能中斷服務(wù)的服務(wù)器上的應(yīng)用和數(shù)據(jù)分別通過重新部署和存儲復(fù)制,遷移到過渡介質(zhì)上,然后過渡介質(zhì)作為一個冗余系統(tǒng),與原系統(tǒng)一同上線運(yùn)行;然后將原系統(tǒng)停機(jī),進(jìn)行物理搬遷,在新信息中心重新運(yùn)行后,將過渡介質(zhì)上的數(shù)據(jù)再進(jìn)行存儲復(fù)制,回到原來所在的物理服務(wù)器上。當(dāng)所有利舊設(shè)備及其上的應(yīng)用和數(shù)據(jù)都以這種方式遷移完畢后,再將過渡用的小型機(jī)返還。由于租用的開銷遠(yuǎn)少于新購的開銷,因此這種方法可有效地降低遷移成本。對于遷移過程中可短時(shí)中斷服務(wù)而不影響業(yè)務(wù)連續(xù)性的設(shè)備、應(yīng)用和數(shù)據(jù),則采用停機(jī)搬遷后重新部署的方式,完成其遷移。
3.2 大規(guī)模數(shù)據(jù)中心遷移中的設(shè)備利舊決策方法
針對大規(guī)模數(shù)據(jù)中心中大量硬件設(shè)備利舊的決策問題,提出了一種基于專家系統(tǒng)的計(jì)算機(jī)系統(tǒng)健康狀況評價(jià)和設(shè)備利舊決策的方法[2]。該方法的主要步驟如下:(1)自動收集各計(jì)算機(jī)系統(tǒng)的日志文件;(2)利用程序?qū)θ罩疚募M(jìn)行自動處理和分析,從中提取與計(jì)算機(jī)性能密切相關(guān)的指標(biāo),包括系統(tǒng)錯誤信息、給定時(shí)期內(nèi)系統(tǒng)的內(nèi)存和CPU利用情況的數(shù)據(jù)、給定時(shí)期內(nèi)系統(tǒng)的硬盤空間使用情況等;(3)根據(jù)各計(jì)算機(jī)所屬的系統(tǒng)對其賦予不同的重要性等級。一共分為三個重要性等級:“非常重要”、“重要”、“普通”;(4)根據(jù)專家經(jīng)驗(yàn)構(gòu)建設(shè)備健康狀況評價(jià)專家系統(tǒng),采用IF-THEN規(guī)則式專家系統(tǒng),且評價(jià)針對計(jì)算機(jī)系統(tǒng)的單項(xiàng)性能指標(biāo)進(jìn)行開展,評定等級為“良好”、“一般”、“較差”。例如專家系統(tǒng)的知識庫中可能包含類似“CPU利用率<12% -> CPU處理能力=良好”、“近一年發(fā)生過重大故障 -> 可靠性=較差”這樣的規(guī)則;(5)利用設(shè)備健康狀況評價(jià)專家系統(tǒng),對各個計(jì)算機(jī)系統(tǒng)的各個單項(xiàng)性能指標(biāo)進(jìn)行自動評定;(6)根據(jù)專家經(jīng)驗(yàn)構(gòu)建設(shè)備利舊決策專家系統(tǒng),同樣采用IF-THEN規(guī)則作為知識表示方式。利舊決策中的決策規(guī)則通常都是根據(jù)多項(xiàng)性能指標(biāo)的等級綜合評定得到可利舊等級,可利舊等級指明了該設(shè)備可被使用的最高重要性等級。例如,決策規(guī)則“NUM(=較差)=0 AND NUM(=一般) < 2 AND 可靠性=良好 -> 非常重要”表示,若設(shè)備的健康狀況被評價(jià)為較差的指標(biāo)數(shù)量為0(即沒有任何指標(biāo)被評價(jià)為較差),且被評價(jià)為一般的指標(biāo)數(shù)量小于2,則該設(shè)備可以被利舊用于非常重要的使用等級;(7)針對不同使用場合,對各項(xiàng)指標(biāo)賦以不同的優(yōu)先級別。如果對某個使用場合,有多臺設(shè)備可被利舊使用,則優(yōu)先使用在優(yōu)先級別較高的指標(biāo)上指標(biāo)值較高的設(shè)備。根據(jù)設(shè)備利舊決策專家系統(tǒng)和各使用場合的指標(biāo)優(yōu)先級別,即可最終確定可利舊設(shè)備的使用場合,并根據(jù)利舊前后使用場合的重要性等級的差異,可以判斷出設(shè)備是提高使用等級利舊,或維持使用等級利舊,還是降低使用等級利舊。
3.3 大規(guī)模數(shù)據(jù)中心遷移過程中分級分類分批次的時(shí)間優(yōu)化調(diào)度方法
系統(tǒng)無縫遷移是否及時(shí)、準(zhǔn)確,將會直接影響到新系統(tǒng)能否及時(shí)上線,也是影響新系統(tǒng)能否穩(wěn)定運(yùn)行的重要前提和根本保證[3]。因此,該信息系統(tǒng)無縫遷移中涉及各類要素不僅數(shù)量大,而且類型多,既包括硬件設(shè)備與系統(tǒng),也包括軟件系統(tǒng)與工具;既涉及硬件設(shè)備采購、運(yùn)輸、安裝與調(diào)試,也設(shè)計(jì)軟件系統(tǒng)的采購、開發(fā)、測試和部署;既需要滿足時(shí)限要求,又需要兼顧經(jīng)濟(jì)成本,還需要估計(jì)可能的風(fēng)險(xiǎn)[4]。為了在一個統(tǒng)一的模型框架下來研究和優(yōu)化信息系統(tǒng)的無縫遷移方案,需要對上述諸要素進(jìn)行適當(dāng)?shù)某橄笈c描述,以滿足普適性的模型的需求[5]。
基于上述分析,本文使用了一種時(shí)間最優(yōu)信息系統(tǒng)無縫遷移優(yōu)化模型(TOISM)。模型建立如下:
(1)機(jī)房集合:R={r1,r2,…,rm},其中rj表示第j個機(jī)房,j=1,2,…,m;(2)信息系統(tǒng)集合:S={s1,s2,…,sn},其中si表示第i個信息系統(tǒng),i=1,2,…,m;(3)遷移系統(tǒng)序列集合:MS={ms1, ms2,…,msn},其中msi={msi1, msi2,…,msik}表示系統(tǒng)si中各設(shè)備的遷移順序序列;(4)可搬遷機(jī)房集合:MSR={msi1, msi2,…,msik},其中msi={msij1, msij2,…,msijk}表示系統(tǒng)si中各設(shè)備可遷移的機(jī)房;(5)搬遷時(shí)間矩陣:T,tij∈T表示第i個系統(tǒng)si搬遷至機(jī)房j的時(shí)間;(6)遷移時(shí)間:f(Wt)=∑mstjtij,即求出對應(yīng)無縫遷移優(yōu)化方案所需時(shí)間;(7)遷移目標(biāo):min f(Wt),即找出時(shí)間最短的無縫遷移優(yōu)化方案。
3.4 數(shù)據(jù)中心服務(wù)連續(xù)性無縫遷移方法
本文的數(shù)據(jù)遷移采用磁盤陣列復(fù)制技術(shù)為主,數(shù)據(jù)庫復(fù)制技術(shù)為輔的遷移過渡方式。在新數(shù)據(jù)中心部署一臺新購置的陣列,將老大樓對應(yīng)陣列數(shù)據(jù)復(fù)制到新數(shù)據(jù)中心的陣列上,供新數(shù)據(jù)中心重新部署的應(yīng)用系統(tǒng)數(shù)據(jù)庫訪問使用。該方法的優(yōu)點(diǎn)在于數(shù)據(jù)復(fù)制速度快。支持?jǐn)?shù)據(jù)的增量復(fù)制,能夠最大限度地減少業(yè)務(wù)停機(jī)時(shí)間,即先配置新老環(huán)境數(shù)據(jù)復(fù)制關(guān)系,完成大部分?jǐn)?shù)據(jù)的同步工作,停機(jī)后僅需完成增量數(shù)據(jù)的同步,極大地減少了停機(jī)時(shí)間,保證了業(yè)務(wù)連續(xù)性,尤其是對營銷等業(yè)務(wù)數(shù)據(jù)量較大的系統(tǒng),效果尤其明顯。同時(shí),由于磁盤陣列復(fù)制技術(shù)還帶有數(shù)據(jù)校驗(yàn)功能,可檢測兩端數(shù)據(jù)是否同步完全,對遷移數(shù)據(jù)的有效性和完整性提供了有效保障。靈活使用主機(jī)復(fù)制技術(shù)在B機(jī)房同配置重構(gòu)一套與A機(jī)房A應(yīng)用服務(wù)集一致的B應(yīng)用服務(wù)集,通過應(yīng)用服務(wù)代理技術(shù)加入代理后臺服務(wù)池中。A、B應(yīng)用服務(wù)集同時(shí)對用戶提供應(yīng)用服務(wù)。待B應(yīng)用服務(wù)集運(yùn)行穩(wěn)定后,將A應(yīng)用集從代理后臺服務(wù)池中移除,完成系統(tǒng)應(yīng)用服務(wù)的無縫遷移。用戶通過域名訪問代理應(yīng)用服務(wù),整個應(yīng)用遷移對用戶業(yè)務(wù)應(yīng)用無影響。
4 結(jié) 語
本文提出基于軟硬件資源池的大規(guī)模數(shù)據(jù)中心的分批快速整體遷移方法,解決了系統(tǒng)遷移中涉及業(yè)務(wù)連續(xù)性、安全性、物理隔離性等方面的高效調(diào)度、強(qiáng)制性約束難題,順利完成了大規(guī)模設(shè)備、海量數(shù)據(jù)的平穩(wěn)遷移。提出了大規(guī)模數(shù)據(jù)中心遷移中的設(shè)備利舊決策方法,突破了大規(guī)模信息系統(tǒng)決策遷移中大量硬件設(shè)備健康狀況的多維度評價(jià)和利舊決策的難題,實(shí)現(xiàn)了低成本遷移。提出大規(guī)模數(shù)據(jù)中心遷移過程中分級分類分批次的時(shí)間優(yōu)化調(diào)度方法,最大限度地降低了因搬遷暫停服務(wù)造成的社會影響,提高了搬遷時(shí)效。建立了數(shù)據(jù)中心服務(wù)連續(xù)性無縫遷移技術(shù),極大地減少了停機(jī)時(shí)間,做到了數(shù)據(jù)零差錯,保證了業(yè)務(wù)連續(xù)性。能夠幫助大型企業(yè)實(shí)現(xiàn)大規(guī)模數(shù)據(jù)中心穩(wěn)定、平滑、無縫遷移。
主要參考文獻(xiàn)
[1]李喆,萬小健. 企業(yè)級信息系統(tǒng)數(shù)據(jù)遷移方法 [J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2011(1):182-184.
[2]吳淑瑋,閆訓(xùn)超,曹齊. 企業(yè)級信息系統(tǒng)數(shù)據(jù)遷移 [J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用,2013(7):53-57.
[3]趙貴菊. PCEDM模型的數(shù)據(jù)遷移方案設(shè)計(jì)及實(shí)施 [J]. 數(shù)字石油和化工,2009,(3):49-53.
[4]趙欽,周丹. 政府辦公自動化信息系統(tǒng)數(shù)據(jù)遷移解決方案 [J]. 廣西科學(xué)院學(xué)報(bào),2008(4):354-355,359.
[5]梁秀娟. 醫(yī)院信息系統(tǒng)升級中的數(shù)據(jù)遷移方案與實(shí)現(xiàn) [J]. 中國數(shù)字醫(yī)學(xué),2007(11):51-53.