趙明
隨著NAS的快速普及,個(gè)人和部分企業(yè)開始將數(shù)據(jù)遷移到NAS上,但這僅僅是龐大數(shù)據(jù)量線上遷移的一種入門級(jí)做法,真正的數(shù)據(jù)遷移才剛剛開始。談起數(shù)據(jù)遷移,這里要談的可不是普通的數(shù)據(jù)拷貝那么簡(jiǎn)單,而是數(shù)以百兆、千兆,甚至億兆級(jí)別的企業(yè)級(jí)數(shù)據(jù)遷移。
企業(yè)數(shù)據(jù)遷移的初衷大致分為兩種:其一就是因業(yè)務(wù)發(fā)展導(dǎo)致存儲(chǔ)空間不足而將暫時(shí)“閑置”的數(shù)據(jù)遷移至其他存儲(chǔ)設(shè)備,其二就是因業(yè)務(wù)發(fā)展系統(tǒng)必須升級(jí)而不得不進(jìn)行數(shù)據(jù)遷移。在消費(fèi)級(jí)數(shù)據(jù)遷移過程中,使用NAS方案遷移數(shù)據(jù)時(shí)我們經(jīng)常會(huì)遇到意想不到的差錯(cuò),從而導(dǎo)致遷移失敗。那么對(duì)于這種企業(yè)級(jí)數(shù)據(jù)遷移來說,任何細(xì)小的差錯(cuò)都有可能造成前功盡棄,即便是幾TB數(shù)據(jù),企業(yè)都不可能讓它輕易丟失,因此有那么多數(shù)據(jù)恢復(fù)公司存在并且憑借數(shù)據(jù)恢復(fù)業(yè)務(wù)獲利豐厚。因此,從硬件到軟件,企業(yè)在數(shù)據(jù)遷移前期、遷移過程中、遷移后都要精挑細(xì)選,確保萬無一失。
各行各業(yè)數(shù)據(jù)遷移經(jīng)歷都有所不同,但又有著千絲萬縷的相似點(diǎn),我們?cè)诒緦n}中特意為大家選取了保險(xiǎn)行業(yè)中國(guó)太平洋保險(xiǎn)(集團(tuán))股份有限公司的數(shù)據(jù)遷移歷程,希望能夠?qū)ζ渌袠I(yè)的用戶有所啟發(fā)。
客戶簡(jiǎn)介
中國(guó)太平洋保險(xiǎn)(集團(tuán))股份有限公司(以下簡(jiǎn)稱“中國(guó)太平洋保險(xiǎn)”)是在1991年5月13日成立的中國(guó)太平洋保險(xiǎn)公司的基礎(chǔ)上組建而成的保險(xiǎn)集團(tuán)公司,總部設(shè)在上海。中國(guó)太保是國(guó)內(nèi)領(lǐng)先的綜合性保險(xiǎn)集團(tuán),公司通過覆蓋全國(guó)的營(yíng)銷網(wǎng)絡(luò)和多元化服務(wù)平臺(tái),為全國(guó)約8,000萬客戶提供全方位風(fēng)險(xiǎn)保障解決方案、投資理財(cái)和資產(chǎn)管理服務(wù)。
在業(yè)務(wù)不斷拓展過程中,中國(guó)太平洋保險(xiǎn)于2009年H股上市(中國(guó)太保,HK02601)。2010年,中國(guó)太保投資管理(香港)有限公司成立。2012年,太平洋保險(xiǎn)在線服務(wù)科技有限公司注冊(cè)成立。2014年,太保安聯(lián)健康保險(xiǎn)股份有限公司注冊(cè)成立。這些新成績(jī)新業(yè)務(wù)的飛速發(fā)展不再單純地以人力增長(zhǎng)為依托,它們需要更多的技術(shù)支撐,尤其是在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析方面。
遷移背景
中國(guó)太平洋保險(xiǎn)公司從2012年起開始了以客戶為中心的業(yè)務(wù)轉(zhuǎn)型,IT建設(shè)圍繞著這一主題進(jìn)行一系列的升級(jí),成立了大數(shù)據(jù)分析的項(xiàng)目,進(jìn)行客戶信息的梳理、聚合,挖掘客戶需求,以便更好地服務(wù)客戶。隨著需求集中爆發(fā)和技術(shù)轉(zhuǎn)型的疊加,對(duì)IT資源和數(shù)據(jù)的需求也迅速增加。2012年以前,幾乎所有的數(shù)據(jù)庫都部署在小型機(jī)之上,每年產(chǎn)生大量的小型機(jī)面臨更新?lián)Q代的需求。面對(duì)高昂的IT成本和越來越多的資源和數(shù)據(jù)需求,中國(guó)太平洋保險(xiǎn)一直在尋找成本更低、速度更快、部署更靈活的解決方案。
“2009年,中國(guó)太平洋保險(xiǎn)已經(jīng)實(shí)現(xiàn)了95%以上的應(yīng)用服務(wù)器全部運(yùn)行在x86虛擬平臺(tái)上。這樣做可以帶來更快的交付速度、更靈活的響應(yīng)速度和更彈性的壓力負(fù)載。但是那時(shí)候中國(guó)太平洋保險(xiǎn)還沒有做數(shù)據(jù)庫的遷移,其主要原因是考慮到當(dāng)時(shí)小型機(jī)比x86的服務(wù)器更穩(wěn)定。鑒于數(shù)據(jù)庫的重要性,中國(guó)太平洋保險(xiǎn)一直關(guān)注著服務(wù)器技術(shù)的發(fā)展。”中國(guó)太平洋保險(xiǎn)資深架構(gòu)師張文若表示,“直到2012年,有數(shù)據(jù)表明x86服務(wù)器和小型機(jī)在穩(wěn)定性方面已經(jīng)不相上下。于是,我們?cè)?012年開始嘗試把數(shù)據(jù)庫從小型機(jī)遷移到x86平臺(tái)上。2012年底確定了把x86平臺(tái)作為數(shù)據(jù)庫可選平臺(tái)之一,并且逐漸地把數(shù)據(jù)庫(周邊系統(tǒng)和非核心關(guān)鍵系統(tǒng))從小型機(jī)遷移到x86平臺(tái)。中國(guó)太平洋保險(xiǎn)開始走上了數(shù)據(jù)遷移的道路?!?/p>
面對(duì)挑戰(zhàn) 迎難而上
首先,中國(guó)太平洋保險(xiǎn)確定了全程自主遷移,從周邊到核心的原則。在當(dāng)時(shí)小型機(jī)占據(jù)數(shù)據(jù)庫部署主流地位的情況下,開始了x86探索之路。這就決定了要選取的數(shù)據(jù)遷移解決方案必須非常高效,這樣才能迅速準(zhǔn)確完成數(shù)據(jù)遷移任務(wù)。在具體的遷移過程中,中國(guó)太平洋保險(xiǎn)參照既有IT運(yùn)維流程,開發(fā)、維護(hù)、架構(gòu)搭建等團(tuán)隊(duì)總共6~7人。通過精密計(jì)劃,反復(fù)測(cè)試,這支精簡(jiǎn)的跨部門團(tuán)隊(duì)各司其職,用兩年時(shí)間來順利完成這項(xiàng)艱巨的任務(wù)。
在項(xiàng)目初期,數(shù)據(jù)遷移的是一些壓力比較小的系統(tǒng),但還是遇到了很多質(zhì)疑。運(yùn)維的第一要旨是穩(wěn)定,數(shù)據(jù)在原來的系統(tǒng)上運(yùn)行得很穩(wěn)定,一旦遷移就增加了不確定性。為了排除顧慮,遷移人員需要做很多的測(cè)試,進(jìn)行大量的驗(yàn)證工作。隨著項(xiàng)目的推進(jìn),中國(guó)太平洋保險(xiǎn)開始遷移數(shù)據(jù)量更大、更重要的系統(tǒng),對(duì)技術(shù)的要求有了進(jìn)一步的提高,主要難點(diǎn)在于:第一是I/O吞吐性能的提高。有些系統(tǒng)是統(tǒng)計(jì)分析類的,它的數(shù)據(jù)量非常大,原來在小型機(jī)上已經(jīng)存在性能瓶頸了,現(xiàn)在遷到x86平臺(tái)如何解決;其次是大數(shù)據(jù)量系統(tǒng)的遷移方案,更大的數(shù)據(jù)量和更短的停機(jī)時(shí)間的矛盾對(duì)遷移方案提出了挑戰(zhàn)。通過數(shù)據(jù)同步工具的計(jì)劃排布初步解決這個(gè)問題。這是中國(guó)太平洋保險(xiǎn)在初期和后期所面臨的問題,初期是對(duì)遷移至新環(huán)境的不確定性的疑惑,后期則主要表現(xiàn)為技術(shù)難度方面。
中國(guó)太平洋保險(xiǎn)U2L項(xiàng)目過程,就是把數(shù)據(jù)庫服務(wù)器從小型機(jī)遷移到x86平臺(tái)的過程,通俗點(diǎn)講就是從UNIX操作系統(tǒng)遷移到Linux操作系統(tǒng)的過程。
解決方案成果展示
針對(duì)前文中所提到的初期和后期的問題,中國(guó)太平洋保險(xiǎn)通過自己挖掘潛力,提出了一系列解決方案。對(duì)于系統(tǒng)變化,前期進(jìn)行驗(yàn)證,確保小規(guī)模系統(tǒng)順利遷移。針對(duì)大數(shù)據(jù)量系統(tǒng)遷移的困難,尤其是對(duì)于I/O吞吐量需求的提升,中國(guó)太平洋保險(xiǎn)采取了增加SSD緩存的解決方案。
在遷移的時(shí)候中國(guó)太平洋保險(xiǎn)首先考慮的是性能問題。張文若表示,“2012年我們做了一些測(cè)試,英特爾的芯片和RISC芯片性能不相上下,無論是在在線交易系統(tǒng)還是統(tǒng)計(jì)分析的實(shí)際測(cè)試過程中,都可以看到幾乎相近的結(jié)果,可能個(gè)別數(shù)據(jù)還有所提升。這堅(jiān)定了我們遷移的決心。對(duì)于企業(yè)來說穩(wěn)定性也至關(guān)重要。從一開始我們就確定數(shù)據(jù)庫遷移不是單純的物理遷移,而是遷移到虛擬化平臺(tái)上來。所以,我們對(duì)比了IBM的PowerHA和VMware的VMwareHA。通過對(duì)比,VMwareHA的功能更加豐富,切換的效率也更高。于是我們開始了遷移之旅。經(jīng)過了這幾年的遷移,我們獲得了一定的收益,最直接的收益是成本的降低,不單硬件成本降低,還有維護(hù)成本的降低,同時(shí)還獲得了其他的收益。在遷移過程中我們做了應(yīng)用梳理,完成了操作系統(tǒng)和數(shù)據(jù)庫版本標(biāo)準(zhǔn)化統(tǒng)一,進(jìn)一步降低了運(yùn)維的難度,運(yùn)維成本也隨之大幅降低?!?/p>
在數(shù)據(jù)遷移之路上,中國(guó)太平洋保險(xiǎn)發(fā)現(xiàn),隨著系統(tǒng)遷移的深入,其直接或者間接的收益逐步凸顯出來。首先,在IT投入方面,遷移到x86平臺(tái)上節(jié)省了多少錢,其實(shí)并不是最重要的,最大的挑戰(zhàn)來自于機(jī)房空間、電力、制冷這些方面,這些投入才是最多的。張文若表示,“由于機(jī)房電力的限制,如果我們繼續(xù)購買小型機(jī),可能空間、電力、制冷都要做很多擴(kuò)容。自從開始小型機(jī)遷移到x86后,中國(guó)太平洋保險(xiǎn)的硬件購買和維護(hù)費(fèi)用大幅降低?!?在數(shù)據(jù)遷移的同時(shí),完成了操作系統(tǒng)、數(shù)據(jù)庫版本升級(jí)和運(yùn)維標(biāo)準(zhǔn)化,降低了運(yùn)維風(fēng)險(xiǎn),提高了運(yùn)維效率。
在性能方面,遷移前后也存在著很大區(qū)別。2013年下半年,中國(guó)太平洋保險(xiǎn)完成x86數(shù)據(jù)庫業(yè)務(wù)系統(tǒng)的遷移,驗(yàn)證后性能提升40%以上,穩(wěn)定性和可靠性也得到大幅提升。
總結(jié)
對(duì)于此次數(shù)據(jù)遷移的結(jié)果,中國(guó)太平洋保險(xiǎn)非常滿意。不僅是在硬件成本上,在性能可靠性上,x86服務(wù)器也足以擔(dān)當(dāng)重任。張文若表示:“中國(guó)太平洋保險(xiǎn)會(huì)跟蹤市場(chǎng)上一些最新的技術(shù)發(fā)展,x86的快速發(fā)展給中國(guó)太平洋保險(xiǎn)帶來一個(gè)更好的應(yīng)用平臺(tái)。2015年,我們期待英特爾和它的合作伙伴能夠不斷創(chuàng)新,給我們帶來更快、更強(qiáng)、更靈活的產(chǎn)品和解決方案?!?