【探索綠色容災(zāi)模式 提升業(yè)務(wù)連續(xù)水平】

近年來(lái)，銀行電子平臺(tái)系統(tǒng)日趨復(fù)雜多樣，且銀行業(yè)務(wù)的支撐越來(lái)越依托于這些電子平臺(tái)。由于信息系統(tǒng)的規(guī)模龐大、復(fù)雜，因此在面對(duì)未知災(zāi)難時(shí)，銀行面臨系統(tǒng)整體停止、癱瘓的可能性也大大增加。如何對(duì)所有的業(yè)務(wù)系統(tǒng)都分別建立一套可靠、安全、應(yīng)變能力強(qiáng)的災(zāi)備體系，是目前銀行內(nèi)部極度迫切的需求。中國(guó)人民銀行作為銀行系統(tǒng)的管理機(jī)構(gòu)，也要求國(guó)內(nèi)銀行必須建立有效的容災(zāi)機(jī)制。銀監(jiān)會(huì)發(fā)布的《商業(yè)銀行信息科技風(fēng)險(xiǎn)管理指引》也著重指出，商業(yè)銀行必須提供業(yè)務(wù)連續(xù)性保障。邢臺(tái)銀行雖成立較晚，但是IT建設(shè)始終處于行業(yè)較高水平，在這樣的銀行內(nèi)部需求和監(jiān)管部門的要求下，邢臺(tái)銀行于2010年啟動(dòng)了“兩地三中心”容災(zāi)系統(tǒng)的建設(shè)。中國(guó)人民銀行邢臺(tái)市中心支行和中國(guó)銀行業(yè)監(jiān)督管理委員會(huì)邢臺(tái)監(jiān)管分局對(duì)此項(xiàng)目十分重視，對(duì)項(xiàng)目進(jìn)行了長(zhǎng)期的監(jiān)控、指導(dǎo)，推動(dòng)了邢臺(tái)銀行“兩地三中心”建設(shè)順利進(jìn)行，該容災(zāi)系統(tǒng)于2015年建設(shè)成功并投入使用。

一、邢臺(tái)銀行容災(zāi)建設(shè)情況及成效

（一）制訂了合理、先進(jìn)的容災(zāi)建設(shè)目標(biāo)

邢臺(tái)銀行在廣泛調(diào)研其他銀行容災(zāi)系統(tǒng)的情況后，總結(jié)出容災(zāi)系統(tǒng)建設(shè)容易出現(xiàn)的幾個(gè)缺陷：一是切換復(fù)雜、系統(tǒng)可用性不易得到驗(yàn)證，往往出現(xiàn)故障時(shí)不敢或不能切換。二是存在故障切換決策風(fēng)險(xiǎn)，切換決策沒(méi)有依據(jù)，往往需要靠領(lǐng)導(dǎo)“拍腦袋”來(lái)定奪。三是系統(tǒng)投資浪費(fèi)，大量設(shè)備處于閑置狀態(tài)而不能利用。四是業(yè)務(wù)恢復(fù)時(shí)間RTO指標(biāo)較長(zhǎng)，業(yè)務(wù)連續(xù)性支持不好。

針對(duì)這些缺陷，邢臺(tái)銀行提出了容災(zāi)項(xiàng)目建設(shè)的總體目標(biāo)，即：在確保系統(tǒng)穩(wěn)定安全的前提下，顛覆“切換時(shí)長(zhǎng)、數(shù)據(jù)丟失，平時(shí)不用、浪費(fèi)投資，決策困難、影響巨大，演練復(fù)雜、風(fēng)險(xiǎn)增加”的傳統(tǒng)“災(zāi)備”模式，創(chuàng)建全新“容災(zāi)”理念，使新增投資平時(shí)發(fā)揮生產(chǎn)效力、實(shí)現(xiàn)容納各種災(zāi)難、確保業(yè)務(wù)連續(xù)和數(shù)據(jù)安全。

（二）達(dá)到“同城應(yīng)用級(jí)容災(zāi)均衡雙活”的水平

邢臺(tái)銀行的同城應(yīng)用級(jí)容災(zāi)機(jī)房運(yùn)行能被客戶直接感知的各類業(yè)務(wù)，平時(shí)與主機(jī)房同時(shí)運(yùn)行，負(fù)載均衡使用，分擔(dān)業(yè)務(wù)流量。當(dāng)容災(zāi)機(jī)房或主機(jī)房任何一處出現(xiàn)災(zāi)難造成的非計(jì)劃內(nèi)停機(jī)，則另一個(gè)機(jī)房都能在保證不丟失數(shù)據(jù)的前提下，繼續(xù)對(duì)外提供同樣的服務(wù)，且不會(huì)對(duì)業(yè)務(wù)或?qū)蛻舢a(chǎn)生影響?，F(xiàn)邢臺(tái)銀行經(jīng)過(guò)對(duì)同城機(jī)房業(yè)務(wù)的雙活測(cè)試，并于2015年成功投入使用。

（三）滿足“異地?cái)?shù)據(jù)災(zāi)備”的標(biāo)準(zhǔn)

異地容災(zāi)數(shù)據(jù)備份機(jī)房（托管給專業(yè)的第三方公司管理），存放一臺(tái)存儲(chǔ)設(shè)備和一臺(tái)核心業(yè)務(wù)驗(yàn)證服務(wù)器，通過(guò)CDP技術(shù)異步存儲(chǔ)數(shù)據(jù)，容許0～15分鐘數(shù)據(jù)丟失。發(fā)生城市級(jí)災(zāi)難時(shí)仍可有效恢復(fù)數(shù)據(jù)。

（四）優(yōu)化系統(tǒng)部署

邢臺(tái)銀行在容災(zāi)項(xiàng)目前期進(jìn)行了現(xiàn)有業(yè)務(wù)系統(tǒng)分析。經(jīng)分析，目前各服務(wù)器應(yīng)用程序和數(shù)據(jù)庫(kù)部署混亂，沒(méi)有實(shí)現(xiàn)數(shù)據(jù)和程序的分離，且數(shù)據(jù)庫(kù)分散在多臺(tái)服務(wù)器中，缺點(diǎn)是不利于數(shù)據(jù)統(tǒng)一災(zāi)備處理，而且沒(méi)有實(shí)現(xiàn)數(shù)據(jù)庫(kù)均衡負(fù)載，如若數(shù)據(jù)庫(kù)崩潰只能由另一臺(tái)機(jī)器啟動(dòng)數(shù)據(jù)庫(kù)接管，切換時(shí)間為15分鐘左右，不能保障數(shù)據(jù)零停機(jī)效果。數(shù)據(jù)庫(kù)和應(yīng)用程序部署在一起，嚴(yán)重占用系統(tǒng)資源，影響應(yīng)用程序。通過(guò)建設(shè)容災(zāi)系統(tǒng)，邢臺(tái)銀行重新部署應(yīng)用系統(tǒng)的分布。通過(guò)對(duì)業(yè)務(wù)系統(tǒng)的重要程度、資源占用、業(yè)務(wù)種類分類，將業(yè)務(wù)重新規(guī)劃、部署至相應(yīng)的硬件服務(wù)器。并完成應(yīng)用與數(shù)據(jù)庫(kù)分離的優(yōu)化，減少數(shù)據(jù)庫(kù)與應(yīng)用的互相干擾，容災(zāi)系統(tǒng)由原來(lái)的15分鐘降低至5分鐘，提高運(yùn)行效率，每年還可節(jié)省異地專線擴(kuò)容費(fèi)用60余萬(wàn)元。

二、容災(zāi)建設(shè)經(jīng)驗(yàn)

容災(zāi)系統(tǒng)建設(shè)是當(dāng)前銀行IT系統(tǒng)建設(shè)中重要且必要的一項(xiàng)工程。建設(shè)一個(gè)成功的容災(zāi)系統(tǒng)，不僅需要銀行業(yè)監(jiān)管部門的積極指引，也需要銀行吸取其他同行在這方面的經(jīng)驗(yàn)和教訓(xùn)。此次邢臺(tái)銀行容災(zāi)系統(tǒng)建設(shè)成效顯著，因此我們分享經(jīng)驗(yàn)如下：

（一）容災(zāi)建設(shè)要點(diǎn)介紹

在邢臺(tái)銀行設(shè)計(jì)容災(zāi)系統(tǒng)方案時(shí)，為確保項(xiàng)目建設(shè)能夠滿足《商業(yè)銀行信息科技風(fēng)險(xiǎn)管理指引》的相關(guān)要求，中國(guó)人民銀行邢臺(tái)市中心支行和邢臺(tái)銀監(jiān)分局領(lǐng)導(dǎo)多次來(lái)到現(xiàn)場(chǎng)，同邢臺(tái)銀行相關(guān)人員面對(duì)面交流、討論，對(duì)容災(zāi)系統(tǒng)建設(shè)提出了幾點(diǎn)指導(dǎo)和要求：

容災(zāi)方式：應(yīng)用級(jí)容災(zāi)還是數(shù)據(jù)級(jí)容災(zāi)，是否實(shí)時(shí)切換。

可靠性：包括網(wǎng)絡(luò)、存儲(chǔ)、光纖網(wǎng)絡(luò)、主機(jī)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用各個(gè)層面。

數(shù)據(jù)安全：不允許出現(xiàn)數(shù)據(jù)不一致的問(wèn)題，防止出現(xiàn)兩個(gè)機(jī)房“腦裂”的情況導(dǎo)致兩個(gè)銀行同時(shí)辦理業(yè)務(wù)；不允許出現(xiàn)數(shù)據(jù)丟失的情況。

可實(shí)施、可驗(yàn)證：方案是可以在預(yù)想的時(shí)間、條件下可以完成的，也是可以通過(guò)技術(shù)手段進(jìn)行驗(yàn)證的。

決策難度?。寒?dāng)出現(xiàn)災(zāi)難時(shí)不能靠領(lǐng)導(dǎo)主觀拍腦袋決策，必須是有定量的數(shù)據(jù)作為依據(jù)，或者減少?zèng)Q策的范圍，避免由一個(gè)問(wèn)題導(dǎo)致另外一個(gè)更嚴(yán)重的問(wèn)題。

演練簡(jiǎn)單：可以定期方便、有效地去做容災(zāi)演練，而不影響系統(tǒng)的安全生產(chǎn)。

（二）獨(dú)特新型容災(zāi)方案

銀行監(jiān)管部門在容災(zāi)項(xiàng)目指導(dǎo)過(guò)程中，注重與邢臺(tái)銀行的溝通和互動(dòng)，切實(shí)通過(guò)研討論證方式來(lái)進(jìn)行方案的設(shè)計(jì)，鼓勵(lì)邢臺(tái)銀行在現(xiàn)有容災(zāi)方案上要大膽借鑒，勇于創(chuàng)新。

通過(guò)對(duì)業(yè)界現(xiàn)有的容災(zāi)方案的反復(fù)討論、參考以及借鑒，邢臺(tái)銀行提出了獨(dú)特的“均衡雙活”的容災(zāi)方案，采取的技術(shù)有：LVM卷鏡像技術(shù)、HA技術(shù)、CDP遠(yuǎn)程數(shù)據(jù)備份。

在數(shù)據(jù)庫(kù)層面上，A機(jī)房和B機(jī)房部署數(shù)據(jù)庫(kù)服務(wù)器形成集群，AB機(jī)房的交換機(jī)兩兩級(jí)聯(lián)，使整個(gè)網(wǎng)絡(luò)為一個(gè)SAN網(wǎng)絡(luò)，兩機(jī)房分別部署兩臺(tái)作為同步鏡像的存儲(chǔ)。C機(jī)房用于遠(yuǎn)程數(shù)據(jù)備份，通過(guò)CDP技術(shù)進(jìn)行遠(yuǎn)程異步數(shù)據(jù)備份，C機(jī)房管理托管給專業(yè)的第三方公司。

由于邢臺(tái)銀行提出的容災(zāi)方案比較獨(dú)特和新穎，國(guó)內(nèi)同行業(yè)內(nèi)都沒(méi)有相關(guān)案例，各廠家和集成商也沒(méi)有相關(guān)的經(jīng)驗(yàn)，所以必須在前期做好該方案可行性的驗(yàn)證工作。邢臺(tái)銀行于2010年12月3日，召集IBM、SYMANTEC等十幾家公司的專家齊聚邢臺(tái)，舉行了 “邢臺(tái)銀行容災(zāi)系統(tǒng)技術(shù)討論會(huì)”，對(duì)此容災(zāi)方案進(jìn)行了詳細(xì)的對(duì)比、論證、研究。這次討論會(huì)得出結(jié)論：“在線路穩(wěn)定的條件下邢臺(tái)銀行均衡雙活的容災(zāi)模式是可行的”。為保證線路穩(wěn)定的條件，邢臺(tái)銀行建設(shè)的同城機(jī)房與原有主機(jī)房距離大約2千米，通過(guò)鋪設(shè)高質(zhì)量光纜來(lái)保證高質(zhì)量、穩(wěn)定、高帶寬的線路。神州數(shù)碼曾對(duì)新華保險(xiǎn)項(xiàng)目實(shí)測(cè)表明10千米以內(nèi)的線路長(zhǎng)度對(duì)數(shù)據(jù)復(fù)制沒(méi)有影響。

（三）遵循的標(biāo)準(zhǔn)和規(guī)范

主要包括：銀監(jiān)會(huì)《商業(yè)銀行信息科技風(fēng)險(xiǎn)管理指引》（銀監(jiān)會(huì)2009年6月頒布執(zhí)行）；《中國(guó)人民銀行關(guān)于加強(qiáng)銀行數(shù)據(jù)集中安全工作的指導(dǎo)意見》（銀發(fā)〔2002〕260號(hào)）；《中國(guó)人民銀行關(guān)于進(jìn)一步加強(qiáng)銀行業(yè)金融機(jī)構(gòu)信息安全保障工作的指導(dǎo)意見》（銀發(fā)〔2006〕123號(hào)）；《銀行業(yè)金融機(jī)構(gòu)信息系統(tǒng)風(fēng)險(xiǎn)管理指引》（銀監(jiān)發(fā)〔2006〕63號(hào)） ；JR/T 0044-2008《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》國(guó)標(biāo)GB/T 20988-2007《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》；國(guó)標(biāo)GB/T 20984-2007《信息安全技術(shù) 信息安全風(fēng)險(xiǎn)評(píng)估規(guī)范》 。

三、專家評(píng)價(jià)

項(xiàng)目啟動(dòng)后，原中國(guó)人民銀行科技司司長(zhǎng)陳靜先生曾親臨現(xiàn)場(chǎng)考察，陳靜先生目前擔(dān)任中國(guó)銀行業(yè)業(yè)務(wù)連續(xù)性委員會(huì)領(lǐng)導(dǎo)職務(wù)，是IT容災(zāi)方面的專家，他對(duì)項(xiàng)目的可行性和先進(jìn)性做出了肯定，他表示：目前國(guó)內(nèi)銀行還沒(méi)有該種先進(jìn)容災(zāi)模式，這與國(guó)外銀行剛剛興起的先進(jìn)的“并行耦合式容災(zāi)模式”異曲同工，邢臺(tái)銀行能深入探索和創(chuàng)新“綠色容災(zāi)”，并取得可喜成果，對(duì)推動(dòng)中國(guó)銀行業(yè)容災(zāi)模式轉(zhuǎn)變具有極大推動(dòng)和示范作用。

（邢臺(tái)銀行 陳根軍 郭振波）