摘? 要： 為強(qiáng)化業(yè)務(wù)連續(xù)服務(wù)能力，浦發(fā)銀行重點(diǎn)解決智能松耦合化交易分流、延遲智能偵測(cè)與切換控制、雙活長(zhǎng)時(shí)接管架構(gòu)等關(guān)鍵問(wèn)題，成功地實(shí)現(xiàn)了核心系統(tǒng)異地雙活運(yùn)行，滿足了移動(dòng)互聯(lián)網(wǎng)發(fā)展下對(duì)銀行核心系統(tǒng)穩(wěn)定、彈性、高效的需要。

關(guān)鍵詞： 核心異地雙活; 松耦合; 智能探測(cè); 長(zhǎng)時(shí)接管運(yùn)行

中圖分類號(hào)：TP309.3? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：B? ? ?文章編號(hào)：1006-8228（2020）10-60-04

Abstract： In order to enhance the business continuity ability， Shanghai Pudong Development Bank focus on solving the key technical issues in terms of intelligent loose coupling transaction diversion， delayed intelligent detection and switching control， dual-activity long-term takeover infrastructure， has finally realized the core system's remote dual-activity operation， which met the requirement of stability， flexibility and efficiency of the bank's core system under the development of mobile Internet.

Key words： remote dual-activity; loose coupling; intelligent detection; long-term takeover operation

0 引言

隨著數(shù)字化技術(shù)的快速發(fā)展，信息技術(shù)已成為商業(yè)銀行業(yè)務(wù)發(fā)展的核心支撐與推動(dòng)力量，系統(tǒng)連續(xù)性能力成為保障銀行業(yè)務(wù)持續(xù)運(yùn)營(yíng)的重要基礎(chǔ)，通過(guò)實(shí)施雙活建設(shè)提升抵御風(fēng)險(xiǎn)能力成為業(yè)界發(fā)展的共識(shí)和方向。

在此背景下，浦發(fā)銀行積極推進(jìn)異地雙活關(guān)鍵技術(shù)研究，在智能松耦合化交易分流、延遲智能偵測(cè)與切換控制、雙活長(zhǎng)時(shí)接管架構(gòu)等方面提出了建設(shè)性解決方案，完成核心系統(tǒng)異地雙活架構(gòu)設(shè)計(jì)與實(shí)踐，為商業(yè)銀行核心系統(tǒng)雙活建設(shè)提供參考方案和實(shí)踐依據(jù)。

1 設(shè)計(jì)目標(biāo)

1.1 顯著提高業(yè)務(wù)連續(xù)性

核心雙活必須有能力應(yīng)對(duì)各種緊急突發(fā)事故，達(dá)到恢復(fù)時(shí)間點(diǎn)目標(biāo)（RTO）分鐘級(jí)，恢復(fù)點(diǎn)目標(biāo)（RPO）秒級(jí)或?yàn)?的連續(xù)性指標(biāo)。

1.2 核心業(yè)務(wù)的彈性支撐

核心系統(tǒng)要具備應(yīng)對(duì)大交易量、大并發(fā)量、大峰值的處理能力，有效利用雙活站點(diǎn)分流生產(chǎn)的承載壓力。

1.3 松耦合與緊耦合協(xié)調(diào)處理

雙活中心在邏輯上需實(shí)現(xiàn)松耦合，單一中心故障不影響另一中心運(yùn)行。在數(shù)據(jù)層上雙活中心應(yīng)具有緊耦合性，賬戶數(shù)據(jù)保證強(qiáng)一致，任一中心都要具備全業(yè)務(wù)的接管能力。

1.4 業(yè)務(wù)感知的有效消除與管理

要科學(xué)化評(píng)估因長(zhǎng)距離通訊延時(shí)所造成數(shù)據(jù)差異對(duì)業(yè)務(wù)可能帶來(lái)的影響，通過(guò)業(yè)務(wù)應(yīng)用和基礎(chǔ)架構(gòu)等多層次手段協(xié)調(diào)解決。

2 關(guān)鍵技術(shù)研究

考慮到商業(yè)銀行核心異地雙活成功案例較少，浦發(fā)銀行首先對(duì)項(xiàng)目主要難點(diǎn)問(wèn)題進(jìn)行預(yù)研，通過(guò)關(guān)鍵技術(shù)的遞次分析，總結(jié)設(shè)計(jì)方法并給出針對(duì)性解決方案。

2.1 數(shù)據(jù)雙活同步架構(gòu)設(shè)計(jì)

保持不同中心數(shù)據(jù)的一致性是實(shí)現(xiàn)異地雙活運(yùn)行的重要基礎(chǔ)，其直接關(guān)系到核心系統(tǒng)雙活站點(diǎn)對(duì)外服務(wù)能力。數(shù)據(jù)雙活同步技術(shù)方面主要有：數(shù)據(jù)庫(kù)同步、存儲(chǔ)同步和應(yīng)用同步三類。各類技術(shù)有不同的適用場(chǎng)景，改造難度和成熟度也不盡相同。綜合考慮銀行核心系統(tǒng)的業(yè)務(wù)特點(diǎn)，建議優(yōu)先考慮使用基于異步模式的數(shù)據(jù)庫(kù)日志復(fù)制技術(shù)，在目標(biāo)站點(diǎn)提供只讀雙活能力。而對(duì)于文件類數(shù)據(jù)，可結(jié)合存儲(chǔ)異步復(fù)制技術(shù)，進(jìn)一步提高系統(tǒng)接管能力。

2.2 數(shù)據(jù)延時(shí)智能偵測(cè)和切換設(shè)計(jì)

核心系統(tǒng)如何靈活高效智能的進(jìn)行交易分流，在技術(shù)上有效控制延遲的影響，保證交易的服務(wù)承諾水平不降低，是核心雙活是否能穩(wěn)定運(yùn)行的關(guān)鍵。通過(guò)對(duì)比各類監(jiān)控手段，建議在數(shù)據(jù)庫(kù)層新建交易延時(shí)探測(cè)表，以固定間隔更新時(shí)間戳記錄，通過(guò)后臺(tái)探測(cè)進(jìn)程與系統(tǒng)時(shí)鐘進(jìn)行比較，從而得到精確的數(shù)據(jù)延時(shí)，進(jìn)而根據(jù)與目標(biāo)延時(shí)閥值比較的返回結(jié)果，實(shí)現(xiàn)延時(shí)智能偵測(cè)和交易分流自動(dòng)切換。

2.3 異地雙活長(zhǎng)時(shí)接管架構(gòu)設(shè)計(jì)

核心雙活不僅要常態(tài)承載交易分流，更要具備計(jì)劃內(nèi)、外全場(chǎng)景切換和接管運(yùn)行能力，在系統(tǒng)架構(gòu)上要做針對(duì)性設(shè)計(jì)。一是要結(jié)合運(yùn)用異步復(fù)制技術(shù)與傳統(tǒng)存儲(chǔ)復(fù)制架構(gòu)，補(bǔ)足異步數(shù)據(jù)庫(kù)復(fù)制可能會(huì)導(dǎo)致數(shù)據(jù)丟失的問(wèn)題。二是雙活站點(diǎn)應(yīng)構(gòu)建相同的基礎(chǔ)架構(gòu)及軟硬件配置，確保在切換后能具備承接全量業(yè)務(wù)的能力。三是要使用網(wǎng)絡(luò)加速等新技術(shù)建立可橫向擴(kuò)展的廣域網(wǎng)高速傳輸通道，減少數(shù)據(jù)傳輸耗時(shí)，滿足夜間批量海量數(shù)據(jù)同步需要。

3 浦發(fā)銀行實(shí)踐

結(jié)合核心系統(tǒng)異地雙活的關(guān)鍵技術(shù)研究成果，浦發(fā)銀行精心組織、細(xì)心準(zhǔn)備，完成了上海、合肥兩地四百公里的核心系統(tǒng)異地雙活投產(chǎn)運(yùn)行。

3.1 數(shù)據(jù)同步和零丟失架構(gòu)實(shí)施

根據(jù)核心異地雙活數(shù)據(jù)同步架構(gòu)設(shè)計(jì)，數(shù)據(jù)庫(kù)日志復(fù)制技術(shù)因其可靠性高，復(fù)雜度低，抗異地延遲及對(duì)源端干擾少等優(yōu)勢(shì)，在異地雙活數(shù)據(jù)同步架構(gòu)中具有明顯優(yōu)勢(shì)。浦發(fā)銀行結(jié)合現(xiàn)有核心系統(tǒng)數(shù)據(jù)庫(kù)選型，采用基于INFORMIX數(shù)據(jù)庫(kù)日志復(fù)制的異步復(fù)制模式構(gòu)建數(shù)據(jù)同步架構(gòu)，并對(duì)三類日志復(fù)制技術(shù)進(jìn)行比較分析，具體如表1所示。

考慮到浦發(fā)銀行異地雙活架構(gòu)是建立在相距四百公里的上海及合肥站點(diǎn)間，且雙活兩節(jié)點(diǎn)相互間的性能影響要盡可能降到最低，RSS技術(shù)更適合實(shí)際需要，因此選用INFORMIX RSS異步復(fù)制技術(shù)，在雙活站點(diǎn)提供數(shù)據(jù)只讀雙活數(shù)據(jù)支持能力。

由于數(shù)據(jù)庫(kù)復(fù)制提供交易雙活能力采用異步模式，雙活站點(diǎn)間存在著延遲及數(shù)據(jù)差，為應(yīng)對(duì)在極端情況下的RPO不為零，同時(shí)考慮結(jié)合采用三點(diǎn)存儲(chǔ)復(fù)制技術(shù)，構(gòu)建同城到異地的三點(diǎn)環(huán)形存儲(chǔ)復(fù)制網(wǎng)絡(luò)，通過(guò)存儲(chǔ)復(fù)制技術(shù)保障極端情況下，雙活站點(diǎn)可實(shí)現(xiàn)RPO為0的目標(biāo)。

3.2 數(shù)據(jù)延時(shí)智能偵測(cè)和切換

為了保證分流到合肥異地雙活核心系統(tǒng)的分流交易的數(shù)據(jù)延時(shí)在可控范圍內(nèi)，浦發(fā)銀行設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)延時(shí)自動(dòng)偵測(cè)，在延時(shí)超過(guò)指定時(shí)間（目前設(shè)定為7秒），交易自動(dòng)切換回上海核心系統(tǒng)處理。在數(shù)據(jù)延時(shí)智能偵測(cè)和切換實(shí)踐上進(jìn)行了如下的設(shè)計(jì)實(shí)現(xiàn)：

通過(guò)數(shù)據(jù)庫(kù)新建交易延時(shí)探測(cè)表，核心系統(tǒng)探測(cè)進(jìn)程以每隔1秒鐘更新延時(shí)探測(cè)表中記錄的時(shí)間戳。企業(yè)服務(wù)總線系統(tǒng)以每2秒發(fā)起探測(cè)交易，合肥核心系統(tǒng)收到企業(yè)服務(wù)總線系統(tǒng)探測(cè)交易請(qǐng)求時(shí)讀取合肥數(shù)據(jù)庫(kù)的延時(shí)探測(cè)表的時(shí)間戳記錄，并與系統(tǒng)時(shí)鐘進(jìn)行比較，從而得到具體的合肥數(shù)據(jù)庫(kù)的數(shù)據(jù)延時(shí)，具體如圖1所示。

企業(yè)服務(wù)總線系統(tǒng)根據(jù)核心系統(tǒng)返回的交易權(quán)重，在數(shù)據(jù)延時(shí)大于7秒時(shí)，將雙活交易隊(duì)列中的交易切回到上海核心系統(tǒng);如果數(shù)據(jù)延時(shí)小于7秒，企業(yè)服務(wù)總線系統(tǒng)將自動(dòng)將雙活隊(duì)列中的交易發(fā)合肥核心系統(tǒng)處理。

3.3 異地核心雙活全對(duì)稱架構(gòu)

浦發(fā)銀行核心系統(tǒng)長(zhǎng)時(shí)接管架構(gòu)，采用存儲(chǔ)復(fù)制與數(shù)據(jù)庫(kù)復(fù)制技術(shù)相結(jié)合的方式實(shí)現(xiàn)長(zhǎng)時(shí)接管對(duì)稱架構(gòu)，構(gòu)建對(duì)等的長(zhǎng)時(shí)雙活站點(diǎn)級(jí)接管能力。

通過(guò)構(gòu)建上海漕河涇，上海東銀同城，合肥數(shù)據(jù)中心，合肥同城中心四點(diǎn)對(duì)稱架構(gòu)，其中上海漕河涇與合肥綜合中心為物理距離400KM的異地雙活站點(diǎn)設(shè)計(jì)，上海東銀，合肥同城分別為雙活站點(diǎn)的同城存儲(chǔ)同步站點(diǎn)。

⑴ 上海漕河涇數(shù)據(jù)中心：核心系統(tǒng)INFORMIX數(shù)據(jù)庫(kù)通過(guò)構(gòu)建RSS數(shù)據(jù)庫(kù)異步復(fù)制技術(shù)與合肥數(shù)據(jù)中心數(shù)據(jù)庫(kù)節(jié)點(diǎn)間形成準(zhǔn)實(shí)時(shí)同步關(guān)系，形成雙活對(duì)外服務(wù)能力。

⑵ 上海東銀同城：與上海漕河涇中心存儲(chǔ)保持存儲(chǔ)同步關(guān)系，與合肥數(shù)據(jù)中心構(gòu)成存儲(chǔ)異步復(fù)制關(guān)系，提供SRDF三點(diǎn)環(huán)形存儲(chǔ)復(fù)制關(guān)系，有力保障運(yùn)行期間數(shù)據(jù)零丟失。

⑶ 合肥數(shù)據(jù)中心：核心數(shù)據(jù)庫(kù)復(fù)制節(jié)點(diǎn)作為目標(biāo)端與漕河涇數(shù)據(jù)中心存儲(chǔ)保持INFORMIX RSS異步數(shù)據(jù)庫(kù)復(fù)制關(guān)系，并作為異地雙活站點(diǎn)查詢對(duì)外服務(wù)。

⑷ 合肥同城中心：與合肥數(shù)據(jù)中心存儲(chǔ)保持存儲(chǔ)同步關(guān)系，與上海漕河涇中心構(gòu)成存儲(chǔ)異步復(fù)制關(guān)系，提供SRDF三點(diǎn)環(huán)形存儲(chǔ)復(fù)制關(guān)系，形成接管后的存儲(chǔ)對(duì)稱架構(gòu)。具體如圖2所示。

3.4 引入廣域網(wǎng)傳輸加速產(chǎn)品

除了構(gòu)建交易分流及雙活對(duì)稱架構(gòu)外，緩解異地雙活中心網(wǎng)絡(luò)延時(shí)影響也是異地雙活運(yùn)行的重要推進(jìn)劑。目前浦發(fā)銀行上海、合肥兩個(gè)數(shù)據(jù)中心單詞網(wǎng)絡(luò)延時(shí)約10毫秒，在每日近億級(jí)交易量沖擊下，會(huì)對(duì)關(guān)鍵系統(tǒng)甚至整個(gè)交易鏈路產(chǎn)生重大影響。為解決廣域網(wǎng)延時(shí)造成的系統(tǒng)聯(lián)機(jī)、批量性能下降等問(wèn)題，浦發(fā)銀行積極開(kāi)展了廣域網(wǎng)加速技術(shù)研究。通過(guò)詳細(xì)梳理上海、合肥間系統(tǒng)各種通訊需求，針對(duì)各類跨廣域網(wǎng)應(yīng)用開(kāi)展了數(shù)據(jù)庫(kù)復(fù)制、存儲(chǔ)復(fù)制和FTP大文件傳輸?shù)炔煌瑘?chǎng)景的應(yīng)用試點(diǎn)，目標(biāo)是在兩地?cái)?shù)據(jù)中心之間建立可橫向擴(kuò)展的廣域網(wǎng)高速傳輸通道，從而減少跨廣域網(wǎng)傳輸數(shù)據(jù)的耗時(shí)并降低雙活系統(tǒng)傳輸延遲帶來(lái)的RPO影響，同時(shí)減少數(shù)據(jù)文件跨廣域網(wǎng)傳輸對(duì)線路帶寬的占用并降低通信線路成本，為異地雙中心均衡發(fā)展提供有利條件。

通過(guò)對(duì)存儲(chǔ)復(fù)制、Informix RSS數(shù)據(jù)庫(kù)日志復(fù)制和廣域網(wǎng)FTP供數(shù)等三個(gè)核心雙活數(shù)據(jù)同步應(yīng)用場(chǎng)景開(kāi)展試點(diǎn)的結(jié)果來(lái)看，整體優(yōu)化率在47.6%-99.77%之間。具體如表2所示。

4 建設(shè)成效

4.1 全面建成核心系統(tǒng)異地雙活系統(tǒng)

浦發(fā)銀行核心異地雙活于2017年末成功投產(chǎn)，并在2018年完成架構(gòu)升級(jí)優(yōu)化。通過(guò)實(shí)施主備庫(kù)數(shù)據(jù)延遲的自動(dòng)偵測(cè)與切換、交易場(chǎng)景松耦合化分流、交易按比例切換分流和交易封裝等方式，實(shí)現(xiàn)核心交易兩地均衡負(fù)載處理，并將數(shù)據(jù)差異量控制在SLA協(xié)議范圍。同時(shí)利用傳統(tǒng)存儲(chǔ)三點(diǎn)復(fù)制技術(shù)確保了在同城雙數(shù)據(jù)中心不同時(shí)中斷服務(wù)情況下，始終保證數(shù)據(jù)零丟失能力。

4.2 穩(wěn)步實(shí)現(xiàn)核心系統(tǒng)異地雙活交易負(fù)載運(yùn)行

按照業(yè)務(wù)評(píng)估與松耦合化交易分流實(shí)施策略，從雙活架構(gòu)投產(chǎn)初期分流的9個(gè)交易，結(jié)合系統(tǒng)的實(shí)際運(yùn)行指標(biāo)監(jiān)控和業(yè)務(wù)部門滿意度，逐步擴(kuò)大核心分流交易數(shù)量和產(chǎn)品范圍，從早期分流不到1%交易量到目前常態(tài)承接18類交易，約20%交易量，核心系統(tǒng)的彈性伸縮能力和整體承載能力有了明顯提高。

4.3 圓滿完成核心異地雙活分鐘切換和交替運(yùn)行

為實(shí)戰(zhàn)檢驗(yàn)核心異地雙活快速切換和長(zhǎng)時(shí)接管能力，浦發(fā)銀行在2018年成功實(shí)施核心雙活分鐘級(jí)切換，僅用時(shí)82.9秒即從上海切換至合肥運(yùn)行。2019年浦發(fā)銀行進(jìn)一步完成核心雙活超半年交替接管運(yùn)行，合肥核心系統(tǒng)作為主站點(diǎn)連續(xù)運(yùn)行7個(gè)多月，共處理116.41億筆交易，平均耗時(shí)27毫秒，處理峰值（TPS）4594筆/秒，全部指標(biāo)都符合預(yù)期。至此，浦發(fā)銀行的核心異地雙活系統(tǒng)已完全具備隨時(shí)可切、切即能用的連續(xù)服務(wù)能力。

5 結(jié)束語(yǔ)

本文聚焦于當(dāng)前數(shù)字化生態(tài)銀行業(yè)核心系統(tǒng)業(yè)務(wù)連續(xù)性的最新發(fā)展方向，開(kāi)展了核心系統(tǒng)異地雙活架構(gòu)設(shè)計(jì)和研究，重點(diǎn)聚焦松耦合智能交易分流、核心系統(tǒng)數(shù)據(jù)同步、異地雙活長(zhǎng)時(shí)接，一鍵式快速切換設(shè)計(jì)等異地雙活關(guān)鍵技術(shù)，提出了兩地四站點(diǎn)全對(duì)稱雙活架構(gòu)，為銀行業(yè)及其他行業(yè)核心系統(tǒng)雙活研究與建設(shè)提供了有益的參考與借鑒。

隨著數(shù)字化新金融浪潮的繼續(xù)推進(jìn)以及分布式開(kāi)源技術(shù)的快速發(fā)展，業(yè)務(wù)連續(xù)性建設(shè)正向新的更高水平不斷演進(jìn)，未來(lái)銀行核心系統(tǒng)向分布式彈性可伸縮多活架構(gòu)發(fā)展的趨勢(shì)日益加快，在現(xiàn)有同城異地雙活架構(gòu)成果上，如何進(jìn)一步思考和構(gòu)建新的核心系統(tǒng)兩地三中心多活架構(gòu)將是新的挑戰(zhàn)與研究命題。

參考文獻(xiàn)（References）：

[1] GB/T 20988—2007.信息安全技術(shù)災(zāi)難恢復(fù)規(guī)范[S].

[2] GR/T 0044—2008.銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范[S].

[3] 中國(guó)銀行業(yè)監(jiān)督管理委員會(huì)，商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引[Z].2011-12-28

[4] 王暉，張勇.以環(huán)形架構(gòu)設(shè)計(jì)為基礎(chǔ)的“兩地三中心”災(zāi)備建設(shè)[J].金融電子化，2013.12：53-55