宰旭昕，康 凱，許廣文

（公安部戶政管理研究中心，北京 100070）

0 引言

為保證關(guān)鍵業(yè)務(wù)系統(tǒng)的安全平穩(wěn)運(yùn)行，確保各類一線業(yè)務(wù)正常辦理及相關(guān)信息準(zhǔn)確、安全，在北京兩個(gè)數(shù)據(jù)中心建立安全有效的關(guān)鍵業(yè)務(wù)系統(tǒng)和相應(yīng)的容災(zāi)備份系統(tǒng)。當(dāng)部署關(guān)鍵業(yè)務(wù)的主機(jī)房發(fā)生重大故障導(dǎo)致業(yè)務(wù)無法辦理、數(shù)據(jù)安全受到影響的情況下，備份環(huán)境可立即啟用，保障業(yè)務(wù)的正常辦理和數(shù)據(jù)的完整、準(zhǔn)確與鮮活。

1 設(shè)計(jì)思路

1.1 備份環(huán)境

考慮到該關(guān)鍵業(yè)務(wù)系統(tǒng)的技術(shù)路線和應(yīng)用的繼承性，災(zāi)備系統(tǒng)采用同等架構(gòu)的設(shè)計(jì)，數(shù)據(jù)結(jié)構(gòu)相同，搭建為物理獨(dú)立的災(zāi)備系統(tǒng)環(huán)境，保持原有數(shù)據(jù)抓取、傳輸、入庫以及對(duì)賬的數(shù)據(jù)維護(hù)機(jī)制，通過數(shù)據(jù)同步工具保證主備系統(tǒng)之間的數(shù)據(jù)同步，業(yè)務(wù)應(yīng)用模式和新增需求開發(fā)模式不變。

1.2 數(shù)據(jù)初始化及同步

1.2.1 Oracle GoldenGate 技術(shù)

Oracle GoldenGate 簡稱OGG。OGG 是一款實(shí)時(shí)訪問、捕捉日志變化數(shù)據(jù)且在異構(gòu)平臺(tái)之間進(jìn)行數(shù)據(jù)傳輸?shù)漠a(chǎn)品，主要用于同構(gòu)、異構(gòu)數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)同步[1]。

（1）Oracle GoldenGate 主要特點(diǎn)。第一，高性能。實(shí)時(shí)讀取數(shù)據(jù)庫日志，由特定程序在占用源數(shù)據(jù)庫極少資源的情況下，實(shí)現(xiàn)大量數(shù)據(jù)快速實(shí)時(shí)復(fù)制，以實(shí)現(xiàn)多并發(fā)執(zhí)行。第二，高可靠性。數(shù)據(jù)的同步以交易為單位，使數(shù)據(jù)同步保證一致性。第三，靈活性。支持一對(duì)一、一對(duì)多、多對(duì)一、多對(duì)多和雙向復(fù)制等。如圖1 所示，通過在跟蹤文件（trail文件）中臨時(shí)存儲(chǔ)數(shù)據(jù)，OGG 將數(shù)據(jù)源和目標(biāo)分離開來以提供異構(gòu)支持。這種分離的架構(gòu)支持每個(gè)模塊（捕獲、路由、轉(zhuǎn)換和交付4 個(gè)模塊）獨(dú)立執(zhí)行自己的任務(wù)，實(shí)現(xiàn)了高性能、高可靠和靈活性。第四，安全性。具有數(shù)據(jù)壓縮和加密功能，減少對(duì)數(shù)據(jù)傳輸帶寬的壓力，同時(shí)大大提高了數(shù)據(jù)傳輸?shù)陌踩訹2]。第五，斷點(diǎn)傳輸。OGG 生成了一種新的文件格式trail 文件，而trail 文件能夠防止產(chǎn)生單點(diǎn)故障，將事務(wù)信息持續(xù)化，具有checkpoint 機(jī)制來記錄當(dāng)前讀寫位置，當(dāng)出現(xiàn)故障時(shí)，通過checkpoint記錄的位置能夠重新準(zhǔn)確傳輸數(shù)據(jù)[3]。第六，OGG支持在異構(gòu)操作系統(tǒng)下、異構(gòu)數(shù)據(jù)庫中進(jìn)行同步，支持主流的操作系統(tǒng)和數(shù)據(jù)庫平臺(tái)[4]，主要支持的異構(gòu)環(huán)境如圖2 所示。

圖1 OGG 分離架構(gòu)

圖2 OGG 支持的異構(gòu)環(huán)境

（2）Oracle GoldenGate 工作原理。OGG 工作原理如圖3 所示。首先由捕獲進(jìn)程（Capture Process）對(duì)源數(shù)據(jù)庫的在線日志或歸檔日志進(jìn)行讀取并解析[5]，對(duì)涉及SQL 變更表操作的語句或者相關(guān)變化信息轉(zhuǎn)換為OGG 自定義的中間格式存放于隊(duì)列文件。傳送進(jìn)程將隊(duì)列文件通過網(wǎng)絡(luò)傳送到目標(biāo)數(shù)據(jù)，然后由捕獲進(jìn)程進(jìn)行checkpoint，記錄當(dāng)前完成捕捉的log 位置。檢查點(diǎn)的存在可使出現(xiàn)問題時(shí)從檢查點(diǎn)位置繼續(xù)復(fù)制[6]。投遞進(jìn)程從接收到的隊(duì)列中讀取數(shù)據(jù)變化情況，創(chuàng)建相關(guān)的數(shù)據(jù)庫語句，通過數(shù)據(jù)庫的本地接口執(zhí)行。成功執(zhí)行后更新檢查點(diǎn)，記錄完成復(fù)制的信息[6]。

圖3 OGG 工作原理

（3）Oracle GoldenGate 應(yīng)用。綜上所述，OGG是一種能夠支持異構(gòu)環(huán)境的數(shù)據(jù)庫復(fù)制技術(shù)，源端與目標(biāo)端可以是不同的硬件平臺(tái)、操作系統(tǒng)、數(shù)據(jù)庫平臺(tái)以及數(shù)據(jù)庫版本。OGG 執(zhí)行數(shù)據(jù)庫復(fù)制過程中，目標(biāo)端數(shù)據(jù)庫可以是打開運(yùn)行的狀態(tài)，可以支持任何數(shù)據(jù)庫的讀寫操作。OGG 具有高性能、高可靠、安全性以及斷點(diǎn)續(xù)傳等特性。OGG 能夠支持Oracle 數(shù)據(jù)庫中的數(shù)據(jù)復(fù)制容災(zāi)，可以滿足關(guān)鍵業(yè)務(wù)災(zāi)備系統(tǒng)業(yè)務(wù)數(shù)據(jù)備份的需求。

1.2.2 數(shù)據(jù)初始化

應(yīng)用服務(wù)器搭建Cloud Foundy 的PaaS 云平臺(tái)環(huán)境，數(shù)據(jù)庫服務(wù)器搭建Oracle 庫，實(shí)現(xiàn)主系統(tǒng)至備庫的歷史數(shù)據(jù)初始化功能，并使用ETL 工具（Informatica）完成數(shù)據(jù)初始化。通過批量數(shù)據(jù)入庫的方式加載數(shù)據(jù)。按照目前網(wǎng)絡(luò)環(huán)境條件下每天800 萬行（含照片類數(shù)據(jù)）計(jì)算，需要人工干預(yù)，且需要分批次進(jìn)行，無法一次性完成所有類型數(shù)據(jù)的加載。

1.2.3 數(shù)據(jù)增量同步

在完成初始化后，使用實(shí)時(shí)增量數(shù)據(jù)同步工具Oracle GoldenGate 完成日常增量數(shù)據(jù)的同步。通過判斷新增數(shù)據(jù)增量方式，主要按照日志方式，按照實(shí)時(shí)提取主庫增量信息維護(hù)至備庫。增量維護(hù)支持周期調(diào)整、數(shù)據(jù)變化調(diào)整、增量維護(hù)監(jiān)控以及故障診斷等功能。數(shù)據(jù)同步架構(gòu)，如圖4 所示。

圖4 數(shù)據(jù)同步架構(gòu)

1.2.4 數(shù)據(jù)同步監(jiān)控

在災(zāi)備庫中實(shí)現(xiàn)新增數(shù)據(jù)同步監(jiān)控和對(duì)賬管理功能。按照周期維護(hù)至備庫，需要對(duì)每個(gè)批次維護(hù)信息進(jìn)行數(shù)據(jù)同步監(jiān)控，包括數(shù)據(jù)維護(hù)監(jiān)控、數(shù)據(jù)維護(hù)增量統(tǒng)計(jì)、同步故障報(bào)警以及故障分析解決等功能。

1.3 數(shù)據(jù)安全

為保證確保數(shù)據(jù)傳輸?shù)陌踩c可靠，主要實(shí)現(xiàn)如下功能。

（1）數(shù)據(jù)獲取安全。利用防火墻等技術(shù)對(duì)Oracle 訪問的IP、端口進(jìn)行保護(hù)，防止源數(shù)據(jù)維護(hù)視圖被非法訪問。

（2）數(shù)據(jù)傳輸安全。使用SSL 加密傳輸通道進(jìn)行數(shù)據(jù)傳輸，保證數(shù)據(jù)傳輸安全性。

（3）數(shù)據(jù)傳輸可靠：確保傳輸過程不丟包以及傳輸驗(yàn)證等可靠性保護(hù)功能；

（4）斷點(diǎn)續(xù)傳，即支持?jǐn)帱c(diǎn)續(xù)傳。

（5）大文件傳輸，即支持大文件傳輸。

（6）智能路由，即對(duì)網(wǎng)絡(luò)上的傳輸節(jié)點(diǎn)實(shí)現(xiàn)智能路由。

1.4 災(zāi)備系統(tǒng)切換要求

單節(jié)點(diǎn)出現(xiàn)問題時(shí)，業(yè)務(wù)切換至另一節(jié)點(diǎn)，必要時(shí)可做服務(wù)降級(jí)，保證關(guān)鍵業(yè)務(wù)系統(tǒng)中的主要業(yè)務(wù)正常服務(wù)。所有業(yè)務(wù)應(yīng)用在能夠在4 h 內(nèi)切換至災(zāi)備系統(tǒng)，數(shù)據(jù)維護(hù)管理應(yīng)用在48 h內(nèi)切換至災(zāi)備系統(tǒng)。

2 備庫的搭建

2.1 基礎(chǔ)環(huán)境準(zhǔn)備

OGG 可實(shí)現(xiàn)異構(gòu)庫之間的數(shù)據(jù)同步，在此選用HPE 的服務(wù)器，數(shù)據(jù)庫依舊使用Oracle 數(shù)據(jù)庫，版本略有不同，使用版本略有新特性的Oracle 12C。GoldenGate 安裝運(yùn)行需要調(diào)用Oracle 的數(shù)據(jù)庫產(chǎn)品的類庫文件，所以安裝GoldenGate 的系統(tǒng)用戶在系統(tǒng)的Oracle:dba 用戶組中也可以直接使用系統(tǒng)Oracle 用戶進(jìn)行安裝。為數(shù)據(jù)安全，隱藏?cái)?shù)據(jù)庫相關(guān)配置信息，硬件配置參照主環(huán)境進(jìn)行配置，支撐環(huán)境基本信息如表1 所示。

表1 環(huán)境配置信息

2.2 數(shù)據(jù)庫準(zhǔn)備

2.2.1 源 端

在主環(huán)境AIX7.1 操作系統(tǒng)上為Oracle 用戶環(huán)境增加參數(shù)“LIBPATH”：

LIBPATH=/goldengate:$ORACLE_HOME/lib:/usr/libOGG 要求源數(shù)據(jù)庫必須處于歸檔以及強(qiáng)制日志模式，且需要開啟數(shù)據(jù)庫表的附加日志（開啟數(shù)據(jù)庫表的附加日志會(huì)導(dǎo)致數(shù)據(jù)庫日志大大增加）。

2.2.2 目標(biāo)端

在HP-UNIX 操作系統(tǒng)為Oracle 用戶環(huán)境增加參數(shù)“SHLIB_PATH”：

SHLIB_PATH=/goldengate:$ORACLE_HOME/lib:/usr/lib

2.3 Oracle GoldenGate 安裝注意事項(xiàng)

2.3.1 Oracle Goldengate 用戶權(quán)限

兩端數(shù)據(jù)庫建立OGG 數(shù)據(jù)庫用戶GoldenGate，如果對(duì)用戶權(quán)限要求不嚴(yán)格，可以直接授予DBA權(quán)限，否則需要賦予GoldenGate 用戶CONNECT、ALTER ANY TABLE、ALTER SESSION、CREATE SESSION、FLASHBACK ANY TABLE、SELECT ANY DICTIONARY、SELECT ANY TABLE、RESOURCE以及DROP ANY TABLE 等權(quán)限。

2.3.2 數(shù)據(jù)庫歸檔日志要求

OGG 要求源數(shù)據(jù)庫必須處于歸檔以及強(qiáng)制日志模式，且需要開啟數(shù)據(jù)庫表的附加日志（開啟數(shù)據(jù)庫表的附加日志會(huì)導(dǎo)致數(shù)據(jù)庫日志大大增加，用戶級(jí)別的附加日志和表級(jí)別的附加日志可以在最后配置，即啟動(dòng)同步服務(wù)前一步進(jìn)行配置）。

2.3.3 配置存儲(chǔ)空間

為OGG 創(chuàng)建文件系統(tǒng)，也可在現(xiàn)有文件系統(tǒng)中建立一個(gè)目錄。OGG 對(duì)于安裝目錄沒有任何限制，OGG 軟件本身占用不到200 MB 空間。

2.3.4 數(shù)據(jù)隊(duì)列存儲(chǔ)空間

需要在共享陣列上為OGG 軟件劃分一定的存儲(chǔ)空間來存儲(chǔ)OGG 隊(duì)列。

OGG 存儲(chǔ)空間的計(jì)算方法大致如下：

3 災(zāi)備數(shù)據(jù)庫中的問題及解決方案

3.1 關(guān)鍵問題

3.1.1 OGG 進(jìn)程時(shí)間延遲

關(guān)鍵業(yè)務(wù)系統(tǒng)主備庫的OGG 正常運(yùn)行后，只需要進(jìn)入/oracle/ogg 目錄，運(yùn)行./ggsci 進(jìn)入OGG管理控制臺(tái)，在控制臺(tái)輸入info all，即可查看當(dāng)前查看配置在服務(wù)器上的所有進(jìn)程的信息，包括Program（所屬進(jìn)程）、Status（運(yùn)行狀態(tài)）、Group（進(jìn)程名稱）、lag at Chkpt（延遲時(shí)間）以及Time Since Chkpt（檢查點(diǎn)信息）。

在數(shù)據(jù)同步過程中發(fā)現(xiàn)，OGG 進(jìn)程的檢查點(diǎn)總是存在延遲時(shí)間較長的問題。使用info all 命令發(fā)現(xiàn)EXT2 抽取進(jìn)程的延遲過高，持續(xù)居高不下，最高超過1 000 h，詳細(xì)信息如下：

3.1.2 數(shù)據(jù)差異

對(duì)主庫與備庫中的數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)賬工作，發(fā)現(xiàn)存在大量的差異數(shù)據(jù)。目前，備庫和主庫存在約7 500 萬數(shù)據(jù)差異，其中主要包括A 信息1 000 萬、B 信息約5 400 萬、C 信息1 100 萬和D 信息1.6 萬。數(shù)據(jù)差異情況如表2 所示。

3.2 關(guān)鍵問題分析

經(jīng)綜合分析認(rèn)為，在關(guān)鍵業(yè)務(wù)數(shù)據(jù)中存在BLOB 字段類型數(shù)據(jù)。因業(yè)務(wù)原因，時(shí)常會(huì)有大批量數(shù)據(jù)上報(bào)，而當(dāng)日增量超過400 萬時(shí)，OGG 延時(shí)明顯持續(xù)增高。延遲不斷增長會(huì)造成以下問題：一是數(shù)據(jù)抽取過程中，影響抽取的速度和質(zhì)量，而在修復(fù)這個(gè)延遲的過程中，切換到下一個(gè)文件又將導(dǎo)致兩邊數(shù)據(jù)量不一致；二是隨著延遲增高，待同步數(shù)據(jù)累計(jì)增多，OGG 中的trail 文件會(huì)越來越大，給主庫的歸檔造成了大量的存儲(chǔ)資源占用，同時(shí)trail文件的增大和延遲修復(fù)所做的切換將造成備庫與主庫的差異數(shù)據(jù)增多，因此在備庫進(jìn)行數(shù)據(jù)分析業(yè)務(wù)時(shí)，數(shù)據(jù)無法達(dá)到完整、準(zhǔn)確和鮮活的要求。

綜上所述，在大型災(zāi)備系統(tǒng)進(jìn)行數(shù)據(jù)同步的過程中，OGG 在進(jìn)行大規(guī)模BLOB 字段類型數(shù)據(jù)同步時(shí)性能存在問題。一是數(shù)據(jù)同步效率降低，增量數(shù)據(jù)過大時(shí)存在很高的延遲；二是數(shù)據(jù)質(zhì)量下降，BLOB 字段類型數(shù)據(jù)會(huì)出現(xiàn)缺失，如照片存在半張臉問題，OGG 在數(shù)據(jù)同步時(shí)保證了數(shù)據(jù)表的行數(shù)一致，卻丟失了某些字段信息；三是維護(hù)難度較大，沒有可操作的圖形化界面；四是OGG 數(shù)據(jù)同步對(duì)DDL 語句進(jìn)行同步，當(dāng)主庫的表結(jié)構(gòu)發(fā)生變化時(shí)，備庫相應(yīng)的表的同步會(huì)停止，當(dāng)需要進(jìn)行字段修改時(shí)需要先停止進(jìn)程。

3.3 數(shù)據(jù)對(duì)賬

在缺少數(shù)據(jù)對(duì)賬方式的情況下，發(fā)現(xiàn)數(shù)據(jù)維護(hù)存在問題會(huì)比較麻煩。只能通過人工定時(shí)對(duì)各類數(shù)據(jù)進(jìn)行統(tǒng)計(jì)來發(fā)現(xiàn)問題，或是等上層應(yīng)用反饋錯(cuò)誤時(shí)才倒查出數(shù)據(jù)維護(hù)中的問題，導(dǎo)致工作十分被動(dòng)。使用OGG進(jìn)行數(shù)據(jù)對(duì)賬補(bǔ)償操作非常煩瑣且復(fù)雜，為減少關(guān)鍵業(yè)務(wù)系統(tǒng)備庫與主庫數(shù)據(jù)差異，需在原有數(shù)據(jù)維護(hù)機(jī)制基礎(chǔ)上增加數(shù)據(jù)對(duì)賬和差異數(shù)據(jù)補(bǔ)償機(jī)制，開展數(shù)據(jù)對(duì)賬及差異數(shù)據(jù)補(bǔ)償工作，保障數(shù)據(jù)的完整性、一致性和鮮活性。

3.3.1 DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)

DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)通過Web 瀏覽器客戶端監(jiān)控、管理以及維護(hù)系統(tǒng)，快速全面掌握數(shù)據(jù)差異情況，可在備份系統(tǒng)、主備數(shù)據(jù)庫和其他類型的冗余數(shù)據(jù)系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)一致性。在數(shù)據(jù)不同步時(shí)，它能夠快速、自動(dòng)發(fā)現(xiàn)差異數(shù)據(jù)，且不會(huì)中斷數(shù)據(jù)庫可用性，不再需要運(yùn)行復(fù)雜的查詢并投入大量的人力資源，在某些情況下可節(jié)省數(shù)周的時(shí)間，可根據(jù)需要設(shè)置檢查頻率在主備數(shù)據(jù)庫之間執(zhí)行定期檢查，無需使任一系統(tǒng)、數(shù)據(jù)庫脫機(jī)，且對(duì)正常運(yùn)行的業(yè)務(wù)無影響。

（1）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)特點(diǎn)。第一，高效。超速多線程融合，提升數(shù)據(jù)處理速度；多緩存容器，減少鎖開銷，提升采集效率；多協(xié)同輔助線程，縮短整體數(shù)據(jù)處理時(shí)間；根據(jù)CPU 數(shù)量計(jì)算線程池，CPU 利用率達(dá)到最大化，提高對(duì)計(jì)算機(jī)硬件的利用率。第二，靈活。支持?jǐn)?shù)據(jù)不斷變化的實(shí)時(shí)數(shù)據(jù)庫，支持跨網(wǎng)絡(luò)跨機(jī)房的比對(duì)，對(duì)硬件和網(wǎng)絡(luò)資源的影響低。第三，易操作。自動(dòng)分批比對(duì)數(shù)據(jù)，實(shí)現(xiàn)總量、條目以及數(shù)據(jù)項(xiàng)的差異數(shù)據(jù)落地；系統(tǒng)由于斷網(wǎng)導(dǎo)致運(yùn)行中斷、斷電出現(xiàn)服務(wù)宕機(jī)等，系統(tǒng)恢復(fù)后可自動(dòng)完成恢復(fù)操作，減少人工干預(yù)。

（2）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)工作原理。DXP數(shù)據(jù)傳輸運(yùn)行平臺(tái)在初始對(duì)賬（或行散列）步驟中，利用查詢從源表和目標(biāo)表檢索行。如果源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫屬于不同的類型，列將轉(zhuǎn)換為標(biāo)準(zhǔn)化的數(shù)據(jù)類型格式，以進(jìn)行準(zhǔn)確比較。默認(rèn)情況下，在比較行時(shí)，會(huì)以值一一對(duì)應(yīng)的方式比較主鍵的所有列，而對(duì)所有非鍵列使用散列值，用于計(jì)算散列值獨(dú)特的數(shù)字簽名縮小通過網(wǎng)絡(luò)傳輸以進(jìn)行比較的數(shù)據(jù)，保持高效和準(zhǔn)確，但是并不能絕對(duì)確定兩行列值是否相同。為完全確保發(fā)現(xiàn)不同步的行，DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)可配置為以列一一對(duì)應(yīng)的方式比較非鍵行而不使用散列，在不斷變化的環(huán)境中確認(rèn)行狀態(tài)，從而確保結(jié)果準(zhǔn)確，執(zhí)行確認(rèn)處理的線程與初始比較步驟并行執(zhí)行，但每行的確認(rèn)直到超出指定的復(fù)制延遲閾值后才執(zhí)行。這一步的最后會(huì)給出對(duì)隊(duì)列中的行的評(píng)估結(jié)果。DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)通過表結(jié)構(gòu)比對(duì)識(shí)別結(jié)構(gòu)化差異、數(shù)據(jù)量比對(duì)識(shí)別數(shù)量差異以及數(shù)據(jù)項(xiàng)比對(duì)識(shí)別信息內(nèi)容差異，支持表、視圖以及自定義SQL 等方式。

（3）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)應(yīng)用。DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)是對(duì)OGG 在數(shù)據(jù)對(duì)賬和補(bǔ)償方面的補(bǔ)充，支持多種數(shù)據(jù)源和多種比對(duì)方式，適用于各種網(wǎng)絡(luò)。多樣化完全基于Web 方式實(shí)現(xiàn)配置、管理和監(jiān)控，可高效處理大量數(shù)據(jù)，支持?jǐn)?shù)據(jù)不斷變化的實(shí)時(shí)數(shù)據(jù)庫，支持跨網(wǎng)絡(luò)跨機(jī)房的比對(duì)，對(duì)硬件和網(wǎng)絡(luò)資源的影響低，可用來對(duì)關(guān)系型數(shù)據(jù)庫和列存儲(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對(duì)和同步，實(shí)現(xiàn)其備份系統(tǒng)、主從數(shù)據(jù)庫和其他類型的冗余數(shù)據(jù)系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)一致性，能夠?qū)崿F(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)對(duì)賬及差異補(bǔ)償，確保數(shù)據(jù)的安全、可靠，滿足業(yè)務(wù)方面的需求調(diào)度方式。

3.3.2 數(shù)據(jù)對(duì)賬

使用DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)在識(shí)別出差異數(shù)據(jù)后，實(shí)現(xiàn)差異數(shù)據(jù)修復(fù)、查看差異數(shù)據(jù)報(bào)告以及基于個(gè)性化配置的數(shù)據(jù)補(bǔ)齊過程，確保兩端數(shù)據(jù)的一致性。在進(jìn)行數(shù)據(jù)對(duì)賬前，要對(duì)數(shù)據(jù)建立哈希索引和主鍵，通過哈希驗(yàn)證主鍵是否重復(fù)，確認(rèn)在數(shù)據(jù)對(duì)賬補(bǔ)償過程中唯一性是否破壞。哈希值能夠在邏輯上確保數(shù)據(jù)的唯一性，選擇差異數(shù)據(jù)表中的某個(gè)字段作為主鍵，通過主鍵的功能索引和唯一性特點(diǎn)加快數(shù)據(jù)庫的運(yùn)行速度，對(duì)大規(guī)模數(shù)據(jù)和多個(gè)數(shù)據(jù)庫比對(duì)開展數(shù)據(jù)對(duì)賬工作，驗(yàn)證數(shù)據(jù)一致性。

3.3.3 環(huán)境搭建

關(guān)鍵業(yè)務(wù)系統(tǒng)的主備庫部署于不同的數(shù)據(jù)中心，需要進(jìn)行兩個(gè)中心的防火墻安全策略的開通。在備份環(huán)境的支撐平臺(tái)上新建兩臺(tái)虛擬機(jī)（系統(tǒng)版本為Windows2012 R2，CPU8C，內(nèi)存32 GB，存儲(chǔ)300 GB）作為DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)的基礎(chǔ)支撐環(huán)境。使用主庫和備庫上已經(jīng)存在的數(shù)據(jù)庫賬號(hào)作為數(shù)據(jù)對(duì)賬基礎(chǔ)賬號(hào)，權(quán)限為CONNECT、RESOURCE 和CREATE VIEW。在備庫中，新建數(shù)據(jù)庫賬戶SJDZ_DXP 及默認(rèn)表空間384 GB，作為對(duì)賬差異數(shù)據(jù)中間存儲(chǔ)池。部署環(huán)境如圖5 所示。

圖5 主備庫環(huán)境部署

3.3.4 數(shù)據(jù)對(duì)賬補(bǔ)償步驟

在原有數(shù)據(jù)同步機(jī)制基礎(chǔ)上增加數(shù)據(jù)對(duì)賬和差異數(shù)據(jù)補(bǔ)償機(jī)制，根據(jù)數(shù)據(jù)差異情況定期進(jìn)行數(shù)據(jù)對(duì)賬補(bǔ)償，能夠保障備庫與主庫數(shù)據(jù)的一致性。

（1）通過Web 瀏覽器，用戶可以連接到數(shù)據(jù)對(duì)賬服務(wù)器，并配置備庫與主庫數(shù)據(jù)對(duì)賬任務(wù)及其關(guān)聯(lián)對(duì)象。在配置相應(yīng)的數(shù)據(jù)對(duì)賬任務(wù)后，即可等待任務(wù)執(zhí)行。

（2）使用Web 瀏覽器手動(dòng)執(zhí)行數(shù)據(jù)對(duì)賬任務(wù)或用周期調(diào)度自動(dòng)執(zhí)行數(shù)據(jù)對(duì)賬任務(wù)，根據(jù)數(shù)據(jù)差異數(shù)量和資源使用情況，按批次進(jìn)行數(shù)據(jù)補(bǔ)償工作。數(shù)據(jù)對(duì)賬補(bǔ)償過程如圖6 所示。

圖6 數(shù)據(jù)對(duì)賬補(bǔ)償過程

（3）完成任務(wù)后，可以通過使用Web 界面或直接查看文件來分析對(duì)賬報(bào)告和不同步報(bào)告，然后根據(jù)日常數(shù)據(jù)維護(hù)情況分析數(shù)據(jù)差異，制定關(guān)鍵業(yè)務(wù)數(shù)據(jù)對(duì)賬補(bǔ)償周期。數(shù)據(jù)差異分析合并，如圖7所示。

3.3.5 數(shù)據(jù)對(duì)賬補(bǔ)償結(jié)果

本次以存在差異數(shù)據(jù)最多的一類數(shù)據(jù)對(duì)賬補(bǔ)償工作為例，按數(shù)據(jù)上報(bào)單位分別制定數(shù)據(jù)對(duì)賬補(bǔ)償計(jì)劃，將某一數(shù)據(jù)字段作為主鍵。數(shù)據(jù)對(duì)賬計(jì)劃執(zhí)行時(shí)間受數(shù)據(jù)量、字段數(shù)量和字段屬性不同的影響，所消耗的時(shí)間不同。其中，差異數(shù)據(jù)最少為11 586 559 條，對(duì)賬耗時(shí)5 分59 秒，差異數(shù)量1 458 392 條，差異存儲(chǔ)耗時(shí)3 分46 秒，差異補(bǔ)償耗時(shí)29 分25 秒；差異數(shù)據(jù)最多為46 797 874條，對(duì)賬耗時(shí)23分31秒，差異數(shù)量44 26 995 條，差異存儲(chǔ)耗時(shí)18 分35 秒，差異補(bǔ)償耗時(shí)10 小時(shí)35 分19 秒。

圖7 數(shù)據(jù)差異分析合并

關(guān)鍵業(yè)務(wù)主備系統(tǒng)中比對(duì)的總數(shù)據(jù)量大約625 016 662 條，對(duì)賬總耗時(shí)8 小時(shí)零9 分，差異總數(shù)量111 827 873 條，差異存儲(chǔ)總耗時(shí)7 小時(shí)，差異補(bǔ)償總耗時(shí)506 小時(shí)43 分。綜上所述，DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)一共運(yùn)行25 天4 小時(shí)完成此次對(duì)比任務(wù)。經(jīng)測(cè)試無對(duì)賬差錯(cuò)，補(bǔ)償完整率為100%。

3.4 保障機(jī)制

經(jīng)前期驗(yàn)證，通過數(shù)據(jù)對(duì)賬補(bǔ)償方式已將備庫差異數(shù)據(jù)對(duì)賬補(bǔ)償，制定保障機(jī)制如圖8 所示。

圖8 數(shù)據(jù)對(duì)賬補(bǔ)償保障機(jī)制

（1）在DXP 數(shù)據(jù)傳輸平臺(tái)創(chuàng)建定時(shí)數(shù)據(jù)對(duì)賬任務(wù)，將關(guān)鍵業(yè)務(wù)主備系統(tǒng)的A 信息、B 信息、C信息以及D 信息4 類關(guān)鍵業(yè)務(wù)數(shù)據(jù)按數(shù)據(jù)上報(bào)單位分批進(jìn)行對(duì)賬；

（2）根據(jù)數(shù)據(jù)對(duì)賬結(jié)果，形成差異數(shù)據(jù)；

（3）創(chuàng)建數(shù)據(jù)補(bǔ)償任務(wù)，將A 信息、B 信息、C 信息以及D 信息4 類關(guān)鍵業(yè)務(wù)數(shù)據(jù)按數(shù)據(jù)上報(bào)單位分批進(jìn)行補(bǔ)償；（4）根據(jù)數(shù)據(jù)差異情況，設(shè)置定時(shí)數(shù)據(jù)對(duì)賬補(bǔ)償周期為30 天。

3.5 解決方案優(yōu)點(diǎn)

3.5.1 OGG+DXP 技術(shù)行業(yè)案例

Oracle GoldenGate+DXP 技術(shù)保證了對(duì)業(yè)務(wù)系統(tǒng)持續(xù)性的訪問，提供了對(duì)業(yè)務(wù)持續(xù)性的高度支持，滿足跨地域、跨網(wǎng)絡(luò)的各種復(fù)雜復(fù)制需求。無論從網(wǎng)絡(luò)資源占用、執(zhí)行效率和對(duì)系統(tǒng)性能影響等方面考慮，它都具有獨(dú)特的優(yōu)勢(shì)，可以滿足實(shí)時(shí)切換的備份需求和在業(yè)務(wù)發(fā)展過程中對(duì)數(shù)據(jù)安全的需求，以最短的時(shí)間縮小數(shù)據(jù)差異率直到數(shù)據(jù)統(tǒng)一，更好地完善了數(shù)據(jù)維護(hù)的工作內(nèi)容，提高了數(shù)據(jù)維護(hù)方面的完整性、準(zhǔn)確性以及鮮活性。

3.5.2 RPO、RTO 均達(dá)到最優(yōu)化

OGG+DXP 技術(shù)實(shí)現(xiàn)了主備數(shù)據(jù)庫中數(shù)據(jù)的一致性，當(dāng)主環(huán)境出現(xiàn)問題時(shí)，業(yè)務(wù)即刻切換至備份環(huán)境，保證主要業(yè)務(wù)系統(tǒng)正常運(yùn)行。本次案例中，業(yè)務(wù)應(yīng)用可在4 小時(shí)內(nèi)切換至災(zāi)備系統(tǒng)，數(shù)據(jù)維護(hù)管理應(yīng)用可在48 小時(shí)內(nèi)切換至災(zāi)備系統(tǒng)，實(shí)現(xiàn)了最短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)辦理，在實(shí)現(xiàn)業(yè)務(wù)連續(xù)性和準(zhǔn)確性具有重要意義。需要說明的是，該關(guān)鍵業(yè)務(wù)容災(zāi)系統(tǒng)建設(shè)達(dá)到了RTO 和RPO 最優(yōu)化。

4 結(jié)語

當(dāng)前關(guān)鍵業(yè)務(wù)系統(tǒng)運(yùn)行穩(wěn)定、日漸成熟，業(yè)務(wù)數(shù)據(jù)維護(hù)形成了相對(duì)穩(wěn)定、可靠的工作機(jī)制并對(duì)外提供查詢服務(wù)。在北京建立關(guān)鍵業(yè)務(wù)主備庫及數(shù)據(jù)對(duì)賬補(bǔ)償機(jī)制，一旦主數(shù)據(jù)庫宕機(jī)，備數(shù)據(jù)庫將能立即接管主數(shù)據(jù)庫工作，繼續(xù)提供服務(wù)，保證業(yè)務(wù)系統(tǒng)不間斷，數(shù)據(jù)維護(hù)、數(shù)據(jù)服務(wù)等工作正常運(yùn)行，保障業(yè)務(wù)的連續(xù)性、高可用性以及數(shù)據(jù)的完整、準(zhǔn)確、鮮活。本次案例中的Oracle GoldenGate+DXP 技術(shù)符合該行業(yè)對(duì)數(shù)據(jù)和業(yè)務(wù)的高要求，對(duì)相關(guān)行業(yè)在實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)容災(zāi)方面有一定的借鑒價(jià)值。