文/張文舉

銀行卡轉(zhuǎn)接系統(tǒng)實(shí)現(xiàn)了系統(tǒng)間跨行、跨境業(yè)務(wù)的互聯(lián)互通。系統(tǒng)可用性是衡量用戶體驗(yàn)的基礎(chǔ)指標(biāo)。交易鏈路上各節(jié)點(diǎn)都有發(fā)生故障的概率，影響用戶體驗(yàn)。鑒于此，對(duì)全鏈路的交易進(jìn)行實(shí)時(shí)監(jiān)控，變得越來越重要，以便及時(shí)發(fā)現(xiàn)問題并進(jìn)行應(yīng)急處理。

1 信息交互判異現(xiàn)狀

目前， 普遍的判異算法大多基于均值、靜態(tài)參數(shù)的方法，存在以下幾點(diǎn)不足：

（1）對(duì)交換信息數(shù)據(jù)的轉(zhuǎn)移缺乏適合判異的轉(zhuǎn)換及指標(biāo)衍生處理，數(shù)據(jù)結(jié)構(gòu)未根據(jù)特征的差異化存儲(chǔ)；

（2）現(xiàn)有的數(shù)據(jù)判異邏輯，缺乏對(duì)用戶行為習(xí)慣的分類，以及不同性質(zhì)銀行的業(yè)務(wù)屬性不同特征差異性化處理；數(shù)據(jù)判異未充分結(jié)合不同時(shí)間段趨勢(shì)進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整；

（3）信息交換數(shù)據(jù)涉及多個(gè)領(lǐng)域，數(shù)據(jù)的結(jié)構(gòu)、格式、量級(jí)均呈現(xiàn)出多元化、快速增長的趨勢(shì)，未對(duì)來自不同來源的原始數(shù)據(jù)交互信息進(jìn)行轉(zhuǎn)換和過濾及差異化處理。

基于上述現(xiàn)有技術(shù)方案的不足，存在以下問題：數(shù)據(jù)存儲(chǔ)壓力大，硬件資源消耗很大，且系統(tǒng)性能和效率大幅下降，難于對(duì)來自不同來源的原始數(shù)據(jù)交互信息進(jìn)行有效的處理和深度的挖掘，從而導(dǎo)致誤報(bào)、漏報(bào)、延時(shí)告警的發(fā)生，由此可能延誤故障處理時(shí)機(jī)。

2 信息判異算法設(shè)計(jì)

為了解決現(xiàn)有技術(shù)方案所存在的問題，本文提出了能夠?qū)Σ煌瑏碓吹脑紨?shù)據(jù)交互信息進(jìn)行有效的處理和深度的挖掘，實(shí)現(xiàn)基于數(shù)據(jù)衍生的數(shù)據(jù)交互信息判異系統(tǒng)及方法。

2.1 主要指標(biāo)設(shè)計(jì)

涉及的監(jiān)控指標(biāo)主要有四類，根據(jù)監(jiān)控對(duì)象的屬性、業(yè)務(wù)、應(yīng)用系統(tǒng)需要進(jìn)行組合使用。

2.1.1 成功率和異常返回碼占比

記回溯時(shí)間Δt內(nèi)交易筆數(shù)為n，成功交易筆數(shù)為nsucc，異常返回碼i的筆數(shù)為ni，則交易成功率異常返回碼占比

2.1.2 TPS波動(dòng)

記每秒交易筆數(shù)為TPS。對(duì)回溯周期Δt內(nèi)的交易筆數(shù)n，計(jì)算TPS均值記本周期的TPS均值為上一周期的TPS均值為則TPS波動(dòng)

2.1.3 無交易上送

記當(dāng)前時(shí)間為tcur，最近一筆交易上送時(shí)間為tlast，則無交易上送時(shí)間為Δtnotrans=tcurtlast；

2.1.4 平均響應(yīng)時(shí)間

對(duì)回溯周期Δt內(nèi)的交易筆數(shù)n，記每筆交易k的響應(yīng)時(shí)間為tk，則平均響應(yīng)時(shí)間

圖1

2.2 數(shù)據(jù)處理系統(tǒng)框架及方法

判異系統(tǒng)架構(gòu)分為五個(gè)功能模塊。

2.2.1 數(shù)據(jù)轉(zhuǎn)移

對(duì)所有業(yè)務(wù)通過數(shù)據(jù)轉(zhuǎn)移模塊轉(zhuǎn)移至監(jiān)控庫，該模塊主要實(shí)現(xiàn)根據(jù)需要進(jìn)行異常監(jiān)控的對(duì)象對(duì)原始數(shù)據(jù)過濾采集，去冗后降低存儲(chǔ)數(shù)據(jù)壓力。

2.2.2 數(shù)據(jù)轉(zhuǎn)換及存儲(chǔ)

（1）對(duì)轉(zhuǎn)移來的數(shù)據(jù)，根據(jù)后續(xù)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)指標(biāo)衍生、數(shù)據(jù)判異及規(guī)則優(yōu)化需要，將不同領(lǐng)域的數(shù)據(jù)結(jié)構(gòu)從格式、業(yè)務(wù)標(biāo)識(shí)、傳輸對(duì)象等進(jìn)行統(tǒng)一定義；將非標(biāo)準(zhǔn)化的數(shù)據(jù)標(biāo)準(zhǔn)化在轉(zhuǎn)化；將具有一定周期性、偏態(tài)的維度通過統(tǒng)計(jì)標(biāo)準(zhǔn)化公式進(jìn)行換算；

（2）對(duì)轉(zhuǎn)換后標(biāo)準(zhǔn)化的數(shù)據(jù)按照數(shù)據(jù)源、領(lǐng)域、對(duì)象進(jìn)行分層存儲(chǔ)，避免后續(xù)數(shù)據(jù)衍生、數(shù)據(jù)查詢進(jìn)行全表掃描等影響性能的問題。

2.2.3 數(shù)據(jù)指標(biāo)衍生

（1）區(qū)域：該子模塊根據(jù)銀行卡交易地區(qū)差異化特點(diǎn)，將數(shù)據(jù)衍生為分為36個(gè)區(qū)域指標(biāo)；

（2）角色：該子模塊根據(jù)銀行屬性、交易類別衍生出交易中擔(dān)任的不同角色，不同角色所呈現(xiàn)的數(shù)據(jù)特征不一；

（3）周期：該子模塊按照周期性特點(diǎn)，將數(shù)據(jù)衍生出不同的窗口化的周期指標(biāo)；

（4）TPS趨勢(shì)：該子模塊根據(jù)實(shí)時(shí)各領(lǐng)域交易曲線（TPS即每秒鐘交易量上升、下降、平滑、深夜），將數(shù)據(jù)衍生出4個(gè)時(shí)間片。

2.2.4 數(shù)據(jù)指標(biāo)判異

（1）該子模塊將數(shù)據(jù)衍生模塊生成的指標(biāo)，按照數(shù)據(jù)本身所呈現(xiàn)出的規(guī)律，對(duì)監(jiān)控對(duì)象通過利用聚類將特征相近的對(duì)象歸為一類，并根據(jù)其業(yè)務(wù)量、成功率、TPS趨勢(shì)對(duì)各時(shí)間片下業(yè)務(wù)要素進(jìn)行分類，建立判異規(guī)則等級(jí)；

（2）該子模塊根據(jù)金融服務(wù)標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)判異規(guī)則進(jìn)行定義3類指標(biāo)：A類為無交易上送，B類為成功率，C類交易量負(fù)波動(dòng)，通過上述規(guī)則共生成20萬量級(jí)的數(shù)據(jù)判異指標(biāo)庫；

（3）該子模塊域監(jiān)控對(duì)象根據(jù)自身的數(shù)據(jù)特征自動(dòng)匹配其數(shù)據(jù)判異指標(biāo)集、獲取各時(shí)間片下符合其業(yè)務(wù)屬性的判異指標(biāo)，計(jì)算相應(yīng)時(shí)間片下數(shù)據(jù)指標(biāo)異動(dòng)情況并輸出判異結(jié)果。如圖1所示。

2.2.5 數(shù)據(jù)指標(biāo)異常告警

（1）該子模塊將數(shù)據(jù)判異模塊所輸出的判異結(jié)果，通過告警的方式進(jìn)行系統(tǒng)、web等方式展現(xiàn)，及時(shí)通知到相關(guān)方；

（2）該子模塊建立了判異指標(biāo)的有效率評(píng)估指標(biāo)Y1-報(bào)警量、Y2-有效率、y3-事件量，并對(duì)指標(biāo)建立基線，當(dāng)觸發(fā)基線將自動(dòng)計(jì)算數(shù)據(jù)判異衍生指標(biāo)的特征值，重新生成衍生指標(biāo)相應(yīng)的閾值并自動(dòng)更新。

3 算法應(yīng)用效果分析

本算法建立的基于實(shí)時(shí)交換信息的數(shù)據(jù)判異系統(tǒng)及方法，以符合實(shí)際數(shù)據(jù)特征的結(jié)構(gòu)化方式對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、衍生、存儲(chǔ)，大幅提升了數(shù)據(jù)判異系統(tǒng)的處理性能及判異有效率，并通過衍生指標(biāo)建立數(shù)據(jù)判異規(guī)則模塊，在處理對(duì)象數(shù)據(jù)判異的過程中根據(jù)數(shù)據(jù)特征，智能調(diào)用符合其自身規(guī)律的衍生規(guī)則、動(dòng)態(tài)調(diào)優(yōu)閾值，降低了人工干預(yù)造成的誤判，實(shí)現(xiàn)了秒級(jí)數(shù)據(jù)異常監(jiān)控的突破，判異有效率達(dá)到97%以上。

4 結(jié)語

本算法不限于銀行卡領(lǐng)域，在金融、制造等多個(gè)領(lǐng)域均可適用。隨著計(jì)算機(jī)和網(wǎng)絡(luò)應(yīng)用的日益廣泛以及不同領(lǐng)域的業(yè)務(wù)種類的日益豐富，根據(jù)數(shù)據(jù)交互信息進(jìn)行異常判別操作以便產(chǎn)生告警的方法和系統(tǒng)變得越來越重要。本算法能夠?qū)碜圆煌瑏碓吹脑紨?shù)據(jù)交互信息進(jìn)行有效的處理和深度的挖掘，從而更精確地進(jìn)行異常判別操作，及時(shí)發(fā)現(xiàn)問題并進(jìn)行應(yīng)急處理，大幅提升運(yùn)維能力。