【摘要】針對目前煤礦業(yè)務系統(tǒng)中，由于各種安全生產(chǎn)的相關數(shù)據(jù)過于龐大，導致在數(shù)據(jù)前端展示時導致系統(tǒng)的響應時間和性能以及用戶的體驗度較差的問題，本文設計了一種基于增量歸集的大數(shù)據(jù)量的數(shù)據(jù)查詢方法。該方法通過定期把數(shù)據(jù)增量歸集到中間結(jié)果表中的方式，提高了大數(shù)據(jù)量查詢的性能。應用結(jié)果表明，該系統(tǒng)的設計方式可提高數(shù)據(jù)處理速度，降低數(shù)據(jù)存儲空間，為查詢結(jié)果的展示提供了堅實的數(shù)據(jù)基礎支撐。

【關鍵詞】增量歸集;數(shù)據(jù)查詢;大數(shù)據(jù);定期;中間結(jié)果

引言

目前，在煤礦業(yè)務系統(tǒng)中，業(yè)務數(shù)據(jù)量非常龐大[1];每次進行業(yè)務數(shù)據(jù)查詢或統(tǒng)計時，持續(xù)時間比較長，消耗資源比較大。傳統(tǒng)的查詢和統(tǒng)計方式，是直接從業(yè)務數(shù)據(jù)表中進行處理，不僅影響應用系統(tǒng)的業(yè)務處理性能，而且查詢和統(tǒng)計性能非常差。

為了提升查詢或統(tǒng)計性能，采用定期將查詢結(jié)果定期的增量歸集到中間數(shù)據(jù)表的方式，在歸集查詢結(jié)果時，由于數(shù)據(jù)量比較大，為提升歸集效率，不能采用全量歸集的方式，而采用增量歸集的方式來處理。這種方式，每次進行查詢或統(tǒng)計時，只需要從中間數(shù)據(jù)表中進行展現(xiàn)即可，而不需要在查詢過程中進行即時計算和歸集，大大減少了查詢的時間，降低了資源消耗，提高了查詢效率。

1.系統(tǒng)設計

本文提出一種基于增量歸集的大數(shù)據(jù)量的數(shù)據(jù)查詢方法，通過定期把數(shù)據(jù)增量歸集到中間結(jié)果表中的方式，提高大數(shù)據(jù)量查詢的性能[2]。本文把基于單個數(shù)據(jù)表的增量結(jié)構(gòu)稱為增量單元（Increment Unit）;把增量數(shù)據(jù)的捕獲規(guī)則稱為增量包（Increment Package）。一個增量包由一個或者多個增量單元組成[3]。

一種基于增量歸集的大數(shù)據(jù)量的數(shù)據(jù)查詢方法，其特征在于包括以下四個步驟：A：增量規(guī)則設計;B：設置增量捕獲調(diào)度執(zhí)行計劃;C：執(zhí)行增量數(shù)據(jù)定期歸集;D：執(zhí)行數(shù)據(jù)統(tǒng)計結(jié)果查詢。

在步驟A中，為實現(xiàn)定義增量數(shù)據(jù)捕獲規(guī)則，它包括以下內(nèi)容：

（1）定義增量單元

進一步說明，增量單元的結(jié)構(gòu)包括增量單元對應的數(shù)據(jù)表、增量的內(nèi)容字段、數(shù)據(jù)表的主鍵字段、數(shù)據(jù)表的時間戳字段，其中數(shù)據(jù)表的時間戳字段只用于時間戳模式的增量數(shù)據(jù)捕獲模式[4]。

（2）定義增量包

進一步說明，增量包中需要指定增量數(shù)據(jù)的捕獲模式，本發(fā)明中提供的捕獲模式包括快照表模式、時間戳模式、觸發(fā)器模式、數(shù)據(jù)庫日志模式。

（3）啟用增量包并做增量初始準備

進一步說明，在做增量初始過程中，要根據(jù)增量單元的結(jié)構(gòu)，創(chuàng)建增量數(shù)據(jù)表，增量數(shù)據(jù)表的結(jié)構(gòu)除了包括增量單元對應的內(nèi)容字段和主鍵字段，還包括時時間戳字段。

（4）增量訂閱

進一步說明，在訂閱處理中要指定訂閱的用途，訂閱的增量包，訂閱同步過程中需要生成的存儲過程的名稱及參數(shù)。

進一步說明，一個增量包可以由一個或多個增量單元組成，一個增量包可被多次訂閱;增量單元、增量包、增量包的實體結(jié)構(gòu)關系所示。

在步驟B中，定義調(diào)度計劃，設置調(diào)度自動增量歸集的任務，并設置任務執(zhí)行的頻率和時間周期以及相關的執(zhí)行策略[5]。

在步驟C中，定期執(zhí)行增量數(shù)據(jù)歸集，它包括以下的步驟：

根據(jù)步驟A中定義的增量捕獲規(guī)則捕獲增量數(shù)據(jù);

把增量數(shù)據(jù)加載到步驟A（3）中定義的增量數(shù)據(jù)表中;

根據(jù)步驟A中增量訂閱的信息，生成增量數(shù)據(jù)同步到查詢中間結(jié)果表中的存儲過程;

執(zhí)行步驟（3）中創(chuàng)建的存儲過程，創(chuàng)建查詢中間結(jié)果表，并把步驟（1）中捕獲的增量數(shù)據(jù)同步到查詢中間結(jié)果表中。

在步驟D中，輸入查詢統(tǒng)計的條件，從步驟C（4）中創(chuàng)建中查詢中間結(jié)果表中分頁取出數(shù)據(jù)進行展現(xiàn)。

2.系統(tǒng)優(yōu)點

與現(xiàn)有技術(shù)相比，本文的優(yōu)點是：

A.可以把復雜的數(shù)據(jù)統(tǒng)計查詢過程包分解成兩個過程，統(tǒng)計計算歸集和實時查詢;

B.把費時的統(tǒng)計計算歸集過程放在后臺運行，并且歸集過程只歸集增量數(shù)據(jù);

C.大大提高了大數(shù)據(jù)量統(tǒng)計查詢的執(zhí)行效率。

本系統(tǒng)的設計中心思路是把復雜數(shù)據(jù)的統(tǒng)計查詢過程分解為統(tǒng)計計算歸集和實時查詢;統(tǒng)計計算歸集過程通過計劃任務調(diào)度在后臺執(zhí)行，并且中間數(shù)據(jù)結(jié)果的歸集進行增量歸集，實時查詢只實現(xiàn)從中間結(jié)果表中分頁取出數(shù)據(jù)進行展現(xiàn)。

3.實際應用

應用系統(tǒng)A中對業(yè)務BizA的數(shù)據(jù)進行統(tǒng)計查詢。實例特征：BizA的結(jié)構(gòu)比較復雜，包括A_MainTable、A_SubTable、A_DetailTable三個表，A_MainTable是主表，A_SubTable是1級從表，A_DetailTable是2級從表;統(tǒng)計查詢的數(shù)據(jù)量比較大。

BizA的數(shù)據(jù)結(jié)構(gòu)如下：

BizA的主表：A_MainTable

字段：A_MainColID、A_MainCol1、A_MainCol2、 A_MainCol3、 A_MainCol4

數(shù)據(jù)類型：String、String、String、String、String

說明：A_MainColID為主鍵

BizA的1級從表：A_SubTable

字段：A_SubColID、A_SubCol1、A_SubCol2、 A_SubCol3、 A_SubCol4

數(shù)據(jù)類型：String、String、String、String、String

說明：A_SubColID為主鍵

BizA的2級從表：A_DetailTable

字段：A_DetailCol1、A_DetailCol2、A_DetailCol2、 A_DetailCol3、 A_DetailCol4

數(shù)據(jù)類型：String、String、String、String、String

說明：A_DetailColID為主鍵

該實例分解為以下四個步驟：

a.設計增量捕獲規(guī)則;b.設置增量歸集調(diào)度計劃;c.執(zhí)行增量數(shù)據(jù)歸集d.執(zhí)行數(shù)據(jù)統(tǒng)計結(jié)果查詢。

（1）定義增量單元，由于BizA包括三個表，應該定義三個增量單元。

A_MainTable的增量單元，如下所示：

屬性項：增量編號、增量名稱、數(shù)據(jù)表、主鍵字段、內(nèi)容字段

屬性值：Inc_A_MainTable、Inc_A_MainTable、A_MainTable、A_MainColID、（A_MainCol1， A_MainCol2， A_MainCol3， A_MainCol4）

A_SubTable的增量單元，如下所示：

屬性項：增量編號、增量名稱、數(shù)據(jù)表、主鍵字段

屬性值：Inc_A_SubTable、Inc_A_SubTable、A_SubTable、A_SubColID

A_DetailTable的增量單元，如下所示：

屬性項：增量編號、增量名稱、數(shù)據(jù)表、主鍵字段、內(nèi)容字段

屬性值：Inc_A_SubTable、Inc_A_SubTable、A_SubTable、A_SubColID、（A_DetailCol1， A_DetailCol2， A_DetailCol3， A_DetailCol4）

（2）定義增量包，增量包結(jié)構(gòu)屬性如下

屬性項：增量包編號、增量名包稱、捕獲模式、增量單元

屬性值：IncPkg_BizA、IncPkg_BizA、數(shù)據(jù)庫日志、（Inc_A_MainTable， Inc_A_SubTable， Inc_A_DetailTable）

（3）啟用并初始增量，該過程中分別創(chuàng)建3個增量數(shù)據(jù)表（Inc_A_MainTable， Inc_A_SubTable， Inc_A_DetailTable），用來存儲捕獲的增量數(shù)據(jù)

（4）訂閱增量，訂閱信息如下：

屬性項：訂閱用途、增量包、同步歸集存儲過程、存儲過程參數(shù)字段

屬性值：BizA的數(shù)據(jù)統(tǒng)計查詢、IncPkg_BizA、SP_BizA_Synch、A_MainCol1，A_MainCol2

在步驟B中，設置計劃調(diào)度信息，設置內(nèi)容如下

屬性項：計劃類別、周期類別、執(zhí)行開始時間

屬性值：周期計劃、每天執(zhí)行、2012年2月21日 22：00：00

在步驟C中，執(zhí)行增量數(shù)據(jù)歸集，參照附圖6，包括以下內(nèi)容：

a.通過數(shù)據(jù)庫日志表，抽取符合條件的增量數(shù)據(jù);

b.把增量數(shù)據(jù)分別加載到增量數(shù)據(jù)表（Inc_A_MainTable， Inc_A_SubTable， Inc_A_DetailTable）中;

c.生成存儲過程SP_BizA_Synch;

d.執(zhí)行存儲過程SP_BizA_Synch，（如果不存在）創(chuàng)建查詢中間結(jié)果表（TempResult_BizA），并把增量數(shù)據(jù)表中的數(shù)據(jù)同步到查詢中間結(jié)果表中。

在步驟D中，采用分頁取數(shù)邏輯從查詢中間結(jié)果表（TempResult_BizA）中取出查詢結(jié)果進行展現(xiàn)。

4.結(jié)論

本文通過提供一種基于增量歸集的大數(shù)據(jù)量的數(shù)據(jù)查詢方法，進行了詳細的描述和實際應用，該方法主要針對大量數(shù)據(jù)進行查詢統(tǒng)計，可以提高大數(shù)據(jù)量的查詢統(tǒng)計的性能和效率，在業(yè)務數(shù)據(jù)量非常龐大的系統(tǒng)中具有較高的應用價值。

參考文獻

[1]劉秋香，張永勝.對XPath，XLink和XPointer的分析研究[J].微機發(fā)展，2005（10）：19-22.

[2]周兆濱.XSLT應用于數(shù)據(jù)編程的研究[J].制造業(yè)自動化，2003（12）：93-95.

[3]劉麗靜.綜合信息管理系統(tǒng)在煤炭生產(chǎn)集團中的應用[J].工礦自動化，2011（10）.

[4]戴磊，牛光東，等.煤炭企業(yè)信息化管理系統(tǒng)的研究[J].工礦自動化，2009（3）：75-78.

[5]杜志強，董方.基于XML的網(wǎng)絡課程資源元數(shù)據(jù)共享研究[J].天中學刊，2011（02）.

作者簡介：朱濤（1985—），男，山西夏縣人，工程師，主要從事煤礦監(jiān)控系統(tǒng)的技術(shù)支持及工程管理工作。