王小紅 周炳

摘? 要： 數(shù)據(jù)倉庫建設(shè)作為信息社會中人們提取信息的關(guān)鍵技術(shù)，已經(jīng)相當(dāng)成熟。但是傳統(tǒng)數(shù)據(jù)倉庫單獨建設(shè)ETL調(diào)度子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系統(tǒng)和元數(shù)據(jù)管理子系統(tǒng)的數(shù)據(jù)倉庫體系，容易導(dǎo)致配套子系統(tǒng)描述的不一致。文章闡述了一種基于統(tǒng)一管控體系的數(shù)據(jù)倉庫建設(shè)思路及其架構(gòu)，通過構(gòu)建新的管控體系改變傳統(tǒng)的數(shù)據(jù)處理和管理方式，實現(xiàn)數(shù)據(jù)“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù)”，解決了傳統(tǒng)數(shù)據(jù)倉庫各子功能系統(tǒng)之間無法良好協(xié)同、描述不一致的問題。該系統(tǒng)在實際應(yīng)用中取得了較好的效果，具有較高的應(yīng)用價值。

關(guān)鍵詞： 數(shù)據(jù)倉庫; ETL; 元數(shù)據(jù); 統(tǒng)一管控體系; 數(shù)據(jù)生產(chǎn)線

中圖分類號：TP311.52? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號：1006-8228（2019）08-40-04

Abstract： The construction of data warehouse， as a key technology for people to extract information in the information society， has been quite matured. However， traditional data warehouse can lead to the inconsistency of supporting subsystems， because subsystem of ETL scheduling， subsystem of data quality management and subsystem of metadata management are built separately. So a method of establishing data warehouse based on uniform data management and control system is introduced in this paper. The aim of "unified collection， unified storage， unified management， unified operation and unified service" can be achieved by the new management and control system， which substitutes the traditional data processing and management methods， and solves the problem that the sub-function systems of traditional data warehouse can not cooperate well and describe inconsistently. This system has achieved good effects， and has good practicability and high application value.

Key words： data warehouse; ETL; metadata; uniform data management and control system; data assembly line

0 引言

隨著社會的發(fā)展和技術(shù)的進(jìn)步，數(shù)據(jù)已成為人類社會重要的資源，而社會信息化的發(fā)展也使數(shù)據(jù)量急劇增長，人們?yōu)榱藦拇罅繑?shù)據(jù)中提取出能對預(yù)測、輔助決策有用的信息，使用各種技術(shù)手段，如可視化、BI、人工智能、大數(shù)據(jù)等，這些技術(shù)的實現(xiàn)均需良好的數(shù)據(jù)架構(gòu)作為支撐基礎(chǔ)，數(shù)據(jù)庫已無法滿足這種需求，主要體現(xiàn)在以下三個方面：一是歷史數(shù)據(jù)量大，盡管軟硬件的性能持續(xù)得到大幅度提升，但是仍然無法滿足快速增長的數(shù)據(jù)量所需要的環(huán)境;二是輔助決策信息涉及多個部門、多個系統(tǒng)、多種格式的數(shù)據(jù)，而這些多樣化的數(shù)據(jù)在數(shù)據(jù)庫中是難以集成的;三是數(shù)據(jù)庫主要用于OLTP，對于處理數(shù)據(jù)查詢等OLAP操作的能力不足，對大量數(shù)據(jù)的訪問性能明顯下降。為了解決上述問題，人們提出了數(shù)據(jù)倉庫的概念，并研究出數(shù)據(jù)倉庫的建設(shè)方法。

然而，傳統(tǒng)的數(shù)據(jù)倉庫單獨建設(shè)ETL調(diào)度子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系統(tǒng)和元數(shù)據(jù)管理子系統(tǒng)等，這樣容易導(dǎo)致各子系統(tǒng)之間無法良好協(xié)同，對同一數(shù)據(jù)的描述往往不一致，基于此我們提出建立包括ETL調(diào)度、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量等功能在內(nèi)的統(tǒng)一的數(shù)據(jù)管控體系，改變傳統(tǒng)的數(shù)據(jù)處理和管理方式。

1 數(shù)據(jù)倉庫的基本內(nèi)容

1.1 數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是向業(yè)務(wù)主題的、集成的、基于歷史的、信息本身相對穩(wěn)定的數(shù)據(jù)及應(yīng)用集合[1，2，3＼，4]，它通過建立面向數(shù)據(jù)分析服務(wù)的統(tǒng)一的數(shù)據(jù)存儲平臺，實現(xiàn)不同業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)的清洗、整合和標(biāo)準(zhǔn)化，其主要內(nèi)容包括三個方面。

⑴ 制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)[5]

數(shù)據(jù)標(biāo)準(zhǔn)是一套符合系統(tǒng)自身實際，涵蓋定義、操作、應(yīng)用多層次數(shù)據(jù)的標(biāo)準(zhǔn)化體系，是數(shù)據(jù)倉庫建設(shè)的一項重要工作。

數(shù)據(jù)標(biāo)準(zhǔn)包括數(shù)據(jù)定義規(guī)范的標(biāo)準(zhǔn)化、數(shù)據(jù)編碼的標(biāo)準(zhǔn)化、元數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)化等。

⑵ 實現(xiàn)內(nèi)部數(shù)據(jù)的歸口管理

歸口管理指所有下游應(yīng)用分析所需數(shù)據(jù)支持均平臺統(tǒng)一提供，避免數(shù)據(jù)源的多頭出口，從而提高各系統(tǒng)之間數(shù)據(jù)標(biāo)準(zhǔn)化和安全性。

⑶ 實現(xiàn)“一次采集、多次使用”

“一次采集、多次使用”是指下游應(yīng)用系統(tǒng)由對生產(chǎn)系統(tǒng)的直接依賴變?yōu)橐蕾囉诟鞣N粒度的匯總數(shù)據(jù)，這些不同粒度的數(shù)據(jù)由數(shù)據(jù)倉庫統(tǒng)一加工且統(tǒng)一存儲，從而減輕其對生產(chǎn)系統(tǒng)壓力， 降低數(shù)據(jù)冗余和資源浪費，提高數(shù)據(jù)處理和數(shù)據(jù)分析的效率。

1.2 數(shù)據(jù)倉庫的配套體系

數(shù)據(jù)倉庫的建設(shè)和實施除了基礎(chǔ)存儲的建設(shè)外還包括周邊的配套體系，包括ETL調(diào)度、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理等。

ETL[6-8] 是對操作數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換并將其載入數(shù)據(jù)倉庫存儲庫的數(shù)據(jù)集成工具，其主要作用在于對各類業(yè)務(wù)數(shù)據(jù)進(jìn)行清理、標(biāo)準(zhǔn)化和匯總，為基于數(shù)據(jù)倉庫的決策分析應(yīng)用提供高質(zhì)量的數(shù)據(jù)。ETL負(fù)責(zé)按照統(tǒng)一的規(guī)則清洗并整合不同來源的數(shù)據(jù)，完成數(shù)據(jù)源向數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是數(shù)據(jù)倉庫的核心和關(guān)鍵環(huán)節(jié)。

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，它實現(xiàn)了對數(shù)據(jù)全生命周期的管控，包括數(shù)據(jù)的描述、數(shù)據(jù)與數(shù)據(jù)之間的依賴關(guān)系以及數(shù)據(jù)流轉(zhuǎn)情況等信息，幫助數(shù)據(jù)管理員、開發(fā)人員和分析人員方便地找到他們所關(guān)心的數(shù)據(jù)[9，10，11，14]。

數(shù)據(jù)質(zhì)量管理是對支持業(yè)務(wù)需求的數(shù)據(jù)進(jìn)行全面質(zhì)量管理，通過相關(guān)辦法、流程、軟件等，及時發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題，提升數(shù)據(jù)的完整性、及時性、準(zhǔn)確性及一致性，提升業(yè)務(wù)價值[12-13]。

1.3 數(shù)據(jù)倉庫的體系架構(gòu)

數(shù)據(jù)倉庫的體系架構(gòu)是以基礎(chǔ)數(shù)據(jù)存儲平臺為數(shù)據(jù)集合，在此基礎(chǔ)上建設(shè)ETL調(diào)度子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系統(tǒng)和元數(shù)據(jù)管理子系統(tǒng)等功能，如圖1所示。

1.4 傳統(tǒng)數(shù)據(jù)倉庫體系存在的問題

由于傳統(tǒng)的數(shù)據(jù)倉庫體系單獨建設(shè)ETL調(diào)度子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系統(tǒng)和元數(shù)據(jù)管理子系統(tǒng)，因此存在以下幾個問題：一是數(shù)據(jù)處理邏輯優(yōu)化及ETL改造而相關(guān)描述文檔未及時更新可能導(dǎo)致元數(shù)據(jù)與實際數(shù)據(jù)處理不一致;二是元數(shù)據(jù)不可信導(dǎo)致多角色的不能有效溝通;三是ETL與數(shù)據(jù)質(zhì)量管理體系獨立導(dǎo)致數(shù)據(jù)質(zhì)量的可靠性無法隨時掌控，且與數(shù)據(jù)處理過程無法互動。這些問題導(dǎo)致各子系統(tǒng)之間無法良好協(xié)同。

2 基于統(tǒng)一管控體系的數(shù)據(jù)倉庫的架構(gòu)體系

為了有效地解決傳統(tǒng)數(shù)據(jù)倉庫體系存在的描述不一致問題，我們提出了建立包括ETL調(diào)度、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量等功能在內(nèi)的基于統(tǒng)一管控體系的數(shù)據(jù)倉庫。

2.1 統(tǒng)一數(shù)據(jù)管控體系

統(tǒng)一數(shù)據(jù)管控體系是依托于數(shù)據(jù)倉庫作為基礎(chǔ)的數(shù)據(jù)存儲平臺，通過整合包括ETL調(diào)度管理、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量等功能建立全新的數(shù)據(jù)管控體系，改變傳統(tǒng)的數(shù)據(jù)處理和管理方式。

2.2 基于統(tǒng)一管控體系的數(shù)據(jù)倉庫的架構(gòu)體系

基于統(tǒng)一管控體系的數(shù)據(jù)倉庫的架構(gòu)體系是以前端各業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)為數(shù)據(jù)源，通過ETL調(diào)度服務(wù)，定期將源數(shù)據(jù)抽取、加工并統(tǒng)一存儲，由數(shù)據(jù)管控模塊在此基礎(chǔ)上開展一系列數(shù)據(jù)管控工作。

首先，數(shù)據(jù)管控模塊提供數(shù)據(jù)對象之間依賴影響關(guān)系的管理，形成基于元數(shù)據(jù)的數(shù)據(jù)對象流，作為調(diào)度的惟一管理載體將多個數(shù)據(jù)源定期遷移至平臺內(nèi)部，并加工成長期的、變化的基礎(chǔ)數(shù)據(jù)以及能夠滿足下游應(yīng)用系統(tǒng)特定結(jié)構(gòu)的結(jié)果數(shù)據(jù)，同時根據(jù)不同的數(shù)據(jù)結(jié)構(gòu)及用途存儲在相應(yīng)的數(shù)據(jù)層或存儲區(qū)域。

其次，ETL過程會根據(jù)所制訂的數(shù)據(jù)標(biāo)準(zhǔn)及相關(guān)規(guī)范，對進(jìn)入平臺的數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化處理以及數(shù)據(jù)整合，最終形成清洗完成的、標(biāo)準(zhǔn)化的數(shù)據(jù)，供后續(xù)使用。

再次，數(shù)據(jù)管控模塊根據(jù)預(yù)設(shè)的數(shù)據(jù)質(zhì)量檢查規(guī)則定期對數(shù)據(jù)對象進(jìn)行監(jiān)控，并將結(jié)果以發(fā)送報告、報表和告警等形式反饋給相應(yīng)環(huán)節(jié)。這為保證系統(tǒng)數(shù)據(jù)質(zhì)量提供數(shù)據(jù)校驗手段和管理控制手段，具體系統(tǒng)架構(gòu)見圖2。

與圖1所示的傳統(tǒng)數(shù)據(jù)倉庫的體系架構(gòu)相比，圖2所示的基于統(tǒng)一管控體系數(shù)據(jù)倉庫系統(tǒng)采用的統(tǒng)一數(shù)據(jù)管控平臺集中提供ETL調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等功能。

3 基于統(tǒng)一管控體系數(shù)據(jù)倉庫的內(nèi)容與建設(shè)

3.1 基于統(tǒng)一管控體系數(shù)據(jù)倉庫的主要內(nèi)容

基于統(tǒng)一管控體系數(shù)據(jù)倉庫通過改變傳統(tǒng)的數(shù)據(jù)處理和管理方式，實現(xiàn)數(shù)據(jù)“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù)”，具體包括以下幾點。

⑴ 構(gòu)建面向數(shù)據(jù)處理的統(tǒng)一管控框架

構(gòu)建面向數(shù)據(jù)處理的統(tǒng)一管控框架是通過標(biāo)準(zhǔn)化數(shù)據(jù)處理模式，基于可視化、規(guī)范化的數(shù)據(jù)處理手段，實現(xiàn)系統(tǒng)后臺數(shù)據(jù)處理合理的業(yè)務(wù)透明度，徹底杜絕技術(shù)實現(xiàn)的黑盒化，實現(xiàn)數(shù)據(jù)資產(chǎn)業(yè)務(wù)化的“可視、可管、可控”。

⑵ 實現(xiàn)模型和數(shù)據(jù)處理的標(biāo)準(zhǔn)化、規(guī)范化

實現(xiàn)模型和數(shù)據(jù)處理的標(biāo)準(zhǔn)化、規(guī)范化是指標(biāo)準(zhǔn)化數(shù)據(jù)處理流程和代碼編寫規(guī)范，對命名規(guī)則、分層模型進(jìn)行統(tǒng)一管理，能夠?qū)?shù)據(jù)處理過程輸出的元數(shù)據(jù)進(jìn)行規(guī)范性、完整性、時效性檢查控制，從而保證數(shù)據(jù)處理質(zhì)量。

⑶ 實現(xiàn)數(shù)據(jù)處理過程中元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的統(tǒng)一管控

實現(xiàn)數(shù)據(jù)處理過程中元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的統(tǒng)一管控是指對元數(shù)據(jù)強制前向獲取、規(guī)范性的數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量控制方法和技術(shù)管理手段，實現(xiàn)數(shù)據(jù)處理鏈路的追根溯源和全程審計。建立保證業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和代碼的強一致性保障機制并通過數(shù)據(jù)管控平臺承載，有效降低數(shù)據(jù)處理過程中的監(jiān)管成本，實現(xiàn)管理流程和技術(shù)手段的良好融合和相互促進(jìn)。

⑷ 建設(shè)系統(tǒng)知識庫

建設(shè)系統(tǒng)知識庫是通過技術(shù)手段保證數(shù)據(jù)處理經(jīng)驗的有效傳承，降低開發(fā)人員個性和流失帶來影響;通過知識管理手段，降低對文檔系統(tǒng)的依賴。

3.2 基于統(tǒng)一管控體系數(shù)據(jù)倉庫的建設(shè)方法

基于統(tǒng)一管控體系數(shù)據(jù)倉庫借鑒了制造業(yè)的生產(chǎn)方法，提出以數(shù)據(jù)為中心采用工具化、流程化、自動化的手段開展一切數(shù)據(jù)生產(chǎn)和管理活動。

首先，對數(shù)據(jù)加工處理過程進(jìn)行抽象，把數(shù)據(jù)加工處理分為數(shù)據(jù)輸入、加工處理、數(shù)據(jù)輸出三個步驟，對應(yīng)這三個步驟，數(shù)據(jù)從原材料轉(zhuǎn)變?yōu)榘氤善?，最終成為成品（如決策分析報表）（見圖3）。

最后，通過將不同數(shù)據(jù)對象的組合，實現(xiàn)數(shù)據(jù)工廠的核心——數(shù)據(jù)生產(chǎn)線。數(shù)據(jù)生產(chǎn)線以數(shù)據(jù)對象關(guān)系圖（即元數(shù)據(jù)血緣圖）作為核心調(diào)度，描述了數(shù)據(jù)以時間為軸的加工順序，形成數(shù)據(jù)對象流調(diào)度。每個數(shù)據(jù)對象需要管理好自己的元數(shù)據(jù)，并完成對自己的所有加工和質(zhì)量控制的操作。

因此，之前的ETL調(diào)度和監(jiān)控、元數(shù)據(jù)管理以及數(shù)據(jù)質(zhì)量管理，不再是獨立的實體，而是數(shù)據(jù)生產(chǎn)線的視圖（見圖5）。

模型的定義和開發(fā)、模型的管理和調(diào)度、模型的運行和監(jiān)控、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等均基于同一套數(shù)據(jù)對象流并在不同視圖中展示，提升對系統(tǒng)、數(shù)據(jù)的管控能力：

⑴ 通過數(shù)據(jù)對象實現(xiàn)知識的集中化管理，數(shù)據(jù)對象融合了庫內(nèi)外加工、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量管理、調(diào)度管理等功能，解決了不同功能之間互動和一致性保證的難題。

⑵ 系統(tǒng)調(diào)度的邏輯就是元數(shù)據(jù)的血緣分析圖，由多組單向的數(shù)據(jù)對象的流動構(gòu)成的一張由數(shù)據(jù)對象構(gòu)成的單向無環(huán)圖（Directed Acyclic Graph），內(nèi)嵌在數(shù)據(jù)對象里的質(zhì)量控制，可以低成本高效地解決傳統(tǒng)調(diào)度面臨的問題定位和修復(fù)問題最小代價等難題。

⑶ 業(yè)務(wù)元數(shù)據(jù)驅(qū)動的數(shù)據(jù)對象流，可以實現(xiàn)數(shù)據(jù)全程的可控，最小化了業(yè)務(wù)和技術(shù)溝通的成本。

4 結(jié)束語

基于統(tǒng)一管控體系的數(shù)據(jù)倉庫，改變了容易導(dǎo)致各系統(tǒng)之間無法良好協(xié)同傳統(tǒng)分散的數(shù)據(jù)處理和管理方式，解決了傳統(tǒng)的數(shù)據(jù)倉庫各子功能系統(tǒng)之間無法良好協(xié)同的問題，降低了數(shù)據(jù)倉庫系統(tǒng)的復(fù)雜度和開發(fā)維護成本，保障系統(tǒng)的基于統(tǒng)一數(shù)據(jù)對象管理下的可視、可管、可控，促進(jìn)系統(tǒng)持續(xù)、穩(wěn)定、健康的發(fā)展，滿足多樣化的業(yè)務(wù)應(yīng)用分析需求。

參考文獻(xiàn)（References）：

[1] W H Inmon.王志海等譯. 數(shù)據(jù)倉庫（第3版）[M].機械工業(yè)出版社，2003.

[2] 余丹.銀行企業(yè)級數(shù)據(jù)倉庫建設(shè)研究[D].吉林大學(xué)碩士學(xué)位論文，2009.

[3] 高翔，劉峰，張殿東.商業(yè)銀行數(shù)據(jù)倉庫建模研究與設(shè)計[J].計算機與數(shù)字工程，2010.38 （8）：81-82

[4] 王威. 個人征信數(shù)據(jù)倉庫系統(tǒng)的設(shè)計[D]. 對外經(jīng)濟貿(mào)易大學(xué)，2006.

[5] 劉晨，蘇穎.一種面向數(shù)據(jù)倉庫項目數(shù)據(jù)接入的基于數(shù)據(jù)元素的數(shù)據(jù)質(zhì)量管理方法[C]//科技信息資源共享促進(jìn)國際會議，2011.

[6] 張暉. 基于工作流和元數(shù)據(jù)的ETL工具研究與實現(xiàn)[D].河北工業(yè)大學(xué)， 2006.

[7] 孫偉，張忠能.ETL架構(gòu)研究[J].微型電腦應(yīng)用，2005.21（3）：34-37

[8] 王克龍等.數(shù)據(jù)倉庫中 ETL 技術(shù)的探討與實踐[J].計算機應(yīng)用與軟件，2005.22（11）：30-3

[9] 羅兵.基于元數(shù)據(jù)控制的ETL系統(tǒng)應(yīng)用研究[D]. 西南大學(xué)，2006.

[10] 陳德莉. 元數(shù)據(jù)實施方法的研究[C]//中國煙草學(xué)會學(xué)術(shù)年會.2011.

[11] 孫力君，仇道霞，方峻峰，宋楠. 淺析數(shù)據(jù)倉庫中的元數(shù)據(jù)管理技術(shù)[J].齊魯工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2009.23 （2）：58-62

[12] 孫中東.企業(yè)級數(shù)據(jù)治理框架下的數(shù)據(jù)質(zhì)量管理[J].金融電子化，2011.6：57-60

[13] 程大慶，鄭承滿. 數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量的治理及體系構(gòu)建[J].中國金融電腦，2011.6：28-34

[14] 欒曉宇.基于元數(shù)據(jù)驅(qū)動的企業(yè)級數(shù)據(jù)倉庫系統(tǒng)[J].計算機系統(tǒng)應(yīng)用，2015.24（2）：99-107