張世紅,秦浩

摘 要： 為了滿足地市級移動通信的業(yè)務需求，通過對邏輯數(shù)據(jù)集市和物理數(shù)據(jù)集市的分析，確定了數(shù)據(jù)集市的設計思路，構建了數(shù)據(jù)集市的結(jié)構，并設計出數(shù)據(jù)集市的主題模塊。測試表明，其功能模塊和增值業(yè)務達到了預期效果。

關鍵詞： 數(shù)據(jù)集市； 設計思路； 數(shù)據(jù)結(jié)構； 主題模塊

中圖分類號：TP319 文獻標志碼：A 文章編號：1006-8228（2013）06-18-02

Overall design of data marts based on local mobile communications

Zhang Shihong， Qin Hao

（Department of Information technology， Hainan Vocational College of Political Science and Law， Haikou， Hainan 571100， China）

Abstract： In order to meet the local demands of the mobile communications business， through analysis on logical data marts and physical data marts， the overall design of data marts is settled， the data structure is constructed and theme modules are designed. Tests show that its functions on functional modules and value-add services have achieved the desired effects.

Key words： data marts； design ideas； data structure； theme modules

0 引言

地市級移動通信對數(shù)據(jù)集市的設計目標，包含建設面向應用和面向地市級兩大方面的數(shù)據(jù)集市。關于面向應用專題的數(shù)據(jù)集市，因其需求、規(guī)劃、設計、布局等與專題分析綁定而相對獨立，不需要統(tǒng)一規(guī)劃和設計，本文在此不做重點討論。對于面向地市級的數(shù)據(jù)集市，由于不同地市數(shù)據(jù)集市的設計需求和開放的數(shù)據(jù)集基本相似，相對而言較易統(tǒng)一規(guī)劃、設計和管理。因此，本文在數(shù)據(jù)集市的設計方案中，將著重闡述面向地市級數(shù)據(jù)集市的設計。

1 地市級數(shù)據(jù)集市的設計思路

地市級數(shù)據(jù)集市的設計可分為兩種思路，即邏輯數(shù)據(jù)集市和物理數(shù)據(jù)集市[1]，以下簡要討論兩種數(shù)據(jù)集市的優(yōu)劣，并確定本文設計數(shù)據(jù)集市采用的方案。

1.1 邏輯數(shù)據(jù)集市

邏輯數(shù)據(jù)集市采用在數(shù)據(jù)倉庫表上建立邏輯視圖的方式建設（見圖1），其實際訪問的是數(shù)據(jù)倉庫中存儲的物理表，數(shù)據(jù)間的訪問都集中在數(shù)據(jù)倉庫上，通過采用數(shù)據(jù)庫的自身機制保證數(shù)據(jù)的完整性和一致性。同時，邏輯數(shù)據(jù)集市還需要考慮對數(shù)據(jù)倉庫的性能壓力，以及對穩(wěn)定性和安全性的影響。

邏輯數(shù)據(jù)集市的優(yōu)點表現(xiàn)為：一是成本低，只存儲一份數(shù)據(jù)，節(jié)省存儲空間；二是維護簡單，不需要定時導入導出；三是與倉庫中的數(shù)據(jù)保持同步更改，沒有延遲。其缺點表現(xiàn)為：因與數(shù)據(jù)倉庫共享資源，影響數(shù)據(jù)倉庫的使用，導致性能降低；數(shù)據(jù)倉庫CPU和MEMORY需要擴容；對省級數(shù)據(jù)倉庫安全性和穩(wěn)定性要求增高。

圖1 邏輯數(shù)據(jù)集市

1.2 物理數(shù)據(jù)集市

物理數(shù)據(jù)集市擁有獨立的物理存儲，數(shù)據(jù)和數(shù)據(jù)訪問分散在數(shù)據(jù)集市上，但數(shù)據(jù)倉庫是其惟一合法的數(shù)據(jù)來源。物理數(shù)據(jù)集市一般應建立與數(shù)據(jù)倉庫同步的管理機制和執(zhí)行策略，在數(shù)據(jù)集市和數(shù)據(jù)倉庫之間建立數(shù)據(jù)抽取和加載過程，并納入數(shù)據(jù)倉庫系統(tǒng)的總體調(diào)度進行管理。根據(jù)不同的數(shù)據(jù)類型，其數(shù)據(jù)同步頻度可分為每日或每月，并在數(shù)據(jù)倉庫發(fā)生異?；赝藭r，數(shù)據(jù)集市須進行同步更新（見圖2）。

物理數(shù)據(jù)集市的優(yōu)點表現(xiàn)為：一是與數(shù)據(jù)倉庫相對獨立，不會影響數(shù)據(jù)倉庫中數(shù)據(jù)對象的訪問；二是查詢性能相對于邏輯模型能有較大的提高；三是各地市或?qū)ｎ}可以自由使用自己數(shù)據(jù)集市的數(shù)據(jù)。其缺點表現(xiàn)為：物理數(shù)據(jù)集市成本較高，需要將數(shù)據(jù)集市的數(shù)據(jù)再存儲一份；存儲費用較大，如果建立獨立的數(shù)據(jù)庫環(huán)境，還需要購買LICENSE軟件；維護較復雜，需要定時導入導出；不能實時反映數(shù)據(jù)倉庫中數(shù)據(jù)的變化，數(shù)據(jù)有一定的延遲，還需要控制數(shù)據(jù)與倉庫中的數(shù)據(jù)保持同步。

圖2 物理數(shù)據(jù)集市

2 數(shù)據(jù)集市的整體設計

通過以上分析，并從長遠使用角度考慮，本文選擇物理數(shù)據(jù)集市進行整體設計。因為它解決了地市級專題使用數(shù)據(jù)倉庫的瓶頸問題，同時為將來數(shù)據(jù)倉庫的深度開發(fā)打下了基礎。此方案雖然在維護上增加了一定難度，但是如果設計方案完善、嚴密，完全可以排除其帶來的負面影響。

2.1 數(shù)據(jù)集市的設計目標

建設地市級數(shù)據(jù)集市的最終目標是為了解決地市級專題臨時統(tǒng)計的需要，滿足地市統(tǒng)計高靈活性的要求。數(shù)據(jù)集市的設計方案為物理集市，即由獨立的主機承載數(shù)據(jù)集市的數(shù)據(jù)庫。如按目前經(jīng)營分析系統(tǒng)的建設進程和規(guī)模，各省可選擇由一臺主機或多臺主機承擔所有地市的數(shù)據(jù)集市，它不僅能夠支持地市級數(shù)據(jù)集市的應用，還可以支持不同地市的個性化需求，具有較強的通用性，并能保證數(shù)據(jù)集市的數(shù)據(jù)及時生成、優(yōu)化和補充。

2.2 數(shù)據(jù)集市的結(jié)構設計

地市級數(shù)據(jù)集市的設計結(jié)構如圖3所示，需要說明的是：第一，數(shù)據(jù)集市的數(shù)據(jù)主要來源于數(shù)據(jù)倉庫，為了處理效率和速度的考慮，數(shù)據(jù)集市生成的數(shù)據(jù)主要來源于入庫前的清洗后文件；第二，為了更好地生成便于地市使用的數(shù)據(jù)集市查詢數(shù)據(jù)，在數(shù)據(jù)倉庫內(nèi)部需要設計數(shù)據(jù)倉庫綜合查詢數(shù)據(jù)層，作為數(shù)據(jù)倉庫數(shù)據(jù)的重要補充部分，它可以同時服務于數(shù)據(jù)倉庫和數(shù)據(jù)集市；第三，為了便于地市和省中心的數(shù)據(jù)使用，地市級數(shù)據(jù)集市的最終數(shù)據(jù)由數(shù)據(jù)倉庫的明細數(shù)據(jù)、綜合查詢數(shù)據(jù)和ETL文件層的文件數(shù)據(jù)共同生成[2]。

圖3 地市級數(shù)據(jù)集市結(jié)構圖

3 數(shù)據(jù)集市的模塊設計

3.1 數(shù)據(jù)集市的數(shù)據(jù)模型

數(shù)據(jù)集市數(shù)據(jù)及模型由專題數(shù)據(jù)集市數(shù)據(jù)和地市數(shù)據(jù)集市數(shù)據(jù)兩大部分組成，但在本設計中我們著重關注的是地市數(shù)據(jù)集市的設計。數(shù)據(jù)集市數(shù)據(jù)預處理是在數(shù)據(jù)倉庫內(nèi)部實現(xiàn)，本部分是指在生成數(shù)據(jù)集市的數(shù)據(jù)時，部分數(shù)據(jù)不能直接從現(xiàn)有數(shù)據(jù)倉庫的數(shù)據(jù)中直接抽取生成，而需要通過預處理來實現(xiàn)（見圖4）。

3.2 數(shù)據(jù)集市的ETL處理

地市級數(shù)據(jù)集市的ETL主要分為ETL1和ETL2[3]。ETL1是數(shù)據(jù)集市ETL數(shù)據(jù)的主要部分，主要是指把數(shù)據(jù)倉庫的數(shù)據(jù)經(jīng)過分離、轉(zhuǎn)換和裝載生成到數(shù)據(jù)集市中。ETL2是指各地市自身的個性化數(shù)據(jù)，輸入到本地市的數(shù)據(jù)集市中[4]。本部分數(shù)據(jù)不允許倒流到數(shù)據(jù)倉庫中（見圖4）。

圖4 地市級數(shù)據(jù)集市的構成

4 數(shù)據(jù)集市的應用

數(shù)據(jù)集市的應用主要是在移動業(yè)務實踐中進行充分呈現(xiàn)，并提高業(yè)務的管理效率和管理水平，本文重點通過數(shù)據(jù)集市的功能模塊分析和增值業(yè)務呈現(xiàn)來完成。

4.1 功能模塊分析

數(shù)據(jù)集市主要是面向地市的數(shù)據(jù)集市，所以地區(qū)選擇已具體到區(qū)縣一級（原先是地市一級），其中地區(qū)級為省、地級市、縣（區(qū)）。數(shù)據(jù)集市實現(xiàn)的功能模塊有領導關注、區(qū)域考核監(jiān)控、增值業(yè)務、大客戶、渠道分析等，它們都已經(jīng)具體到縣（區(qū)）一級的查詢。具體功能包括：①領導關注模塊，主要是為領導每天關注的指標和近期開展的各項營銷活動進行通報。②區(qū)域考核監(jiān)控模塊，主要是為各個區(qū)域提供市場發(fā)展數(shù)據(jù)，以及相關考核結(jié)果。③增值業(yè)務模塊，主要呈現(xiàn)各種增值業(yè)務的開展情況，每天每月開通工號、滲透率等。④大客戶模塊，主要為大客戶經(jīng)理提供信息，使之能為大客戶提供更方便的服務，為大客戶解決疑難問題，并在服務的過程中，針對不同的目標客戶群提供主動營銷和服務。⑤渠道分析，主要是為渠道經(jīng)理提供信息，使之能對移動各渠道進行更好的管理，如渠道建設、渠道組織管理、渠道業(yè)務管理、渠道酬金管理、渠道放號等，從而使渠道更好地為移動服務。

4.2 增值業(yè)務應用

數(shù)據(jù)集市是一個龐大的項目，需要不斷地建設和完善，現(xiàn)僅以增值業(yè)務為例，介紹數(shù)據(jù)集市的實現(xiàn)。增值業(yè)務是移動通信運營商為提升品牌附加值開發(fā)的新業(yè)務，它對提升客戶粘性，增加收入都有非常大的作用[5]。通過增值業(yè)務的分析，可以為管理者提供開展各種業(yè)務的相關數(shù)據(jù)。

在增值業(yè)務功能模塊中，有短信、彩信，彩鈴、全時通，手機報等功能模塊。通過對增值業(yè)務的查詢，可幫助增值業(yè)務管理人員方便、靈活地獲得需要的信息。查詢內(nèi)容包括：歸屬地、日期、開通號碼數(shù)、凈增數(shù)等指標，向下鉆取可獲得具體號碼明細等信息。對于報表展現(xiàn)以及具體明細，可選取EXCEL或TXT等格式下載、導出或打印。在統(tǒng)一的配置平臺頁面中，可以指定返回數(shù)據(jù)的存儲過程，還可以設計報表、表頭、配置權限，以及調(diào)用存儲過程的參數(shù)。當前臺打開報表時，系統(tǒng)按照指定的參數(shù)自動調(diào)用存儲過程，并返回報表數(shù)據(jù)。系統(tǒng)每天定時運行一個生成數(shù)據(jù)的存儲過程，該過程從數(shù)據(jù)倉庫中整理用戶關心的數(shù)據(jù)，并及時存儲在數(shù)據(jù)集市中。

5 結(jié)束語

本文分析了邏輯數(shù)據(jù)集市和物理數(shù)據(jù)集市的特點，確定了數(shù)據(jù)集市的設計思路，構建了數(shù)據(jù)集市的結(jié)構，并設計出了數(shù)據(jù)集市的主題模塊。研究表明，數(shù)據(jù)集市的主題功能模塊和增值業(yè)務的應用效果較好，能夠提高移動通信業(yè)務的分析效率和管理水平。另外，由于地市級數(shù)據(jù)集市作為省級經(jīng)營分析系統(tǒng)的擴展，仍需要較好的兼容性和擴展性，還需要設計清晰的接口，包括權限管理、數(shù)據(jù)安全等，地市級數(shù)據(jù)集市也要預留獨立的擴展空間，為以后建設獨立系統(tǒng)做準備。

參考文獻：

[1] 亞信管理軟件有限公司.數(shù)據(jù)集市概要設計（V1.0）[P]，2005.

[2] 李艷，楊永健，李樹秋.基于數(shù)據(jù)集市的電信經(jīng)營分析系統(tǒng)模型[J].山

東大學學報，2007.11.

[3] 李捷.電信行業(yè)經(jīng)營分析系統(tǒng)_數(shù)據(jù)集市子系統(tǒng)的設計與實現(xiàn)[D].電

子科技大學，2007.

[4] 于戈，鮑玉斌，王大玲等.數(shù)據(jù)倉庫設計[M].機械工業(yè)出版社，2004.

[5] 陳奕新.無線網(wǎng)絡中的數(shù)據(jù)集市原型設計與驗證[D].北京郵電大學，

2008.