摘要:該文給出了民聲通道數(shù)據(jù)倉庫的設(shè)計與實現(xiàn)方案,對不同數(shù)據(jù)源和不同格式的數(shù)據(jù)進行抽取、清洗、集成、轉(zhuǎn)換和加載,最后建立了民聲通道數(shù)據(jù)倉庫,并且對民聲通道數(shù)據(jù)倉庫進行OLAP分析,將數(shù)據(jù)信息結(jié)構(gòu)詳細(xì)分析并可視化呈現(xiàn)。
關(guān)鍵詞:數(shù)據(jù)倉庫;OLAP分析;民聲通道
中圖分類號:TP311 文獻標(biāo)識碼:A 文章編號:1009-3044(2013)16-3663-03
數(shù)據(jù)倉庫是決策支持分析的基礎(chǔ),數(shù)據(jù)倉庫的建立包括確定決策主題、目標(biāo)物理庫設(shè)計、實現(xiàn)數(shù)據(jù)裝載和聯(lián)機分析處理四個方面內(nèi)容。民聲通道系統(tǒng)是一套集網(wǎng)站、熱線、電子郵件和短信功能為一體的電子信訪系統(tǒng)。該文以撫州市民聲通道系統(tǒng)為例,詳細(xì)論述了民聲通道數(shù)據(jù)倉庫建立的基本原理和具體實踐過程,并在此基礎(chǔ)上進行聯(lián)機分析處理對民聲通道問題結(jié)構(gòu)進行系統(tǒng)直觀分析。
1 分析
1.1 原始數(shù)據(jù)分析
1.2 數(shù)據(jù)倉庫的概念模型設(shè)計[1]
維度表和事實表的設(shè)計是數(shù)據(jù)倉庫構(gòu)建的核心,維表和事實表設(shè)計直接影響到數(shù)據(jù)倉庫的響應(yīng)時間和效果分析的關(guān)鍵問題。維是決策者分析對象的角度,這樣的維的設(shè)計最能分析決策者的意圖和角度。它必須體現(xiàn)出數(shù)據(jù)倉庫中數(shù)據(jù)的不同層次,也就是數(shù)據(jù)的粒度。我們可以根據(jù)分析主題組織事實表和維度表,下面是采用信息包圖方法為民聲通道數(shù)據(jù)倉庫建立的概念模型。
1.4 數(shù)據(jù)倉庫的物理模型設(shè)計
數(shù)據(jù)倉庫的物理模型[2-4],用于實現(xiàn)數(shù)據(jù)倉庫的邏輯模型,主要是為了解決數(shù)據(jù)的存儲結(jié)構(gòu)、表結(jié)構(gòu)的定義、數(shù)據(jù)的索引策略、存儲分配等問題。在民聲通道數(shù)據(jù)倉庫設(shè)計中, 我們以信息包圖和星型模型為基礎(chǔ)設(shè)計各個表最終結(jié)構(gòu),并且確定事實表、維度表和具體情況表之間的關(guān)系最終形成事實表/維度表關(guān)系基本結(jié)構(gòu), 然后再考慮索引策略、數(shù)據(jù)存儲位置及存儲分配等。最后我們用SQL Server 平臺建立數(shù)據(jù)倉庫的基本結(jié)構(gòu)。在實施過程中還需要完成數(shù)據(jù)倉庫與業(yè)務(wù)處理系統(tǒng)的接口設(shè)計,形成數(shù)據(jù)倉庫物理倉庫與元數(shù)據(jù)庫,完成對數(shù)據(jù)倉庫數(shù)據(jù)的初次加載,從而建立決策支持系統(tǒng)應(yīng)用。
在數(shù)據(jù)加載前,首先需要對數(shù)據(jù)按照源數(shù)據(jù)的定義進行格式化清理,然后在清理完畢后,將從源數(shù)據(jù)轉(zhuǎn)出的數(shù)據(jù)加載至數(shù)據(jù)倉庫環(huán)境中。這些加載工作都是通過ETL調(diào)度工具通過運行特定的ETL作業(yè)實現(xiàn)的。
2 民聲通道數(shù)據(jù)倉庫的實現(xiàn)
設(shè)計數(shù)據(jù)倉庫,首先應(yīng)分析原始數(shù)據(jù),使用SQL Server Management Studio設(shè)計數(shù)據(jù)倉庫,然后定義數(shù)據(jù)源,進行數(shù)據(jù)抽取,完成數(shù)據(jù)源到目標(biāo)數(shù)據(jù)倉庫的映射,最后調(diào)試,即數(shù)據(jù)加載成功。
2.1 數(shù)據(jù)源定義
2.2 設(shè)計和使用ETL
設(shè)計好了結(jié)構(gòu)良好的數(shù)據(jù)倉庫,并且將需要分析的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)載到了數(shù)據(jù)倉庫中后,就為滿足決策分析的全方位需求打下了根基。但是對數(shù)據(jù)的多維分析,主要是針對數(shù)據(jù)倉庫中提取的子集,如數(shù)據(jù)集市和多維數(shù)據(jù)集。
2.3 聯(lián)機分析處理
將多維數(shù)據(jù)集與EXCEL工具結(jié)合,能方便地進行OLAP操作及將結(jié)果通過報表、圖形等多種方式進行可視化展現(xiàn)。
3 小結(jié)
本文首先介紹了數(shù)據(jù)倉庫設(shè)計的基本原理及設(shè)計思想,其次重點介紹民聲通道數(shù)據(jù)倉庫的具體設(shè)計與實現(xiàn),最后進行數(shù)據(jù)分布展示和相關(guān)OLAP分析,對信息結(jié)構(gòu)進行系統(tǒng)分析與研究。
參考文獻:
[1] 胡海員.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)在招生決策中的應(yīng)用研究[D].南京:東南大學(xué),2006.
[2] Paulraj ponniah.數(shù)據(jù)倉庫基礎(chǔ)[M].北京:電子工業(yè)出版社,2004.
[3] 林宇.數(shù)據(jù)倉庫原理與實踐[M].北京:人民郵電出版社,2003.
[4] 劉李法.基于數(shù)據(jù)倉庫的圖書館決策支持系統(tǒng)的研究與實現(xiàn)[D].南京:東南大學(xué),2005.