戴小廷

[摘 要] 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是當(dāng)前企業(yè)信息化應(yīng)用領(lǐng)域的熱點(diǎn)話題?本文對(duì)熱電企業(yè)經(jīng)營(yíng)管理過(guò)程中如何構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)提出了新的解決方案,即將“自頂向下”和“自底向上”兩種實(shí)施方式結(jié)合起來(lái)?首先分析了熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)體系化結(jié)構(gòu)模型,然后具體介紹了熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)步驟,結(jié)合熱力營(yíng)銷實(shí)例分析了數(shù)據(jù)倉(cāng)庫(kù)維度數(shù)據(jù)模型的設(shè)計(jì)方法?

[關(guān)鍵詞] 熱電企業(yè);數(shù)據(jù)倉(cāng)庫(kù);維度;數(shù)據(jù)集市

[中圖分類號(hào)]F270.7[文獻(xiàn)標(biāo)識(shí)碼]A[文章編號(hào)]1673-0194(2009)03-0061-03

1 引 言

數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是當(dāng)前熱電企業(yè)信息化的新熱點(diǎn),許多企業(yè)開(kāi)始嘗試建設(shè)數(shù)據(jù)倉(cāng)庫(kù),試圖通過(guò)這種信息技術(shù)的新手段,解決企業(yè)信息化建設(shè)中的“信息孤島”問(wèn)題,分析企業(yè)經(jīng)營(yíng)過(guò)程的問(wèn)題,改善熱電企業(yè)經(jīng)營(yíng)運(yùn)作效率?數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的建設(shè)要求性能優(yōu)越,容易擴(kuò)展,以便于適應(yīng)企業(yè)多變的?動(dòng)態(tài)的數(shù)據(jù)環(huán)境?要達(dá)到這一要求,重要的是要建立一個(gè)可擴(kuò)展的系統(tǒng)結(jié)構(gòu)?而對(duì)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)結(jié)構(gòu)實(shí)施方案,業(yè)界存在“自頂向下”和“自底向上”兩種觀點(diǎn),“自頂向下”的實(shí)施方式是先建立一個(gè)覆蓋所有業(yè)務(wù)流程的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù),然后再根據(jù)不同的主題建立數(shù)據(jù)集市,這種實(shí)施方案存在的不足是耗費(fèi)時(shí)間多?費(fèi)用比較高;而“自底向上”實(shí)施是先設(shè)計(jì)部門級(jí)的數(shù)據(jù)集市,然后再在數(shù)據(jù)集市基礎(chǔ)上構(gòu)建企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù),這種方案在實(shí)施過(guò)程中由于單獨(dú)設(shè)計(jì)數(shù)據(jù)集市,容易形成新的“信息孤島”?

本文提出的解決方案是將“自頂向下”和“自底向上”二者結(jié)合起來(lái),彌補(bǔ)相互存在的不足?具體思路是:首先站在全局的基礎(chǔ)上規(guī)劃企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型;然后根據(jù)這些數(shù)據(jù)模型,分步實(shí)施部門級(jí)的數(shù)據(jù)集市,最終再將這些數(shù)據(jù)集市組裝成一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)?

2 熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)體系化結(jié)構(gòu)模型

根據(jù)熱電企業(yè)信息化實(shí)際情況,我們得出熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)模型(見(jiàn)圖1)?從模型中可看出,整個(gè)體系結(jié)構(gòu)共分4層:熱電企業(yè)數(shù)據(jù)源層?數(shù)據(jù)轉(zhuǎn)換層?數(shù)據(jù)倉(cāng)庫(kù)(數(shù)據(jù)集市)層以及終端用戶層?

系統(tǒng)最左端為熱電企業(yè)數(shù)據(jù)源層,主要包括各種業(yè)務(wù)管理系統(tǒng)(如計(jì)費(fèi)?財(cái)務(wù)?物資?燃料?設(shè)備等)和外部數(shù)據(jù)(如市場(chǎng)數(shù)據(jù)?氣象數(shù)據(jù)?人口統(tǒng)計(jì)數(shù)據(jù)等)?

數(shù)據(jù)轉(zhuǎn)換層主要包括各種數(shù)據(jù)抽取?轉(zhuǎn)換工具,如數(shù)據(jù)抽取(ETL,extract,transform and load)工具實(shí)現(xiàn)從數(shù)據(jù)源抽取?轉(zhuǎn)換?加載數(shù)據(jù);數(shù)據(jù)清洗工具實(shí)現(xiàn)數(shù)據(jù)的凈化,消除數(shù)據(jù)冗余和噪聲等?正是通過(guò)數(shù)據(jù)轉(zhuǎn)換層,實(shí)現(xiàn)了從細(xì)節(jié)級(jí)?輕度綜合?中度綜合直至高度綜合的企業(yè)級(jí)全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)?

終端用戶通過(guò)聯(lián)機(jī)分析(OLAP)和數(shù)據(jù)挖掘等的分析引擎,可以圍繞某個(gè)主題(分析主題包括客戶?經(jīng)營(yíng)分析?設(shè)備狀態(tài)檢修?服務(wù)質(zhì)量等)進(jìn)行不同角度?不同層次的OLAP分析,從而得到各類分析報(bào)告,解決決策支持需要;還可以通過(guò)數(shù)據(jù)挖掘的各種功能實(shí)現(xiàn)包括熱力需求預(yù)測(cè)?設(shè)備檢修預(yù)測(cè)?客戶關(guān)系分析等?

3 熱電企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程

熱電企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程如下:

(1)系統(tǒng)規(guī)劃?根據(jù)企業(yè)管理的目標(biāo)?內(nèi)容?規(guī)模?性質(zhì)等具體情況,通過(guò)規(guī)劃確定熱電企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)倉(cāng)庫(kù)建立的方向和目標(biāo),制訂實(shí)施計(jì)劃,合理分配和利用各種資源(人?技術(shù)設(shè)備?資金?時(shí)間)?

(2)構(gòu)建技術(shù)平臺(tái)?根據(jù)熱電企業(yè)特點(diǎn),選擇實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)平臺(tái)?數(shù)據(jù)存儲(chǔ)平臺(tái)?開(kāi)發(fā)工具?數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)應(yīng)該根據(jù)系統(tǒng)規(guī)劃的方向和目標(biāo),提出適合本企業(yè)的解決方案?不要一味追求大而全,造成資金的浪費(fèi)?

考慮到熱電企業(yè)數(shù)據(jù)量每天的增量應(yīng)該在百兆以內(nèi),每年的數(shù)據(jù)量只是幾個(gè)G左右,因而PC服務(wù)器可以滿足數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需要?所以選擇PC服務(wù)器+Windows 2000 Advanced Server作為服務(wù)器平臺(tái),數(shù)據(jù)庫(kù)平臺(tái)選用SQL Server 2005,數(shù)據(jù)抽取工具選擇DTS,多維分析引擎選擇SQL Server Analyses Service?

(3)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)維度模型的設(shè)計(jì)?根據(jù)企業(yè)具體情況,確定數(shù)據(jù)倉(cāng)庫(kù)主題,選擇數(shù)據(jù)源,設(shè)計(jì)領(lǐng)域模型?多維數(shù)據(jù)表模型,設(shè)計(jì)物理模型即事實(shí)表和維表對(duì)應(yīng)的物理表?

(4)數(shù)據(jù)轉(zhuǎn)換?選用特定的轉(zhuǎn)換工具實(shí)現(xiàn)從不同的數(shù)據(jù)源抽取?轉(zhuǎn)換?清洗數(shù)據(jù),進(jìn)行數(shù)據(jù)一致性處理?建立起數(shù)據(jù)倉(cāng)庫(kù)?

(5)開(kāi)展數(shù)據(jù)分析?數(shù)據(jù)挖掘?利用OLAP工具開(kāi)展數(shù)據(jù)分析工作;使用Analysis Server工具進(jìn)行維度?度量值以及多維數(shù)據(jù)集的創(chuàng)建,運(yùn)用維度瀏覽器進(jìn)行多維數(shù)據(jù)的查詢?編輯操作,對(duì)多維數(shù)據(jù)集進(jìn)行切片?切塊?旋轉(zhuǎn)?鉆取操作,開(kāi)展各類數(shù)據(jù)挖掘工作,從而實(shí)現(xiàn)決策支持?

4 熱電企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)倉(cāng)庫(kù)維度模型設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的維度建模得出的模型應(yīng)該容易為數(shù)據(jù)倉(cāng)庫(kù)的使用者理解,而基于星型連接的維度模型是比較易于理解的呈現(xiàn)方式?采用星型模式設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)主要數(shù)據(jù)都存儲(chǔ)在事實(shí)表中,查詢時(shí)只要掃描事實(shí),不必連接多個(gè)龐大的表,訪問(wèn)效率較高?從國(guó)內(nèi)外的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)踐經(jīng)驗(yàn)看,數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目成敗,維度模型設(shè)計(jì)是其中的關(guān)鍵因素?

4. 1熱電企業(yè)經(jīng)營(yíng)管理維度數(shù)據(jù)模型的設(shè)計(jì)

維度模型一般有兩種不同性質(zhì)的表:事實(shí)表和維度表?事實(shí)表是維度模型的基本表,存放業(yè)務(wù)性能的度量值;維度表是進(jìn)入事實(shí)表的入口,提供觀察度量值的角度?維度屬性的豐富決定了數(shù)據(jù)倉(cāng)庫(kù)的分析和切割能力?基于熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的響應(yīng)速度?復(fù)雜性和系統(tǒng)的維護(hù)工作量等方面考慮,在實(shí)施數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)時(shí),采用星型模式?

按照數(shù)據(jù)倉(cāng)庫(kù)總線結(jié)構(gòu)的實(shí)施方案,必須首先設(shè)計(jì)好企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型,然后才能按照該數(shù)據(jù)模型實(shí)施獨(dú)立的數(shù)據(jù)集市?在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)維度數(shù)據(jù)模型時(shí)必須徹底研究企業(yè)數(shù)據(jù)源,并且充分調(diào)研用戶需求?熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)維度模型的設(shè)計(jì)大致可以分為如下幾個(gè)步驟:

(1)業(yè)務(wù)流程調(diào)查?可將熱電企業(yè)按照熱電建設(shè)?熱電生產(chǎn)?資產(chǎn)維護(hù)?熱電營(yíng)銷以及熱力交易市場(chǎng)等5個(gè)帶有較強(qiáng)獨(dú)立性的業(yè)務(wù)流,全面細(xì)致地了解整個(gè)系統(tǒng)各方面的業(yè)務(wù)流程,商流?物流和信息流的流通狀況?

(2)針對(duì)各個(gè)業(yè)務(wù)部門分別繪出一二級(jí)數(shù)據(jù)流程圖,弄清其輸入?處理?存貯?輸出?立即存取要求,收集相應(yīng)資料?理順各個(gè)崗位?各個(gè)業(yè)務(wù)流程之間的關(guān)系?

(3)選取維度?選定事實(shí)表的粒度后,時(shí)間?繳費(fèi)與供熱等方面的維度就隨之被確定下來(lái)?在確定了維度之后,還需要對(duì)其加以細(xì)化?結(jié)合前面對(duì)數(shù)據(jù)流程圖等的分析,列出熱電企業(yè)基本的數(shù)據(jù)集市以及相關(guān)維度?

(4)對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)維度模型進(jìn)行優(yōu)化,避免多表連接?表的累計(jì)?數(shù)據(jù)排序?大表掃描,提高系統(tǒng)響應(yīng)速度?

通過(guò)上面的幾個(gè)步驟可以基本實(shí)現(xiàn)企業(yè)級(jí)的概念數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)總線結(jié)構(gòu)的設(shè)計(jì),基于這種可擴(kuò)展的數(shù)據(jù)模型就可以逐個(gè)建立獨(dú)立的數(shù)據(jù)集市?

4. 2實(shí)例分析

通過(guò)維度模型可以實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)基于一致性維度和事實(shí)的總線結(jié)構(gòu),從而把不同的數(shù)據(jù)集市通過(guò)維度表緊密關(guān)聯(lián)起來(lái),實(shí)現(xiàn)主題間數(shù)據(jù)的集成,消除企業(yè)信息孤島,解決多數(shù)據(jù)源問(wèn)題,并最終建成企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)?這里以熱力營(yíng)銷業(yè)務(wù)為實(shí)例,對(duì)數(shù)據(jù)倉(cāng)庫(kù)維度建模技術(shù)的實(shí)際應(yīng)用進(jìn)行說(shuō)明?針對(duì)熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的特點(diǎn),并通過(guò)對(duì)數(shù)據(jù)源的分析,熱電企業(yè)數(shù)據(jù)倉(cāng)庫(kù)采用星型模型維度建模,熱量計(jì)量和熱費(fèi)繳納作為事實(shí)表,對(duì)熱力營(yíng)銷部門相關(guān)業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)流程的分析,可以確定相應(yīng)的決策主題,列出各應(yīng)用項(xiàng)目相對(duì)應(yīng)的相關(guān)維度,如表1所示;然后針對(duì)每個(gè)主題建立維度模型,即建立單元數(shù)據(jù)集市,圖2是其中的熱量計(jì)量和熱費(fèi)繳納兩個(gè)主題的維度模型實(shí)例?實(shí)際上,通過(guò)一個(gè)主題維度模型即可以建立一個(gè)單元數(shù)據(jù)集市?從圖2中可以看出,這兩個(gè)數(shù)據(jù)集市通過(guò)用戶維?時(shí)間維緊密連接,當(dāng)繼續(xù)建立新的數(shù)據(jù)集市并逐步擴(kuò)展到整個(gè)熱電企業(yè),就可以構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)?

5 總 結(jié)

數(shù)據(jù)倉(cāng)庫(kù)具有主要面向分析型應(yīng)用?輔助企業(yè)進(jìn)行分析決策的強(qiáng)大優(yōu)勢(shì),它可以應(yīng)用于熱電企業(yè)各個(gè)部門?熱電企業(yè)經(jīng)營(yíng)管理數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一項(xiàng)龐大復(fù)雜的系統(tǒng)工程,必須嚴(yán)密組織?細(xì)致規(guī)劃?逐步實(shí)施,充分結(jié)合熱電行業(yè)的特點(diǎn),有的放矢?同時(shí)它的建設(shè)不可能一蹴而就,需要信息管理專家?業(yè)務(wù)專家?管理專家的共同參與,在實(shí)踐中不斷調(diào)整,積累經(jīng)驗(yàn)?

當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)在熱電企業(yè)中的應(yīng)用還處于初期階段,許多功能仍在探索中?隨著數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展,我們相信數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在熱電企業(yè)經(jīng)營(yíng)管理中的應(yīng)用也將進(jìn)一步完善?

主要參考文獻(xiàn)

[1] 葉彬,曾偉民,肖治華.數(shù)據(jù)倉(cāng)庫(kù)在電力系統(tǒng)中的應(yīng)用[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào),2005(3):10-14.

[2] Su Chao-ton,Hsu J H.Precision Parameter in the Variable Precision Rough Sets Model:An Application[J]. The International Journal of Management Science,2006,34(2):149-157.

[3] 谷海彤. 地區(qū)電力調(diào)度數(shù)據(jù)倉(cāng)庫(kù)建模與數(shù)據(jù)處理[J]. 電力自動(dòng)化設(shè)備,2006(10).

[4] 何曉峰. 調(diào)度自動(dòng)化系統(tǒng)增強(qiáng)型數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)構(gòu)建及應(yīng)用[J]. 電力系統(tǒng)自動(dòng)化,2008(4).

[5] 呂海燕. 數(shù)據(jù)倉(cāng)庫(kù)在銀行客戶關(guān)系管理中的應(yīng)用[J]. 大連海事大學(xué)學(xué)報(bào),2007(S1).

[6] Du Timon C,Wong Jacqueline. Design Data Warehouse for Supply Chain Manage-ment[C]// Proceeding of the IEEE International Conference on E-Commerce Technology,2004:170-177.

[7] 楊峰,孫莉,汪湲. 電力企業(yè)信息化新技術(shù)研究——數(shù)據(jù)倉(cāng)庫(kù)[J]. 山東電力技術(shù),2005(6).

[8] 陸昌輝. 基于多維數(shù)據(jù)建模的一體化平臺(tái)[J]. 計(jì)算機(jī)工程,2007(21).

[9] 沈軼. 基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)設(shè)計(jì)與實(shí)現(xiàn)的企業(yè)設(shè)備管理系統(tǒng)[J]. 華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2005(12).

[10] 王海峰. 一個(gè)數(shù)據(jù)倉(cāng)庫(kù)建模工具的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程,2005(13).