萬嘉春
[摘要]通信行業(yè)是典型的數(shù)據(jù)密集型行業(yè),相比其他行業(yè)來說,擁有更多的用戶的數(shù)據(jù)。隨著通信行業(yè)體制的改革,行業(yè)的競爭也愈加激烈,正確、迅速的處理數(shù)據(jù)并得到更多的有效的信息,就能夠更好為用戶服務(wù),這成了在競爭中制勝的關(guān)鍵點。數(shù)據(jù)倉庫技術(shù)應(yīng)運而生,通過將海量的數(shù)據(jù)變?yōu)橛行У男畔頌槠髽I(yè)決策提供依據(jù)。論文探討了當(dāng)前移動通信業(yè)面臨著激烈的競爭,企業(yè)必須借助于已有的數(shù)據(jù)資源支持決策,給出了數(shù)據(jù)倉庫的相關(guān)知識,最后給出了移動通信業(yè)數(shù)據(jù)倉庫的主題分析內(nèi)容。
[關(guān)鍵詞]數(shù)據(jù)倉庫;移動通信;主題;聯(lián)機分析處理
[中圖分類號]C37 [文獻標(biāo)識碼]A [文章編號]1672-5158(2013)06-0033-02
1 引言
對我國移動通信業(yè)來說,2008年是不同尋常的一年。5月24日工業(yè)和信息化部,發(fā)改委,財政部聯(lián)合發(fā)布關(guān)于深化電信體制改革的通告,通告指出,鼓勵中國電信收購聯(lián)通CDMA網(wǎng),聯(lián)通與網(wǎng)通合并,中國衛(wèi)通的基礎(chǔ)電信業(yè)務(wù)并入中國電信,中國鐵通并入中國移動,這標(biāo)志著移動通信業(yè)新一輪的重組拉開了帷幕。2009年1月7日14時30分,工業(yè)和信息化部為中國移動、中國電信和中國聯(lián)通發(fā)放了三張第三代移動通信(3G)牌照,此舉標(biāo)志著我國正式進入了3G時代。此,我國通信領(lǐng)域呈現(xiàn)三足鼎立的格局,開始上演一部現(xiàn)代版的“三國演義”。
3G時代,移動通信業(yè)的競爭,必將從傳統(tǒng)的以產(chǎn)品類型、產(chǎn)品質(zhì)量為核心、成本控制為目標(biāo)的管理體系,以產(chǎn)品、價格、銷售地點和服務(wù)為中心的經(jīng)營式服務(wù),向以客戶和市場為中心、以客戶的價值取向和消費心理導(dǎo)向的模式轉(zhuǎn)變。目前,在通信企業(yè)的管理中,數(shù)據(jù)的組織和管理是分散在各個職能部門進行的,有關(guān)客戶的信息和客戶的業(yè)務(wù)使用情況有計費部門的業(yè)務(wù)營運支持系統(tǒng)(BOSS)管理,企業(yè)的收支情況有財務(wù)部門的管理信息系統(tǒng)管理,網(wǎng)絡(luò)的運行與維護由網(wǎng)絡(luò)部門的網(wǎng)管系統(tǒng)管理,各個部門之間通過辦公自動化系統(tǒng)進行信息的傳遞與溝通。
經(jīng)過多年的積累,移動通信企業(yè)積累了大量的與業(yè)務(wù)活動相關(guān)的數(shù)據(jù),而在大多情況下,這些海量的數(shù)據(jù)而不能提煉成為有價值的信息,并不能及時提供給業(yè)務(wù)分析人員和管理決策者。這就造成了兩方面的缺陷:一方面,聯(lián)機作業(yè)系統(tǒng)因為需要保留足夠的詳細數(shù)據(jù)以備查詢而變得笨重不堪,系統(tǒng)資源的投資跟不上業(yè)務(wù)擴展的需求;另一方面,管理者和決策者只能根據(jù)固定的、定時的報表系統(tǒng)獲得有限的經(jīng)營與業(yè)務(wù)信息,無法適應(yīng)激烈的市場競爭。因此,如何在激烈的市場競爭條件下,在滿足客戶需求和優(yōu)質(zhì)服務(wù)的前提下,充分利用現(xiàn)有設(shè)備降低成本、提高效益,就成為決策者們共同關(guān)心的課題。數(shù)據(jù)倉庫技術(shù)與聯(lián)機分析處理為解決這類問題提供了方法。
2 數(shù)據(jù)倉庫
2.1 數(shù)據(jù)倉庫的概念
數(shù)據(jù)倉庫并沒有明確統(tǒng)一的定義,按照著名的數(shù)據(jù)倉庫專家Imnon在其著作《建立數(shù)據(jù)倉庫》一書中給出的描述:數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、不同時間的數(shù)據(jù)集合,用于支持經(jīng)營管理中的決策制定過程。
跟傳統(tǒng)的數(shù)據(jù)庫相比,數(shù)據(jù)倉庫與其最大的區(qū)別是所存儲的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)庫存儲的是操作型數(shù)據(jù),其主要應(yīng)用是聯(lián)機事務(wù)處理(OLTP)。決策分析對于這些數(shù)據(jù)一般并不能直接引用,還需進一步進行數(shù)據(jù)抽取、轉(zhuǎn)換、裝載(ETL),有時還需整合不同數(shù)據(jù)庫的數(shù)據(jù)。數(shù)據(jù)倉庫存儲的就是這種面向決策分析需要的,經(jīng)過整理后的決策支持型數(shù)據(jù),其值保持穩(wěn)定。傳統(tǒng)數(shù)據(jù)庫存儲以表的形式存儲,而數(shù)據(jù)倉庫數(shù)據(jù)以多維數(shù)組方式存儲,其主要應(yīng)用是聯(lián)機分析處理(OLAP)。
2.2 數(shù)據(jù)倉庫粒度設(shè)計
粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化程度的級別。細化程度越高,信息量越多,粒度級就越?。幌喾?,細化程度越低,信息量越少,粒度級就越大。粒度影響存放在數(shù)據(jù)倉庫中數(shù)據(jù)量的大小,同時影響數(shù)據(jù)倉庫所能回答的查詢類型。
2.3 多維數(shù)據(jù)立方體
數(shù)據(jù)倉庫一般是基于多維數(shù)據(jù)模型構(gòu)建的。多維數(shù)據(jù)模型將數(shù)據(jù)看成數(shù)據(jù)立方體的形式,由維和事實構(gòu)成。維是人們觀察主題的特定角度,每一維分別用一個表來描述,稱為“維表”,它是維的詳細描述。事實表示所關(guān)注的主題,也由表來描述,稱為“事實表”,其主要特點是包含數(shù)值數(shù)據(jù),而這些數(shù)值數(shù)據(jù)可以進行匯總以提供有關(guān)操作歷史的信息。
3 數(shù)據(jù)倉庫技術(shù)在通信領(lǐng)域的應(yīng)用
3.1 數(shù)據(jù)處理
在通信領(lǐng)域里,數(shù)據(jù)倉庫技術(shù)的應(yīng)用是對經(jīng)營分析管理的又一次提升,數(shù)據(jù)倉庫技術(shù)經(jīng)常用于數(shù)據(jù)處理,但是數(shù)據(jù)繁多,因此要謹慎選擇處理數(shù)據(jù)的方案。
目前,主流數(shù)據(jù)倉庫的數(shù)據(jù)處理專業(yè)工具有:CA,NCR,IBM,Informix(IBM),Oracle和SAS。其中SAS的效率相對較高,因此在國際學(xué)術(shù)界里有一個約定俗成的規(guī)則:只要是SAS統(tǒng)計分析的結(jié)果,不要求說明詳細的算法。所以在這里以SAS的應(yīng)用來舉例分析。在實際的數(shù)據(jù)處理中,SAS8.0有很有好的人機對話界面,不僅可以通過編程的方式進行數(shù)據(jù)處理,還可以通過在對話框中選擇相應(yīng)的命令來間接的得到數(shù)據(jù)處理的代碼,進行數(shù)據(jù)處理。但是SAS也有它的劣勢,那就是SAS的數(shù)據(jù)倉庫是相對落后的數(shù)據(jù)集模式。盡管如此,依舊可以這么說,SAS瑕不掩瑜。所以由于SAS數(shù)據(jù)處理的功能以及對數(shù)據(jù)的針對性要比其他的專業(yè)工具都占優(yōu)勢,所以在實際操作中還是選擇SAS作為數(shù)據(jù)處理工具的居多。于此同時,為了彌補SAS的數(shù)據(jù)庫在技術(shù)上的不足,數(shù)據(jù)倉庫的存儲就采用了時下最流行的Oracle數(shù)據(jù)庫。
3.2 數(shù)據(jù)分析
對于通信行業(yè)來說,一個經(jīng)營分析系統(tǒng)必不可少。其不僅要具有旋轉(zhuǎn)、切片、鉆取等PLAP功能外,更重要的是要有功能強大并且完整的Web端。在數(shù)據(jù)倉庫技術(shù)的應(yīng)用中,數(shù)據(jù)分析是很重要的一塊,主要的分析工具有:Cognos,Business Objects,Brio。
其中Brio更加適合通信企業(yè)經(jīng)營分析系統(tǒng)的要求,比如Brio可以支持Web/Intranet環(huán)境,并且報表生成速度快,支持多種數(shù)據(jù)導(dǎo)出格式,如excel,pdf,txt,html,CSV等。其離線分析方式也保證了經(jīng)營分析系統(tǒng)的性能不會受到用戶的增加而減弱。
3.3 在經(jīng)營分析系統(tǒng)中數(shù)據(jù)處理的實現(xiàn)
從目前通信行業(yè)的市場來看,企業(yè)在構(gòu)建自己的分析型系統(tǒng)之前,已經(jīng)會存在一些業(yè)務(wù)系統(tǒng)。這些系統(tǒng)的存在代表了整個企業(yè)目前的業(yè)務(wù)情況,其中的數(shù)據(jù)一般是高粒度的,是企業(yè)數(shù)據(jù)倉庫的首要數(shù)據(jù)來源。在實際操作中,這些數(shù)據(jù)要進行選擇、轉(zhuǎn)換、加載等幾個步驟的處理之后才能進入數(shù)據(jù)倉庫。其中數(shù)據(jù)的轉(zhuǎn)換指的是從已存在的業(yè)務(wù)系統(tǒng)中抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求,進行數(shù)據(jù)的轉(zhuǎn)換、清洗、合并、拆分、匯總等處理,并保證來自不同業(yè)務(wù)系統(tǒng)、格式有差別的數(shù)據(jù)的一致性和完整性。然后進行的加載就是把數(shù)據(jù)源系統(tǒng)中進行轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。
4 數(shù)據(jù)轉(zhuǎn)換
高質(zhì)量的數(shù)據(jù)是決策成功的基礎(chǔ),導(dǎo)致俘獲并維護高質(zhì)量數(shù)據(jù)困難的原因有許多,其主要的3種,過程原因、人為因素和技術(shù)問題等,小區(qū)配置信息的手工輸入時也會出現(xiàn)諸多的問題,比如說用戶填寫隨意,輸入人員過度疲勞等人為因素。為了使ROI(投資回報)最高而保證每個數(shù)據(jù)都正確,將耗費巨大的人力和才力,以及技術(shù)人員和業(yè)務(wù)人員的溝通誤解等等原因,均被歸納為技術(shù)問題。
因此,在本系統(tǒng)中規(guī)定所有進人數(shù)據(jù)倉庫的數(shù)據(jù),都要經(jīng)過抽取、轉(zhuǎn)換和加載3個步驟,以維護數(shù)據(jù)質(zhì)量。
定義數(shù)據(jù)抽取元數(shù)據(jù),元數(shù)據(jù)是用于描述數(shù)據(jù)庫狀態(tài)的一組信息,包括事件、動機、人、時間、內(nèi)容等。系統(tǒng)對網(wǎng)管系統(tǒng)的數(shù)據(jù)抽取事件定義一個數(shù)據(jù)抽取元數(shù)據(jù),它用于記錄對網(wǎng)管系統(tǒng)所有小區(qū)配置信息及話務(wù)量數(shù)據(jù)的提取,以便系統(tǒng)的管理和維護。數(shù)據(jù)抽取元數(shù)據(jù)如下所示:名稱:抽取每日XX地區(qū)小區(qū)信息;時間:每日凌晨4點;人員:XXX;動機:獲取XX地區(qū)每日小區(qū)配置參數(shù)信息;內(nèi)容:獲取當(dāng)前日期前一天XX地區(qū)的小區(qū)配置信息;操作:起用數(shù)據(jù)管道PIPE-1;開始時間:每日04時40分;結(jié)束時間:每日06時20分;記錄數(shù):21000 30000。對抽取過來的數(shù)據(jù)進行轉(zhuǎn)換,其作用是按規(guī)則統(tǒng)一數(shù)據(jù)格式,清理和預(yù)防數(shù)據(jù)垃圾,只有通過數(shù)據(jù)轉(zhuǎn)換的過程,才能提高數(shù)據(jù)的質(zhì)量。
5 結(jié)束語
當(dāng)前,移動通信市場的競爭異常激烈,也對移動運營商提出了更高的要求,企業(yè)迫切需要做出更快更好的決策,而數(shù)據(jù)庫中的數(shù)據(jù)則成為了決策所必須的寶貴財富。本文闡述了數(shù)據(jù)倉庫技術(shù)在移動通信業(yè)中的運用,重點說明了移動數(shù)據(jù)倉庫的構(gòu)建以及數(shù)據(jù)倉庫主題的劃分,所有的主題都應(yīng)該以客戶分析和話費分析為核心。數(shù)據(jù)倉庫必然成為各運營商存放數(shù)據(jù)的最重要場所,如何構(gòu)建數(shù)據(jù)倉庫,從數(shù)據(jù)快速做出決策已成為各運營商研究的熱點。
參考文獻
[1]Sperley E.企業(yè)數(shù)據(jù)倉庫一規(guī)劃建立與實現(xiàn)[M]北京:人民郵電出版社,2005
[2]段石峰,吳唯寧,李建威,等,數(shù)抓倉庫及其在電信領(lǐng)域中的應(yīng)用[M1,北京:電子下業(yè)出版社,2005
[3]陳京民,數(shù)據(jù)倉庫原理、設(shè)計與應(yīng)用[M],北京:中國水利水電出版社,2005
[4]段云峰,吳唯寧,數(shù)據(jù)倉庫及其在電信領(lǐng)域中的應(yīng)用[M],北京:電子工業(yè)出版社,2005
[5]茅明輝,利用數(shù)據(jù)倉庫技術(shù)實現(xiàn)電信業(yè)務(wù)經(jīng)營分析[D],南京:南京理工大學(xué),2004
[6]孫巖峰,數(shù)據(jù)倉庫技術(shù)在黑龍江省移動通信,公司經(jīng)營分析系統(tǒng)中的應(yīng)用[D],北京:北京工業(yè)大學(xué),2006