鄭 華
ZHENGHua
(廣西工商職業(yè)技術學院,南寧 530003)
中國的銀行業(yè)在發(fā)展的過程中,已逐步積累了大量的客戶數(shù)據(jù)和經(jīng)營數(shù)據(jù),利用這些數(shù)據(jù),發(fā)掘有價值的信息,已經(jīng)成為銀行業(yè)普遍關心的問題,而解決問題的關鍵就是建立銀行企業(yè)級的數(shù)據(jù)倉庫,在數(shù)據(jù)倉庫的基礎上,施行客戶關系管理,以滿足銀行客戶分析需要和管理決策需要,原有的客戶關系系統(tǒng)作為一種管理系統(tǒng)難以做到這一點,而商業(yè)智能系統(tǒng)則可以很好的解決這個問題,它使我們能夠?qū)?shù)據(jù)轉(zhuǎn)變?yōu)橛行У男畔⒑椭R。
如今,在金融行業(yè)大變革之后,一系列的新問題讓我們不得不關注。例如,如何才能分析上市公司的財務情況,并規(guī)避財務風險?如何才能讓銀行、信托機構(gòu)更好地分析、評價客戶的信用程度和還款能力?如何大規(guī)模地分析用戶的消費行為?這時商業(yè)智能應運而生。商業(yè)智能可以為企業(yè)或機構(gòu)提供大規(guī)模數(shù)據(jù)聯(lián)機處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析,以及報表展現(xiàn)等服務,通過對大量的特定數(shù)據(jù)進行分析、整理,從而形成量化的決策信息,以供企業(yè)決策者采用。
商業(yè)智能這一術語1989年由Gartner Group的Howard Dresner首次提出,它描述了一系列的概念和方法,通過應用基于事實的支持系統(tǒng)來輔助商業(yè)決策的制定。商業(yè)智能系統(tǒng)從企業(yè)運作的日常數(shù)據(jù)中開發(fā)出結(jié)論性的、基于事實的和具有可實施性的信息,使企業(yè)能夠更快更容易的做出更好的商業(yè)決策,使企業(yè)管理者和決策者以一種更清晰的角度看待業(yè)務數(shù)據(jù),提高企業(yè)運轉(zhuǎn)效率、增加利潤并建立良好的客戶關系,以最短的時間發(fā)現(xiàn)商業(yè)機會捕捉商業(yè)機遇。
商業(yè)智能的技術體系主要有數(shù)據(jù)倉庫(DW)、聯(lián)機分析處理(OLAP)以及數(shù)據(jù)挖掘(DM)三部分組成。
數(shù)據(jù)倉庫(Data Warehouse)是支持管理決策過程的、面向主題的、集成的、動態(tài)的、連續(xù)的數(shù)據(jù)集合。可以從容量龐大的業(yè)務處理型數(shù)據(jù)庫中抽取數(shù)據(jù),清理、轉(zhuǎn)換為新的存儲格式。
聯(lián)機分析處理(OLAP)技術則幫助分析人員、管理人員從多種角度把從原始數(shù)據(jù)中轉(zhuǎn)化出來、能夠真正為用戶所理解的、并真實反映數(shù)據(jù)維特性的信息,進行快速、一致、交互地訪問,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術。
數(shù)據(jù)挖掘(Data Mining )技術以數(shù)據(jù)倉庫和聯(lián)機分析處理(OLAP)為平臺,借助企業(yè)擁有的大量數(shù)據(jù),通過清洗、轉(zhuǎn)換、裝載等數(shù)據(jù)處理方法,發(fā)現(xiàn)大量資料間的關聯(lián)與趨勢,探尋一種獨特的、通過其他方法發(fā)現(xiàn)不了的業(yè)務規(guī)律和模式。
數(shù)據(jù)倉庫的建設,是以現(xiàn)有企業(yè)業(yè)務系統(tǒng)和大量業(yè)務數(shù)據(jù)的積累為基礎。數(shù)據(jù)倉庫不是靜態(tài)的概念,只有把信息及時交給需要這些信息的使用者,供它們做出改善其業(yè)務經(jīng)營的決策,信息才能發(fā)揮作用,信息才有意義。而把信息加以整理歸納和重組,并及時提供給相應的管理決策人員,是數(shù)據(jù)倉庫的根本任務。因此,從產(chǎn)業(yè)界的角度看,數(shù)據(jù)倉庫建設是一個工程,是一個過程。
整個數(shù)據(jù)倉庫系統(tǒng)是一個包含四個層次的體系結(jié)構(gòu),具體如圖1所示。
圖1 體系結(jié)構(gòu)
數(shù)據(jù)源:是數(shù)據(jù)倉庫系統(tǒng)的基礎,通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于關系型數(shù)據(jù)庫(R D B MS)中的各種業(yè)務處理數(shù)據(jù)和各類文檔數(shù)據(jù),外部信息包括各類市場信息、競爭對手信息和各種手工收集的信息等等。
數(shù)據(jù)的存儲與管理:是整個數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的真正關鍵是數(shù)據(jù)的存儲和管理。針對現(xiàn)有各業(yè)務系統(tǒng)的數(shù)據(jù),進行抽取、清理,并有效集成,按照主題進行組織。
OLAP(Online Analysis Process)服務器:對分析需要的數(shù)據(jù)進行有效集成,按多維模型予以組織,以便進行多角度、多層次的分析,并發(fā)現(xiàn)趨勢。
前端工具:主要包括各種報表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對O L A P服務器,報表工具、數(shù)據(jù)挖掘工具主要針對數(shù)據(jù)倉庫。
在銀行各業(yè)務系統(tǒng)的基礎上建立兩層數(shù)據(jù)倉庫(DB-DW)體系結(jié)構(gòu),利用數(shù)據(jù)挖掘等商業(yè)智能技術可以實現(xiàn)客戶細分、客戶保持、客戶最大價值等分析。這樣,銀行的管理者就可以對客戶的動向進行預測,從而調(diào)整產(chǎn)品策略,制定正確的決策。但按照發(fā)展的需求,DB-DW兩層結(jié)構(gòu)不能涵蓋銀行所有的數(shù)據(jù)處理要求,使用效果不能令人滿意。
沒有支持戰(zhàn)術決策的數(shù)據(jù)結(jié)構(gòu)基礎,難以實現(xiàn)實時分析和挖掘應用。
企業(yè)數(shù)據(jù)集成接口復雜,難以滿足企業(yè)OLTP系統(tǒng)的需要。
難以承受大量的分析查詢。
在銀行網(wǎng)絡化、智能化應用領域,最重要的就是系統(tǒng)功能的擴展,隨著生產(chǎn)方向的調(diào)整,系統(tǒng)也應該隨之進行相應的升級擴展。因此,兩層體系結(jié)構(gòu)的應用不適合應用于網(wǎng)絡智能化銀行各業(yè)務的實際生產(chǎn)過程。
針對傳統(tǒng)三層B/S結(jié)構(gòu)和兩層C/S的不足,本系統(tǒng)提出一種采用Windows環(huán)境下,可以滿足網(wǎng)絡化集成的系統(tǒng)開發(fā)、系統(tǒng)維護和跨平臺等方面特殊要求的五層B/S模式開發(fā)。如圖2所示:
圖2 五層B/S模式
該模式采用JBuilder9.0和數(shù)據(jù)連接池技術,將傳統(tǒng)三層B/S結(jié)構(gòu)的第二層(服務器端)劃分為表示邏輯層、商業(yè)邏輯層和數(shù)據(jù)連接管理層。這樣,CRM系統(tǒng)的服務請求及響應實現(xiàn)過程為 :客戶端的瀏覽器通過超文本鏈接標記語言(H y p er Text Markup Language,HTML)向應用服務器發(fā)出請求;服務器端商業(yè)邏輯層中的Servlet對請求進行分派,調(diào)用EJB(enterprise Javabeans),Java Beans組件進行商業(yè)邏輯處理,涉及到數(shù)據(jù)庫操作時,從數(shù)據(jù)連接管理層中的連接池中取出一個數(shù)據(jù)連接,使用Java數(shù)據(jù)庫連接(Java Data Base Comectility,JDBC)技術訪問數(shù)據(jù)庫取得所需數(shù)據(jù)后,將數(shù)據(jù)連接放回連接池,以釋放所占用的資源。最后,Servlet調(diào)用表示邏輯層的結(jié)果處理J S P頁面對獲得的數(shù)據(jù)進行格式化,形成最終H T ML頁面并發(fā)往客戶端,以完成對該次服務請求的響應。服務器端運用S QL Server 2000數(shù)據(jù)庫,完成相關業(yè)務的后臺處理。
設計的第一步是通過將對業(yè)務需求的理解與對可用數(shù)據(jù)的理解組合起來而確定建模的業(yè)務處理內(nèi)容,如圖3所示。業(yè)務處理過程并不是指業(yè)務部門或者職能,如果建立的維度模型是同部門捆綁在一起的,就無法避免出現(xiàn)具有不同標記與術語的數(shù)據(jù)拷貝的可能性。多重數(shù)據(jù)流向單獨的數(shù)據(jù)模型,會使用戶在應付不一致性的問題方面顯得很脆弱。
圖3 銀行業(yè)務關系
目前銀行賬務管理都采用以賬戶為核算的單位,同一客戶在不同的網(wǎng)點擁有賬戶;同一客戶在同一網(wǎng)點擁有不同產(chǎn)品的賬戶;甚或同一客戶在同一網(wǎng)點、相同的產(chǎn)品目錄中擁有不同的賬戶??蛻敉y行打交道會選擇不同的賬戶,因此在分析系統(tǒng)中賬戶信息應當設置成為一個維表。同一客戶擁有多個賬戶,并且客戶的大部分信息在一定的時間段中保持不便,設計客戶信息維表來統(tǒng)帥客戶的賬戶信息,通過客戶號可以歸約得出客戶在該分行的存款、貸款等信息。
客戶交易可以選擇卡、存折等不同的載體;可以選擇通過網(wǎng)點柜臺、ATM, POS、網(wǎng)上銀行、電話銀行等不同的渠道;目前銀行所提供的全國聯(lián)網(wǎng)實時交易系統(tǒng),客戶可以在全國不同的地區(qū)進行存取款、消費等交易。這些不同顯示出客戶不同的交易行為、習慣,也反映出客戶對金融服務的不同需求。設計維表時,交易載體、交易渠道、交易地點應當首要考慮。
將客戶信息作為一個維表設計,主要依據(jù)客戶的信息在某一個時期內(nèi)保持不變,而將交易信息作為事實表。客戶信息維表包含客戶的所有屬性,如出生年月、性別、學歷等等。如圖4所示。
圖4 信用卡業(yè)務多維數(shù)據(jù)模型
將多種銀行業(yè)務系統(tǒng)數(shù)據(jù)操作型環(huán)境數(shù)據(jù)移入數(shù)據(jù)倉庫必須作出許多決策,其中首要的一個關鍵技術問題是決定從操作型環(huán)境中選取哪些數(shù)據(jù)移入Oracle數(shù)據(jù)倉庫。我們須全面考慮具體需求,對一組操作型系統(tǒng)進行分析并決定哪些擁有對決策支持過程有用的數(shù)據(jù)。一旦選定了源數(shù)據(jù),我們就要著手考慮如何將它們移入racle數(shù)據(jù)倉庫中。
利用Oracle企業(yè)管理器(OEM)部件中的S L*Loader(SQL*裝載器)可以將平面文件中的數(shù)據(jù)移入racle數(shù)據(jù)倉庫中。SQL*Loader的輸入通常是一個在racle或非racle的操作型環(huán)境下產(chǎn)生的ASCII文本平面文件。當向racle轉(zhuǎn)載數(shù)據(jù)時,由一個控制文件控制SQL*Loader如何將輸入文本映射至racle數(shù)據(jù)庫表的一列或多列中。
激活SQL*Loader有兩種方法,一是用一系列命令行參數(shù)控制會話行為:
Sqi1dr80 userid=/control=regional bad=regbad.datdiscard=regdsc.dat
第二種是用一個命令行參數(shù)的最小集,并同時在控制文件中說明會話的參數(shù),兩種方法實質(zhì)上是一致的:
使用以上操作方式有兩個關鍵性要點:
1)源數(shù)據(jù)庫的表的屬主不必與目標數(shù)據(jù)庫的表的屬主相同,數(shù)據(jù)可從一個用戶的表轉(zhuǎn)移到另一個用戶的表中。
2)當導入表時,如果這些表事先不存在,可在它們的數(shù)據(jù)被導入之前利用在導出文件中的代碼產(chǎn)生。
3)導出/導入有三種操作方法:
(1)交互式對話:使導出/導入進入一種對話狀態(tài),操作者可詢問一些問題并接受回答。
(2)命令行一參數(shù):激活在命令行中帶有參數(shù)及其值的導出得入。
(3)參數(shù)文件:激活導出得入并為關鍵字parfile提供一個值,該值是一個文件名,在這個指定的文件中存放著導出/導入操作需讀取的關鍵字和它們的值。
導出命令為:
根據(jù)銀行企業(yè)分析型CRM數(shù)據(jù)倉庫的應用需求,深入研究了數(shù)據(jù)倉庫的組織與結(jié)構(gòu)設計,并結(jié)合企業(yè)的實際情況,對數(shù)據(jù)模型進行了設計。為下一步CRM系統(tǒng)的實施奠定了堅實的基礎。
[1]李啟炎.企業(yè)商業(yè)智能教程[M].上海:同濟大學出版社,2007,10-23.
[2]朱德利.SQL Server 2005數(shù)據(jù)挖掘與商業(yè)智能完全解決方案[M].北京:電子工業(yè)出版社,2007,46-56
[3]郭寧,鄭小玲.管理信息系統(tǒng)[M].北京:人民郵電出版社,2006,100-110.
[4]吳志軍.客戶關系管理中的數(shù)據(jù)挖掘[J].商場現(xiàn)代化,2005,(20):15-30.
[5]曼蒂,桑斯維特,等.數(shù)據(jù)倉庫工具箱:面向SQL Server 2005和Microsofr商業(yè)智能工具集[M].北京:清華大學出版社,2007,57-59.
[6]楊路明,等.客戶關系管理理論與實務[M].北京:電子工業(yè)出版社,2004,89-95.
[7]張云濤,龔玲.解析BIRT-Eclipse商業(yè)智能和報表工具[M].北京:電子工業(yè)出版社,2007,215-220.
[8]朱順泉.數(shù)據(jù)挖掘技術在商業(yè)領域中的應用[J].中國管理信息化,2006,(1):8-9.
[9]李東.決策支持系統(tǒng)與知識管理系統(tǒng)[M].北京:中國人民大學出版社,2005,120-130.
[10]陳文偉.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術[M].北京:清華大學出版社,2006,69-78.
[11]Tang,z.h.,MaccLennan,等.數(shù)據(jù)挖掘原理與應用:SQL Server2005數(shù)據(jù)庫[M].北京:清華大學出版社,2007,215-2.