張慶榮 顧薇
摘要:該文通過對施工類企業(yè)信息化應(yīng)用及架構(gòu)的分析,得出這類企業(yè)管理的幾種主數(shù)據(jù)管理類型,然后結(jié)合企業(yè)的信息化整體架構(gòu)方案,得出實(shí)現(xiàn)主數(shù)據(jù)管理的一種折中方案,輔助實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)一管理。
關(guān)鍵字:主數(shù)據(jù);管理方案;企業(yè)信息化;
1簡介
企業(yè)主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù),它是具有高業(yè)務(wù)價(jià)值的、在企業(yè)范圍的各個(gè)應(yīng)用系統(tǒng)間跨業(yè)務(wù)系統(tǒng)、跨業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù),并且存在于多個(gè)應(yīng)用系統(tǒng)中。施工類企業(yè)的主數(shù)據(jù)類別包括很多方面,例如:公司的組織架構(gòu)數(shù)據(jù)、人員數(shù)據(jù)產(chǎn)生于人力資源系統(tǒng);財(cái)務(wù)科目體系數(shù)據(jù)存在于財(cái)務(wù)系統(tǒng);供應(yīng)商信息存在于供應(yīng)鏈系統(tǒng);客戶信息會存在于客戶管理系統(tǒng);物料信息會存在與企業(yè)ERP系統(tǒng)。對于某一個(gè)具體的業(yè)務(wù)部門,其既可能產(chǎn)生主數(shù)據(jù),也要利用到很多不同方面的主數(shù)據(jù)。這樣就必須對主數(shù)據(jù)進(jìn)行適當(dāng)?shù)墓芾?,以保障各個(gè)口徑的數(shù)據(jù)一致。
主數(shù)據(jù)管理要通過一組規(guī)程、技術(shù)和解決方案,來實(shí)現(xiàn)創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。主數(shù)據(jù)管理平臺系統(tǒng)提供了一種相對集中的解決方法,使企業(yè)的各個(gè)系統(tǒng)產(chǎn)生的主數(shù)據(jù)能夠有效地管理,并保證各個(gè)需要利用主數(shù)據(jù)的系統(tǒng)中主數(shù)據(jù)的完整、準(zhǔn)確性、唯一性。
主數(shù)據(jù)管理平臺要利用企業(yè)當(dāng)前存在的業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù),并跟蹤其產(chǎn)生、變更過程,準(zhǔn)確傳遞到需要使用這些主數(shù)據(jù)的其他業(yè)務(wù)系統(tǒng)。
2施工類企業(yè)的數(shù)據(jù)架構(gòu)方案
數(shù)據(jù)架構(gòu)是企業(yè)IT架構(gòu)的核心,信息系統(tǒng)存在的核心價(jià)值也是反映在系統(tǒng)的數(shù)據(jù)和流程中,而本質(zhì)上,流程也是一種數(shù)據(jù)。只有數(shù)據(jù)架構(gòu)對企業(yè)業(yè)務(wù)的支持正常運(yùn)作,上層的應(yīng)用架構(gòu)才能部署實(shí)施方便快捷。根據(jù)我們在某施工企業(yè)的數(shù)據(jù)集成平臺項(xiàng)目實(shí)施中數(shù)據(jù)架構(gòu)方案的規(guī)劃,通過完善,得出可以通用的企業(yè)數(shù)據(jù)架構(gòu)方案。
該數(shù)據(jù)架構(gòu)邏輯體現(xiàn)出了數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)流程的管理過程,即首先根據(jù)企業(yè)的業(yè)務(wù)板塊構(gòu)建業(yè)務(wù)架構(gòu),之后分析定義數(shù)據(jù)架構(gòu),其次根據(jù)數(shù)據(jù)架構(gòu)結(jié)合業(yè)務(wù)功能定義應(yīng)用架構(gòu),再次根據(jù)數(shù)據(jù)架構(gòu)與應(yīng)用架構(gòu)的定義,來設(shè)計(jì)技術(shù)架構(gòu)。
3主數(shù)據(jù)管理方案
主數(shù)據(jù)管理要解決3個(gè)問題,才能真正做好企業(yè)的核心關(guān)鍵數(shù)據(jù)的準(zhǔn)確維護(hù)管理:一是在企業(yè)整體層面上規(guī)劃分析哪些核心實(shí)體數(shù)據(jù)列入主數(shù)據(jù)管理范圍,整合該主數(shù)據(jù)中可能分布在不同業(yè)務(wù)上的主數(shù)據(jù)信息進(jìn)行豐富完善;二是可以通過主數(shù)據(jù)管理平臺將主數(shù)據(jù)實(shí)現(xiàn)共享,所有需要利用該數(shù)據(jù)的系統(tǒng),使之構(gòu)建一系列以主數(shù)據(jù)管理平臺為中心的業(yè)務(wù)流程和服務(wù);三是實(shí)現(xiàn)主數(shù)據(jù)的源端和使用端有一致的、通用的主數(shù)據(jù)形式,加速數(shù)據(jù)輸入、利用、檢索和分析。
主數(shù)據(jù)從產(chǎn)生到利用的管理方案
由于主數(shù)據(jù)關(guān)聯(lián)的應(yīng)用系統(tǒng)需要使用這些數(shù)據(jù),這樣在源系統(tǒng)、主數(shù)據(jù)平臺和目的系統(tǒng)之間就存在一種數(shù)據(jù)的產(chǎn)生和使用的流程,這關(guān)系到主數(shù)據(jù)的使用效率。我們通過自身的應(yīng)用系統(tǒng),總結(jié)了3種主數(shù)據(jù)的從產(chǎn)生到應(yīng)用的流程,如圖 1、圖 2、圖 3的方案1到3。
方案1中企業(yè)范圍內(nèi)的所有主數(shù)據(jù)都從主數(shù)據(jù)平臺產(chǎn)生,保證了主數(shù)據(jù)在所有應(yīng)用系統(tǒng)間的唯一和準(zhǔn)確性,一次產(chǎn)生,永久利用;但是這個(gè)方案帶來的問題就是系統(tǒng)的效率降低,工作量集中到了主數(shù)據(jù)平臺的數(shù)據(jù)管理員身上,造成單點(diǎn)的系統(tǒng)瓶頸,同時(shí)系統(tǒng)的改造成本增加,特別是已有系統(tǒng)存在多年的情況下比較難實(shí)施。
方案2中企業(yè)的主數(shù)據(jù)仍然在源應(yīng)用系統(tǒng)產(chǎn)生,之后進(jìn)入主數(shù)據(jù)管理平臺進(jìn)行主數(shù)據(jù)的規(guī)范性審核,完成審核后再分發(fā)回源應(yīng)用系統(tǒng)和其他需要使用這個(gè)數(shù)據(jù)的應(yīng)用系統(tǒng)。其特點(diǎn)是主數(shù)據(jù)平臺只負(fù)責(zé)主數(shù)據(jù)的規(guī)范性審核,不參與主數(shù)據(jù)的產(chǎn)生,減少了主數(shù)據(jù)管理員的工作,同時(shí)系統(tǒng)效率較高;但是源系統(tǒng)必須等這個(gè)主數(shù)據(jù)經(jīng)過主數(shù)據(jù)平臺審核完成后才能進(jìn)行本系統(tǒng)后續(xù)的利用,造成了事務(wù)處理的不連續(xù)性,好處仍然是各系統(tǒng)間主數(shù)據(jù)的唯一性和同步性。
方案3中主數(shù)據(jù)由源應(yīng)用系統(tǒng)產(chǎn)生,之后進(jìn)入主數(shù)據(jù)平臺進(jìn)行審核,同時(shí)該主數(shù)據(jù)也在本應(yīng)用系統(tǒng)中進(jìn)行后續(xù)的使用工作;在主數(shù)據(jù)平臺審核完成后分發(fā)到各個(gè)其他需要利用此主數(shù)據(jù)的應(yīng)用系統(tǒng)。該方案的特點(diǎn)是,在源應(yīng)用系統(tǒng)中,不需要等待主數(shù)據(jù)經(jīng)過主數(shù)據(jù)平臺的審核完畢就可以進(jìn)行后續(xù)的操作工作,但是帶來的問題就是某些個(gè)別的審核未通過的主數(shù)據(jù)在源系統(tǒng)已經(jīng)使用,需要源系統(tǒng)的數(shù)據(jù)錄入者重新修改與此主數(shù)據(jù)相關(guān)的記錄;由于其他使用此主數(shù)據(jù)的系統(tǒng)使用的是經(jīng)過正式審核過的源系統(tǒng)的主數(shù)據(jù),不存在此問題。這樣在提高源系統(tǒng)端系統(tǒng)流程效率的同時(shí),將較少發(fā)生的主數(shù)據(jù)不規(guī)范性問題封閉在源系統(tǒng)內(nèi)部,不造成關(guān)聯(lián)的影響,提高了源系統(tǒng)端的工作人員處理事務(wù)的連續(xù)性。
主數(shù)據(jù)管理存儲方案
主數(shù)據(jù)的存儲管理分為四個(gè)階段,如圖 4。
外部數(shù)據(jù)區(qū):主數(shù)據(jù)來源系統(tǒng)的主數(shù)據(jù)存放在此區(qū),是來自于多源數(shù)據(jù)庫。
接口數(shù)據(jù)區(qū):接口數(shù)據(jù)區(qū)的存在目的是為了備份外部數(shù)據(jù)區(qū)采集過來的貼源數(shù)據(jù),方便與源系統(tǒng)數(shù)據(jù)的核查與后續(xù)流程的重復(fù)處理。
中間數(shù)據(jù)區(qū):外部數(shù)據(jù)被獲取后,需要進(jìn)行清洗、匹配及這些過程的歷史管理,這些數(shù)據(jù)處理過程都在中間數(shù)據(jù)區(qū)中完成;這個(gè)階段保證數(shù)據(jù)能夠以原有的格式進(jìn)行清洗與匹配,減少與外部數(shù)據(jù)的格式差異帶來的核查困難。
基礎(chǔ)數(shù)據(jù)區(qū):基礎(chǔ)數(shù)據(jù)區(qū)用以存儲最終的準(zhǔn)確版本的主數(shù)據(jù)?;A(chǔ)數(shù)據(jù)區(qū)中的數(shù)據(jù)是經(jīng)過數(shù)據(jù)質(zhì)量管理過程而獲取到的,并從中間數(shù)據(jù)區(qū)裝載到基礎(chǔ)數(shù)據(jù)區(qū)的。對外部需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)提供的最終版本的主數(shù)據(jù),就是由基礎(chǔ)數(shù)據(jù)區(qū)通過數(shù)據(jù)集成工具來實(shí)現(xiàn)的。
在實(shí)際實(shí)施時(shí),我們通過在源應(yīng)用系統(tǒng)的數(shù)據(jù)庫服務(wù)器上部署Oracle的Goldengate,實(shí)現(xiàn)數(shù)據(jù)庫的實(shí)時(shí)同步,將這些同步過來的數(shù)據(jù)放入運(yùn)行數(shù)據(jù)存儲庫,如果是主數(shù)據(jù)則進(jìn)入主數(shù)據(jù)平臺進(jìn)行相關(guān)的處理;完成清洗、匹配等過程后,以主數(shù)據(jù)服務(wù)的方式,將其推送到數(shù)據(jù)總線上;需要使用主數(shù)據(jù)的應(yīng)用系統(tǒng)通過訂閱主數(shù)據(jù)服務(wù),在總線上檢測到該事件,則獲取這個(gè)服務(wù)數(shù)據(jù)。比如,人力資源系統(tǒng)的組織架構(gòu)信息主數(shù)據(jù)的產(chǎn)生到利用的過程在整個(gè)主數(shù)據(jù)管理平臺上的信息流如圖 5中的黑色粗線條所示。
另外,主數(shù)據(jù)管理平臺上還要實(shí)現(xiàn)主數(shù)據(jù)的檢索、更新和分發(fā)數(shù)據(jù)服務(wù),通過使用經(jīng)過授權(quán)的流程來創(chuàng)建、定義和同步主數(shù)據(jù)來支持協(xié)作用途。
通過以上介紹的主數(shù)據(jù)管理的解決方案,在滿足當(dāng)前企業(yè)信息化架構(gòu)普遍采用SOA架構(gòu)體系的同時(shí),保證了各個(gè)主數(shù)據(jù)從產(chǎn)生到利用的流程效率和連續(xù)性,同時(shí)提高了數(shù)據(jù)分發(fā)和利用的及時(shí)性,可以用較少的成本實(shí)現(xiàn)方便的主數(shù)據(jù)管理。