摘 要 數(shù)據(jù)倉庫系統(tǒng)可用于企業(yè)決策分析,利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術(shù)對業(yè)務(wù)數(shù)據(jù)進(jìn)行系統(tǒng)地儲存和管理,并通過數(shù)據(jù)統(tǒng)計分析工具實現(xiàn)對客戶數(shù)據(jù)的統(tǒng)計分析。本文闡述了某鋼鐵企業(yè)(以下簡稱公司)利用已積累在業(yè)務(wù)信息系統(tǒng)中的海量數(shù)據(jù),結(jié)合管理者及統(tǒng)計分析人員對系統(tǒng)的需求,建立企業(yè)運營分析平臺的過程。
【關(guān)鍵詞】OLAP 數(shù)據(jù)倉庫 數(shù)據(jù)建模 數(shù)據(jù)轉(zhuǎn)換 商務(wù)智能
隨著計算機技術(shù)的快速發(fā)展及企業(yè)信息化進(jìn)程的深度推進(jìn),如何利用信息系統(tǒng)累積的業(yè)務(wù)數(shù)據(jù),從中提取有價值的信息成為了企業(yè)信息化深度應(yīng)用的研究熱點,通過搜集、管理和分析商業(yè)信息,可以形成決策參考,為企業(yè)各級決策者服務(wù),使得企業(yè)經(jīng)營管理更加有依據(jù)性,為企業(yè)經(jīng)營管理提供更加快捷、高效、精確的決策分析。
目前商業(yè)智能已經(jīng)被很多行業(yè)所采用,在大數(shù)據(jù)呈指數(shù)增長且日益成為企業(yè)決策依據(jù)的戰(zhàn)略背景下,商務(wù)智能的需求開始越來越廣泛,商業(yè)智能通過將數(shù)據(jù)建模、數(shù)據(jù)挖掘、數(shù)據(jù)清洗等技術(shù),建立聯(lián)機分析處理(OLAP)系統(tǒng),從而輔助企業(yè)經(jīng)營決策。公司以業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)為基礎(chǔ),利用數(shù)據(jù)倉庫技術(shù),建立起企業(yè)運營分析平臺,進(jìn)一步發(fā)揮業(yè)務(wù)數(shù)據(jù)價值,為企業(yè)管理這和統(tǒng)計分析人員提供了有益的決策參考。
1 背景
2014年以來,公司對信息系統(tǒng)架構(gòu)進(jìn)行了改良性設(shè)計,并配套完成相關(guān)系統(tǒng)改造,建立起對接智能制造的全新信息系統(tǒng)五級架構(gòu),公司在企業(yè)資源計劃管理、全流程質(zhì)量設(shè)計、全局計劃排程、全過程質(zhì)量管理等方面取得了跨越式發(fā)展,公司借助全新信息系統(tǒng)架構(gòu)支撐,加快了市場響應(yīng)速度,提高了客戶滿意度。
在各個信息系統(tǒng)應(yīng)用過程中中逐漸積累起海量的與生產(chǎn)經(jīng)營相關(guān)的過程數(shù)據(jù),在企業(yè)的經(jīng)營決策管理的過程中,如何通過對這些海量數(shù)據(jù)的利用,使之轉(zhuǎn)換為有價值的運營統(tǒng)計分析,真正為企業(yè)決策管理提供依據(jù)和參考,只有這樣,信息化應(yīng)用的效價值才能得到真正體現(xiàn)。這也是領(lǐng)導(dǎo)決策者和相關(guān)業(yè)務(wù)部門的迫切需求。
2 目標(biāo)
利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術(shù),構(gòu)建企業(yè)級運營分析平臺,集成公司的項目,采購,庫存,成本,財務(wù),人力資源,銷售以其他第三方系統(tǒng)數(shù)據(jù)。利用各相關(guān)系統(tǒng)的業(yè)務(wù)數(shù)據(jù),并對數(shù)據(jù)進(jìn)行整合,建立起為面向企業(yè)運營業(yè)務(wù)的關(guān)鍵績效指標(biāo)體系,從而實現(xiàn)面向多維度、及多層級的關(guān)鍵績效價值數(shù)據(jù)分析統(tǒng)計展示。為公司提供一個規(guī)范化、透明化、價值化的公司KPI體系分析。
3 系統(tǒng)功能
功能包括采購管理、設(shè)備管理、銷售管理、財務(wù)管理、人力資源管理等5部分內(nèi)容。其中采購管理主要包括公司采購量價趨勢分析,采購情況分析,日常庫存管理,生產(chǎn)領(lǐng)用與消耗分析,進(jìn)銷存資金占用分析等分析主題;銷售管理包括銷售情況分析、資金占用情況、營銷日報;設(shè)備管理主要包括主要包括設(shè)備點檢績效、設(shè)備檔案分析、設(shè)備試驗檢驗分析、設(shè)備采購資金統(tǒng)計、計劃合同分析、合同綜合分析、設(shè)備維修費用分析、消耗統(tǒng)計分析、設(shè)備庫存積壓分析、設(shè)備庫存分析;財務(wù)管理包括庫存分析、資產(chǎn)負(fù)債情況、現(xiàn)金流量分析、總賬、資產(chǎn)費用、成本分析;人力資源管理包括人員情況分析、薪酬保險統(tǒng)計等。
4 平臺搭建
4.1 平臺架構(gòu)
平臺總體架構(gòu)包括數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)展示三部分,如圖1所示:
4.1.1 數(shù)據(jù)獲取
數(shù)據(jù)獲取,包括數(shù)據(jù)的抽取、轉(zhuǎn)換及加載,數(shù)據(jù)抽取、轉(zhuǎn)換及加載的作用是在運營分析平臺與作為數(shù)據(jù)源的ERP系統(tǒng)、MES系統(tǒng)、設(shè)備在線診斷系統(tǒng)、設(shè)備點檢系統(tǒng)間,搭建一座橋梁,使以上系統(tǒng)中新發(fā)生的業(yè)務(wù)數(shù)據(jù),以預(yù)先設(shè)計好的數(shù)據(jù)傳送方式,加載至數(shù)據(jù)存儲介質(zhì)中。由于數(shù)據(jù)源系統(tǒng)中的所屬數(shù)據(jù)來源不同、數(shù)據(jù)格式不同、需獲取的業(yè)務(wù)數(shù)據(jù)需遵循抽取規(guī)則約束、轉(zhuǎn)換邏輯控制、加載條件限定才能進(jìn)入數(shù)據(jù)倉庫系統(tǒng)。
4.1.2 數(shù)據(jù)存儲
數(shù)據(jù)存儲包括數(shù)據(jù)抽取準(zhǔn)備區(qū)PSA(Persistent Data Staging),主要用于完成對從數(shù)據(jù)源抽取過來的明細(xì)級的數(shù)據(jù)進(jìn)行存儲,數(shù)據(jù)倉庫系統(tǒng)為每個數(shù)據(jù)源自動生成結(jié)構(gòu)相同的PSA二維表,其中的數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)完全對應(yīng),一般不對其中數(shù)據(jù)不進(jìn)行邏輯轉(zhuǎn)換。利用定義好的信息包(Infor Package)并建立觸發(fā)規(guī)則,完成數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)倉庫中PSA的數(shù)據(jù)抽??;運營數(shù)據(jù)存儲ODS(Operation Data Storage),主要用于存儲經(jīng)過轉(zhuǎn)換后的明細(xì)級的數(shù)據(jù),并用于生產(chǎn)經(jīng)營業(yè)務(wù)的統(tǒng)計分析;同時,ODS也是實現(xiàn)數(shù)據(jù)集成,圍繞特定主體,可實現(xiàn)特定主題的日常決策分析 。運營數(shù)據(jù)存儲對數(shù)據(jù)時效性要求比較高,數(shù)據(jù)往來頻率較高,其中的數(shù)據(jù)是通過數(shù)據(jù)傳輸過程DTP(Data Transfer Process)完成數(shù)據(jù)的轉(zhuǎn)換及加載,在執(zhí)行數(shù)據(jù)加載時,將通過實際業(yè)務(wù)需求,對數(shù)據(jù)進(jìn)行邏輯轉(zhuǎn)換處理;企業(yè)數(shù)據(jù)倉庫包括信息立方體和多信息立方體,兩類信息立方體均為面向主題的多維度數(shù)據(jù)存儲模型,主要用于存儲整合過的、歷史明細(xì)數(shù)據(jù)。模型按照按業(yè)務(wù)主題進(jìn)行歸集,通過數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)進(jìn)行校驗及統(tǒng)一,將不同來源的數(shù)據(jù)進(jìn)行轉(zhuǎn)換,最終將數(shù)據(jù)整合建立統(tǒng)一的數(shù)據(jù)分析應(yīng)用平臺;數(shù)據(jù)集市層的數(shù)據(jù)主要面向業(yè)務(wù)部門,通過數(shù)據(jù)整合、數(shù)據(jù)轉(zhuǎn)換,形成具有多級匯總特性的多維分析層。這層的數(shù)據(jù)進(jìn)一步進(jìn)行不同維度的匯總,可提供針對不同匯總級別的,按照不同主題進(jìn)行聯(lián)合查詢的功能。
4.1.3 數(shù)據(jù)查詢及展現(xiàn)
數(shù)據(jù)查詢及展現(xiàn)實現(xiàn)平臺要求的查詢分析功能。其功能是以在信息立方體基礎(chǔ)上建立的多信息立方體為數(shù)據(jù)基礎(chǔ),通過查詢設(shè)計器,根據(jù)具體應(yīng)用邏輯,設(shè)計出查詢。實現(xiàn)通過電子表格及圖表的數(shù)據(jù)展示。
4.2 平臺建設(shè)
下面以主營業(yè)務(wù)明細(xì)報表的建模過程為例,該報表將多維度展現(xiàn)材坯(包括鋼材及鋼坯)、其他產(chǎn)品(包括不合格產(chǎn)品、外礦、水渣、水電費、氣體)的營業(yè)收入、營業(yè)成本、各項費用、銷售利潤。首先按照數(shù)據(jù)類型進(jìn)行數(shù)據(jù)模型的設(shè)計,在需求分析時要確定數(shù)據(jù)邏輯規(guī)則,以材坯和產(chǎn)品的營業(yè)收入為基準(zhǔn),對公司各項費用進(jìn)行分?jǐn)偂4_定基礎(chǔ)數(shù)據(jù)為交貨項目數(shù)據(jù)、銷售利潤數(shù)據(jù)、庫存資金占用數(shù)據(jù)。
將交貨項目數(shù)據(jù)作為數(shù)據(jù)基礎(chǔ),通過第一層轉(zhuǎn)換,對銷售數(shù)據(jù)進(jìn)行匯聚。通過第二層轉(zhuǎn)換,將銷售交貨數(shù)據(jù)與銷售利潤數(shù)據(jù)與庫存資金占用相關(guān)聯(lián),按照成本及半成品,完成財務(wù)數(shù)據(jù)模型和成本數(shù)據(jù)模型關(guān)聯(lián),同時按照銷售收入占比情況,完成營業(yè)收入、營業(yè)成本、銷售利潤計算及各項費用的分?jǐn)偂?/p>
數(shù)據(jù)模型中設(shè)計并定義了三個信息立方體:主營業(yè)務(wù)數(shù)據(jù)模型、銷售明細(xì)數(shù)據(jù)模型、庫存占用資金數(shù)據(jù)模型,及一個多信息立方體營業(yè)利潤數(shù)據(jù)模型,三個信息立方體為相互關(guān)聯(lián)的多個事實表,多信息立方體與以上三個信息立方體關(guān)聯(lián),并不包含數(shù)據(jù)。信息立方體內(nèi)容包括所需數(shù)據(jù)指標(biāo)、關(guān)鍵值及維度。通過對數(shù)據(jù)源數(shù)據(jù)的抽取、加載和轉(zhuǎn)換,將數(shù)據(jù)按照既定的邏輯關(guān)系加載至數(shù)據(jù)模型,在處理完成之后,通過數(shù)據(jù)展示層完成報表展示。報表提供對營業(yè)收入、營業(yè)業(yè)成本、銷售費用、營業(yè)稅金及附加、管理費用、財務(wù)費用、銷售利潤按照不同維度的統(tǒng)計分析。
5 結(jié)語
該項目利用數(shù)據(jù)倉庫,通過數(shù)據(jù)抽取加載及轉(zhuǎn)換,完成了供應(yīng)業(yè)務(wù)、設(shè)備管理業(yè)務(wù)、銷售業(yè)務(wù)、財務(wù)管理業(yè)務(wù)、人力資源業(yè)務(wù)相關(guān)的300多個技術(shù)經(jīng)濟(jì)指標(biāo)的數(shù)據(jù)展示和統(tǒng)計分析工作,設(shè)計并實現(xiàn)了多信息立方體數(shù)據(jù)模型,作為數(shù)據(jù)展示基礎(chǔ),設(shè)計并實現(xiàn)了相關(guān)數(shù)據(jù)模型的數(shù)據(jù)抽取、轉(zhuǎn)換和加載策略;設(shè)計并實現(xiàn)了產(chǎn)量相關(guān)數(shù)據(jù)模型數(shù)據(jù)抽取和數(shù)據(jù)加載策略。設(shè)計并實現(xiàn)了統(tǒng)計分析系統(tǒng)的數(shù)據(jù)展示功能。該運營分析平臺可為企業(yè)管理層和統(tǒng)計分析人員掌握企業(yè)生產(chǎn)經(jīng)營狀況提供更加有力的支持,能夠適合公司管理者和統(tǒng)計分析人員的工作需求,有助于公司精細(xì)化管理邁上了一個新的臺階。
參考文獻(xiàn)
[1]陳永杰. SAP商務(wù)智能完全解決方案[M].北京:機械工業(yè)出版社,2016:4-28。
[2]林杰斌,劉明德,陳湘.數(shù)據(jù)挖掘與OLAP理論與實務(wù)[M].北京:清華大學(xué)出版社,2014:46-47.
[3]w H.IBmon.數(shù)據(jù)倉庫[M].北京:機械工業(yè)出版社聯(lián)社,2008:231-238.
[4]陳京民著.數(shù)據(jù)倉庫原理設(shè)計與應(yīng)用[M].北京:中國水利電力出版社,2004:88-90.
[5]w H.IBmon.數(shù)據(jù)倉庫[M].北京:機械工業(yè)出版社聯(lián)社,2005:231-238.
[6]Eric Sperley. 企業(yè)數(shù)據(jù)倉庫[M].北京:人民郵電出版社,2008:90-102.
[7]李擁軍,高學(xué)東.鋼鐵企業(yè)營銷分析數(shù)據(jù)倉庫主題、維、粒度的確定方法[J].冶金自動化,2005(05):16-20.
作者簡介
孫雙(1976-),女,高級工程師。
作者單位
河鋼唐鋼信息自動化部 河北省唐山市 063000