任雯

摘 要 建立基于數(shù)據(jù)倉庫及OLAP分析服務(wù)技術(shù)的鐵路運(yùn)輸統(tǒng)計(jì)分析系統(tǒng)可以更有效地實(shí)現(xiàn)跨平臺(tái)數(shù)據(jù)集中、以及鐵路運(yùn)輸統(tǒng)計(jì)信息分析決策支持，是鐵路信息化建設(shè)的重要組成部分。本分析系統(tǒng)將不同時(shí)期的各種運(yùn)輸統(tǒng)計(jì)系統(tǒng)，自1998年南昌局建局后獨(dú)立統(tǒng)計(jì)以來的數(shù)據(jù)做為源數(shù)據(jù)，通過提取、轉(zhuǎn)化和加載完成數(shù)據(jù)清洗，轉(zhuǎn)化為有效、完整、可用的數(shù)據(jù)倉庫中的數(shù)據(jù)，為鐵路運(yùn)輸生產(chǎn)的分析決策提供數(shù)據(jù)支持。采用Sybase IQ數(shù)據(jù)倉庫，選擇Microsoft Analysis Manager作為OLAP分析服務(wù)，生成多維數(shù)據(jù)集，通過Excel數(shù)據(jù)透視表作為前端展示工具，建成鐵路運(yùn)輸統(tǒng)計(jì)分析系統(tǒng)，輔助企業(yè)運(yùn)輸生產(chǎn)決策。

關(guān)鍵詞 交通運(yùn)輸 鐵路運(yùn)輸 運(yùn)輸統(tǒng)計(jì) ETL轉(zhuǎn)換

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A

1研究背景及目的

鐵路局在自身發(fā)展過程中，積累了大量的客運(yùn)、行包、貨運(yùn)等數(shù)據(jù)，為利用這些數(shù)據(jù)發(fā)掘有價(jià)值的信息，需要建立一個(gè)面向主題的、集成的、穩(wěn)定的、不同時(shí)期的數(shù)據(jù)集合，即數(shù)據(jù)倉庫。鐵路運(yùn)輸統(tǒng)計(jì)分析系統(tǒng)采用這一技術(shù)解決了鐵路局現(xiàn)有數(shù)據(jù)存儲(chǔ)形式已經(jīng)不能滿足信息分析的問題，存儲(chǔ)了大量的數(shù)據(jù)實(shí)現(xiàn)了原始數(shù)據(jù)的整理和挖掘。

傳統(tǒng)的數(shù)據(jù)庫應(yīng)用系統(tǒng)多為OLTP聯(lián)機(jī)事務(wù)處理，并不能很好地支持分析決策。而鐵路現(xiàn)有的數(shù)據(jù)庫系統(tǒng)正是OLTP聯(lián)機(jī)事務(wù)處理型的數(shù)據(jù)庫應(yīng)用系統(tǒng)，在鐵路運(yùn)輸生產(chǎn)市場(chǎng)化的今天，對(duì)運(yùn)輸生產(chǎn)的分析決策，市場(chǎng)預(yù)測(cè)，優(yōu)化運(yùn)輸組織，OLAP聯(lián)機(jī)分析處理越來越重要。現(xiàn)階段傳統(tǒng)信息系統(tǒng)與決策分析營養(yǎng)需求才能在技術(shù)差距，鐵路運(yùn)輸企業(yè)內(nèi)部各信息系統(tǒng)中，經(jīng)過長期應(yīng)用、分割、累積和沉淀了大量不同存儲(chǔ)格式的數(shù)據(jù)，這是一筆寶貴的決策信息財(cái)富。

2系統(tǒng)的架構(gòu)與流程

2.1系統(tǒng)架構(gòu)

本系統(tǒng)采用“Sybase IQ數(shù)據(jù)倉庫 + SQL server 分析服務(wù) + Excel透視表分析展示”體系結(jié)構(gòu)，構(gòu)建分析系統(tǒng)應(yīng)用。通過分析服務(wù)、借助分析展示工具，可以對(duì)存儲(chǔ)在數(shù)據(jù)倉庫中的分析指標(biāo)，生成歷史時(shí)間范疇內(nèi)、各種線路上產(chǎn)生的、全部不同的到達(dá)與發(fā)送地區(qū)的、各類貨物品類、各種級(jí)別的旅客列車、等等其他不同查詢視角屬性的統(tǒng)計(jì)分析指標(biāo)變化情況。

本系統(tǒng)由四部分組成：分析數(shù)據(jù)源、數(shù)據(jù)倉庫、分析服務(wù)器和分析服務(wù)工具、客戶端分析展示工具。見圖1。

圖1 系統(tǒng)架構(gòu)圖

2.2系統(tǒng)流程與模塊

根據(jù)客運(yùn)精密統(tǒng)計(jì)智能分析系統(tǒng)的用戶需求及業(yè)務(wù)流程，流程如圖2，并將系統(tǒng)的功能劃分為如下模塊：

（1）事實(shí)表與維度表的ETL數(shù)據(jù)轉(zhuǎn)換模塊；

（2）創(chuàng)建多維數(shù)據(jù)集模塊；

（3）創(chuàng)建Excel透視表模塊。

圖2 系統(tǒng)流程圖

事實(shí)表與維度表的ETL數(shù)據(jù)轉(zhuǎn)換模塊：主要包含維度字典表、客票報(bào)表事實(shí)表、行包報(bào)表事實(shí)表、客票壓縮事實(shí)表行包壓縮事實(shí)表的清洗與轉(zhuǎn)換，并將這些維度表和事實(shí)數(shù)據(jù)表導(dǎo)入到Sybasse IQ數(shù)據(jù)庫。

創(chuàng)建多維數(shù)據(jù)集模塊：多維數(shù)據(jù)集是聯(lián)機(jī)分析處理 （OLAP） 中的主要對(duì)象，是一項(xiàng)可對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行快速訪問的技術(shù)。多維數(shù)據(jù)集是一個(gè)數(shù)據(jù)集合，通常從數(shù)據(jù)倉庫的子集構(gòu)造，并組織和匯總成一個(gè)由一組維度和度量值定義的多維結(jié)構(gòu)。

創(chuàng)建Excel透視表模塊：數(shù)據(jù)透視表是一種可用于OLAP分析的交互式動(dòng)態(tài)表格，可以完成對(duì)大量數(shù)據(jù)快速匯總和快速查看不同列表的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，并能打印或圖形化統(tǒng)計(jì)結(jié)果，能多視角、多層次、快速便利的分析、組織數(shù)據(jù)。例如，可對(duì)統(tǒng)計(jì)結(jié)果建立列聯(lián)表、計(jì)算平均數(shù)、計(jì)算百分比、計(jì)算標(biāo)準(zhǔn)差，建立新的數(shù)據(jù)子集等。在建立好數(shù)據(jù)透視表后，還可以重新安排數(shù)據(jù)透視表，以便從多視角、多層次查看數(shù)據(jù)。連接已創(chuàng)建好的OLAP多維數(shù)據(jù)集，創(chuàng)建用戶需求的透視表。

3ETL設(shè)計(jì)

ETL是將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程。ETL是該項(xiàng)目中的重要環(huán)節(jié)。ETL的質(zhì)量主要表現(xiàn)為正確性、完整性、一致性、有效性的等幾個(gè)特性。影響ETL質(zhì)量的原因很多，主要包括：業(yè)務(wù)系統(tǒng)不同時(shí)期之間的數(shù)據(jù)結(jié)構(gòu)不一致，業(yè)務(wù)系統(tǒng)不同時(shí)期的業(yè)務(wù)過程不一致，業(yè)務(wù)系統(tǒng)不同時(shí)期的數(shù)據(jù)完整性不一致等。

ETL的主要方式有空值處理、規(guī)范數(shù)據(jù)格式處理、拆分?jǐn)?shù)據(jù)處理、驗(yàn)證主外鍵處理等。

（1）空值處理可用兩種方式，一是直接在初始化時(shí)賦一個(gè)初始值，二是更具條件賦予不同的值，如在本系統(tǒng)中客票壓縮表中的部分運(yùn)類取值為空，就在讀取客票壓縮表前將運(yùn)類值先初始化為0，然后根據(jù)客票壓縮表中的運(yùn)類數(shù)值重新取值。

（2）規(guī)范數(shù)據(jù)格式處理。對(duì)于不同時(shí)期的業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)源中的時(shí)間、數(shù)值、字符等數(shù)據(jù)進(jìn)行規(guī)范化，確保數(shù)據(jù)格式一致性，如有的系統(tǒng)中ny這個(gè)字段的命名格式是data型，有的系統(tǒng)中是char型；盡管都是char型，有的是char（8），有的是char（6）；就算都是char（8），有的格式是“YYYYMMDD”，有的格式則是“MMDDYYYY”，這時(shí)就需要進(jìn)行其規(guī)范數(shù)據(jù)格式。在數(shù)據(jù)倉庫中，退票人數(shù)、票額都以負(fù)數(shù)表示，而業(yè)務(wù)系統(tǒng)中，退票人數(shù)、票額都以正數(shù)表示，那在轉(zhuǎn)換過程中就需要對(duì)此處理。如：

if （kpys. pl.equals（"T"））

{

kpys.rs = -kpys.rs；

kpys.je = -kpys.je；

}

還有一種情況是在字符串類型時(shí)，頭尾存在空格，也會(huì)對(duì)數(shù)據(jù)一致性產(chǎn)生影響，這是我們就通過trim（）函數(shù)去除兩端的空格，或者用ltrim（）函數(shù)去除左邊空格，或者用rtrim（）函數(shù)去除右邊的空格，這也是一種規(guī)范數(shù)據(jù)格式的方式。如一般在數(shù)據(jù)轉(zhuǎn)換過程中每個(gè)字段為了確保兩端不存在空格，會(huì)使用類似kpys.fzdm = kpys.fzdm.trim（）這樣的語句確保數(shù)據(jù)格式規(guī)范。

（3）拆分?jǐn)?shù)據(jù)處理。拆分?jǐn)?shù)據(jù)就是根據(jù)業(yè)務(wù)需求對(duì)字段進(jìn)行分解，如某車站的統(tǒng)計(jì)碼為“15036”，其中，最前面2位“15”就是路局的統(tǒng)計(jì)代碼，我們就可以從拆分這個(gè)字段獲取路局統(tǒng)計(jì)代碼，程序如下代碼進(jìn)行數(shù)據(jù)拆分操作。

Kpys.ljdm=kpys.fzdm.substring（0， 2）；

（4）驗(yàn)證主外鍵處理。建立ETL轉(zhuǎn)換過程中的主外鍵約束，對(duì)無依賴性的非法數(shù)據(jù)，可替換或?qū)С龅藉e(cuò)誤數(shù)據(jù)文件中，保證記錄正確。在本系統(tǒng)中，主要有2種方式確保數(shù)據(jù)主外鍵正確。

①確保事實(shí)表與維度表數(shù)據(jù)的主外鍵一致

在轉(zhuǎn)換事實(shí)表數(shù)據(jù)前，先載入維度表數(shù)據(jù)，轉(zhuǎn)換事實(shí)表數(shù)據(jù)時(shí)，對(duì)字段所關(guān)聯(lián)的維度表數(shù)據(jù)進(jìn)行驗(yàn)證，如下例是在轉(zhuǎn)換發(fā)站字段時(shí)，對(duì)站名字典維度表數(shù)據(jù)先進(jìn)行獲取，如不存在該發(fā)站的站名字典維度表數(shù)據(jù)，則提示“非法發(fā)站代碼：”

zm = Zmzd.db_GetZmzdbyZmdm（kpys.fzdm）；

if （zm == null）//發(fā)站在站名字典中不存在

{

fKpys.fzid = -1；

ErrorMsg err = new ErrorMsg（）；

err.time = AMTime.GetCurTime（）；

err.cwbh = "2"；

err.cwlx = "非法發(fā)站代碼"；

err.cwms = "站名代碼為：" + kpys.fzdm；

ErrorMsg.WriteLog（err， fileLog）；

}

else

{

fKpys.fzid = zm.czid；

}

②確保維度表與維度表之間的主外鍵一致

由于維度表之間有些存在層次關(guān)系，也存在主外鍵一致性問題，可通過數(shù)據(jù)校驗(yàn)中的表間校驗(yàn)，查看維度表之間的主外鍵是否一致。表間校驗(yàn)，校驗(yàn)維度表的表間關(guān)系，如站名字典維度表中的cwdid，檢查在其關(guān)聯(lián)的車務(wù)段字典維度表中是否存在，并反饋表內(nèi)校驗(yàn)和表間校驗(yàn)的校驗(yàn)結(jié)果，確保維度表轉(zhuǎn)換正確。

4系統(tǒng)應(yīng)用舉例

通過建立客運(yùn)堵漏保收效益指標(biāo)分析模型、貨物運(yùn)輸工作量變動(dòng)監(jiān)測(cè)分析模型，以及專項(xiàng)統(tǒng)計(jì)決策模型設(shè)計(jì)，能夠提供運(yùn)輸經(jīng)營決策統(tǒng)計(jì)依據(jù)，及早發(fā)現(xiàn)和查明運(yùn)量指標(biāo)異常變化情況。

（1）在客運(yùn)補(bǔ)票收入分析方面：可將車站旅客售票量、售票收入、車站補(bǔ)票量、旅客列車補(bǔ)票量、補(bǔ)票車站、補(bǔ)票列車、列車車次范圍、列車擔(dān)當(dāng)局、列車補(bǔ)票運(yùn)行區(qū)段、漏收問題單位等各項(xiàng)分析信息有機(jī)聯(lián)系起來；可設(shè)立分析模型，早期預(yù)警路局客運(yùn)堵漏保收工作收效情況，確認(rèn)漏收客流流向的旅客列車和客車擔(dān)當(dāng)企業(yè)，獲取售票收入流失程度信息。

（2）在貨物運(yùn)輸工作量變動(dòng)監(jiān)測(cè)方面：可通過分析模型，及早監(jiān)控各運(yùn)輸企業(yè)在局管內(nèi)發(fā)生的分品類、運(yùn)類、線路、發(fā)到地區(qū)、車種、時(shí)期變化等，以及貨運(yùn)工作量對(duì)路局運(yùn)輸經(jīng)營效益的影響程度；可把直通清算資料、與運(yùn)輸重車監(jiān)測(cè)資料有機(jī)聯(lián)系起來。

（3）在經(jīng)營分析決策與分析預(yù)測(cè)方面：可有效提供客貨運(yùn)輸工作量變化與分布；可預(yù)測(cè)客貨運(yùn)輸收入變化趨勢(shì)；可揭示運(yùn)輸工作量波動(dòng)主要原因和指標(biāo)構(gòu)成；可分析新線開通運(yùn)能運(yùn)量對(duì)比歷史測(cè)算；可對(duì)不同的運(yùn)輸線路，分析旅客列車種類、運(yùn)輸類別、旅客席別、客流走向等各種分析成分，揭示引起客貨運(yùn)輸量變化情況的主要關(guān)聯(lián)因數(shù)。