徐建民

在經(jīng)歷了2004、2005年的基礎(chǔ)設(shè)施的廣泛建設(shè)浪潮后，從今年開(kāi)始，各企事業(yè)單位都基本進(jìn)入了數(shù)據(jù)大集中及數(shù)據(jù)整合0的時(shí)期，怎樣把前期投入的設(shè)施用起來(lái)，真正為企業(yè)帶來(lái)效益成了他們又一輪追逐的目標(biāo)。本文通過(guò)分析義烏人勞社保局在數(shù)據(jù)整合技術(shù)方面的理論研究及實(shí)踐應(yīng)用，旨在給廣大的讀者一個(gè)借鑒。

義烏市人事勞動(dòng)社會(huì)保障局（以下簡(jiǎn)稱義烏人勞社保局）依托有利的經(jīng)濟(jì)條件、社會(huì)環(huán)境等方面的優(yōu)勢(shì)，在“金保工程”信息化建設(shè)中取得了非常大的進(jìn)步，養(yǎng)老、醫(yī)保、就業(yè)、人才四大數(shù)據(jù)資源的建設(shè)成為整個(gè)“金保工程”信息化建設(shè)的核心。

為了全面、準(zhǔn)確、及時(shí)地收集整個(gè)義烏人事勞動(dòng)社會(huì)保障業(yè)務(wù)信息，充分挖掘數(shù)據(jù)庫(kù)中數(shù)據(jù)的價(jià)值，需建設(shè)一個(gè)宏觀決策分析系統(tǒng)，借助現(xiàn)代信息技術(shù)，對(duì)數(shù)據(jù)進(jìn)行匯總、整理、交換和分析等加工處理，形成宏觀決策數(shù)據(jù)庫(kù)，為人事勞動(dòng)社會(huì)保障政策的制定提供依據(jù)和支持，對(duì)政策執(zhí)行情況進(jìn)行監(jiān)測(cè)。

宏觀決策支持系統(tǒng)建設(shè)采用先進(jìn)的數(shù)據(jù)整合技術(shù)，充分整合養(yǎng)老、醫(yī)保、就業(yè)、人才數(shù)據(jù)資源，并建設(shè)一個(gè)統(tǒng)一的數(shù)據(jù)整合平臺(tái)。該數(shù)據(jù)整合平臺(tái)能將四大數(shù)據(jù)生產(chǎn)庫(kù)的數(shù)據(jù)，經(jīng)過(guò)抽取、規(guī)則轉(zhuǎn)換、清洗、加載，形成整合資源庫(kù)，該數(shù)據(jù)庫(kù)主要存儲(chǔ)人事勞動(dòng)社會(huì)保障業(yè)務(wù)統(tǒng)計(jì)信息、結(jié)果性數(shù)據(jù)等，同時(shí)該整合數(shù)據(jù)庫(kù)還為宏觀決策提供數(shù)據(jù)支持。

數(shù)據(jù)整合存在的問(wèn)題

在信息化時(shí)代新環(huán)境下，勞動(dòng)和社會(huì)保障部門(mén)領(lǐng)導(dǎo)要做出一項(xiàng)決策，往往依賴于信息系統(tǒng)。比如: 實(shí)現(xiàn)常規(guī)統(tǒng)計(jì)分析、監(jiān)測(cè)預(yù)警、預(yù)測(cè)分析、風(fēng)險(xiǎn)分析等; 進(jìn)行數(shù)據(jù)、圖表、多媒體等各種形式的查詢; 對(duì)比計(jì)劃和執(zhí)行情況; 對(duì)比本期和歷史情況; 對(duì)比部分和總體情況; 要求能夠進(jìn)行數(shù)據(jù)挖掘; 監(jiān)測(cè)勞動(dòng)保障政策的執(zhí)行情況; 預(yù)測(cè)政策出臺(tái)效果; 監(jiān)測(cè)勞動(dòng)力資源結(jié)構(gòu)、市場(chǎng)需求、就業(yè)趨勢(shì)、就業(yè)率變化狀況; 預(yù)測(cè)就業(yè)結(jié)構(gòu)及變化趨勢(shì); 監(jiān)測(cè)基金收繳、發(fā)放、運(yùn)轉(zhuǎn)、儲(chǔ)備和調(diào)劑狀況; 預(yù)測(cè)基金支付風(fēng)險(xiǎn); 監(jiān)測(cè)勞動(dòng)保障待遇享受對(duì)象動(dòng)態(tài)變化; 預(yù)測(cè)人數(shù)變化趨勢(shì)等等，通過(guò)多手段綜合運(yùn)用，建立完整而科學(xué)的決策方法。

這些決策分析需要的數(shù)據(jù)通常都是統(tǒng)計(jì)數(shù)據(jù)，但是在現(xiàn)有信息系統(tǒng)下進(jìn)行決策分析會(huì)比較復(fù)雜，因?yàn)楝F(xiàn)有數(shù)據(jù)主要存在如下幾個(gè)問(wèn)題：

數(shù)據(jù)源利用問(wèn)題 勞動(dòng)和社會(huì)保障的信息化建設(shè)已經(jīng)進(jìn)入了全面的實(shí)質(zhì)性應(yīng)用階段，各個(gè)應(yīng)用系統(tǒng)積累了大量的數(shù)據(jù)。但是這也給決策分析帶來(lái)一個(gè)問(wèn)題：做出一個(gè)決策分析往往需要查詢多個(gè)基于各種異構(gòu)數(shù)據(jù)源的業(yè)務(wù)系統(tǒng)和外部系統(tǒng)后，進(jìn)行大量數(shù)據(jù)分析后才能作出此決策。其工作量大，數(shù)據(jù)利用率不高，且容易出現(xiàn)人為差錯(cuò)，從而影響決策的質(zhì)量。

數(shù)據(jù)源質(zhì)量問(wèn)題 現(xiàn)有業(yè)務(wù)信息系統(tǒng)的數(shù)據(jù)為大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)無(wú)法提升為信息，及時(shí)提供給決策部門(mén); 并且已有的業(yè)務(wù)信息系統(tǒng)平臺(tái)及開(kāi)發(fā)工具互不兼容，直接提取這些業(yè)務(wù)數(shù)據(jù)比較麻煩。

數(shù)據(jù)源標(biāo)準(zhǔn)問(wèn)題 每個(gè)業(yè)務(wù)系統(tǒng)都有對(duì)于大量的數(shù)據(jù)，但是沒(méi)有統(tǒng)一的數(shù)據(jù)接口，也沒(méi)有一種通用的標(biāo)準(zhǔn)和規(guī)范：如各個(gè)業(yè)務(wù)系統(tǒng)使用不同的指標(biāo)代碼體系和編碼體系、使用不同的數(shù)據(jù)格式等，導(dǎo)致各個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)之間無(wú)法直接集成。

歷史數(shù)據(jù)問(wèn)題 統(tǒng)計(jì)分析需要大量的歷史數(shù)據(jù)作為它的基礎(chǔ)，而現(xiàn)階段的業(yè)務(wù)系統(tǒng)的歷史數(shù)據(jù)存放不是非常完整。

基于以上問(wèn)題，需要建設(shè)一個(gè)數(shù)據(jù)整合平臺(tái)，按照宏觀決策的需求，利用數(shù)據(jù)整合技術(shù)，將相關(guān)數(shù)據(jù)提取、分類與整理后，經(jīng)過(guò)數(shù)據(jù)計(jì)算與變換，最后形成宏觀決策所需的數(shù)據(jù)和信息，保存在數(shù)據(jù)整合資源數(shù)據(jù)庫(kù)中，為決策系統(tǒng)提供數(shù)據(jù)支持。

數(shù)據(jù)資源分析

數(shù)據(jù)整合資源庫(kù)的數(shù)據(jù)都是一些統(tǒng)計(jì)和分析數(shù)據(jù)，如：每月各險(xiǎn)種基金繳費(fèi)統(tǒng)計(jì)、各年齡段基金繳費(fèi)統(tǒng)計(jì)等。這些來(lái)源都是生產(chǎn)數(shù)據(jù)庫(kù)，所以在數(shù)據(jù)整合之前，需對(duì)現(xiàn)有生產(chǎn)數(shù)據(jù)資源進(jìn)行歸類分析。經(jīng)過(guò)簡(jiǎn)單的數(shù)據(jù)歸類分析，現(xiàn)階段義烏人勞社保信息系統(tǒng)生產(chǎn)數(shù)據(jù)資源主要分為公共信息數(shù)據(jù)集、養(yǎng)老基金數(shù)據(jù)集、醫(yī)?；饠?shù)據(jù)集和就業(yè)基金數(shù)據(jù)集等。

1. 公共信息數(shù)據(jù)集是實(shí)現(xiàn)各險(xiǎn)種基礎(chǔ)信息統(tǒng)一管理的基礎(chǔ)數(shù)據(jù)集。主要包括：

● 個(gè)人基本信息：包括個(gè)人信息庫(kù)、IC卡信息庫(kù)等。

● 單位基本信息：包括單位基本信息庫(kù)、單位所屬分支機(jī)構(gòu)信息庫(kù)、社保機(jī)構(gòu)信息庫(kù)、社保機(jī)構(gòu)經(jīng)辦人員庫(kù)、銀行信息庫(kù)等。

● 參?；拘畔?kù)：包括單位參保信息庫(kù)和個(gè)人參保信息庫(kù)等。

● 參數(shù)信息庫(kù): 職工平均工資信息庫(kù)、帳戶記帳利率信息庫(kù)、銀行利率信息庫(kù)、社會(huì)保險(xiǎn)繳費(fèi)比例信息庫(kù)、代碼庫(kù)、帳戶記帳利率信息庫(kù)、銀行利率信息庫(kù)等。

2. 養(yǎng)老基金數(shù)據(jù)集主要包括：

● 單位應(yīng)付信息庫(kù): 單位應(yīng)付信息庫(kù)、單位實(shí)付信息庫(kù)等。

● 離退休人員信息庫(kù)：離退休人員變更信息庫(kù)、離退休人員帳戶信息庫(kù)、離退休人員待遇信息庫(kù)等。

● 養(yǎng)老保險(xiǎn)待遇信息庫(kù)：養(yǎng)老保險(xiǎn)待遇支付信息庫(kù)、養(yǎng)老補(bǔ)發(fā)退發(fā)信息庫(kù)、養(yǎng)老供養(yǎng)親屬基本信息庫(kù)、養(yǎng)老供養(yǎng)親屬待遇信息庫(kù)等。

3. 醫(yī)療基金數(shù)據(jù)集主要包括：

● 醫(yī)療參保人員信息庫(kù)：醫(yī)療保險(xiǎn)參保人員基本信息庫(kù)、醫(yī)療包干人員基本信息庫(kù)、參保人員及帳戶變動(dòng)信息庫(kù)、人員就診檔案信息庫(kù)等。

● 醫(yī)療機(jī)構(gòu)信息庫(kù)：定點(diǎn)醫(yī)療機(jī)構(gòu)結(jié)算參數(shù)庫(kù)、定點(diǎn)醫(yī)療服務(wù)機(jī)構(gòu)信息庫(kù)、定點(diǎn)醫(yī)療機(jī)構(gòu)預(yù)付費(fèi)用信息庫(kù)、定點(diǎn)醫(yī)療機(jī)構(gòu)應(yīng)付信息庫(kù)、定點(diǎn)醫(yī)療機(jī)構(gòu)年度結(jié)算信息庫(kù)、定點(diǎn)醫(yī)療機(jī)構(gòu)藥品目錄庫(kù)等。

● 醫(yī)療待遇信息庫(kù): 費(fèi)用分類信息庫(kù)、醫(yī)療保險(xiǎn)結(jié)算費(fèi)用信息庫(kù)、醫(yī)療包干人員預(yù)付費(fèi)用庫(kù) 、醫(yī)療包干人員費(fèi)用結(jié)算庫(kù)、醫(yī)療保險(xiǎn)個(gè)人帳戶返還庫(kù)、醫(yī)療費(fèi)用分段個(gè)人自付比例庫(kù)、定點(diǎn)醫(yī)療機(jī)構(gòu)預(yù)付標(biāo)準(zhǔn)庫(kù)等。

4. 就業(yè)相關(guān)數(shù)據(jù)集主要包括：

● 就業(yè)服務(wù)機(jī)構(gòu)信息庫(kù)：社保代發(fā)機(jī)構(gòu)基本信息庫(kù)、社保代發(fā)機(jī)構(gòu)撥付記錄庫(kù)、就業(yè)機(jī)構(gòu)服務(wù)情況庫(kù)等。

● 參保人員機(jī)構(gòu)信息庫(kù)：參保人員失業(yè)保險(xiǎn)信息庫(kù)、人員失業(yè)情況信息庫(kù)、失業(yè)人員變更信息庫(kù)、個(gè)人職業(yè)指導(dǎo)和介紹就業(yè)情況庫(kù)等。

● 失業(yè)待遇信息庫(kù): 失業(yè)待遇信息庫(kù)、失業(yè)人員待遇支付明細(xì)庫(kù)、失業(yè)保險(xiǎn)補(bǔ)發(fā)退發(fā)信息庫(kù)、失業(yè)待遇金額標(biāo)準(zhǔn)庫(kù)、失業(yè)保險(xiǎn)金享受期限標(biāo)準(zhǔn)庫(kù)等。

● 人才交流信息庫(kù): 人才引進(jìn)信息庫(kù)、人才派遣信息庫(kù)、人才就業(yè)信息庫(kù)、人才調(diào)動(dòng)信息庫(kù)、再就業(yè)信息庫(kù)、人事代理信息庫(kù)、畢業(yè)生落戶信息庫(kù)、企業(yè)招聘信息庫(kù)、個(gè)人應(yīng)聘信息庫(kù)等。

數(shù)據(jù)整合的實(shí)現(xiàn)方式

義烏人勞社保局信息系統(tǒng)數(shù)據(jù)庫(kù)大多為Oracle數(shù)據(jù)庫(kù)，數(shù)據(jù)整合實(shí)現(xiàn)方式通?？梢圆捎脭?shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)和ETL技術(shù)實(shí)現(xiàn)。

數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù) 利用數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)的數(shù)據(jù)整合主要指利用數(shù)據(jù)庫(kù)（主要是ORACLE數(shù)據(jù)庫(kù)）本身的功能，如觸發(fā)器、PL/SQL存儲(chǔ)過(guò)程、DBLINK等功能完成，完成對(duì)各個(gè)業(yè)務(wù)系統(tǒng)所需要數(shù)據(jù)的抽取、查詢和關(guān)聯(lián)等。

該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)運(yùn)用在義烏人勞社保信息系統(tǒng)有如下優(yōu)勢(shì)：

1. 由于義烏人勞社保信息系統(tǒng)都是ORACLE數(shù)據(jù)庫(kù)，采用ORACLE的開(kāi)發(fā)技術(shù)，適合于ORACLE數(shù)據(jù)庫(kù)之間的數(shù)據(jù)集成。

2. 投資少，基本都是靠開(kāi)發(fā)人員手工編程為主，只需要一些開(kāi)發(fā)費(fèi)用。

但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性：

1. 擴(kuò)展性較差。由于都是開(kāi)發(fā)人員手工編程，后期的維護(hù)成本較高，特別是在決策需求發(fā)生變化時(shí)，需要開(kāi)發(fā)人員修改程序源代碼。

2. 數(shù)據(jù)整合效率問(wèn)題。由于數(shù)據(jù)庫(kù)都靠開(kāi)發(fā)商編寫(xiě)，在系統(tǒng)日趨龐大的情況下，在面對(duì)復(fù)雜的數(shù)據(jù)整合問(wèn)題上，效率難以得到保證。

ETL技術(shù) 通過(guò)ETL技術(shù)及專業(yè)ETL軟件，即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、裝載(Load)能將數(shù)據(jù)從原業(yè)務(wù)數(shù)據(jù)庫(kù)經(jīng)過(guò)抽取，進(jìn)行轉(zhuǎn)換，最后加載到目標(biāo)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)之間的整合。

該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)運(yùn)用在義烏人勞社保信息系統(tǒng)有如下優(yōu)勢(shì)：

高效率。ETL軟件的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的效率非常高，特別對(duì)于大數(shù)據(jù)量的抽取。并且支持對(duì)Oracle9i增量數(shù)據(jù)抽取。

改進(jìn)數(shù)據(jù)質(zhì)量。能夠根據(jù)各種條件校驗(yàn)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)質(zhì)量，對(duì)垃圾數(shù)據(jù)進(jìn)行清洗。

強(qiáng)大管理功能。能夠通過(guò)WEB管理界面對(duì)數(shù)據(jù)抽取策略執(zhí)行制定時(shí)間觸發(fā)方式，對(duì)抽取結(jié)果進(jìn)行分析等。

多平臺(tái)、多數(shù)據(jù)源支持。支持各種平臺(tái)、各種數(shù)據(jù)庫(kù)系統(tǒng)（如Oracle、SQLServer等）以及不同版本數(shù)據(jù)庫(kù)之間的數(shù)據(jù)抽取。

具備多種數(shù)據(jù)轉(zhuǎn)換控件，能夠完成各種非常復(fù)雜的數(shù)據(jù)轉(zhuǎn)換工作。

但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性: 投資費(fèi)用較為昂貴，實(shí)施周期通常較長(zhǎng)。

數(shù)據(jù)整合的實(shí)施

數(shù)據(jù)整合實(shí)施工作大致可以分為4個(gè)階段：

第一階段為業(yè)務(wù)分析階段。 該階段主要包括了解需要采集的數(shù)據(jù)結(jié)構(gòu)定義，和數(shù)據(jù)表之間的業(yè)務(wù)聯(lián)系，例如：需要了解系統(tǒng)中如社保個(gè)人信息及帳戶、單位個(gè)人信息及賬戶、退休人員信息等業(yè)務(wù)表的具體數(shù)據(jù)結(jié)構(gòu)定義，表之間的相互關(guān)聯(lián)等。

第二階段為設(shè)計(jì)實(shí)施階段。該階段主要定義數(shù)據(jù)整合規(guī)則及策略。數(shù)據(jù)整合規(guī)則定義包括字段映射、合并、函數(shù)計(jì)算等，來(lái)實(shí)現(xiàn)業(yè)務(wù)需求定義的數(shù)據(jù)轉(zhuǎn)換功能。數(shù)據(jù)整合策略主要定義時(shí)間策略（定時(shí)策略、自動(dòng)重試、手工策略、事件觸發(fā)等）。

第三階段為數(shù)據(jù)校驗(yàn)階段。數(shù)據(jù)校驗(yàn)階段是數(shù)據(jù)整合階段最重要的階段。由于不同業(yè)務(wù)信息資源之間存在著語(yǔ)義上的區(qū)別，這些語(yǔ)義上的不同會(huì)引起各種不完整甚至錯(cuò)誤信息的產(chǎn)生，語(yǔ)義沖突會(huì)帶來(lái)數(shù)據(jù)集成結(jié)果。在系統(tǒng)正式運(yùn)行之前，必須建立嚴(yán)格的數(shù)據(jù)校驗(yàn)機(jī)制，以保證生產(chǎn)數(shù)據(jù)和整合平臺(tái)數(shù)據(jù)的一致性，可建議采用如下方法：

● 數(shù)據(jù)的采樣:每張表采集定量的數(shù)據(jù)作為參照，跟轉(zhuǎn)換后數(shù)據(jù)進(jìn)行比較。

● 數(shù)據(jù)的條數(shù):每張表記錄原始數(shù)據(jù)的記錄總數(shù)，跟轉(zhuǎn)換后數(shù)據(jù)進(jìn)行比較。

● 數(shù)據(jù)的重要指標(biāo)匯總:對(duì)于各主要指標(biāo)，要跟轉(zhuǎn)換后進(jìn)行比較。

第四階段為系統(tǒng)上線階段。將設(shè)計(jì)好的數(shù)據(jù)整合流程正式發(fā)布，并可以設(shè)定計(jì)劃定時(shí)執(zhí)行 ，系統(tǒng)管理人員可以通過(guò)監(jiān)控界面，進(jìn)行任務(wù)監(jiān)控和跟蹤。隨著數(shù)據(jù)轉(zhuǎn)換業(yè)務(wù)逐漸增加，管理人員還可以根據(jù)具體的業(yè)務(wù)需求，進(jìn)行數(shù)據(jù)轉(zhuǎn)換加載任務(wù)的時(shí)間計(jì)劃修改和維護(hù)，管理人員可以自己修改計(jì)劃任務(wù)，合理安排所有的數(shù)據(jù)轉(zhuǎn)換任務(wù)能夠在規(guī)定的時(shí)間范圍內(nèi)完成所有的數(shù)據(jù)轉(zhuǎn)換和加載任務(wù)。

數(shù)據(jù)整合平臺(tái)能夠?qū)崿F(xiàn)多個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)、多種異構(gòu)數(shù)據(jù)源信息的綜合利用，為宏觀決策水平的提高提供基礎(chǔ)數(shù)據(jù)。但是，數(shù)據(jù)整合是一項(xiàng)復(fù)雜而又基礎(chǔ)性的工作，在實(shí)際整合過(guò)程中會(huì)遇到許多想象不到的問(wèn)題，只有將這些問(wèn)題一一化解，對(duì)數(shù)據(jù)轉(zhuǎn)換的結(jié)果認(rèn)真校驗(yàn)，才能確保數(shù)據(jù)整合的準(zhǔn)確性，才能最終達(dá)到數(shù)據(jù)整合平臺(tái)建設(shè)“完整、正確、統(tǒng)一、及時(shí)、安全”的要求。