王世海

摘要：分析了遼寧省環(huán)境數(shù)據(jù)現(xiàn)狀，通過環(huán)境數(shù)據(jù)中心建設(shè)，將環(huán)境業(yè)務(wù)數(shù)據(jù)庫進(jìn)行集中存放，并對(duì)環(huán)境數(shù)據(jù)進(jìn)行清理，有效整合，定義了統(tǒng)一的環(huán)境信息數(shù)據(jù)標(biāo)準(zhǔn)。集成了數(shù)據(jù)中心、數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)共享平臺(tái)、數(shù)據(jù)管理平臺(tái)和數(shù)據(jù)分析平臺(tái)，為環(huán)境業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。

關(guān)鍵詞：環(huán)境數(shù)據(jù)中心；數(shù)據(jù)標(biāo)準(zhǔn)；數(shù)據(jù)服務(wù)

中圖分類號(hào)：X3

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：16749944（2014）06021403

1 引言

隨著環(huán)境問題的日益突出，社會(huì)公眾對(duì)環(huán)境質(zhì)量訴求不斷提高，環(huán)境保護(hù)部門對(duì)于環(huán)境監(jiān)管的手段在不斷創(chuàng)新，環(huán)境業(yè)務(wù)系統(tǒng)的建設(shè)，為環(huán)境監(jiān)管提供了有力支持。但是自成體系的業(yè)務(wù)系統(tǒng)，互不關(guān)聯(lián)的數(shù)據(jù)庫，造成了“數(shù)據(jù)孤島”現(xiàn)象非常突出，缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)使得數(shù)據(jù)整合極其困難。

遼寧省環(huán)境數(shù)據(jù)中心是基于現(xiàn)有的軟硬件和網(wǎng)絡(luò)環(huán)境構(gòu)建對(duì)環(huán)境數(shù)據(jù)資源進(jìn)行集中、清理、分析、共享和挖掘的數(shù)據(jù)管理中心，可有效解決環(huán)境“數(shù)據(jù)孤島”問題，提高環(huán)境數(shù)據(jù)的綜合價(jià)值，為遼寧省環(huán)境監(jiān)管和決策，提供有效的數(shù)據(jù)支撐。

2 環(huán)境數(shù)據(jù)中心設(shè)計(jì)

數(shù)據(jù)中心體系結(jié)構(gòu)包括6層次和3個(gè)體系，6個(gè)層次為：基礎(chǔ)設(shè)施層、數(shù)據(jù)源層、數(shù)據(jù)層、業(yè)務(wù)支撐層、邏輯層和訪問層；3個(gè)體系為：信息資源標(biāo)準(zhǔn)體系、安全管理體系和運(yùn)維管理體系（圖1）。數(shù)據(jù)中心系統(tǒng)各部分具體描述如下。

圖1 數(shù)據(jù)中心總體架構(gòu)設(shè)計(jì)

2.1 基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層包括環(huán)境信息數(shù)據(jù)中心平臺(tái)系統(tǒng)的網(wǎng)絡(luò)環(huán)境、網(wǎng)絡(luò)中平臺(tái)所涉及到的軟硬件環(huán)境，以及依賴于這些軟硬件環(huán)境的監(jiān)測(cè)系統(tǒng)。

2.2 數(shù)據(jù)源層

數(shù)據(jù)源層包括本項(xiàng)目所有蘊(yùn)含的業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)源層中各個(gè)部分?jǐn)?shù)據(jù)存儲(chǔ)在各個(gè)部門的各個(gè)系統(tǒng)中，通過數(shù)據(jù)交換平臺(tái)，將各個(gè)系統(tǒng)的數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心。具體包括：污染源數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)、核與輻射數(shù)據(jù)、應(yīng)急管理數(shù)據(jù)、生態(tài)環(huán)境數(shù)據(jù)、機(jī)動(dòng)車尾氣檢測(cè)數(shù)據(jù)、環(huán)統(tǒng)數(shù)據(jù)、污普數(shù)據(jù)、總量減排數(shù)據(jù)、環(huán)境空間數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

2.3 數(shù)據(jù)層

數(shù)據(jù)層由加工存儲(chǔ)區(qū)、數(shù)據(jù)交換區(qū)和數(shù)據(jù)操作區(qū)組成。

（1）數(shù)據(jù)存儲(chǔ)區(qū)：主要包括元數(shù)據(jù)庫、主數(shù)據(jù)庫、分類及代碼數(shù)據(jù)庫、空間數(shù)據(jù)庫、整合庫、主題庫和分析庫。

（2）數(shù)據(jù)操作區(qū)：主要通過ETL技術(shù)，將數(shù)據(jù)源層的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、審核和加載。

（3）數(shù)據(jù)交換區(qū)：通過數(shù)據(jù)交換總線，將各部門、各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，加載到數(shù)據(jù)層加工存儲(chǔ)區(qū)進(jìn)行存儲(chǔ)。

2.4 業(yè)務(wù)支撐層

業(yè)務(wù)支撐層由3部分組成：公共服務(wù)層、業(yè)務(wù)服務(wù)層和數(shù)據(jù)管理層。

（1）公共服務(wù)層：通過企業(yè)服務(wù)總線向外提供的日志服務(wù)、空間服務(wù)、數(shù)據(jù)共享服務(wù)、事務(wù)服務(wù)、報(bào)表服務(wù)、查詢服務(wù)和其它服務(wù)。

（2）業(yè)務(wù)服務(wù)層：主要包括主題分析、綜合分析、靈活查詢、趨勢(shì)預(yù)警、輔助決策、環(huán)境監(jiān)測(cè)管理、指標(biāo)查詢、告警管理、報(bào)表報(bào)告管理、日志管理、權(quán)限管理和系統(tǒng)管理服務(wù)，對(duì)于新業(yè)務(wù)的擴(kuò)展和新功能的提供，都可以通過業(yè)務(wù)服務(wù)層的封裝而提供。這一部分的內(nèi)容，既提供給平臺(tái)業(yè)務(wù)層調(diào)用，也支持其它系統(tǒng)通過規(guī)定的方式訪問。

（3）數(shù)據(jù)管理層：實(shí)現(xiàn)了對(duì)數(shù)據(jù)管理功能的封裝，通過調(diào)用數(shù)據(jù)管理層中的功能對(duì)外提供數(shù)據(jù)操作能力。這些功能包括：數(shù)據(jù)模型管理、主數(shù)據(jù)管理、元數(shù)據(jù)管理、資源分類及代碼管理、數(shù)據(jù)質(zhì)量管理、備份管理。

2.5 邏輯層

邏輯層以業(yè)務(wù)的視角歸集了系統(tǒng)中的業(yè)務(wù)功能，把業(yè)務(wù)上相互聯(lián)系緊密，有直接關(guān)系的功能組合在一起，形成有業(yè)務(wù)意義的業(yè)務(wù)模塊，提供給用戶或其他系統(tǒng)，通過Web或服務(wù)接口使用這些功能。邏輯層在實(shí)現(xiàn)自身功能的時(shí)候，需要調(diào)用業(yè)務(wù)支撐層中的各種服務(wù)和操作。以SOA的架構(gòu)，將業(yè)務(wù)支撐層中所提供的內(nèi)容組合成對(duì)用戶或其他系統(tǒng)有意義的功能。用戶和外部系統(tǒng)可以通過Web界面或Web Service的方式訪問業(yè)務(wù)邏輯層的功能。而在經(jīng)過邏輯層SOA整合后，邏輯層對(duì)其以下的業(yè)務(wù)支持層和更低層功能（如：系統(tǒng)和網(wǎng)絡(luò)監(jiān)控）的訪問，均以Web Service方式為基礎(chǔ)，在Web Service確實(shí)無法滿足要求的時(shí)候（如：傳輸效率和處理性能的要求），才可以考慮以其他透明、公開的協(xié)議和方式訪問更基礎(chǔ)的功能。

2.6 訪問層

提供給遼寧省環(huán)境保護(hù)廳用戶的用戶訪問界面，包括：應(yīng)用門戶、移動(dòng)終端和智能手機(jī)。可通過統(tǒng)一身份認(rèn)證，將各個(gè)應(yīng)用系統(tǒng)進(jìn)行集成，不需反復(fù)登錄即可訪問全部分配的系統(tǒng)功能。

2.7 信息資源標(biāo)準(zhǔn)體系

信息資源標(biāo)準(zhǔn)體系主要包括環(huán)境信息分類和編碼、環(huán)境信息傳輸與交換、數(shù)據(jù)質(zhì)量控制等技術(shù)規(guī)范以及數(shù)據(jù)資源共享、應(yīng)用服務(wù)、運(yùn)行維護(hù)、數(shù)據(jù)更新等管理辦法的制定與執(zhí)行。

2.8 運(yùn)維管理體系

環(huán)境信息數(shù)據(jù)中心項(xiàng)目建設(shè)完成后的對(duì)系統(tǒng)的運(yùn)行維護(hù)保障策略、人力資源與管理制度等。

2.9 安全管理體系

環(huán)境信息數(shù)據(jù)中心項(xiàng)目中建設(shè)的信息安全系統(tǒng)主要包括保證系統(tǒng)的安全策略、安全設(shè)備產(chǎn)品、人力資源與安全管理制度等。

3 環(huán)境數(shù)據(jù)中心建設(shè)

3.1 環(huán)境信息數(shù)據(jù)中心

按照業(yè)務(wù)邏輯和系統(tǒng)功能進(jìn)行層次劃分為數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)整合層、數(shù)據(jù)主題層、數(shù)據(jù)分析層（圖2）。

3.1.1 數(shù)據(jù)源層

數(shù)據(jù)源層主要指現(xiàn)有和將要建設(shè)的各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源信息，主要包括污染源自動(dòng)監(jiān)控?cái)?shù)據(jù)源、環(huán)境統(tǒng)計(jì)數(shù)據(jù)源、排污申報(bào)收費(fèi)數(shù)據(jù)源、建設(shè)項(xiàng)目管理數(shù)據(jù)源、總量減排數(shù)據(jù)源、污染源普查數(shù)據(jù)源、水環(huán)境質(zhì)量數(shù)據(jù)源、空氣質(zhì)量數(shù)據(jù)源、噪聲環(huán)境質(zhì)量數(shù)據(jù)源、輻射環(huán)境質(zhì)量數(shù)據(jù)源、水專項(xiàng)數(shù)據(jù)源和非結(jié)構(gòu)化數(shù)據(jù)。

3.1.2 數(shù)據(jù)采集層endprint

數(shù)據(jù)采集層主要包括結(jié)構(gòu)化數(shù)據(jù)采集和非結(jié)構(gòu)化數(shù)據(jù)采集模塊，及臨時(shí)數(shù)據(jù)交換區(qū)。

3.1.3 整合層

整合層由生產(chǎn)數(shù)據(jù)存儲(chǔ)區(qū)、空間數(shù)據(jù)存儲(chǔ)區(qū)和元數(shù)據(jù)存儲(chǔ)區(qū)組成。

3.1.4 主題層

主題層按照主題進(jìn)行數(shù)據(jù)劃分，主要包括數(shù)字環(huán)保主題域和水專項(xiàng)主題域。其中數(shù)字環(huán)保主題域劃分為環(huán)境質(zhì)量子主題域、污染源子主題域和總量控制子主題域，水專項(xiàng)主題域劃分為環(huán)境應(yīng)急子主題域、M2M子主題域和水環(huán)境子主題域。

3.1.5 分析層

分析層包含環(huán)境質(zhì)量分析、污染源分析、多維耦合分析和水專項(xiàng)專題分析4大主題和公共維度。

3.2 數(shù)據(jù)庫分析

建立綜合分析管理模塊，從業(yè)務(wù)角度劃分，構(gòu)建了針對(duì)污染源建立的分析模型、針對(duì)環(huán)境質(zhì)量建立的分析模型、針對(duì)污染源與環(huán)境質(zhì)量關(guān)系建立的分析模型、針對(duì)水專項(xiàng)建立的分析模型。

通過建立分析模型，按照數(shù)據(jù)倉庫和挖掘技術(shù)進(jìn)行建模，按照層次進(jìn)行數(shù)據(jù)整合、沉淀和匯總。將數(shù)據(jù)從源業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫同步到采集層數(shù)據(jù)交換區(qū)中，此時(shí)的數(shù)據(jù)結(jié)構(gòu)與源業(yè)務(wù)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)一致，首次存儲(chǔ)全業(yè)務(wù)數(shù)據(jù)，之后，每個(gè)周期只存儲(chǔ)周期數(shù)據(jù)。

ETL系統(tǒng)通過數(shù)據(jù)清洗與質(zhì)量審核管理設(shè)定的清洗、轉(zhuǎn)換規(guī)則和審核流程，將數(shù)據(jù)交換區(qū)中的增量數(shù)據(jù)ETL到整合層生產(chǎn)數(shù)據(jù)存儲(chǔ)區(qū)進(jìn)行存儲(chǔ)，生產(chǎn)數(shù)據(jù)存儲(chǔ)區(qū)中的數(shù)據(jù)按照業(yè)務(wù)主體進(jìn)行劃分。數(shù)據(jù)進(jìn)入整合層后，數(shù)據(jù)已經(jīng)完成清洗和轉(zhuǎn)換，可通過數(shù)據(jù)共享服務(wù)，為外界提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)進(jìn)入整合層后，完成了數(shù)據(jù)清洗和轉(zhuǎn)換，通過ETL系統(tǒng)將數(shù)據(jù)進(jìn)行加工，按照分析主題，將數(shù)據(jù)存儲(chǔ)到主題層中，其中主題層中主題數(shù)據(jù)區(qū)用于存放按分析主題進(jìn)行劃分和加工的分析數(shù)據(jù)，代碼數(shù)據(jù)區(qū)用于存放關(guān)聯(lián)的代碼，此部分內(nèi)容將在分析層中轉(zhuǎn)化為分析維度進(jìn)行存儲(chǔ)和使用。

數(shù)據(jù)進(jìn)入主題層后，此刻的數(shù)據(jù)已經(jīng)是按照分析主題進(jìn)行存儲(chǔ)，為分析層數(shù)據(jù)加工和鉆取做準(zhǔn)備，根據(jù)系統(tǒng)建設(shè)要求，按照時(shí)間和空間進(jìn)行粒度劃分。根據(jù)各個(gè)部門對(duì)分析的需求，按照各個(gè)部門的要求劃分不同的集市，這些集市存儲(chǔ)在分析層中，為不同的部門提供不同的分析和鉆取數(shù)據(jù)，在此層中，參照數(shù)據(jù)倉庫設(shè)計(jì)理論，按照維度建模理論，進(jìn)行維度建模，通過不同維度進(jìn)行鉆取。

3.3 數(shù)據(jù)挖掘

通過構(gòu)建復(fù)雜的分析模型，通過抽取、加工、轉(zhuǎn)化、清洗、展現(xiàn)等數(shù)據(jù)挖掘工具對(duì)環(huán)境數(shù)據(jù)進(jìn)行挖掘。在該系統(tǒng)中數(shù)據(jù)挖掘與數(shù)據(jù)倉庫技術(shù)進(jìn)行有效的結(jié)合，簡(jiǎn)化了數(shù)據(jù)挖掘的步驟，并且獲取到最全面的數(shù)據(jù)信息。數(shù)據(jù)挖掘工具提供數(shù)據(jù)分析、數(shù)據(jù)操縱和報(bào)表展現(xiàn)的能力，它具有可擴(kuò)展性、互操作性、易管理性和可用性，增強(qiáng)數(shù)據(jù)中心的信息智能管理，為輔助決策提供數(shù)據(jù)支持。

4 遼寧省環(huán)境數(shù)據(jù)中心現(xiàn)狀與展望

4.1 現(xiàn)狀

目前遼寧省環(huán)境數(shù)據(jù)中心，采用了虛擬化、數(shù)據(jù)倉庫、ETL、BI等先進(jìn)的技術(shù)，實(shí)現(xiàn)了多部門多樣化數(shù)據(jù)集中和共享，整合環(huán)保廳20多個(gè)業(yè)務(wù)部門的30多項(xiàng)業(yè)務(wù)，涵蓋了遼寧省14個(gè)地市79個(gè)AQI空氣監(jiān)測(cè)站、108個(gè)水質(zhì)手工監(jiān)測(cè)斷面、24個(gè)水質(zhì)自動(dòng)監(jiān)測(cè)站、76個(gè)機(jī)動(dòng)車檢測(cè)場(chǎng)和7個(gè)核輻射監(jiān)測(cè)站近100項(xiàng)監(jiān)測(cè)指標(biāo)和監(jiān)測(cè)信息；收納了8萬家左右污染源普查企業(yè)，6339家工業(yè)污染源，包含國(guó)控污染源495家；收納了全省103個(gè)自然保護(hù)區(qū)信息、21個(gè)生態(tài)市縣及205個(gè)生態(tài)鄉(xiāng)鎮(zhèn)建設(shè)信息，實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)更新和發(fā)布。

遼寧省環(huán)境數(shù)據(jù)中心共建設(shè)1500余張數(shù)據(jù)表，24個(gè)分業(yè)務(wù)模型，近300個(gè)ETL作業(yè)，每小時(shí)數(shù)據(jù)流入量超20萬，外部業(yè)務(wù)系統(tǒng)訪問10個(gè)，數(shù)據(jù)視圖和WEBSERVICE數(shù)據(jù)共享接口共400多個(gè)。初步形成了囊括省級(jí)環(huán)保部門全業(yè)務(wù)的智能化數(shù)據(jù)中心，建設(shè)了污染源、環(huán)境質(zhì)量和環(huán)境管理三大業(yè)務(wù)主題。

4.2 展望

本文主要針對(duì)遼寧省環(huán)境數(shù)據(jù)中心建設(shè)進(jìn)行分析，目前環(huán)境數(shù)據(jù)中心已經(jīng)實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行集成，但缺乏有效的整合，需要數(shù)據(jù)中心進(jìn)一步建設(shè)，主要建設(shè)內(nèi)容如下。

（1）對(duì)環(huán)境數(shù)據(jù)中心基本信息進(jìn)行整合。數(shù)據(jù)中心現(xiàn)有的環(huán)境基本信息數(shù)據(jù)因?yàn)閿?shù)據(jù)源的不同存在很大差別，不滿足數(shù)據(jù)統(tǒng)一要求。在對(duì)業(yè)務(wù)提供數(shù)據(jù)支持時(shí)，存在很多問題，需要?jiǎng)?chuàng)建標(biāo)準(zhǔn)庫，對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行有效整合，通過統(tǒng)一的數(shù)據(jù)接口，為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。

（2）針對(duì)大數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)展。隨著環(huán)保信息化的發(fā)展，越來越多的環(huán)境數(shù)據(jù)需要采集，其中包含了大量的非結(jié)構(gòu)化數(shù)據(jù)，包括文檔、音頻、視頻信息，并且要求省環(huán)境數(shù)據(jù)中心同環(huán)保部以及地市環(huán)境數(shù)據(jù)進(jìn)行共享與交換，對(duì)于數(shù)據(jù)實(shí)時(shí)性提出更高要求，需要環(huán)境數(shù)據(jù)中心在現(xiàn)有的數(shù)據(jù)倉庫基礎(chǔ)上針對(duì)大數(shù)據(jù)提供擴(kuò)展。

（3）對(duì)數(shù)據(jù)深入挖掘，提供輔助決策。數(shù)據(jù)挖掘是數(shù)據(jù)中心的核心功能，也是數(shù)據(jù)中心體現(xiàn)數(shù)據(jù)價(jià)值的關(guān)鍵，在業(yè)務(wù)需求的推動(dòng)下，環(huán)境數(shù)據(jù)中心要對(duì)環(huán)境數(shù)據(jù)深入挖掘，為遼寧省環(huán)境信息化、數(shù)字化、智能化和立體化管理提供有效支持，為污染減排、污染防治和生態(tài)治理提供有效的數(shù)據(jù)支撐。

參考文獻(xiàn)：

[1] 李 順，徐富春，王利強(qiáng)，等.國(guó)家環(huán)境數(shù)據(jù)共享與服務(wù)體系研究[J].中國(guó)環(huán)境管理，2011（2）.

[2] 王杰芳.給予環(huán)境信息基礎(chǔ)數(shù)據(jù)庫的綜合業(yè)務(wù)系統(tǒng)平臺(tái)[J].環(huán)境科學(xué)與技術(shù)，2006（12）.

[3] 錢 虹.關(guān)于建立環(huán)境數(shù)據(jù)中心的思考[J].江蘇環(huán)境科技，2003（2）.

[4] 劉小茜.月計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及調(diào)度機(jī)制研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2011.

Discussion of Establishing Environmental Data Center in Liaoning Province

Wang Shihai

（Liaoning Environmental Monitoring and Control Center， Shenyang 110161， China

）

Abstract： This article analyzes the present environment information of Liaoning Province， and discusses the establishment of environmental data center. Accordingly， the environment database can be stored centrally， and the environmental data can be cleaned up and integrated effectively， so uniform standards for environmental data can be defined. The center integrates with data storage and platforms for exchange， sharing， management and analysis， in order to provide data service for environmental application systems.

Key words： environment data center； data standard； data serviceendprint