国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

遼寧省交通行業(yè)數(shù)據(jù)管控平臺(tái)設(shè)計(jì)與開發(fā)的研究

2017-03-06 20:28王菁劉春來(lái)
計(jì)算機(jī)時(shí)代 2017年2期
關(guān)鍵詞:元數(shù)據(jù)數(shù)據(jù)質(zhì)量

王菁++劉春來(lái)

摘 要: 完善數(shù)據(jù)管控在交通行業(yè)的應(yīng)用是遼寧省交通信息化建設(shè)面對(duì)的一個(gè)大問(wèn)題。以遼寧省交通行業(yè)為研究背景,結(jié)合相關(guān)數(shù)據(jù)規(guī)范,建立了省交通行業(yè)數(shù)據(jù)資源管控平臺(tái)。根據(jù)實(shí)際應(yīng)用的要求,將該平臺(tái)劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理和系統(tǒng)管理四部分,研討了各部分的功能。結(jié)合遼寧省交通行業(yè)實(shí)際,解決數(shù)據(jù)管理與控制的問(wèn)題,從而整體提升數(shù)據(jù)管理水平,促進(jìn)信息化健康發(fā)展。

關(guān)鍵詞: 數(shù)據(jù)管控; 交通行業(yè); 元數(shù)據(jù); 數(shù)據(jù)質(zhì)量

中圖分類號(hào):TP315 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1006-8228(2017)02-20-04

0 引言

遼寧省初步實(shí)現(xiàn)公路管理、水路運(yùn)輸、道路運(yùn)輸?shù)刃袠I(yè)信息資源的應(yīng)用。但由于信息化應(yīng)用中很多業(yè)務(wù)系統(tǒng)在建設(shè)之初沒(méi)有遵循數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行設(shè)計(jì),以及承建廠商技術(shù)實(shí)力、管理能力差異等,使得現(xiàn)階段的行業(yè)數(shù)據(jù)資源存在著較多質(zhì)量問(wèn)題,行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化的深入應(yīng)用面臨困境。因此,加強(qiáng)行業(yè)數(shù)據(jù)管控,提升行業(yè)信息資源數(shù)據(jù)管理,成為現(xiàn)階段亟待解決的問(wèn)題。本文基于交通運(yùn)輸部交通信息數(shù)據(jù)標(biāo)準(zhǔn),以遼寧交通行業(yè)實(shí)際情況,制訂了遼寧省地方交通行業(yè)數(shù)據(jù)規(guī)范與制度;建立統(tǒng)一數(shù)據(jù)資源管控平臺(tái),實(shí)現(xiàn)行業(yè)數(shù)據(jù)資源的管理、控制與共享。

1 需求分析

本項(xiàng)目為了順利完成遼寧省交通行業(yè)數(shù)據(jù)質(zhì)量管控平臺(tái)開發(fā)任務(wù),通過(guò)前期詳細(xì)的需求調(diào)研,對(duì)現(xiàn)有和在建的全省各業(yè)務(wù)系統(tǒng)做了全面的摸底調(diào)查,了解各系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)采集、數(shù)據(jù)應(yīng)用方式等,在此基礎(chǔ)上,對(duì)分散在交通行業(yè)各部門的數(shù)據(jù)資源進(jìn)行梳理,并按照統(tǒng)一的規(guī)范進(jìn)行分級(jí)分類和標(biāo)準(zhǔn)化,形成符合應(yīng)用需要的交通行業(yè)數(shù)據(jù)資源管控的實(shí)際功能需求,具體如下。

⑴ 利用交通部交通信息數(shù)據(jù)元標(biāo)準(zhǔn)及我省相關(guān)地方規(guī)范等,實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)元數(shù)據(jù)檢測(cè)、版本管理,作為數(shù)據(jù)質(zhì)量管控的主要依據(jù)。

⑵ 結(jié)合行業(yè)數(shù)據(jù)資源現(xiàn)狀和管理分級(jí)分類的要求,建立省數(shù)據(jù)資源目錄體系,快速精確查詢各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)結(jié)構(gòu)及其字段的定義內(nèi)容,為省數(shù)據(jù)資源體系奠定基礎(chǔ)。

⑶ 以交通部相關(guān)標(biāo)準(zhǔn)及地方規(guī)范等,進(jìn)行數(shù)據(jù)質(zhì)量治理,對(duì)現(xiàn)有已接入我省各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源質(zhì)量狀況進(jìn)行剖析和評(píng)估,形成數(shù)據(jù)質(zhì)量報(bào)告。

⑷ 依托于數(shù)據(jù)管控平臺(tái),實(shí)現(xiàn)對(duì)于我省現(xiàn)有數(shù)據(jù)資源進(jìn)行監(jiān)控分析。

2 系統(tǒng)設(shè)計(jì)

為實(shí)現(xiàn)對(duì)行業(yè)數(shù)據(jù)資源相應(yīng)的管理手段,形成完整的交通行業(yè)數(shù)據(jù)管控體系。數(shù)據(jù)管控平臺(tái)設(shè)計(jì)縱向分為獲取層、資源層、功能層、應(yīng)用層,平臺(tái)系統(tǒng)功能架構(gòu)如圖1所示。

⑴ 獲取層

獲取層位于整個(gè)體系架構(gòu)的最底層,元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲取;技術(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及我省各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整個(gè)生命周期,要求以自動(dòng)方式獲取,如數(shù)據(jù)字典和數(shù)據(jù)模型等。

⑵ 資源層

資源層定義了元數(shù)據(jù)存儲(chǔ)所遵循的元模型,規(guī)范從獲取層得到的各類元數(shù)據(jù)的屬性要求和存儲(chǔ)格式要求,包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。

⑶ 功能層

功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐,包括元數(shù)據(jù)管理維護(hù)、元數(shù)據(jù)權(quán)限管理、元數(shù)據(jù)分析應(yīng)用、剖析與驗(yàn)證規(guī)則管理、質(zhì)量評(píng)估模型管理、質(zhì)量報(bào)告生成管控日志管理等。

⑷ 應(yīng)用層

在功能層的支持下,應(yīng)用層通過(guò)調(diào)用功能層的功能,對(duì)質(zhì)量管控的實(shí)際問(wèn)題提供應(yīng)用解決方案,包括元數(shù)據(jù)人工登記、元數(shù)據(jù)服務(wù)、數(shù)據(jù)源管理、剖析與驗(yàn)證過(guò)程監(jiān)控、質(zhì)量報(bào)告生成發(fā)布、系統(tǒng)管控告警等。

為達(dá)到省交通廳現(xiàn)階段數(shù)據(jù)管控的要求,系統(tǒng)實(shí)現(xiàn)的功能需求,分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理和系統(tǒng)管理等大部分。

3 系統(tǒng)環(huán)境

3.1 系統(tǒng)開發(fā)環(huán)境

該平臺(tái)將采用基于J2EE的體系在ORACLE數(shù)據(jù)庫(kù)上進(jìn)行開發(fā),運(yùn)用BS架構(gòu)的前段展示界面加CS架構(gòu)的后臺(tái)任務(wù)支撐相結(jié)合的方式。后臺(tái)管控平臺(tái)將使用數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn),所有管控平臺(tái)業(yè)務(wù)層面所涉及到的數(shù)據(jù)分析都將基于數(shù)據(jù)交換臺(tái)進(jìn)行開發(fā)。而管控平臺(tái)本身則負(fù)責(zé)對(duì)所有任務(wù)的管理。并且負(fù)責(zé)展示所有數(shù)據(jù)分析的結(jié)果。

3.2 關(guān)鍵技術(shù)

⑴ TOGAF規(guī)劃方法論體系

本項(xiàng)目采用Togaf對(duì)管控平臺(tái)進(jìn)行規(guī)劃。開放組架構(gòu)框架(The Open Group Architecture Framework,TOGAF)是一套通用框架,通過(guò)詳細(xì)的方法論和一系列工具,定義架構(gòu)的內(nèi)容具體以架構(gòu)內(nèi)容框架為參考。

⑵ 大數(shù)據(jù)處理技術(shù)

本平臺(tái)中數(shù)據(jù)交換采用分布式計(jì)算技術(shù)和彈性計(jì)算來(lái)支撐對(duì)海量數(shù)據(jù)的多節(jié)點(diǎn)并行高效抽取、轉(zhuǎn)換與裝載。通過(guò)對(duì)分布式計(jì)算技術(shù)的應(yīng)用,使平臺(tái)中的主交換服務(wù)器與交換節(jié)點(diǎn)服務(wù)器之間形成了分布式架構(gòu)體系,隨著海量數(shù)據(jù)處理需求的變化,可以任意擴(kuò)展或收縮交換節(jié)點(diǎn)服務(wù)器,從而實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的并行處理,使得平臺(tái)對(duì)數(shù)據(jù)吞吐量不再受到物理設(shè)備帶寬的制約。

4 系統(tǒng)詳細(xì)設(shè)計(jì)及實(shí)現(xiàn)

交通行業(yè)數(shù)據(jù)資源管控平臺(tái)橫向劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理、系統(tǒng)管理以及組織權(quán)限以滿足管控平臺(tái)的建設(shè)要求。

4.1 元數(shù)據(jù)管理

通過(guò)數(shù)據(jù)源的管理,數(shù)據(jù)資源管控平臺(tái)可以獲取到不同數(shù)據(jù)源的元數(shù)據(jù)定義。通過(guò)確定設(shè)置數(shù)據(jù)源版本作為標(biāo)準(zhǔn)版本,再通過(guò)數(shù)據(jù)資源目管理來(lái)管理標(biāo)準(zhǔn)版本的元數(shù)據(jù)信息,從而建立一套標(biāo)準(zhǔn)的元數(shù)據(jù)。通過(guò)該標(biāo)準(zhǔn)元數(shù)據(jù)來(lái)審核,管理數(shù)據(jù)庫(kù)的任何變動(dòng),一旦校驗(yàn)時(shí)發(fā)現(xiàn)異常,管理人員可輕易地查看所有數(shù)據(jù)庫(kù)的庫(kù)表設(shè)計(jì)、定義與變化情況。

⑴ 數(shù)據(jù)源管理

數(shù)據(jù)源管理是整個(gè)管控平臺(tái)的基礎(chǔ)模塊。通過(guò)該功能可以幫助建立從數(shù)據(jù)資源管控平臺(tái)到各個(gè)不同數(shù)據(jù)庫(kù)的連接。從而幫助管控平臺(tái)的各種數(shù)據(jù)分析任務(wù)從不同的數(shù)據(jù)源獲取數(shù)據(jù),從而得出分析結(jié)果。通過(guò)數(shù)據(jù)源管理的新增功能,只需要輸入相應(yīng)的數(shù)據(jù)庫(kù)配置參數(shù),即可實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的連接。同時(shí),提供多種類型的連接方式,提供不同類型的連接用戶類型及測(cè)試功能進(jìn)行連接測(cè)試等功能。

⑵ 數(shù)據(jù)資源目錄

我省各業(yè)務(wù)系統(tǒng)多,數(shù)據(jù)庫(kù)眾多。管理人員由于缺乏有效的手段,很難去真正了解各個(gè)數(shù)據(jù)庫(kù)的設(shè)計(jì)情況。通過(guò)對(duì)數(shù)據(jù)資源體系進(jìn)行標(biāo)準(zhǔn)分類,就可方便查詢各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)資源情況,即數(shù)據(jù)庫(kù)表及其字段數(shù)的定義內(nèi)容,針對(duì)這些內(nèi)容提供精確查詢。

⑶ 標(biāo)準(zhǔn)規(guī)范管理

標(biāo)準(zhǔn)規(guī)范管理能夠方便的將紙質(zhì)化的各種標(biāo)準(zhǔn)規(guī)范維護(hù)到管控平臺(tái)里面,現(xiàn)有標(biāo)準(zhǔn)規(guī)范內(nèi)容基本上涵蓋到所有的交通業(yè)務(wù)信息。

⑷ 標(biāo)準(zhǔn)符合性審查

標(biāo)準(zhǔn)規(guī)范納入到平臺(tái)管理之后,通過(guò)指定對(duì)標(biāo)的表及與之比對(duì)的特定的規(guī)范,來(lái)進(jìn)行校驗(yàn),支持類型校驗(yàn)和長(zhǎng)度校驗(yàn),并提供權(quán)重來(lái)劃分不同校驗(yàn)類型所占據(jù)的比重,平臺(tái)最終需要出具校驗(yàn)報(bào)告,并明確數(shù)據(jù)表中字段的類型校驗(yàn)是否匹配,以及整體校驗(yàn)的通過(guò)率、是否合格等信息。

⑸ 標(biāo)準(zhǔn)值域管理

標(biāo)準(zhǔn)值域管理主要是對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元值域代碼集進(jìn)行管理。數(shù)據(jù)元中值域所引用到的值域代碼,以及數(shù)據(jù)質(zhì)量剖析中進(jìn)行的表字段值域剖析所引用的值域代碼都將進(jìn)行增、刪、改、查等功能,得以實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理中數(shù)據(jù)值域剖析。

4.2 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是平臺(tái)的核心功能之一,通過(guò)數(shù)據(jù)質(zhì)量管理,可在很大程度上幫助管理人員掌握數(shù)據(jù)質(zhì)量情況,獲取質(zhì)量報(bào)告。

⑴ 數(shù)據(jù)剖析管理

數(shù)據(jù)剖析管理包括剖析規(guī)則管理和剖析任務(wù)執(zhí)行。平臺(tái)將針對(duì)交通業(yè)務(wù),分別形成一套行業(yè)通用類剖析規(guī)則,并提供數(shù)據(jù)質(zhì)量剖析規(guī)則定義與維護(hù)功能,用于定義和維護(hù)個(gè)性類剖析規(guī)則,滿足不同的數(shù)據(jù)質(zhì)量管控要求。數(shù)據(jù)內(nèi)容技術(shù)剖析與驗(yàn)證可以對(duì)任意一個(gè)數(shù)據(jù)源的任意一個(gè)表的任意字段進(jìn)行數(shù)據(jù)剖析,并提供剖析數(shù)據(jù)總量、通過(guò)率等信息。

⑵ 數(shù)據(jù)質(zhì)量評(píng)估管理

數(shù)據(jù)質(zhì)量管理能夠?qū)崿F(xiàn)最終建立數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告。系統(tǒng)提供高度可配置化的功能,自由選擇組裝剖析實(shí)例,可以建立一個(gè)質(zhì)量評(píng)估模型,并選擇若干剖析實(shí)例作為質(zhì)量模型的基礎(chǔ)構(gòu)成。結(jié)合每個(gè)剖析實(shí)例的合格率,可自由地對(duì)每個(gè)剖析實(shí)例設(shè)置權(quán)重。從而得出數(shù)據(jù)質(zhì)量評(píng)估模型的最終分?jǐn)?shù)??梢酝ㄟ^(guò)系統(tǒng)提供的閥值設(shè)置,判斷一個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型的結(jié)果是否達(dá)到閥值,即是否合格,從而更好的掌控?cái)?shù)據(jù)的質(zhì)量。

⑶ 自定義剖析功能

數(shù)據(jù)剖析管理模塊中包含了數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析,由于實(shí)際業(yè)務(wù)剖析需求種類繁多,數(shù)據(jù)剖析規(guī)則無(wú)法滿足所有場(chǎng)景的實(shí)際業(yè)務(wù)剖析需求。而自定義剖析功能根據(jù)實(shí)際業(yè)務(wù)剖析需求,自定義編寫SQL執(zhí)行業(yè)務(wù)剖析來(lái)實(shí)現(xiàn)應(yīng)對(duì)不同場(chǎng)景的剖析需求,達(dá)到對(duì)數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析與驗(yàn)證的功能。

4.3 數(shù)據(jù)庫(kù)管理

數(shù)據(jù)庫(kù)管理主要是涵蓋數(shù)據(jù)庫(kù)用戶操作日志及表空間查詢與預(yù)警等功能。

4.4 系統(tǒng)管理

數(shù)據(jù)管控平臺(tái)需要運(yùn)行大量流程任務(wù),包括元數(shù)據(jù)自動(dòng)捕獲、元數(shù)據(jù)審查、數(shù)據(jù)剖析流程、數(shù)據(jù)質(zhì)量評(píng)估流程,需要有效的任務(wù)監(jiān)控,才能有效地監(jiān)督任務(wù)運(yùn)行情況,及時(shí)發(fā)現(xiàn)異常任務(wù)。

5 結(jié)束語(yǔ)

我們?cè)跀?shù)據(jù)標(biāo)準(zhǔn)化基礎(chǔ)上開發(fā)數(shù)據(jù)管控平臺(tái),可以實(shí)現(xiàn)數(shù)據(jù)元管理、信息資源目錄管理,數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)庫(kù)管理等功能,真正實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、動(dòng)態(tài)化管理。該數(shù)據(jù)管控平臺(tái)實(shí)施和運(yùn)行已有12個(gè)月,系統(tǒng)運(yùn)行平穩(wěn),管控效果穩(wěn)定,達(dá)到了預(yù)期的效果。

下一步將繼續(xù)通過(guò)應(yīng)用檢驗(yàn)規(guī)范,使數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范更加實(shí)用、適用,對(duì)交通行業(yè)數(shù)據(jù)管控平臺(tái)優(yōu)化設(shè)計(jì)。實(shí)現(xiàn)規(guī)范數(shù)據(jù)資源服務(wù)的一致性,提升我省整體交通數(shù)據(jù)服務(wù)水平。

參考文獻(xiàn)(References):

[1] 鐘南.交通運(yùn)輸行業(yè)數(shù)據(jù)中心建設(shè)體系研究[J].交通標(biāo)準(zhǔn)化,

2014.19:68-74

[2] 王輝,林垚,周紫君.基于元數(shù)據(jù)的交通運(yùn)輸科學(xué)數(shù)據(jù)共享平

臺(tái)設(shè)計(jì)[J].交通與計(jì)算機(jī),2008.26(2):86-89

[3] 王明生,楊艷.基于元數(shù)據(jù)的交通資源基礎(chǔ)信息數(shù)據(jù)管理研

究[J].Railway Transport and Economy,2008.30(11):81-83

[4] 馬曉軍,張春節(jié).云南省交通運(yùn)輸行業(yè)數(shù)據(jù)中心管理平臺(tái)建

設(shè)思路[J].數(shù)字技術(shù)與應(yīng)用,2013.6:153-154

[5] 鄺帆,黃霖.貴州省交通運(yùn)輸數(shù)據(jù)中心與數(shù)據(jù)管控體系研究[J].

計(jì)算機(jī)光盤軟件與應(yīng)用,2014.11:31-32

[6] 王瑾.基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用[J].中國(guó)

交通信息化,2015.3:84-86

猜你喜歡
元數(shù)據(jù)數(shù)據(jù)質(zhì)量
元數(shù)據(jù)與社會(huì)化標(biāo)簽在微視頻搜索中的應(yīng)用
電子商務(wù)平臺(tái)數(shù)據(jù)質(zhì)量控制系統(tǒng)及仿真模型分析
高等院校智慧校園建設(shè)規(guī)劃與實(shí)現(xiàn)
強(qiáng)化統(tǒng)計(jì)執(zhí)法提高數(shù)據(jù)質(zhì)量
淺析統(tǒng)計(jì)數(shù)據(jù)質(zhì)量
金融統(tǒng)計(jì)數(shù)據(jù)質(zhì)量管理的國(guó)際借鑒與中國(guó)實(shí)踐
淺談統(tǒng)計(jì)數(shù)據(jù)質(zhì)量控制
財(cái)會(huì)信息資源元數(shù)據(jù)標(biāo)準(zhǔn)的研究
基于隱語(yǔ)義模型和用戶信任的個(gè)性化推薦模型