崔娟娜

（中國水利水電第十一工程局有限公司，鄭州472000）

1 引言

隨著大數(shù)據(jù)的持續(xù)深挖，多數(shù)企業(yè)都已開始關(guān)注數(shù)據(jù)價值及數(shù)據(jù)管理問題。其中，主數(shù)據(jù)作為當(dāng)下企業(yè)的核心數(shù)據(jù)，其相對應(yīng)的主數(shù)據(jù)管理系統(tǒng)至關(guān)重要。這是因?yàn)?，?jīng)過主數(shù)據(jù)管理平臺梳理后的數(shù)據(jù)，能夠確保企業(yè)核心數(shù)據(jù)的統(tǒng)一性、精準(zhǔn)性與完整性，可進(jìn)一步提高企業(yè)主數(shù)據(jù)的品質(zhì)，從而最終達(dá)成企業(yè)數(shù)據(jù)共享與業(yè)務(wù)協(xié)同操作的目的。

2 企業(yè)信息化建設(shè)項(xiàng)目中遇到的困境

現(xiàn)階段，信息系統(tǒng)的應(yīng)用已融入了企業(yè)的各管理、業(yè)務(wù)模塊。在企業(yè)經(jīng)營生產(chǎn)過程中，各種信息系統(tǒng)持續(xù)產(chǎn)生繁復(fù)多樣的業(yè)務(wù)數(shù)據(jù)，從而導(dǎo)致各項(xiàng)業(yè)務(wù)系統(tǒng)堆積了龐大的數(shù)據(jù)資源，這些數(shù)據(jù)資源對企業(yè)日常業(yè)務(wù)中產(chǎn)生著巨大的價值，但處理起來很復(fù)雜。這在很大程度上限制了企業(yè)信息化建設(shè)的發(fā)展，也限制了海量數(shù)據(jù)資源價值的發(fā)揮。各類分散的管理系統(tǒng)不足體現(xiàn)在以下3個方面：

1）欠缺與其他系統(tǒng)達(dá)成統(tǒng)一共享的標(biāo)準(zhǔn)，不僅造成“信息孤島”現(xiàn)象，還增加了系統(tǒng)集成的困難程度。

2）缺乏整體統(tǒng)一數(shù)據(jù)視圖與規(guī)范，給數(shù)據(jù)的整合與挖掘增加了一定難度，且因數(shù)據(jù)質(zhì)量欠佳，所以依據(jù)這種不夠全面的數(shù)據(jù)分析結(jié)果，會對決策與管控效果產(chǎn)生誤判。

3）欠缺統(tǒng)一的數(shù)據(jù)管控平臺，大量數(shù)據(jù)仍然在分系統(tǒng)當(dāng)中，故而無法實(shí)現(xiàn)對有價值的數(shù)據(jù)實(shí)施集成與共享，無法展現(xiàn)出數(shù)據(jù)資產(chǎn)的實(shí)用價值。

針對上述問題，采用主數(shù)據(jù)管理系統(tǒng)來統(tǒng)一管理各個分散的數(shù)據(jù)系統(tǒng)，是解決這一困境的有效方法之一。

3 主數(shù)據(jù)管理平臺在企業(yè)信息化建設(shè)中設(shè)計理念

3.1 主數(shù)據(jù)管理平臺定位

對于當(dāng)前階段的主數(shù)據(jù)管理平臺來說，主要是依托互聯(lián)網(wǎng)與計算機(jī)這2項(xiàng)技術(shù)，經(jīng)處理后生成并維護(hù)主數(shù)據(jù)，以確保其能夠具有統(tǒng)一的規(guī)范、技術(shù)及方案。在此之后，主數(shù)據(jù)管理平臺會將完整、精準(zhǔn)的主數(shù)據(jù)通過特定的服務(wù)方法，分散到各決策支持系統(tǒng)（通常該系統(tǒng)都需要使用到相關(guān)數(shù)據(jù)）、業(yè)務(wù)系統(tǒng)與業(yè)務(wù)流程等。其中，集成、共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理是4大重點(diǎn)要素[1]。

此外，應(yīng)用主數(shù)據(jù)管理系統(tǒng)作為主數(shù)據(jù)和各業(yè)務(wù)分系統(tǒng)相互間的紐帶，能夠提供給每個分系統(tǒng)對應(yīng)基礎(chǔ)性數(shù)據(jù)存儲與錄入規(guī)范功能，這具體表現(xiàn)為以下2個方面：

1）為滿足操作類業(yè)務(wù)應(yīng)用系統(tǒng)需求而向其傳輸規(guī)范化的核心主數(shù)據(jù)。在該功能中，主數(shù)據(jù)管理系統(tǒng)不僅能夠統(tǒng)一、集中地管控和維護(hù)主數(shù)據(jù)，還能夠通過數(shù)據(jù)接口（或集成工具）來實(shí)現(xiàn)對核心主數(shù)據(jù)的同步處理。通過以上2種措施，既能有效促進(jìn)各分系統(tǒng)實(shí)現(xiàn)對于數(shù)據(jù)共享及協(xié)同，也能為整合并解析數(shù)據(jù)做好充分準(zhǔn)備。

2）保證分析類使用系統(tǒng)所運(yùn)用到的數(shù)據(jù)的品質(zhì)以及分析維度信息的完整性。也就是說，主數(shù)據(jù)管理系統(tǒng)在通過標(biāo)準(zhǔn)化主數(shù)據(jù)與定義維度后，可以更好地服務(wù)于數(shù)據(jù)解析，從而為數(shù)據(jù)解析提供具備統(tǒng)一性的統(tǒng)計解析口徑，以更好地在進(jìn)一步提高數(shù)據(jù)統(tǒng)計精準(zhǔn)性的同時，使整體數(shù)據(jù)應(yīng)用水準(zhǔn)得到提升。

3.2 主數(shù)據(jù)管理系統(tǒng)模塊

就主數(shù)據(jù)管理系統(tǒng)組織架構(gòu)而言，其根本需求必須是管理及應(yīng)用主數(shù)據(jù)。為了實(shí)現(xiàn)這一根本需求，在設(shè)計架構(gòu)時，一定要遵守“拓展性、先進(jìn)性、完整性”這3個原則，在功能上不僅需要有整體數(shù)據(jù)管理與使用的基本管理功能，還需要有可以為數(shù)據(jù)管理帶來強(qiáng)大的外部集成與協(xié)作技能。換言之，主數(shù)據(jù)管理系統(tǒng)必須要保障自身具備先進(jìn)的交換機(jī)制，以更好地實(shí)現(xiàn)對于數(shù)據(jù)的同步。在此前提下，其在對外方面還需能夠保障各項(xiàng)預(yù)置服務(wù)，以確保在外部使用系統(tǒng)需要調(diào)用主數(shù)據(jù)時得到更好的回應(yīng)，從而進(jìn)一步強(qiáng)化主數(shù)據(jù)管理系統(tǒng)的實(shí)時操作性[2]。

3.2.1 主數(shù)據(jù)采集

主數(shù)據(jù)重點(diǎn)來自統(tǒng)建類主數(shù)據(jù)、自建類主數(shù)據(jù)，而部分來源則主要為當(dāng)前系統(tǒng)的實(shí)時性主數(shù)據(jù)?；诖?，通過主數(shù)據(jù)管理系統(tǒng)中的管理模式，不僅能夠?qū)崿F(xiàn)篩選數(shù)據(jù)目標(biāo)，還能以集中模式來確保主數(shù)據(jù)產(chǎn)生與變更都可在主數(shù)據(jù)管理系統(tǒng)中進(jìn)行維護(hù)。其中，經(jīng)過推送與其他系統(tǒng)同步的操作方式有：

1）在統(tǒng)建類主數(shù)據(jù)時，所選擇用來將其更新到主數(shù)據(jù)管理系統(tǒng)的推送方法通常都是“定向單一”。

2）在自建類主數(shù)據(jù)時，除了要保證將其植入主數(shù)據(jù)管理系統(tǒng)必須是一次性操作外，還要將數(shù)據(jù)維護(hù)工作統(tǒng)一實(shí)施于系統(tǒng)中。

3）在當(dāng)前使用系統(tǒng)中分散實(shí)時性主數(shù)據(jù)時，要一次性將其增加至主數(shù)據(jù)管理系統(tǒng)當(dāng)中；與此同時，還要保證展開操縱過程中要一直采用更新與維護(hù)主數(shù)據(jù)管理系統(tǒng)這一模式。

3.2.2 主數(shù)據(jù)管控

主數(shù)據(jù)整體處置程序的內(nèi)容則為審批及訂閱分發(fā)主數(shù)據(jù)：（1）對于主數(shù)據(jù)審批來說，需實(shí)現(xiàn)維護(hù)申請主數(shù)據(jù)以及管控審批程序這2項(xiàng)功能（除了統(tǒng)建主數(shù)據(jù)）。同時，在審批完成后，主數(shù)據(jù)及其統(tǒng)建主數(shù)據(jù)能夠以主數(shù)據(jù)分發(fā)措施為指令，系統(tǒng)地將主數(shù)據(jù)分發(fā)到已訂閱的相關(guān)業(yè)務(wù)系統(tǒng)中。（2）系統(tǒng)在服從數(shù)據(jù)分發(fā)措施指令進(jìn)行管控的同時，還會完成針對多種使用系統(tǒng)或多種數(shù)據(jù)源的分發(fā)，且會儲存分發(fā)結(jié)果。一般來說，重點(diǎn)劃分為以下2種方法：

1）自動分發(fā)。該方法是指在依照分發(fā)措施的前提下，對不同分發(fā)對象與需求實(shí)行配置，并在時間規(guī)定范圍內(nèi)來將已更新完成的主數(shù)據(jù)發(fā)布到已訂閱使用系統(tǒng)中；不僅如此。自動分發(fā)這一方法還能將分發(fā)結(jié)果進(jìn)行共時記錄。

2）人工分發(fā)。該方法需要依靠人工操作，具體來說，即在每層級管理員發(fā)起主數(shù)據(jù)管理系統(tǒng)后，由這些管理員依據(jù)自身權(quán)限來對主數(shù)據(jù)信息進(jìn)行篩選，從而實(shí)施發(fā)送（通常以配置規(guī)則或指定分發(fā)為依據(jù)）；需注意的是，人工分發(fā)也必須保證分發(fā)結(jié)果能夠被及時報告與記載[3]。

3.2.3 基礎(chǔ)管理

主數(shù)據(jù)資深業(yè)務(wù)管理主要內(nèi)容有數(shù)據(jù)標(biāo)準(zhǔn)管理與質(zhì)量管理等。通常情況下，主數(shù)據(jù)資深業(yè)務(wù)管理會在劃分主數(shù)據(jù)標(biāo)準(zhǔn)管理時，將其歸納為主數(shù)據(jù)實(shí)體管理以及參考實(shí)體管理2個部分。具體來說，擬定相關(guān)標(biāo)準(zhǔn)時一般都需要遵循以下5個方面的原則：

1）唯一性。即單獨(dú)的主數(shù)據(jù)編碼在使用系統(tǒng)中，要確保自身是唯一標(biāo)識對象。

2）兼容性。即除了要滿足業(yè)務(wù)需求外，還要以編碼形式來將現(xiàn)有模式進(jìn)行集合，這不僅能夠使新舊編碼在替換時更加方面，還能有效減少新舊編碼替換過程所需消耗的工作量與時間成本。

3）可拓展性。即在擬定編碼標(biāo)準(zhǔn)時，必須以發(fā)展的眼光來將這一標(biāo)準(zhǔn)與未來業(yè)務(wù)發(fā)展的相適應(yīng)性，從而保證科學(xué)的拓展性。

4）穩(wěn)定性。即不僅要避免如業(yè)務(wù)變更、組織結(jié)構(gòu)變更等影響因素導(dǎo)致編碼必須替換，還要將擬定編碼標(biāo)準(zhǔn)穩(wěn)定性作為主要考慮內(nèi)容。

5）可識別性。即在保障編碼穩(wěn)定性這一先決條件的基礎(chǔ)上，要合理為賦予編碼在業(yè)務(wù)方面意義，以更好地使工作人員在應(yīng)用操作時能夠更便利。

3.2.4 查詢功能

查詢功能是日志查詢、綜合查詢、數(shù)據(jù)庫表結(jié)構(gòu)查詢的基礎(chǔ)，且支持查詢多種信息，如：（1）主數(shù)據(jù)管理員通過主數(shù)據(jù)同步日志，能查詢主數(shù)據(jù)與其他業(yè)務(wù)系統(tǒng)的同步數(shù)據(jù)；（2）經(jīng)過主數(shù)據(jù)分發(fā)日志，完成主數(shù)據(jù)分發(fā)日志查詢與導(dǎo)出，而在主數(shù)據(jù)分發(fā)不成功時，系統(tǒng)則會提示分發(fā)出現(xiàn)異常，并依據(jù)具體狀況針對分發(fā)異常的主數(shù)據(jù)進(jìn)行再次發(fā)送，且同時能使用逐條分發(fā)與全部分發(fā)等功能。

4 主數(shù)據(jù)管理系統(tǒng)的技術(shù)架構(gòu)

4.1 引導(dǎo)（Boot strap）+響應(yīng)式后臺管理（Metronic）技術(shù)構(gòu)架

Bootstrap為前端框架，其以超文本標(biāo)記語言（HTML）、級聯(lián)樣式表（CSS）、腳本編寫語言（JavaScript）為基礎(chǔ)，簡便靈動，且支持布局、全局CSS樣式與某些常見插件功能，風(fēng)格一致，極易定制，適合在多種風(fēng)格互聯(lián)網(wǎng)（Web）研發(fā)。另外，Bootstrap還將Metronic作為模板框架，支持扁平化組件樣式和多套界面模板且集中了數(shù)個界面組件，結(jié)果與風(fēng)格一致。此外，Bootstrap還填補(bǔ)了管理系統(tǒng)界面的不足以及樹插件（JQuery）與Bootstrap自身插件風(fēng)格不一致的缺陷。

4.2 分布式緩存（Kafka）技術(shù)構(gòu)架

Kafka為分布式，拓展性強(qiáng)、處置速度快、可持久化，歸結(jié)為分布式發(fā)布與訂閱的消息系統(tǒng)，具備水平拓展與高吞吐量的特點(diǎn)，已被普及應(yīng)用。其優(yōu)點(diǎn)可體現(xiàn)在如下4方面：

1）解耦合。每個微服務(wù)經(jīng)過Kafka的統(tǒng)一接口實(shí)施數(shù)據(jù)替換，減少了系統(tǒng)模塊相互間的耦合性。

2）廣闊拓展性。不僅能夠隨意給Kafka增設(shè)推送消息量，還能夠經(jīng)過水平拓展Kafka的消息轉(zhuǎn)發(fā)器（Broker）節(jié)點(diǎn)來完成消息量負(fù)載平衡。

3）加強(qiáng)緩沖能力。針對微服務(wù)相互間訪問量的加劇，Kafka消息隊列能夠高效緩沖系統(tǒng)的巨大流量壓力。

4）健壯性強(qiáng)。Kafka在局部失去功能狀況下，不會給整體系統(tǒng)帶來影響。此外，可借助消息的及時同步機(jī)制，來完成每個系統(tǒng)相互間的數(shù)據(jù)同步，具有較強(qiáng)的有效性。

5 結(jié)語

主數(shù)據(jù)管理系統(tǒng)為企業(yè)信息化建設(shè)的基本工作內(nèi)容，可經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化推動信息系統(tǒng)的高效集成與業(yè)務(wù)集成，同時由企業(yè)級數(shù)據(jù)資產(chǎn)規(guī)范化管理，來有效推動信息系統(tǒng)的高效管理與業(yè)務(wù)管理，以進(jìn)一步提高主數(shù)據(jù)的一致性、可使用性與安全性，可整體提高信息化建設(shè)的效果，從而有效創(chuàng)建完備的數(shù)據(jù)管理平臺來確保信息化建設(shè)達(dá)到良好效果，最終為達(dá)成信息化戰(zhàn)略目標(biāo)提供強(qiáng)大的動力。