關(guān)鍵詞:業(yè)務(wù)驅(qū)動;數(shù)據(jù)治理;數(shù)據(jù)質(zhì)量;信息化管理
中圖法分類號:TP311 文獻(xiàn)標(biāo)識碼:A
1引言
教育部在2018年4月印發(fā)《教育信息化2.0行動計劃》指出,教學(xué)應(yīng)用系統(tǒng)應(yīng)當(dāng)涵蓋全體教師、學(xué)習(xí)應(yīng)用系統(tǒng)應(yīng)當(dāng)涵蓋全體適齡學(xué)生,數(shù)字信息化校園建設(shè)包括提高整個學(xué)校師生數(shù)字信息素養(yǎng),建設(shè)“互聯(lián)網(wǎng)+教育”整體框架,實現(xiàn)教育專用資源相互教育共享資源的轉(zhuǎn)變、提升教師及學(xué)生的數(shù)字信息應(yīng)用能力。同時,近兩年也是大數(shù)據(jù)應(yīng)用發(fā)展的高峰時期,高校大數(shù)據(jù)的發(fā)展離不開信息技術(shù)的高水平發(fā)展。首先因為軟件系統(tǒng)年代有所差異,每個時期所使用的計算機(jī)語言不同,新老系統(tǒng)之間存在不同的接口標(biāo)準(zhǔn),導(dǎo)致業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)存在于異構(gòu)數(shù)據(jù)環(huán)境中。多系統(tǒng)數(shù)據(jù)不流通而形成“數(shù)據(jù)孤島”,導(dǎo)致各個業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)獨立且人員重復(fù)信息交互。基于此,本文針對業(yè)務(wù)驅(qū)動下的高校數(shù)據(jù)治理架構(gòu)建設(shè)與研究,以及新的需求與挑戰(zhàn),探索大數(shù)據(jù)下校園數(shù)據(jù)治理新的模式與架構(gòu)。
2數(shù)據(jù)治理基本理論
2.1數(shù)據(jù)治理基本概念
在數(shù)據(jù)治理的基本含義方面,由于其側(cè)重方向不同,現(xiàn)有的定義是不同的。兩大組織DAMA(國際數(shù)據(jù)管理協(xié)會)和DGI(國際數(shù)據(jù)治理研究所)給出了權(quán)威定義:數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理進(jìn)行控制和治理的合集。
2.2數(shù)據(jù)管理與數(shù)據(jù)治理的關(guān)系
近年來,國內(nèi)外專家學(xué)者提出,應(yīng)當(dāng)由原本的數(shù)據(jù)管理升級為數(shù)據(jù)治理。從原本的數(shù)據(jù)管理轉(zhuǎn)變?yōu)閿?shù)據(jù)治理,將簡單地處理個別數(shù)據(jù),進(jìn)步到處理整體數(shù)據(jù),從整體考慮局部問題,實質(zhì)是一種個體轉(zhuǎn)變。
數(shù)據(jù)管理、數(shù)據(jù)治理是相近且相似的2個詞。從某個角度看,這2個詞僅僅是程度有所差別,但如果將它們剖析來看,2個詞其實是2種層次的表現(xiàn),數(shù)據(jù)治理是數(shù)據(jù)管理高度集中的一種表現(xiàn),是最重要的支柱之一。隨著時間的推移,數(shù)據(jù)量呈現(xiàn)指數(shù)級增長,然而單靠MySQL或者Oracle作為數(shù)據(jù)庫基礎(chǔ),應(yīng)用數(shù)據(jù)庫管理軟件進(jìn)行管理,是煩瑣且復(fù)雜的。同時,非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)同樣的重要意義。因此,合理地使用數(shù)據(jù)與管理數(shù)據(jù)變得尤為重要。
2.3數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)管理核心問題之一。有別于信息質(zhì)量,數(shù)據(jù)質(zhì)量是確保數(shù)據(jù)符合運行、研究、規(guī)劃過程中匹配其用途的結(jié)果,而信息質(zhì)量是屬于信息系統(tǒng)內(nèi)部的數(shù)據(jù)本身質(zhì)量的好壞問題。數(shù)據(jù)質(zhì)量是數(shù)據(jù)質(zhì)量管理的核心要素。數(shù)據(jù)質(zhì)量主要依靠數(shù)據(jù)庫系統(tǒng)去實現(xiàn)對數(shù)據(jù)的把控,但是高校中的業(yè)務(wù)系統(tǒng)往往因為時間、開發(fā)工具、接口等因素,無法實現(xiàn)對數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的統(tǒng)一。
3高校數(shù)據(jù)治理問題分析
3.1信息化隊伍完整性與高校自身屬性
高校信息化的發(fā)展離不開信息化專業(yè)人員的共同努力,然而許多高校對于信息化工作仍然是被動推進(jìn),就連領(lǐng)導(dǎo)小組可能都未成立,即使有領(lǐng)導(dǎo)小組也可能有隊伍不夠健全或者沒有年輕骨干成員的加入的情況,這使得數(shù)據(jù)治理的推進(jìn)異常困難[3]。每個學(xué)校之間因為屬性差異所帶來的管理方式、經(jīng)費分配、專業(yè)方向、自身屬性等都是影響信息化工作的重要因素,需要探索一條符合自身發(fā)展的信息化道路,以保證信息技術(shù)團(tuán)隊的完整性,進(jìn)而穩(wěn)步推進(jìn)高校數(shù)據(jù)治理工作。
3.2數(shù)據(jù)源重復(fù)性
數(shù)據(jù)在整個信息化內(nèi)部處于重要地位,但以目前高校存在的通病來說,教務(wù)系統(tǒng)與學(xué)工系統(tǒng)同樣具備學(xué)生基礎(chǔ)數(shù)據(jù),如需要學(xué)生數(shù)據(jù)時,我們通過數(shù)據(jù)交換進(jìn)入需要的系統(tǒng),使得源頭與目的都很混亂,導(dǎo)致后續(xù)維護(hù)數(shù)據(jù)時也帶來數(shù)據(jù)查找的難度。在高校后期發(fā)展中,由于當(dāng)時只為了解決問題,而不考慮后期的維護(hù)工作,因此,帶來了嚴(yán)重的后果。
3.3數(shù)據(jù)標(biāo)準(zhǔn)類型
數(shù)據(jù)字段是數(shù)據(jù)標(biāo)準(zhǔn)的重要元素。在數(shù)據(jù)同步的過程中,2個數(shù)據(jù)字段中的標(biāo)準(zhǔn)是要明確統(tǒng)一的,因為建立數(shù)據(jù)庫時,每個系統(tǒng)數(shù)據(jù)后臺的數(shù)值是單獨定義的,需要經(jīng)2個系統(tǒng)的管理員逐一進(jìn)行比對,才能實現(xiàn)數(shù)據(jù)交換,每進(jìn)行1次新的數(shù)據(jù)流作業(yè),就需要重復(fù)進(jìn)行如此操作,這對于管理人員的工作量是成倍增加的?;诖?,高校應(yīng)該建立公共代碼庫,構(gòu)建編碼規(guī)則。
3.4系統(tǒng)獨立,數(shù)據(jù)閉塞
由業(yè)務(wù)驅(qū)動數(shù)據(jù)構(gòu)建整個校園信息化,早期的信息化僅僅是為了實現(xiàn)業(yè)務(wù)功能,而不考慮后續(xù)發(fā)展的建設(shè),底層結(jié)構(gòu)復(fù)雜,數(shù)據(jù)在各個系統(tǒng)中存儲的方式多種多樣,業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)流轉(zhuǎn)離不開數(shù)據(jù)交換與數(shù)據(jù)共享,現(xiàn)階段2個系統(tǒng)之間只是建立了簡單的數(shù)據(jù)交換,并沒有達(dá)成數(shù)據(jù)統(tǒng)一共享,而是利用前置機(jī)實現(xiàn)標(biāo)準(zhǔn)接口的多業(yè)務(wù)數(shù)據(jù)流通,進(jìn)而實現(xiàn)共享交換。
3.5數(shù)據(jù)質(zhì)量低、數(shù)據(jù)融合難、數(shù)據(jù)不規(guī)范
許多高校在信息化建設(shè)中遺留了大量問題,主要表現(xiàn)為數(shù)據(jù)質(zhì)量低、數(shù)據(jù)融合難、數(shù)據(jù)不規(guī)范。數(shù)據(jù)質(zhì)量低主要表現(xiàn)為質(zhì)量參差不齊,含有冗余數(shù)據(jù)。數(shù)據(jù)融合難主要表現(xiàn)為不同數(shù)據(jù)之間的傳遞需要通過提前制定好的作業(yè)流程完成,如新的數(shù)據(jù)需要融合,需制定新的作業(yè)流程,定時定點更新數(shù)據(jù)。數(shù)據(jù)不規(guī)范主要表現(xiàn)在不同的字段表格其所屬的內(nèi)部屬性與名稱不同,須按照相應(yīng)的規(guī)定做一些調(diào)整與匹配。
3.6數(shù)據(jù)管理權(quán)限混亂
高校內(nèi)部的業(yè)務(wù)系統(tǒng)是由各個業(yè)務(wù)部門自行管理的,但有一些特殊部門不具備系統(tǒng)管理能力,一般會托管給圖書信息等相關(guān)技術(shù)部門管理,這就造成權(quán)限相對不均衡,當(dāng)需要調(diào)整數(shù)據(jù)、業(yè)務(wù)時,數(shù)據(jù)的權(quán)限就顯得尤為重要。數(shù)據(jù)權(quán)限所監(jiān)管的主要有數(shù)據(jù)修改、備份、傳遞、共享等權(quán)限,權(quán)限所管轄的數(shù)據(jù)安全問題是最主要的問題。
3.7數(shù)據(jù)統(tǒng)計分析能力薄弱
高校內(nèi)部對于數(shù)據(jù)統(tǒng)計僅僅是將數(shù)據(jù)計數(shù)作為最后結(jié)果來呈現(xiàn),并不具備數(shù)據(jù)分析的能力,無法經(jīng)過一些簡單的計算與思考得出一些有意義的結(jié)果。數(shù)據(jù)僅僅成為統(tǒng)計的結(jié)果,并不具備任何意義。
4高校數(shù)據(jù)治理架構(gòu)建設(shè)與案例分析
4.1數(shù)據(jù)治理架構(gòu)建設(shè)
4.1.1 DAMA框架與DGI框架
DAMA框架誕生較早,主要以數(shù)據(jù)管理為重點,依靠數(shù)據(jù)治理協(xié)調(diào)處理數(shù)據(jù)管理的多個功能與多要素之間的問題。早期的多個功能可以解決當(dāng)下許多問題,但隨著時間的推移,功能并不能解決后續(xù)全部問題,而是需要有更多更具體的方式去實現(xiàn)未來數(shù)據(jù)治理的需求。
與DAMA相比,DGI框架是從整體出發(fā)。管理與治理是2種不同的概念,可以理解為管理與治理是并駕齊驅(qū)的2種方式,不存在上級與下級的概念。
4.1.2模型層次(數(shù)據(jù)治理層、數(shù)據(jù)平臺層、數(shù)據(jù)服務(wù)層)
數(shù)據(jù)治理層、數(shù)據(jù)平臺層、數(shù)據(jù)服務(wù)層依次分別為底層、中間層、頂層。數(shù)據(jù)治理層的主要工作是處理結(jié)構(gòu)化數(shù)據(jù)(標(biāo)準(zhǔn)數(shù)據(jù)庫數(shù)據(jù),主要有文字字符等形式)和非結(jié)構(gòu)化數(shù)據(jù)(主要有音頻、視頻、圖片等形式)。選擇數(shù)據(jù)庫之間統(tǒng)一的標(biāo)準(zhǔn),執(zhí)行元數(shù)據(jù)管理,處理好數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)等流程,為后續(xù)數(shù)據(jù)治理提供基礎(chǔ)性服務(wù)。
數(shù)據(jù)平臺層對數(shù)據(jù)的存儲方式起到?jīng)Q定性作用。不同的數(shù)據(jù)存儲方式,為前端用戶調(diào)取數(shù)據(jù)產(chǎn)生不一樣的體驗。數(shù)據(jù)服務(wù)層作為頂層應(yīng)用,最終是作為展示端與操作端面對用戶。其主要有2個作用:展示端作為數(shù)據(jù)業(yè)務(wù)流向端,讓用戶明白數(shù)據(jù)走向:操作端作為管理員操作端,使管理員能自主選擇數(shù)據(jù)組成系統(tǒng)需求數(shù)據(jù)。
4.1.3數(shù)據(jù)管理五元素
高校信息化建設(shè)日新月異,針對層出不窮的多業(yè)務(wù)系統(tǒng),提出數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理五元素理論,進(jìn)而對信息化數(shù)據(jù)治理建設(shè)制定統(tǒng)一標(biāo)準(zhǔn),以及進(jìn)行權(quán)限管理。
數(shù)據(jù)標(biāo)準(zhǔn)管理:主要是為了各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)能夠匹配操作數(shù)據(jù)的規(guī)范,防止出現(xiàn)數(shù)據(jù)前后操作不一致或者數(shù)據(jù)字符前后不一致等情況。
元數(shù)據(jù)管理:主要是為了規(guī)范接口以及存儲管理,利用數(shù)據(jù)工具,使前后數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn),并生成數(shù)據(jù)流向道路,形成數(shù)據(jù)流向表單。
數(shù)據(jù)質(zhì)量管理:主要依靠數(shù)據(jù)庫系統(tǒng)實現(xiàn)對數(shù)據(jù)的把控,但是高校的業(yè)務(wù)系統(tǒng)往往因為時間、開發(fā)工具、接口等因素,無法實現(xiàn)對數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的統(tǒng)一。
數(shù)據(jù)資產(chǎn)管理:是對整個數(shù)據(jù)資產(chǎn)生命周期的管理過程。把數(shù)據(jù)作為資產(chǎn)對象進(jìn)行管理,對數(shù)據(jù)進(jìn)行有效的規(guī)劃、建設(shè)、運維,并在數(shù)據(jù)安全管理的基礎(chǔ)上進(jìn)行調(diào)控。
對于數(shù)據(jù)安全管理:建立符合安全體系的安全策略,做到系統(tǒng)與系統(tǒng)之間相關(guān)權(quán)限的完全隔離,從而避免對不相關(guān)人員開放一定的權(quán)限。
4.1.4建設(shè)實踐路徑
數(shù)據(jù)治理需要分4個階段進(jìn)行:第1階段要確定數(shù)據(jù)治理的對象(主要為各個業(yè)務(wù)系統(tǒng)內(nèi)部存儲數(shù)據(jù)),明確分析對象所在的范圍,所覆蓋的業(yè)務(wù)情況;第2階段是數(shù)據(jù)業(yè)務(wù)梳理,需要各個業(yè)務(wù)部門配合,提供相應(yīng)系統(tǒng)的資產(chǎn)情況,對數(shù)據(jù)的產(chǎn)生、儲存、應(yīng)用等進(jìn)行管控:第3階段是建立規(guī)范體系,按照相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)以及學(xué)校真實情況,制定《數(shù)據(jù)治理管理辦法》《數(shù)據(jù)信息標(biāo)準(zhǔn)規(guī)范》等管理辦法,同時針對規(guī)范體系內(nèi)的質(zhì)量與告警信息及時上傳,做到數(shù)據(jù)安全第一;第4階段是建設(shè)系統(tǒng)前端系統(tǒng)與后臺系統(tǒng)。前端系統(tǒng)包含大屏業(yè)務(wù)流系統(tǒng),數(shù)據(jù)需求用戶系統(tǒng)。后端系統(tǒng)包含數(shù)據(jù)管理員系統(tǒng)、底層數(shù)據(jù)業(yè)務(wù)流程系統(tǒng)、數(shù)據(jù)交換系統(tǒng)、公共數(shù)據(jù)系統(tǒng),將這幾個系統(tǒng)串聯(lián)起來,組成1個完整的數(shù)據(jù)交換系統(tǒng),并在此基礎(chǔ)上進(jìn)行數(shù)據(jù)治理。
4.2數(shù)據(jù)治理案例分析
案例分析——以浙江財經(jīng)大學(xué)東方學(xué)院為例,對數(shù)據(jù)治理的過程進(jìn)行闡述。
(1)首先組建數(shù)據(jù)治理領(lǐng)導(dǎo)小組,明確劃分與制定普通用戶、管理員、系統(tǒng)管理員相關(guān)制度,嚴(yán)格規(guī)范其數(shù)據(jù)采集、整理、推送、保存等一系列操作,使得整個數(shù)據(jù)治理基礎(chǔ)具有一致性。
(2)平臺部署規(guī)范化是指嚴(yán)格按照計算機(jī)系統(tǒng)搭建步驟進(jìn)行,通過軟件系統(tǒng)做壓力測試以及模擬實際應(yīng)用環(huán)境,建設(shè)一套具有前端與后臺的控制系統(tǒng),以滿足用戶和管理員對系統(tǒng)的使用、運維、管理要求。
(3)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一,首先要統(tǒng)一不同種類的數(shù)據(jù),如姓名、生日、性別等,均需用不同形式的數(shù)據(jù)加以區(qū)分,制定標(biāo)準(zhǔn)數(shù)據(jù)表格,為后續(xù)的數(shù)據(jù)做好基礎(chǔ)性鋪墊。數(shù)據(jù)字段應(yīng)針對不同數(shù)據(jù)類型進(jìn)行逐一匹配,確保前后作業(yè)流的一致性。在數(shù)據(jù)導(dǎo)入過程中,應(yīng)保持?jǐn)?shù)據(jù)分片的連貫性,如出現(xiàn)中斷操作,應(yīng)通過冗余出錯,考慮前后比對,進(jìn)行數(shù)據(jù)恢復(fù)。
(4)建立核心數(shù)據(jù)引擎,依靠數(shù)據(jù)引擎,在后續(xù)的日常生活中,加快數(shù)據(jù)計算,利用數(shù)據(jù)創(chuàng)造出更多的價值。為保障后續(xù)做數(shù)據(jù)流轉(zhuǎn),提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性以及數(shù)據(jù)流向的明確性,建立作業(yè)流向系統(tǒng),明確每1條數(shù)據(jù)走向,確保數(shù)據(jù)清晰可查。
5結(jié)束語
本文主要對高校在進(jìn)行數(shù)據(jù)治理時面臨的相關(guān)問題進(jìn)行闡述,同時以案例分析的形式給出相應(yīng)的解決方案,主要通過建立相關(guān)制度與規(guī)范,從邏輯與物理上對人員與權(quán)限進(jìn)行約束,以保證系統(tǒng)安全穩(wěn)定運行。以2大組織給予的數(shù)據(jù)治理解決方案為指導(dǎo),搭建數(shù)據(jù)治理整體框架,指引項目有序進(jìn)行。最后,提出幾點建議:應(yīng)當(dāng)加強(qiáng)對制度規(guī)范的建設(shè),安排數(shù)據(jù)安全的運行維護(hù),穩(wěn)定有序地存放數(shù)據(jù),做到有章可循,有權(quán)可查,確保數(shù)據(jù)有序運轉(zhuǎn),完善數(shù)據(jù)質(zhì)量監(jiān)控和績效考核制度,以不斷提升數(shù)據(jù)質(zhì)量。
作者簡介:
金濤(1994—),本科,助理實驗師,研究方向:大數(shù)據(jù)技術(shù)。