陳詩源

摘? 要： 針對目前國內(nèi)部分高校存在數(shù)據(jù)孤島、碎片化和數(shù)據(jù)資產(chǎn)利用率低等數(shù)據(jù)管理問題，提出以數(shù)據(jù)中臺為架構(gòu)的高校數(shù)據(jù)管理體系建設(shè)方案，通過統(tǒng)一規(guī)范校內(nèi)的數(shù)據(jù)標準，在服務層面實現(xiàn)各業(yè)務數(shù)據(jù)的互通，使得校內(nèi)數(shù)據(jù)資產(chǎn)得以集中規(guī)范管理和充分利用，逐步為智慧校園建設(shè)打下基礎(chǔ)。

關(guān)鍵詞： 數(shù)據(jù)中臺; 數(shù)據(jù)孤島; 高校數(shù)據(jù)管理; 數(shù)據(jù)資產(chǎn)

中圖分類號：TP399? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）04-126-04

Research on the construction method of university data center

Chen Shiyuan

（Department of Information Technology Engineering， Fuzhou Polytechnic， Fuzhou， Fujian 350108， China）

Abstract： In view of the problems of data isolated island， data fragmentation and low utilization of data assets in some universities in China， this paper presents the construction scheme of university data management system based on data center. Business data can be interconnected at the service level by standardizing data standards on campus， and the university data assets can be managed in a concentrated and regulated way while at the same time being fully utilized. Data center will gradually lay the foundation for the construction of smart campus.

Key words： data center; data isolated island; university data management; data assets

0 引言

目前國內(nèi)高校信息化步入了快速發(fā)展時期，不僅在日常教學中通過信息化手段實現(xiàn)教學目標，跟上“互聯(lián)網(wǎng)+教育”的熱潮，也同時在行政管理方面建立起了各種信息化系統(tǒng)。高校信息化建設(shè)是循序漸進的漫長過程，由于國內(nèi)部分高校在建設(shè)初期缺乏完善規(guī)劃，不具備良好的數(shù)據(jù)管理體系，產(chǎn)生較為普遍的數(shù)據(jù)孤島和數(shù)據(jù)碎片化問題，無法充分發(fā)揮數(shù)據(jù)價值[1]。即便部分高校已建立起傳統(tǒng)共享型數(shù)據(jù)中心（如圖1所示），但該數(shù)據(jù)管理模式高度依賴技術(shù)人員，極易造成資源請求排隊現(xiàn)象，效率低下;另外，傳統(tǒng)數(shù)據(jù)中心維護難度和工作量較大，通常需要外包商協(xié)助管理，導致運營成本較高;對于數(shù)據(jù)的管理手段單一，基本只能從宏觀層面上管理，無法涉及到數(shù)據(jù)細節(jié)。

當前各高校已開始智慧校園的規(guī)劃建設(shè)，在此背景下各類信息系統(tǒng)將逐步被一站式智能服務平臺所替代，人臉、指紋識別等技術(shù)將應用在校內(nèi)場景中[2]，這對于數(shù)據(jù)的質(zhì)量、維度、服務和管理等方面有了更高的要求，給當前高校數(shù)據(jù)管理體系帶來了挑戰(zhàn)。

針對新的挑戰(zhàn)，本文提出建設(shè)高校數(shù)據(jù)中臺的方案，有效解決了當前高校數(shù)據(jù)閉塞、資源浪費等突出問題，也為智慧校園建設(shè)打下基礎(chǔ)。

1 高校數(shù)據(jù)中臺相關(guān)概念及構(gòu)建意義

數(shù)據(jù)中臺是近年來興起的新型數(shù)據(jù)管理架構(gòu)，在國內(nèi)最早由阿里巴巴投入商用，后逐漸被各企業(yè)借鑒使用。數(shù)據(jù)中臺可理解為數(shù)據(jù)的“公共服務平臺”，是一種平臺思維的演變，主要由方法論、組織和工具相互構(gòu)成。數(shù)據(jù)中臺通過進行全域數(shù)據(jù)采集、存儲、加工后，實行統(tǒng)一的計算口徑、系統(tǒng)邏輯和管理流程的標準化管理，實現(xiàn)數(shù)據(jù)資產(chǎn)化，構(gòu)建出組織級的大數(shù)據(jù)資產(chǎn)層[3]，并將數(shù)據(jù)輸送至服務、決策、支持、智能推薦等各應用場景中，使數(shù)據(jù)價值得以充分釋放，形成一個將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為生產(chǎn)力賦能業(yè)務，同時業(yè)務再次產(chǎn)出高質(zhì)量數(shù)據(jù)增益數(shù)據(jù)資產(chǎn)的良性循環(huán)過程，成功地實現(xiàn)了數(shù)據(jù)、技術(shù)、產(chǎn)品和服務的統(tǒng)一，并具備了安全性、可靠性、時效性和靈活性等特點。

通過構(gòu)建基于數(shù)據(jù)中臺的高校數(shù)據(jù)管理體系，可以對數(shù)據(jù)實施全生命周期管理，并從傳統(tǒng)的技術(shù)管理轉(zhuǎn)變?yōu)橐詷I(yè)務為主導的管理模式，讓用戶都成為數(shù)據(jù)資產(chǎn)的管理者，最終能為信息門戶、決策協(xié)助等綜合性校務提供強有力的數(shù)據(jù)支撐，變得更加安全和便捷。通過高校數(shù)據(jù)中臺，數(shù)據(jù)管理人員能夠以全局視角跟蹤數(shù)據(jù)在生成、流動、使用、修改、存儲階段的全生命周期情況，可以對校各處室的數(shù)據(jù)資產(chǎn)使用情況、使用范圍和參與程度進行管理，并可以實施全方位的數(shù)據(jù)治理工作;各職能處室對于內(nèi)部的數(shù)據(jù)資產(chǎn)可以通過數(shù)據(jù)中臺進行管理，并允許在校級數(shù)據(jù)標準下自定義處室的數(shù)據(jù)需求和數(shù)據(jù)供應標準，同時各業(yè)務場景的數(shù)據(jù)都可以清晰地追溯到源頭以及最終流向情況，賦予了業(yè)務人員對于數(shù)據(jù)資產(chǎn)的直接管控能力，既加強各處室之間的數(shù)據(jù)聯(lián)動，提升工作效率和條理性，同時也在一定程度上擺脫了對技術(shù)人員的依賴;對于廣大師生而言，校內(nèi)業(yè)務辦理時將更加智能化，流程清晰且快速，可以實時查看各業(yè)務環(huán)節(jié)的辦理狀態(tài)，減少了跑腿次數(shù)，提升了使用者的體驗感和科技感，節(jié)約了大量的寶貴時間。

2 高校數(shù)據(jù)中臺總體架構(gòu)

高校數(shù)據(jù)中臺的運行機制是全域數(shù)據(jù)匯聚與開發(fā)模塊相互配合向上形成數(shù)據(jù)資產(chǎn)，同時數(shù)據(jù)資產(chǎn)再封裝成各類數(shù)據(jù)服務以供頂層的業(yè)務場景調(diào)用[4]。數(shù)據(jù)中臺整體可以劃分為多層結(jié)構(gòu)，如圖2所示。

2.1 數(shù)據(jù)資源層

數(shù)據(jù)資源層為數(shù)據(jù)中臺的最底層。該層對高校全域數(shù)據(jù)進行定義和分類，主要可分為各類接口數(shù)據(jù)、高校業(yè)務系統(tǒng)數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫數(shù)據(jù)、分布式數(shù)據(jù)庫數(shù)據(jù)、消息隊列、系統(tǒng)日志數(shù)據(jù)、爬蟲抓取的互聯(lián)網(wǎng)數(shù)據(jù)等。

2.2 計算存儲層

該層聚集了數(shù)據(jù)中臺的核心組件，如HDFS、Kafka、MPP、Spark、Flink等，主要負責數(shù)據(jù)存儲管理和計算。高校全域數(shù)據(jù)經(jīng)過歸類收集之后，計算存儲層負責所有數(shù)據(jù)的存儲工作，同時承擔數(shù)據(jù)資產(chǎn)層的數(shù)據(jù)加工任務。

2.3 數(shù)據(jù)匯聚層

數(shù)據(jù)匯聚層主要執(zhí)行全域數(shù)據(jù)的匯聚任務，該層克服了數(shù)據(jù)多樣性、多源性、異構(gòu)等特征，針對不同數(shù)據(jù)來源采用了實時接入、離線同步等方式到數(shù)據(jù)中臺進行匯聚存儲，從技術(shù)上打破數(shù)據(jù)孤島等問題。另外，為了屏蔽底層復雜的組件，在該層還提供了數(shù)據(jù)采集的可視化管理工具。

2.4 數(shù)據(jù)資產(chǎn)層

數(shù)據(jù)資產(chǎn)是數(shù)據(jù)中臺的核心，它更易于被上層業(yè)務直接使用。數(shù)據(jù)資產(chǎn)層的任務主要包括數(shù)據(jù)模型架構(gòu)設(shè)計以及主題域的設(shè)計。數(shù)據(jù)模型架構(gòu)采用分層結(jié)構(gòu)，將數(shù)據(jù)分為ODS、DWD、DWS、ADS共四層。數(shù)據(jù)操作層ODS通常用于采集和保存原始業(yè)務數(shù)據(jù)。數(shù)據(jù)明細層DWD和數(shù)據(jù)集市DWS保存的是數(shù)據(jù)資產(chǎn)的主體，通過將ODS層的原始數(shù)據(jù)進行梳理和重新定義，并依照標準進行加工轉(zhuǎn)換之后形成數(shù)據(jù)資產(chǎn)。在高校數(shù)據(jù)集市中，通常保留著經(jīng)過處理并符合特定應用的數(shù)據(jù)集合，如提供給人事處的個人數(shù)據(jù)信息、提供給校辦的處室數(shù)據(jù)、以及用于構(gòu)建校領(lǐng)導駕駛艙的輔助決策、綜合報表的關(guān)鍵數(shù)據(jù)等。ADS層的數(shù)據(jù)是各條業(yè)務線基于DWD和DWS的數(shù)據(jù)資產(chǎn)再次加工形成的，主要為特定的業(yè)務供應定制數(shù)據(jù)。

2.5 數(shù)據(jù)服務層

數(shù)據(jù)服務層主要通過接口訪問下層的數(shù)據(jù)資源從而為應用層提供相應的服務，扮演著承上啟下的角色。該層主要具有數(shù)據(jù)權(quán)限管理的機制，同時提供數(shù)據(jù)在線查詢功能、即席查詢等功能。

2.6 資產(chǎn)管理層

資產(chǎn)管理層主要負責中臺的數(shù)據(jù)治理任務，通過管理數(shù)據(jù)的生命周期，保障了數(shù)據(jù)的質(zhì)量，提升了數(shù)據(jù)的應用性，實現(xiàn)數(shù)據(jù)資產(chǎn)的增值。通常該層需要具備可視化功能讓使用者能夠清晰地了解高校的數(shù)據(jù)資產(chǎn)情況，完成資產(chǎn)查詢、分析和管理等功能。

2.7 數(shù)據(jù)中臺的其他模塊

數(shù)據(jù)中臺的運營管理和安全管理是高校數(shù)據(jù)管理體系健康穩(wěn)定運行、持續(xù)產(chǎn)生數(shù)據(jù)價值的重要保證。數(shù)據(jù)開發(fā)模塊貫穿于數(shù)據(jù)中臺運行的各個環(huán)節(jié)，為各場景提供套件和工具，如使用數(shù)據(jù)同步套件實現(xiàn)異構(gòu)數(shù)據(jù)之間的同步交換等。位于數(shù)據(jù)中臺之上的是具體的數(shù)據(jù)應用場景，數(shù)據(jù)資產(chǎn)將通過數(shù)據(jù)服務層輸送至該層進行使用。

3 高校數(shù)據(jù)中臺建設(shè)研究

根據(jù)上述高校數(shù)據(jù)中臺的總體架構(gòu)，本文以南方某高校為例，研究基于數(shù)據(jù)中臺的高校數(shù)據(jù)管理體系建設(shè)方法。

3.1 校內(nèi)業(yè)務需求分析

在數(shù)據(jù)中臺建設(shè)初期，最重要的任務就是對校領(lǐng)導、各處室以及師生群體進行需求調(diào)研。需求調(diào)研工作應從宏觀層面展開，梳理高校的整體業(yè)務以及具體業(yè)務場景，并逐步細化分解到基礎(chǔ)數(shù)據(jù)級別。首先，結(jié)合訪談、收集資料等方式對校內(nèi)現(xiàn)有的組織架構(gòu)和崗位職責、業(yè)務模式和流程、關(guān)鍵業(yè)務節(jié)點、數(shù)據(jù)庫信息、數(shù)據(jù)內(nèi)容和形態(tài)、供需關(guān)系、交換共享要求、數(shù)據(jù)質(zhì)量問題等信息進行收集，并總結(jié)出當前校內(nèi)數(shù)據(jù)現(xiàn)狀、所有應用場景、業(yè)務需求以及存在的痛點，提煉出相關(guān)的數(shù)據(jù)指標和維度，最后形成校內(nèi)數(shù)據(jù)現(xiàn)狀報告以及項目范圍說明書。根據(jù)該高校調(diào)研結(jié)果，主要問題體現(xiàn)在校內(nèi)業(yè)務轉(zhuǎn)型創(chuàng)新缺乏數(shù)據(jù)支持、校數(shù)據(jù)資產(chǎn)難以治理以及數(shù)據(jù)使用效率亟待優(yōu)化等問題。對于校內(nèi)數(shù)據(jù)供需關(guān)系的梳理結(jié)果，則可以通過UC矩陣表來進行展示，如圖3所示。

3.2 數(shù)據(jù)模型設(shè)計

⑴ 制定統(tǒng)一的校級數(shù)據(jù)標準規(guī)范

完成調(diào)研和分析之后，可獲得當前校內(nèi)數(shù)據(jù)的管理狀況，生成包括數(shù)據(jù)字典、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)臺賬等資料，通過結(jié)合教育部頒布的高校數(shù)據(jù)管理標準則可以建立起統(tǒng)一的校內(nèi)數(shù)據(jù)標準規(guī)范，為數(shù)據(jù)中臺的數(shù)據(jù)集中管理打下基礎(chǔ)。高校數(shù)據(jù)標準規(guī)范的制定主要分為設(shè)計、審核、發(fā)布三個階段，在制定過程中應盡可能貼合當前校內(nèi)業(yè)務流程、數(shù)據(jù)管理模式和現(xiàn)有的數(shù)據(jù)標準進行設(shè)計。

⑵ 數(shù)據(jù)標簽設(shè)計

數(shù)據(jù)標簽設(shè)計是數(shù)據(jù)中臺建設(shè)前期的核心工作之一。數(shù)據(jù)標簽通常圍繞著具體的業(yè)務場景進行設(shè)計，是實現(xiàn)數(shù)據(jù)價值最大化的重要手段。例如，針對該高校教務處學籍預警的業(yè)務場景，主要可以分為一級預警和二級預警兩種等級，因此針對以上兩種學業(yè)情況設(shè)計出兩個標簽：一級預警，口徑定義為有6門及以上課程不及格;二級預警，口徑定義為3-5門課程不及格。在完成數(shù)據(jù)標簽設(shè)定之后，就可以將數(shù)據(jù)歸納至相關(guān)標簽下。數(shù)據(jù)標簽的歸類方式可以通過人為主觀分類、算法計算、機器學習等多種方法實現(xiàn)。

⑶ 校園業(yè)務流程分析

本階段任務主要為了保證數(shù)據(jù)資產(chǎn)能夠良好地融入到業(yè)務流程中，形成基于數(shù)據(jù)驅(qū)動的業(yè)務運營模式，是對宏觀調(diào)研結(jié)果的細化過程。根據(jù)調(diào)研階段所獲取的業(yè)務場景和具體功能清單，需要對該高校所有業(yè)務流程進行詳細地梳理，獲取所有業(yè)務節(jié)點對于數(shù)據(jù)資產(chǎn)的供應需求，同時根據(jù)當前業(yè)務痛點確定原有業(yè)務流程的改造方案。

⑷ 業(yè)務指標設(shè)計

業(yè)務指標通常是指支撐整個業(yè)務流程環(huán)節(jié)的各種數(shù)據(jù)指標組合。由于相同業(yè)務場景中任一節(jié)點基礎(chǔ)數(shù)據(jù)可以取自不同的數(shù)據(jù)源，根據(jù)已制定的校內(nèi)數(shù)據(jù)規(guī)范，每個業(yè)務指標在數(shù)據(jù)中臺只能有唯一的計算口徑，從而有效避免數(shù)據(jù)應用混亂等問題。另外，在業(yè)務指標設(shè)計環(huán)節(jié)需要對指標構(gòu)成的特征屬性進行分解，例如在財務處的學費繳交業(yè)務場景中，每位學生的繳費流水指標屬性就可以拆分為具體的年、月、日、付款時間、支付方式、學生姓名、所屬系部等基礎(chǔ)元素，這實際上也構(gòu)成了業(yè)務系統(tǒng)中的各種基礎(chǔ)信息。

⑸ 數(shù)據(jù)子集劃分

通過參考教育部2012年發(fā)布的JY/T 1006-2012《教育管理信息—高等學校管理信息》的相關(guān)標準，該高校將總體數(shù)據(jù)集劃分為學校概況、學生管理、教學管理、教職工管理、科研管理、財務管理、資產(chǎn)與設(shè)備、辦公管理、外事管理等12個數(shù)據(jù)子集[5]。劃分子集的目的在于屏蔽具體的數(shù)據(jù)細節(jié)，從而更好地對各數(shù)據(jù)進行抽象分類，保證數(shù)據(jù)在應用時可以無影響地進入相應的數(shù)據(jù)集，有利于后續(xù)增量數(shù)據(jù)的管理和梳理。

3.3 校內(nèi)全域數(shù)據(jù)采集

全域數(shù)據(jù)的采集方式主要可以分為離線接入、實時接入、手工導入等方式。離線采集是通過配置數(shù)據(jù)源、同步機制來定期完成采集工作;實時采集通常有兩種方式，一種是采用實時計算引擎Flink與數(shù)據(jù)庫對接進行計算，并把數(shù)據(jù)存儲在中臺存儲層;另一種是通過標準化SDK進行埋點嵌碼，記錄用戶相關(guān)行為數(shù)據(jù)后形成應用日志文件，通過Flume存入數(shù)據(jù)中臺中;部分業(yè)務場景數(shù)據(jù)需要人為介入觀察和統(tǒng)計，并通過表單手工錄入的方式進行數(shù)據(jù)的采集。在高校數(shù)據(jù)采集過程中，需要根據(jù)不同場景設(shè)置相應的取數(shù)策略。

3.4 建立數(shù)據(jù)治理機制

數(shù)據(jù)治理是數(shù)據(jù)中臺管理數(shù)據(jù)資產(chǎn)的重要機制，也是數(shù)據(jù)資產(chǎn)不斷優(yōu)化、增值的重要保證。數(shù)據(jù)治理主要包括了元數(shù)據(jù)管理、數(shù)據(jù)血緣管理、數(shù)據(jù)脫敏等多個任務[6]。

⑴ 元數(shù)據(jù)管理

元數(shù)據(jù)來源于各種數(shù)據(jù)資產(chǎn)，其內(nèi)容主要是數(shù)據(jù)資產(chǎn)的相關(guān)信息。因此在數(shù)據(jù)治理中，不僅需要獲取校內(nèi)全域數(shù)據(jù)，還需要獲取其元數(shù)據(jù)集合，才能更好地理解和管理數(shù)據(jù)資產(chǎn)。進行元數(shù)據(jù)管理首先應以數(shù)據(jù)資產(chǎn)各屬性為基礎(chǔ)進行分類，制定相應的元數(shù)據(jù)標準，同時要具備版本管理和查詢功能，要實施定期維護和更新工作。

⑵ 數(shù)據(jù)血緣管理

數(shù)據(jù)血緣主要用于數(shù)據(jù)資產(chǎn)的追溯和管理，在事后排查故障和數(shù)據(jù)資產(chǎn)清點中都扮演著十分重要的角色。當應用數(shù)據(jù)在某些具體業(yè)務場景出現(xiàn)歧義或缺失時，即可通過數(shù)據(jù)血緣反向查詢具體來源和加工鏈路。數(shù)據(jù)血緣管理需要設(shè)立機制來自動解析中臺匯聚層的數(shù)據(jù)同步任務以及相關(guān)的SQL語句，以便于建立起各表、字段之間的血緣關(guān)系。

⑶ 數(shù)據(jù)脫敏

在對各類數(shù)據(jù)加工處理的過程中，可能會涉及如身份證號碼，銀行卡號等敏感信息，此時就必須在數(shù)據(jù)治理過程中建立數(shù)據(jù)脫敏機制，以防信息泄露，保障數(shù)據(jù)安全，但同時也應保證脫密數(shù)據(jù)的可視性，以便于業(yè)務的正常開展。

4 結(jié)束語

本文結(jié)合高?，F(xiàn)有的數(shù)據(jù)管理痛點和數(shù)據(jù)中臺的架構(gòu)特性，闡述了高校數(shù)據(jù)中臺的基本建設(shè)方法。數(shù)據(jù)中臺實現(xiàn)了高校數(shù)據(jù)集中管理和標準化管理，并具備良好的應用拓展性，可以輕松滿足校內(nèi)各種信息化建設(shè)的數(shù)據(jù)需求，同時也為數(shù)據(jù)資產(chǎn)再利用和業(yè)務流程的創(chuàng)新提供了重要的數(shù)據(jù)支撐，因此數(shù)據(jù)中臺在高校信息化領(lǐng)域?qū)⒕哂休^好的應用前景。當然，目前數(shù)據(jù)中臺架構(gòu)也存在一些不足之處，例如中臺的數(shù)據(jù)一旦出錯則影響范圍可能是全校級別，因此如何改進數(shù)據(jù)中臺架構(gòu)，提升其容錯性和糾錯能力是今后有待深入研究的重點。

參考文獻（References）：

[1] 肖炯恩，劉欣榮.智慧校園的數(shù)據(jù)中臺建設(shè)與數(shù)據(jù)治理研究[J].高等職業(yè)教育（天津職業(yè)大學報），2021，30（2）：82-86

[2] 劉姣，薛云霞，肖琴，周君儀.基于智能微服務架構(gòu)的智慧校園融合門戶模型建設(shè)[J].江蘇科技信息，2021，38（30）：48-51

[3] 胡翰林，沈書生.基于中臺技術(shù)的教育大數(shù)據(jù)應用研究[J].現(xiàn)代教育技術(shù)，2021，31（9）：78-86

[4] 賈偉.中生大數(shù)據(jù)治理體系建設(shè)實踐[J].信息技術(shù)與標準化，2021（6）：84-88

[5] 羅念龍，蔣東興，宓詠，等.教育管理信息系列標準的規(guī)劃與研制[J].中國教育信息化，2012（15）：20-22

[6] 姚洪.基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)的設(shè)計與實現(xiàn)[J].科學技術(shù)創(chuàng)新，2020（35）：74-75