沈愛(ài)濤

摘要：文章以江蘇農(nóng)牧科技職業(yè)學(xué)院數(shù)據(jù)治理項(xiàng)目建設(shè)為例，介紹了基于元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)質(zhì)量檢測(cè)與基于API技術(shù)的數(shù)據(jù)交換在智慧校園數(shù)據(jù)治理項(xiàng)目中的應(yīng)用，再結(jié)合學(xué)院實(shí)際運(yùn)行情況對(duì)一些常見(jiàn)問(wèn)題進(jìn)行了闡述。

關(guān)鍵詞：元數(shù)據(jù)；數(shù)據(jù)治理；數(shù)據(jù)交換；API

中圖分類(lèi)號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）10-0084-04

1 研究背景

隨著大數(shù)據(jù)時(shí)代的來(lái)臨及全國(guó)各校數(shù)字化校園項(xiàng)目的開(kāi)展，云計(jì)算、大數(shù)據(jù)、AI等新興技術(shù)的普及推廣，高校信息中心也在思考，數(shù)字化校園建設(shè)的理念也逐漸從面向管理轉(zhuǎn)為面向服務(wù)。高校擁有海量數(shù)據(jù)已逐漸成為現(xiàn)實(shí)，大數(shù)據(jù)的挖掘和使用必將給高校治理與發(fā)展帶來(lái)巨大動(dòng)力變革。提升數(shù)據(jù)質(zhì)量，完善數(shù)據(jù)規(guī)劃，建立數(shù)據(jù)使用規(guī)范，健全數(shù)據(jù)維護(hù)和服務(wù)流程，確保數(shù)據(jù)的準(zhǔn)確，從而發(fā)揮數(shù)據(jù)的精準(zhǔn)預(yù)測(cè)、決策支持作用，已成為當(dāng)前高校信息化建設(shè)的重要發(fā)展方向。

近年來(lái)，江蘇農(nóng)牧科技職業(yè)學(xué)院的信息化建設(shè)獲得了學(xué)院領(lǐng)導(dǎo)高度重視，成立了信息化建設(shè)領(lǐng)導(dǎo)小組，配備信息化建設(shè)專項(xiàng)經(jīng)費(fèi)。學(xué)院網(wǎng)絡(luò)硬件設(shè)備、網(wǎng)絡(luò)安全設(shè)備全面升級(jí)換代，強(qiáng)大的信息化基礎(chǔ)設(shè)施建設(shè)，全面提升了學(xué)院網(wǎng)絡(luò)運(yùn)算和連接能力，各類(lèi)業(yè)務(wù)系統(tǒng)全面升級(jí)擴(kuò)展，全院信息服務(wù)能力和師生信息化應(yīng)用水平大幅提升；全力建設(shè)教育教學(xué)一體化平臺(tái)，鼓勵(lì)引導(dǎo)教師使用教育教學(xué)一體化平臺(tái)，不斷完善教育教學(xué)資源，線上教學(xué)服務(wù)能力得到了很大的提升；網(wǎng)絡(luò)服務(wù)環(huán)境不斷改善，安全防范能力明顯加強(qiáng)。學(xué)院這幾年在教學(xué)、科研、管理和服務(wù)工作中信息化水平得到了顯著提升用。通過(guò)雙高示范校的建設(shè)，學(xué)院已建成近30個(gè)功能相對(duì)獨(dú)立的部門(mén)級(jí)應(yīng)用系統(tǒng)，信息中心牽頭建設(shè)了“網(wǎng)上辦事大廳”，為各部門(mén)配套建設(shè)了100多個(gè)碎片化應(yīng)用，業(yè)務(wù)系統(tǒng)和辦事大廳的使用方便了師生的業(yè)務(wù)辦理，提升了學(xué)院的信息化水平，同時(shí)也累積了大量的數(shù)據(jù)，形成學(xué)院的數(shù)據(jù)資產(chǎn)，如師生消費(fèi)數(shù)據(jù)、考勤數(shù)據(jù)、教學(xué)過(guò)程數(shù)據(jù)、社團(tuán)活動(dòng)數(shù)據(jù)、科研資產(chǎn)數(shù)據(jù)等，這些數(shù)據(jù)都是供學(xué)院提升教學(xué)質(zhì)量的最為重要的數(shù)據(jù)，由于這些數(shù)據(jù)來(lái)自多個(gè)業(yè)務(wù)系統(tǒng)，權(quán)責(zé)不清，還有部分?jǐn)?shù)據(jù)有多個(gè)源頭，導(dǎo)致數(shù)據(jù)的混亂和錯(cuò)誤，信息中心在進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析展示前，都需要對(duì)這些數(shù)據(jù)進(jìn)行大量的校對(duì)和整理工作，嚴(yán)重影響了信息中心業(yè)務(wù)人員的工作效率，也未能讓數(shù)據(jù)成為領(lǐng)導(dǎo)的決策支持。為了更好地讓這些數(shù)據(jù)發(fā)揮它的價(jià)值，信息中心需要根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行清洗，確保數(shù)據(jù)質(zhì)量。

本研究主要解決數(shù)據(jù)質(zhì)量問(wèn)題，圍繞學(xué)院的業(yè)務(wù)系統(tǒng)，通過(guò)數(shù)據(jù)的治理解決數(shù)據(jù)質(zhì)量問(wèn)題、標(biāo)準(zhǔn)問(wèn)題等，以達(dá)到數(shù)據(jù)的互聯(lián)互通的目的，在形成了數(shù)據(jù)資產(chǎn)的條件下對(duì)數(shù)據(jù)的進(jìn)一步開(kāi)放進(jìn)行相關(guān)能力的建設(shè)。通過(guò)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的檢測(cè)掃描，得出相應(yīng)的數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告，依據(jù)系統(tǒng)劃分，可以讓決策者直觀感受目前業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題，然后通過(guò)數(shù)據(jù)治理減少相關(guān)質(zhì)量問(wèn)題，以此為推進(jìn)各部門(mén)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量提升的動(dòng)力。在學(xué)院層面數(shù)據(jù)治理過(guò)程中，著重檢測(cè)數(shù)據(jù)治理前后數(shù)據(jù)質(zhì)量的變化，將數(shù)據(jù)質(zhì)量提升以報(bào)告形式呈現(xiàn)。在數(shù)據(jù)治理過(guò)程中構(gòu)建學(xué)院的院本大數(shù)據(jù)中心，實(shí)現(xiàn)學(xué)院的數(shù)據(jù)資產(chǎn)管理私有化和可視化，積累全院各業(yè)務(wù)過(guò)程中面向主題的、集成的、穩(wěn)定的大量生產(chǎn)數(shù)據(jù)集合，進(jìn)而實(shí)現(xiàn)對(duì)全院所有業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)以及歷史數(shù)據(jù)進(jìn)行深度挖掘，規(guī)范管理與使用，通過(guò)辦事大廳對(duì)缺項(xiàng)數(shù)據(jù)提供標(biāo)準(zhǔn)的采集入口。通過(guò)報(bào)表工具制作數(shù)據(jù)大屏，將學(xué)院數(shù)據(jù)中心的數(shù)據(jù)以圖形的方式展示，從宏觀到明細(xì)，為領(lǐng)導(dǎo)決策提供實(shí)時(shí)的、準(zhǔn)確的、動(dòng)態(tài)的、多維度的、可管理的分析服務(wù)能力。通過(guò)大數(shù)據(jù)服務(wù)項(xiàng)目建設(shè)，切實(shí)解決各業(yè)務(wù)部門(mén)在工作中遇到的實(shí)際問(wèn)題，滿足學(xué)院多樣的、個(gè)性化的、快速迭代的數(shù)據(jù)管理與數(shù)據(jù)使用的需求。

2 基于元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)質(zhì)量檢測(cè)與治理

隨著數(shù)字化加速，學(xué)院智慧校園建設(shè)的不斷推進(jìn)，數(shù)據(jù)量呈指數(shù)增長(zhǎng)，大數(shù)據(jù)相關(guān)技術(shù)的出現(xiàn)，在看到了新機(jī)遇的同時(shí)，對(duì)數(shù)據(jù)治理的需求也在增加，由于學(xué)院數(shù)據(jù)分散、質(zhì)量參差不齊、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)差異大，雖然數(shù)據(jù)中蘊(yùn)含大量有價(jià)值的信息，但想要挖掘使用，往往需要做大量的數(shù)據(jù)治理工作，數(shù)據(jù)治理涉及部門(mén)多，工作量大，協(xié)調(diào)溝通存在一定的難度。同時(shí)學(xué)院缺乏頂層設(shè)計(jì)的業(yè)務(wù)域標(biāo)準(zhǔn)，未覆蓋全院業(yè)務(wù)數(shù)據(jù)及分析標(biāo)準(zhǔn)數(shù)據(jù)，無(wú)法支撐高基表分析、高職診改、校情分析等數(shù)據(jù)應(yīng)用。同時(shí)信息標(biāo)準(zhǔn)缺少數(shù)據(jù)規(guī)則方面的屬性，無(wú)法有效地通過(guò)現(xiàn)有的信息標(biāo)準(zhǔn)來(lái)檢查學(xué)院數(shù)據(jù)的質(zhì)量情況。

2.1 統(tǒng)一標(biāo)準(zhǔn)，梳理數(shù)據(jù)全域模型

在高校數(shù)據(jù)建設(shè)解決方案中，針對(duì)統(tǒng)一標(biāo)準(zhǔn)問(wèn)題，提供基于信息標(biāo)準(zhǔn)全生命周期的管理方案，在元數(shù)據(jù)層面，支持全院業(yè)務(wù)系統(tǒng)元數(shù)據(jù)的統(tǒng)一管理，學(xué)院管理人員可通過(guò)元數(shù)據(jù)管理工具自己增加、修改元數(shù)據(jù)標(biāo)準(zhǔn)，并自動(dòng)同步全量數(shù)據(jù)模型。也可以通過(guò)元數(shù)據(jù)管理工具比對(duì)元數(shù)據(jù)與全量數(shù)據(jù)的差異，再對(duì)差異進(jìn)行處理。保證元數(shù)據(jù)與全量數(shù)據(jù)庫(kù)的一致性。

同時(shí)，主數(shù)據(jù)管理平臺(tái)的信息標(biāo)準(zhǔn)管理方案中提供一個(gè)自動(dòng)化代碼對(duì)標(biāo)工具代碼標(biāo)準(zhǔn)比對(duì)。系統(tǒng)會(huì)自動(dòng)檢測(cè)業(yè)務(wù)系統(tǒng)的代碼標(biāo)準(zhǔn)執(zhí)行情況，并提供代碼標(biāo)準(zhǔn)執(zhí)行情況中與業(yè)務(wù)系統(tǒng)出現(xiàn)偏差的具體情況報(bào)告。幫助學(xué)院管理人員對(duì)信息標(biāo)準(zhǔn)的執(zhí)行情況進(jìn)行有效的監(jiān)控，及時(shí)了解并優(yōu)化代碼標(biāo)準(zhǔn)或業(yè)務(wù)系統(tǒng)代碼執(zhí)行情況。大大地減少了校內(nèi)管理人員在信息標(biāo)準(zhǔn)維護(hù)與管理層面的工作負(fù)擔(dān)，而且讓信息標(biāo)準(zhǔn)真正的可執(zhí)行、可監(jiān)管、可迭代，讓江蘇農(nóng)牧科技職業(yè)學(xué)院的信息標(biāo)準(zhǔn)不在虛設(shè)。

通過(guò)建立全域模型[1]，可以全面了解數(shù)據(jù)的整體情況，包括數(shù)據(jù)的來(lái)源、數(shù)據(jù)的流動(dòng)路徑、數(shù)據(jù)的處理過(guò)程、數(shù)據(jù)的質(zhì)量等。這樣就能夠更加深入地理解數(shù)據(jù)，進(jìn)而更好地進(jìn)行數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用。為后續(xù)數(shù)據(jù)集成打造基礎(chǔ)，同時(shí)也為新業(yè)務(wù)系統(tǒng)的集成提供良好的基礎(chǔ)。通過(guò)信息標(biāo)準(zhǔn)管理平臺(tái)，對(duì)信息標(biāo)準(zhǔn)的版本變更加強(qiáng)管理，形成版本建設(shè)以來(lái)的歷史變更軌跡，可以方便地查看歷屆版本信息，核對(duì)版本差異，管理中心對(duì)版本進(jìn)行變更后，可以方便地查看變更信息。

2.2 元數(shù)據(jù)提供統(tǒng)一定義

元數(shù)據(jù)提供統(tǒng)一定義的方法通常采用元數(shù)據(jù)建模的方式，通過(guò)建立元數(shù)據(jù)模型來(lái)描述數(shù)據(jù)的屬性、關(guān)系和結(jié)構(gòu)，以及數(shù)據(jù)的來(lái)源、用途和安全性等方面的信息。提高數(shù)據(jù)管理效率，通過(guò)統(tǒng)一定義數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)，可以避免數(shù)據(jù)孤島現(xiàn)象，提高數(shù)據(jù)的可訪問(wèn)性和可管理性，從而提高數(shù)據(jù)管理效率。同時(shí)也促進(jìn)數(shù)據(jù)共享和交換，元數(shù)據(jù)定義了數(shù)據(jù)的屬性和關(guān)系，使得不同系統(tǒng)和應(yīng)用程序之間可以更容易地共享和交換數(shù)據(jù)，從而促進(jìn)數(shù)據(jù)共享和交換。元數(shù)據(jù)可以幫助我們更好地理解和利用數(shù)據(jù)，從而提高數(shù)據(jù)質(zhì)量和可靠性。例如，通過(guò)元數(shù)據(jù)定義數(shù)據(jù)來(lái)源和歷史記錄，可以更好地追溯數(shù)據(jù)來(lái)源，避免數(shù)據(jù)重復(fù)和不一致的情況。元數(shù)據(jù)管理可以幫助我們更好地管理數(shù)據(jù)資產(chǎn)，從而降低數(shù)據(jù)治理成本，并提高數(shù)據(jù)治理的效率和效果。

元數(shù)據(jù)提供統(tǒng)一定義的方法可以幫助我們更好地理解和利用數(shù)據(jù)，從而提高數(shù)據(jù)管理效率、促進(jìn)數(shù)據(jù)共享和交換、提高數(shù)據(jù)質(zhì)量和可靠性，降低數(shù)據(jù)治理成本。元數(shù)據(jù)通過(guò)其強(qiáng)大的解析器將全院所有資源統(tǒng)一定義、統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的有力傳承，同時(shí)元數(shù)據(jù)通過(guò)數(shù)據(jù)關(guān)聯(lián)將數(shù)據(jù)應(yīng)用的蜘蛛網(wǎng)解開(kāi)，數(shù)據(jù)的定位變得異常簡(jiǎn)單，數(shù)據(jù)的梳理同樣，數(shù)據(jù)從哪來(lái)到哪去更加簡(jiǎn)單明了。血統(tǒng)分析是基于元數(shù)據(jù)定義的衍生分析功能，比如教師信息統(tǒng)計(jì)或全院信息統(tǒng)計(jì)，那么通過(guò)血統(tǒng)分析我們可以進(jìn)行數(shù)據(jù)的回溯，從倉(cāng)庫(kù)事實(shí)表到歷史庫(kù)到全局庫(kù)到前置庫(kù)再到人事系統(tǒng)的教職工信息表，簡(jiǎn)明易懂。影響分析由從生產(chǎn)開(kāi)始，即通過(guò)該分析可以知道假如人事系統(tǒng)的教職工信息更改了，哪些系統(tǒng)或分析受到影響。

2.3 源頭監(jiān)控，提升數(shù)據(jù)質(zhì)量

權(quán)威數(shù)據(jù)源對(duì)學(xué)院信息化建設(shè)的長(zhǎng)期發(fā)展有著至關(guān)重要的作用[2]，同時(shí)需要站在全院的層面去進(jìn)行統(tǒng)一的規(guī)劃與管理，在本次數(shù)據(jù)治理建設(shè)過(guò)程中提供了在線化的數(shù)據(jù)流向規(guī)劃管理，為學(xué)院站在全局管控的視角，對(duì)校內(nèi)的代碼標(biāo)準(zhǔn)流向、全量數(shù)據(jù)流向的規(guī)劃提供圖形化、配置化的管理工具，為后期業(yè)務(wù)系統(tǒng)集成和建設(shè)提供指導(dǎo)。使得“誰(shuí)產(chǎn)生、誰(shuí)維護(hù)”的原則落到實(shí)處，避免造成重復(fù)建設(shè)，重復(fù)維護(hù)，數(shù)據(jù)權(quán)責(zé)的混亂，導(dǎo)致數(shù)據(jù)冗余，讓信息中心在信息化建設(shè)中始終保持清晰思路，為規(guī)范新業(yè)務(wù)系統(tǒng)建設(shè)，實(shí)施現(xiàn)有業(yè)務(wù)系統(tǒng)集成形成“指揮中心”。

學(xué)院是一個(gè)小社會(huì)，對(duì)應(yīng)著這個(gè)小社會(huì)的每個(gè)節(jié)點(diǎn)都會(huì)有相應(yīng)的業(yè)務(wù)系統(tǒng)來(lái)協(xié)助各個(gè)部門(mén)、單位來(lái)維持其正常的生產(chǎn)、生活的運(yùn)行。每個(gè)節(jié)點(diǎn)都會(huì)產(chǎn)生自己的數(shù)據(jù)，這些數(shù)據(jù)被生產(chǎn)著、使用著，前面提到我們會(huì)建立大而全的信息標(biāo)準(zhǔn)，并且會(huì)遵循這些標(biāo)準(zhǔn)建設(shè)相應(yīng)的全局?jǐn)?shù)據(jù)庫(kù)。同時(shí)全局庫(kù)以后也會(huì)建設(shè)相應(yīng)的歷史數(shù)據(jù)庫(kù)再到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)在產(chǎn)生，數(shù)據(jù)在流通，環(huán)節(jié)很多，那么所有的這些環(huán)節(jié)的數(shù)據(jù)流通就需要我們對(duì)其進(jìn)行監(jiān)控，所有流程的運(yùn)行狀況、流程的運(yùn)行日志、流程的動(dòng)態(tài)監(jiān)控都需要進(jìn)行控制。根據(jù)學(xué)院數(shù)據(jù)標(biāo)準(zhǔn)定期對(duì)源頭業(yè)務(wù)系統(tǒng)進(jìn)行掃描，檢測(cè)源頭數(shù)據(jù)是否規(guī)范完整，并生成數(shù)據(jù)質(zhì)量報(bào)告，提供給業(yè)務(wù)系統(tǒng)主管部門(mén)進(jìn)一步完善數(shù)據(jù)，以此來(lái)提升數(shù)據(jù)源頭的數(shù)據(jù)質(zhì)量。

2.4 離線數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范采集

離線數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范采集是數(shù)據(jù)治理中非常重要的一環(huán)[3]，它可以確保數(shù)據(jù)的一致性、可比性和互操作性，提高數(shù)據(jù)的質(zhì)量和可用性，促進(jìn)數(shù)據(jù)的創(chuàng)新和發(fā)展。數(shù)據(jù)采集前需進(jìn)行需求分析，明確需要采集的數(shù)據(jù)類(lèi)型、數(shù)據(jù)格式、數(shù)據(jù)來(lái)源等信息，確保數(shù)據(jù)采集的準(zhǔn)確性和全面性。數(shù)據(jù)采集過(guò)程中需遵守?cái)?shù)據(jù)標(biāo)準(zhǔn)規(guī)范，確保數(shù)據(jù)采集的一致性和可比性。例如，數(shù)據(jù)格式需符合數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)命名需符合數(shù)據(jù)命名規(guī)范，數(shù)據(jù)質(zhì)量需符合數(shù)據(jù)質(zhì)量規(guī)范等。同時(shí)還需考慮數(shù)據(jù)的安全性和隱私保護(hù)，確保數(shù)據(jù)的保密性和完整性。例如，數(shù)據(jù)采集過(guò)程中需進(jìn)行數(shù)據(jù)加密、數(shù)據(jù)脫敏等操作，確保數(shù)據(jù)不被泄露或篡改。數(shù)據(jù)采集后需進(jìn)行數(shù)據(jù)清洗和處理，確保數(shù)據(jù)的準(zhǔn)確性和一致性。例如，對(duì)采集的數(shù)據(jù)進(jìn)行去重、格式轉(zhuǎn)換、數(shù)據(jù)歸一化等操作，確保數(shù)據(jù)的質(zhì)量和可用性。數(shù)據(jù)采集過(guò)程中需記錄數(shù)據(jù)采集的過(guò)程和結(jié)果，包括數(shù)據(jù)采集的時(shí)間、采集的數(shù)據(jù)類(lèi)型、采集的數(shù)據(jù)量等信息，以便后續(xù)數(shù)據(jù)分析和管理。

全量數(shù)據(jù)管理要提供基于無(wú)源頭無(wú)系統(tǒng)的線下手工數(shù)據(jù)的導(dǎo)入、導(dǎo)出功能，同時(shí)平臺(tái)提供基于數(shù)據(jù)庫(kù)表的在線維護(hù)功能，實(shí)現(xiàn)線下數(shù)據(jù)的初始化和日常維護(hù)。方便業(yè)務(wù)部分系統(tǒng)還不完善或還未建設(shè)時(shí)，可以提前把整理好Excel等線下數(shù)據(jù)導(dǎo)入全量數(shù)據(jù)庫(kù)，便于別的業(yè)務(wù)系統(tǒng)使用。同時(shí)，對(duì)于線下需要使用全量數(shù)據(jù)，可以通過(guò)導(dǎo)出功能導(dǎo)出數(shù)據(jù)，便于線下使用。這些離線數(shù)據(jù)采集必須規(guī)則控制符合數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)方可導(dǎo)入系統(tǒng)，拒絕不規(guī)范數(shù)據(jù)進(jìn)數(shù)據(jù)中心。

2.5 源頭業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)

源頭業(yè)務(wù)系統(tǒng)數(shù)據(jù)在做抽取前，先根據(jù)數(shù)據(jù)中心數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)，檢測(cè)出的數(shù)據(jù)質(zhì)量問(wèn)題生成報(bào)告即時(shí)反饋到業(yè)務(wù)部門(mén)進(jìn)行處理。業(yè)務(wù)系統(tǒng)處理完成后進(jìn)行復(fù)檢，直到數(shù)據(jù)質(zhì)量達(dá)標(biāo)方可進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)質(zhì)量治理是項(xiàng)長(zhǎng)期的過(guò)程，需要源頭業(yè)務(wù)部門(mén)的配合，信息中心管理人員通過(guò)不斷優(yōu)化圖形化質(zhì)量檢測(cè)維度、檢測(cè)規(guī)則，并最終可形成完整的方便業(yè)務(wù)修正數(shù)據(jù)的高質(zhì)量的數(shù)據(jù)質(zhì)量報(bào)告給業(yè)務(wù)部門(mén)，讓質(zhì)量檢測(cè)變得清晰、簡(jiǎn)單，同時(shí)也讓數(shù)據(jù)治理得以落地執(zhí)行。數(shù)據(jù)質(zhì)量管理工具能夠監(jiān)控并提高數(shù)據(jù)質(zhì)量的信息化工具，滿足多種常規(guī)化數(shù)據(jù)治理規(guī)則，且具備可插拔式數(shù)據(jù)質(zhì)量介入治理，滿足零代碼個(gè)性化治理需求，擴(kuò)展治理范圍，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)測(cè)功能。通過(guò)元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)引用和業(yè)務(wù)系統(tǒng)數(shù)據(jù)使用要求，為數(shù)據(jù)治理管理員提供可隨著數(shù)據(jù)治理范圍的擴(kuò)大，自主定義檢測(cè)規(guī)則，然后對(duì)全量數(shù)據(jù)進(jìn)行檢測(cè)。包括但不限于以下幾種：重復(fù)數(shù)據(jù)、空值、日期格式、全角半角、長(zhǎng)度不符合規(guī)范等。

3 基于Web 頁(yè)面的數(shù)據(jù)交換接口管理

參照全量信息標(biāo)準(zhǔn)建立學(xué)院主數(shù)據(jù)庫(kù)，通過(guò)API/ETL/ODI/DTS等數(shù)據(jù)交換工具從學(xué)院人事系統(tǒng)、教務(wù)系統(tǒng)、教育教學(xué)一體化平臺(tái)、智慧財(cái)務(wù)、資產(chǎn)系統(tǒng)、學(xué)生管理平臺(tái)、OA辦公系統(tǒng)、辦事大廳等業(yè)務(wù)系統(tǒng)抽取、清洗、導(dǎo)入業(yè)務(wù)數(shù)據(jù)到主數(shù)據(jù)的全局庫(kù)，并基于數(shù)據(jù)庫(kù)開(kāi)發(fā)常用基礎(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)API接口，如學(xué)院組織架構(gòu)、教職工基本信息、學(xué)生基本信息等，從而構(gòu)建出一個(gè)可視管理的基于API接口的數(shù)據(jù)交換平臺(tái)，為用戶提供數(shù)據(jù)申請(qǐng)、數(shù)據(jù)使用、數(shù)據(jù)加密、數(shù)據(jù)監(jiān)控等一站式數(shù)據(jù)共享服務(wù)。接口調(diào)用與使用監(jiān)控，如圖1 所示。

3.1 基于 Web 頁(yè)面拖拽的數(shù)據(jù)集成

基于 Web 頁(yè)面拖拽的數(shù)據(jù)集成平臺(tái)，并能夠與數(shù)據(jù)治理平臺(tái)的信息標(biāo)準(zhǔn)、元數(shù)據(jù)無(wú)縫對(duì)接，集成界面可以根據(jù)元數(shù)據(jù)設(shè)置顯示中文語(yǔ)義描述，大大降低了數(shù)據(jù)集成工作的技術(shù)壁壘。支持各類(lèi)常用大數(shù)據(jù)、關(guān)系型數(shù)據(jù)、API接口數(shù)據(jù)、文本數(shù)據(jù)、消息數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的在線數(shù)據(jù)集成、交換。所有數(shù)據(jù)集成接口的開(kāi)發(fā)定制均在Web端通過(guò)拖拽實(shí)現(xiàn)，支持復(fù)雜的數(shù)據(jù)集成流程編排，無(wú)需編碼。通過(guò)統(tǒng)一瀏覽器訪問(wèn)提供數(shù)據(jù)線上集成服務(wù)，使用人員無(wú)需在本地安裝任何插件或客戶端。充分考慮學(xué)院數(shù)據(jù)的特性，支持?jǐn)?shù)據(jù)復(fù)制建表，支持批量生成接口，支持元數(shù)據(jù)信息、數(shù)據(jù)模型、數(shù)據(jù)資源、數(shù)據(jù)血緣、數(shù)據(jù)集成過(guò)程日志雙向同步，支持批量生成數(shù)據(jù)接口，支持人工智能自動(dòng)構(gòu)建數(shù)據(jù)字段映射等，大大降低了數(shù)據(jù)交換時(shí)間和運(yùn)維成本，自動(dòng)記錄所有集成過(guò)程和數(shù)據(jù)操作。接口配置與管理，如圖2所示。

3.2 可視化的API 接口運(yùn)行管理與監(jiān)控

接口管理的核心是將數(shù)據(jù)庫(kù)中的數(shù)據(jù)以數(shù)據(jù)API 集市的形式統(tǒng)一管理、統(tǒng)一發(fā)布，自助式、自動(dòng)化地為學(xué)院信息化建設(shè)提供松耦合數(shù)據(jù)服務(wù)[4]。系統(tǒng)支持?jǐn)?shù)據(jù)管理員在平臺(tái)上對(duì)接學(xué)院數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)庫(kù)，將不同類(lèi)別數(shù)據(jù)源以統(tǒng)一的API接口方式對(duì)外開(kāi)放使用，統(tǒng)一管理API分類(lèi)和數(shù)據(jù)集市的內(nèi)容，數(shù)據(jù)管理員發(fā)布的接口類(lèi)型包含但不限WSDL、REST、文本文件、應(yīng)用分析類(lèi)等類(lèi)型。統(tǒng)一數(shù)據(jù)開(kāi)放管理平臺(tái)可以為學(xué)院業(yè)務(wù)部門(mén)提供各類(lèi)場(chǎng)景的數(shù)據(jù)資源開(kāi)放與共享，根據(jù)數(shù)據(jù)使用規(guī)范[5]，數(shù)據(jù)API接口服務(wù)需要遵循“申請(qǐng)→審核→發(fā)布→使用→監(jiān)控”流程，使數(shù)據(jù)使用規(guī)范化、流程化，便捷化，從而提升數(shù)據(jù)服務(wù)質(zhì)量和降低部門(mén)使用數(shù)據(jù)的難度。平臺(tái)將數(shù)據(jù)按照數(shù)據(jù)集市的方式進(jìn)行組織，并封裝為API接口，為學(xué)院提供各類(lèi)業(yè)務(wù)、主題相關(guān)數(shù)據(jù)API接口，利用并行計(jì)算能力幫助應(yīng)用層完成計(jì)算密集型任務(wù)，計(jì)算模型可供多個(gè)應(yīng)用共享，降低數(shù)據(jù)利用的技術(shù)門(mén)檻。包括數(shù)據(jù)分析API、業(yè)務(wù)模型API、數(shù)據(jù)上報(bào)API、計(jì)算模型API、質(zhì)量檢測(cè)API、主題分析API等，為應(yīng)用開(kāi)發(fā)提供統(tǒng)一、標(biāo)準(zhǔn)的數(shù)據(jù)支持。面向有數(shù)據(jù)查詢需求的相關(guān)人員（老師、學(xué)生、院系信息化秘書(shū)、臨時(shí)數(shù)據(jù)需求人員等角色）提供數(shù)據(jù)在線查詢、申請(qǐng)、審核、監(jiān)控服務(wù)，面向數(shù)據(jù)開(kāi)發(fā)需求人員（第三方廠商、業(yè)務(wù)部門(mén)管理人員、各類(lèi)校內(nèi)IT系統(tǒng)開(kāi)發(fā)群體）提供開(kāi)放的數(shù)據(jù)集市，同時(shí)支持服務(wù)開(kāi)發(fā)者在線按需、自助申請(qǐng)各類(lèi)數(shù)據(jù)API 接口，以支撐各自信息化建設(shè)需求，同時(shí)平臺(tái)會(huì)面向數(shù)據(jù)管理者、部門(mén)數(shù)據(jù)管理員（信息化管理員、各部門(mén)數(shù)據(jù)審核人員）提供數(shù)據(jù)API接口的全方位審核、監(jiān)控、管理服務(wù)，最終以數(shù)據(jù)服務(wù)大廳作為窗口，為不同角色的人員提供精準(zhǔn)的、便捷的數(shù)據(jù)服務(wù)（服務(wù)內(nèi)容包括多種類(lèi)型的數(shù)據(jù)API、各類(lèi)數(shù)據(jù)應(yīng)用API和統(tǒng)一數(shù)據(jù)開(kāi)發(fā)所提供的能力API） ，實(shí)現(xiàn)數(shù)據(jù)開(kāi)放與共享服務(wù)自動(dòng)化對(duì)接。

4 結(jié)束語(yǔ)

通過(guò)項(xiàng)目實(shí)施前后數(shù)據(jù)質(zhì)量對(duì)比，元數(shù)據(jù)驅(qū)動(dòng)下的數(shù)據(jù)治理在江蘇農(nóng)牧科技職業(yè)學(xué)院取得了不錯(cuò)的效果。實(shí)現(xiàn)了數(shù)據(jù)應(yīng)用對(duì)主數(shù)據(jù)管理平臺(tái)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的反饋、全數(shù)據(jù)應(yīng)用閉環(huán)，即實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用的數(shù)據(jù)聯(lián)動(dòng)，實(shí)現(xiàn)通過(guò)數(shù)據(jù)采集、數(shù)據(jù)交換實(shí)現(xiàn)信息產(chǎn)生和共享，數(shù)據(jù)治理提升數(shù)據(jù)質(zhì)量，高質(zhì)量數(shù)據(jù)支撐數(shù)據(jù)應(yīng)用，數(shù)據(jù)應(yīng)用反饋數(shù)據(jù)質(zhì)量問(wèn)題并通過(guò)數(shù)據(jù)采集和交換修正數(shù)據(jù)問(wèn)題，提升數(shù)據(jù)質(zhì)量，從而形成數(shù)據(jù)產(chǎn)生、數(shù)據(jù)質(zhì)量和數(shù)據(jù)應(yīng)用的數(shù)據(jù)生態(tài)閉環(huán)。讓數(shù)據(jù)治理不再單獨(dú)局限于技術(shù)人員使用，而是讓所有使用數(shù)據(jù)的人都能夠參與數(shù)據(jù)治理過(guò)程，記錄數(shù)據(jù)消費(fèi)者所提交的數(shù)據(jù)質(zhì)量問(wèn)題，通過(guò)元數(shù)據(jù)和數(shù)據(jù)血緣直接反饋至數(shù)據(jù)產(chǎn)生源頭，整個(gè)過(guò)程可記錄，實(shí)現(xiàn)全民數(shù)據(jù)治理。數(shù)據(jù)源頭的數(shù)據(jù)質(zhì)量得到了明顯的提升，整體提升了學(xué)院數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量，確保了各類(lèi)數(shù)據(jù)分析為領(lǐng)導(dǎo)決策提供數(shù)據(jù)支撐。希望文章能夠?qū)φ趶氖轮腔坌@建設(shè)的同行提供一定的借鑒和參考。

參考文獻(xiàn)：

[1] 張荃，陳暉，王海濤.智慧校園數(shù)據(jù)平臺(tái)架構(gòu)及數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)[J].電信快報(bào)，2019（10）：38-43.

[2] 王曉靜.大數(shù)據(jù)技術(shù)在高職院校智慧校園數(shù)據(jù)中臺(tái)建設(shè)中的應(yīng)用[J].電子世界，2020（9）：116-117.

[3] 陳剛.高粘度、超融合、輕便型智慧校園建設(shè)模式探討[J].軟件，2020，41（10）：273-274，285.

[4] 葉青霖.大數(shù)據(jù)時(shí)代高校智慧校園的建設(shè)[J].中國(guó)多媒體與網(wǎng)絡(luò)教學(xué)學(xué)報(bào)（上旬刊），2021（8）：33-35.

[5] 王珂，王小軍，郝喆，等.基于數(shù)據(jù)治理的智慧校園建設(shè)路徑[J].信息技術(shù)與信息化，2021（9）：127-130.

【通聯(lián)編輯：朱寶貴】