涂慶華 崔聰 束乾倩
由于早期數(shù)字化校園建設(shè)背景的限制,各大高校在數(shù)據(jù)層面均處于較為薄弱的階段,主要存在以下難題:
1.數(shù)據(jù)不可知:傳統(tǒng)的數(shù)據(jù)平臺僅含部分人財物等結(jié)果型主數(shù)據(jù),并不包含過程數(shù)據(jù),無法得知真實的數(shù)據(jù)資產(chǎn)情況;
2.數(shù)據(jù)不可管:缺少對于多源異構(gòu)數(shù)據(jù)的可視化處理平臺,對廠商的依賴程度較大,難以擁有自主權(quán);
3.數(shù)據(jù)不可控:數(shù)據(jù)開放程度不足,同時缺乏數(shù)據(jù)全脈絡(luò)的監(jiān)管,不能規(guī)范數(shù)據(jù)的全生命周期流程;
4.數(shù)據(jù)不可信:信息標準不一致、數(shù)據(jù)不完整、數(shù)據(jù)錯誤等問題造成數(shù)據(jù)不可信,導(dǎo)致分析結(jié)果的偏差,影響數(shù)據(jù)的共享交換;
5.數(shù)據(jù)不可用:缺少對于業(yè)務(wù)場景的研究,很難產(chǎn)生實際價值。
當(dāng)前,智慧校園建設(shè)對于底層數(shù)據(jù)的需求更為急迫,因為沒有準確全面的數(shù)據(jù),智慧校園就無法達到預(yù)期的高度。
因此,南京理工大學(xué)啟動了數(shù)據(jù)治理體系建設(shè),以數(shù)據(jù)的“采、管、用”為目標,以全量數(shù)據(jù)中心建設(shè)和數(shù)據(jù)中臺服務(wù)為依托,旨在提升智慧校園數(shù)據(jù)服務(wù)能力,為學(xué)校提供全面、高效、精準的數(shù)據(jù)支撐。
數(shù)據(jù)治理體系建設(shè)實踐
1.構(gòu)建校級的數(shù)據(jù)管理組織架構(gòu):數(shù)據(jù)治理需要率先建立管理的組織架構(gòu),明確決策流程、權(quán)責(zé)關(guān)系、配合方式。學(xué)校建立起重大決策和協(xié)調(diào)推進、技術(shù)開發(fā)支持、承擔(dān)配合的數(shù)據(jù)治理體系,保障了數(shù)據(jù)治理工程的快速推進。
2.制定學(xué)校數(shù)據(jù)標準規(guī)范:數(shù)據(jù)標準規(guī)范是智慧校園頂層設(shè)計,能夠保障數(shù)據(jù)的一致性,破除數(shù)據(jù)難以打通、利用等弊端。
通過部門調(diào)研、比對迭代,形成權(quán)威信息標準?;诮y(tǒng)一的編碼規(guī)則,為數(shù)據(jù)的全面打通和業(yè)務(wù)系統(tǒng)實時同步更新數(shù)據(jù)標準奠定了基礎(chǔ)。
3.數(shù)據(jù)資產(chǎn)摸底與識別:學(xué)校提出并實踐了“先集中、后治理”的數(shù)據(jù)治理方式,即建設(shè)近源數(shù)據(jù)層,將數(shù)據(jù)的原始形態(tài)充分進行暴露和識別,從而實現(xiàn)數(shù)據(jù)資產(chǎn)的盤點,形成對于數(shù)據(jù)資產(chǎn)管理的統(tǒng)一視圖。
4.構(gòu)建全量數(shù)據(jù)平臺:智慧校園建設(shè)需要更多高價值數(shù)據(jù)源,例如記錄行為的日志數(shù)據(jù)、線下表格數(shù)據(jù)、外部互聯(lián)網(wǎng)數(shù)據(jù),以及視頻監(jiān)控和人臉識別等非結(jié)構(gòu)化數(shù)據(jù)。此類數(shù)據(jù)的體量、結(jié)構(gòu)、處理方式與業(yè)務(wù)數(shù)據(jù)完全不同,存在很大的使用難度。
為實現(xiàn)低門檻的利用,學(xué)校設(shè)計了全量數(shù)據(jù)平臺架構(gòu),能夠支持多維數(shù)據(jù)源,實現(xiàn)高校全量數(shù)據(jù)的“實時可采集、全面可管控、處處可復(fù)用”,真正實現(xiàn)“數(shù)入一庫,數(shù)出一庫”。
(1)業(yè)務(wù)數(shù)據(jù):新建的業(yè)務(wù)系統(tǒng)不再單獨構(gòu)建數(shù)據(jù)庫,原有業(yè)務(wù)系統(tǒng)按11備庫到全量數(shù)據(jù)中心。
因此,實現(xiàn)了招投標系統(tǒng)、智慧團建、第二成績單等12個新建系統(tǒng)數(shù)據(jù)集中存放;實現(xiàn)了對人事、學(xué)工、教務(wù)、科研、資產(chǎn)、研究生、一卡通等25個核心系統(tǒng)數(shù)據(jù)的全量采集和治理,生成了學(xué)校概況、學(xué)生管理、教學(xué)管理、教職工管理等13個數(shù)據(jù)倉庫子集,共計沉淀5億多條結(jié)構(gòu)化數(shù)據(jù)。
(2)日志數(shù)據(jù):基于Hadoop和Spark大數(shù)據(jù)框架,實現(xiàn)了對上網(wǎng)URL、防火墻、無線Wi-Fi、WAF等7大類核心日志數(shù)據(jù)的分布式采集、解析、存儲工作,月體量近TB級。針對此類高校普遍未有效利用的行為數(shù)據(jù)構(gòu)建了成熟的處理方案,為大數(shù)據(jù)應(yīng)用提供了多維度數(shù)據(jù)源。
(3)線下數(shù)據(jù):設(shè)計并落地了對學(xué)工處、人事處、教務(wù)處、國資處等10個部門線下表格數(shù)據(jù)的一站式采集治理方案,在兼顧部門人員維護數(shù)據(jù)習(xí)慣的基礎(chǔ)上,實現(xiàn)線下數(shù)據(jù)源的補充。
該方案為高校審計數(shù)據(jù)上報工作提供了便利,為各大高校業(yè)務(wù)系統(tǒng)未建或使用效果不好,又需要將線下數(shù)據(jù)進行整合和共享的需求提供參考。
5.推動數(shù)據(jù)質(zhì)量回溯,堵疏并用:對于數(shù)據(jù)質(zhì)量這類老大難問題要綜合評估其影響程度、改進難易程度,制定了以下解決辦法。
(1)明確數(shù)據(jù)源頭部門,提供可視化數(shù)據(jù)質(zhì)量報告。對于影響范圍較大的主數(shù)據(jù),采用可視化數(shù)據(jù)質(zhì)量報告推送的方式,讓源頭部門明確數(shù)據(jù)質(zhì)量問題,并對原始問題記錄進行重點標注,推動其核對和改善。
(2)推行數(shù)據(jù)與人見面。遵循“個人對數(shù)據(jù)負責(zé)”的原則,建立師生個人數(shù)據(jù)中心,提供糾錯補錄功能。通過集中式的個人數(shù)據(jù)查閱和核對,保障個人數(shù)據(jù)更新的及時性,為各類業(yè)務(wù)申報提供可信數(shù)據(jù)源,避免重復(fù)填報。
(3)推動業(yè)務(wù)系統(tǒng)整改。業(yè)務(wù)系統(tǒng)設(shè)計的不完備性是數(shù)據(jù)質(zhì)量問題的根源,學(xué)校制定了數(shù)據(jù)治理提升措施,實現(xiàn)從源頭解決數(shù)據(jù)質(zhì)量問題。
打造數(shù)據(jù)中臺 以開放促應(yīng)用
為構(gòu)建更為開放的數(shù)據(jù)服務(wù)生態(tài),學(xué)校設(shè)計了集 “發(fā)布、申請、管控、監(jiān)測”為一體的數(shù)據(jù)中臺。
統(tǒng)一發(fā)布中心:面向各平臺和系統(tǒng)提供統(tǒng)一的數(shù)據(jù)出口方式,可快速實現(xiàn)數(shù)據(jù)共享接口的發(fā)布,降低數(shù)據(jù)共享門檻;統(tǒng)一申請中心:繼承數(shù)據(jù)治理的成果,開放校內(nèi)數(shù)據(jù)資源目錄,目前已有近20類、400+種數(shù)據(jù)資源上線使用;統(tǒng)一管控中心:可視化處理數(shù)據(jù)申請,從而保障學(xué)校對于數(shù)據(jù)的自主可控;統(tǒng)一監(jiān)測中心:對于數(shù)據(jù)運行情況實現(xiàn)全鏈路監(jiān)測,改變以往數(shù)據(jù)交換的“黑盒狀態(tài)”。
面向業(yè)務(wù)場景落地大數(shù)據(jù)分析應(yīng)用
大數(shù)據(jù)分析的建設(shè)不能閉門造車,要深入了解各部門、各群體的真實需求,以精準的大數(shù)據(jù)分析結(jié)果全面輔助領(lǐng)導(dǎo)決策、校務(wù)管理及流程優(yōu)化,推動學(xué)校的長遠發(fā)展。
目前,已為人事處、學(xué)工處、校友會、后勤服務(wù)中心、校園管理與保衛(wèi)處、發(fā)展規(guī)劃處等部門提供大數(shù)據(jù)分析服務(wù),以下是部分亮點應(yīng)用。
1.暖心飯卡:通過分析食堂消費數(shù)據(jù)實現(xiàn)精準扶貧,將善款直接打入進餐低于平均水平的學(xué)生飯卡內(nèi)。在保護學(xué)生尊嚴的前提下,保證困難學(xué)生能夠吃飽飯。
2.智慧網(wǎng)絡(luò):基于產(chǎn)生的海量歷史數(shù)據(jù)和實時數(shù)據(jù),實現(xiàn)IT資源運行分析、異常檢測、智能預(yù)測等功能,從而解決高校IT架構(gòu)復(fù)雜、運維困難的問題,提升學(xué)校基礎(chǔ)IT運維能力。
近年來,如何在破解高校數(shù)據(jù)頑疾的基礎(chǔ)上,充分挖掘和發(fā)揮大數(shù)據(jù)的價值,是高校信息化領(lǐng)域面臨的新課題。
南京理工大學(xué)通過數(shù)據(jù)治理體系的規(guī)劃和實踐,打造了以全量數(shù)據(jù)中心和數(shù)據(jù)中臺服務(wù)為核心的智慧校園數(shù)據(jù)支撐體系,為當(dāng)前和未來信息化建設(shè)提質(zhì)增效夯實了數(shù)據(jù)基礎(chǔ)。