章家寶 彭梅 粱東海 李勝林

摘要：近年來隨著互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，大數(shù)據(jù)技術(shù)已被應(yīng)用到各行各業(yè)，在高校招生這一領(lǐng)域也不例外。通過分析復(fù)雜的投檔分數(shù)，錄取分數(shù)，同類學(xué)校之間的競爭力對比數(shù)據(jù)，可以提高學(xué)校的教學(xué)質(zhì)量，社會影響力，以及社會競爭力。根據(jù)筆者團隊的研究，發(fā)現(xiàn)社會上僅有一款基于web的“高校招生決策平臺”，沒有采用大數(shù)據(jù)技術(shù)對于高校招生數(shù)據(jù)進行智能分析。目前許多的高校都還停留在人工分析階段。人工分析是最原始的分析，第一人工精力有限，容易分析漏項。第二人工分析還受個人因素影響。因此，做一個基于大數(shù)據(jù)的招生平臺的想法應(yīng)運而生。旨在幫助高校招生部門簡化學(xué)習(xí)信息分析過程，讓煩瑣的招生工作變得得心應(yīng)手。

關(guān)鍵詞：高校招生;大數(shù)據(jù)技術(shù);智能分析

中圖分類號：TP311 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2020）31-0102-03

1項目背景與簡介

1.1 項目背景

目前許多的高校在招生數(shù)據(jù)管理方面還處于人工處理階段，招生數(shù)據(jù)管理者需要管理一個學(xué)校歷年來的龐大的招生數(shù)據(jù)。本項目主要是對于招生數(shù)據(jù)進行管理分析。運用前沿的Hadoop生態(tài)大數(shù)據(jù)技術(shù)以及spark大數(shù)據(jù)技術(shù)對于招生的數(shù)據(jù)進行智能分析。有效減少招生工作部門的工作量，讓學(xué)校的招生數(shù)據(jù)更加規(guī)范化、自動化。

1.2 目的和意義

本項目立足于全國高校招生部門，主要針對高校的招生部門，采用高可用的輕量級架構(gòu)為招生工作中多而雜的數(shù)據(jù)提供以一個平臺化、界面化的操作管理系統(tǒng)。大大簡化了高校招生部門工作人員的工作量，讓高校招生部門工作人員可以簡便快捷地在復(fù)雜的招生信息數(shù)據(jù)中提取到有價值的數(shù)據(jù)信息。在保證數(shù)據(jù)的精確分析以及平臺的高可用的同時，我們還設(shè)置了數(shù)據(jù)加密，以及過濾敏感數(shù)據(jù)，讓數(shù)據(jù)更加安全。同時，本項目還包含了一個招生網(wǎng)盤，有效地防止數(shù)據(jù)丟失。另外本系統(tǒng)還包含一套完整的權(quán)限控制平臺，可以有效抵御未知入侵，進行靈活分配角色以及人員，保證了數(shù)據(jù)信息和用戶安全。除此之外，本項目還配套開發(fā)公眾號的微網(wǎng)頁，讓系統(tǒng)人員通過手機移動端進行數(shù)據(jù)信息采集和查看數(shù)據(jù)分析圖。

1.3 擬解決的問題

1）各學(xué)校數(shù)據(jù)來源相同，數(shù)據(jù)庫的表結(jié)構(gòu)也沒有特別大的差異，但是由于新生老生的信息的數(shù)據(jù)量大，導(dǎo)致人工數(shù)據(jù)處理不方便，需要耗費大量的時間。

2）傳統(tǒng)的招生平臺功能單一，雜亂。致使很多新生對功能的查找和使用費時費力，用戶體驗效果差，會增加用戶使用心理負擔，對所報讀的學(xué)校印象減分，并且沒有加入如spark的新興大數(shù)據(jù)的高可用框架，在執(zhí)行海量數(shù)據(jù)處理時嚴重影響系統(tǒng)的性能。

3）傳統(tǒng)的招生數(shù)據(jù)管理后臺信息可視化單一、部分剛需的對比缺乏，不利于招生工作的老師對頁面進行充分解讀，造成數(shù)據(jù)資源無法得到合理的利用和開發(fā)。

4）在大數(shù)據(jù)時代，數(shù)據(jù)的安全性儼然成為一個熱門的話題，傳統(tǒng)的平臺對于數(shù)據(jù)的保護不足，容易造成數(shù)據(jù)的泄露，嚴重威脅到了學(xué)生的隱私。

2項目可行性分析

2.1 可行性

1）技術(shù)方面：技術(shù)上筆者團隊對于Java的spring，springdata，springboot，springmvc框架相對熟悉，并且前端知識（layui，JavaScript，vue，node.js，html和css3）也有一年的開發(fā)經(jīng)驗。對于大數(shù)據(jù)框架hadoop， spark也有一定的基礎(chǔ)。

2）市場需求：市場需求量大，據(jù)筆者團隊的歸納統(tǒng)計，廣東省內(nèi)大部分高校還是在采用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)，從實用性以及創(chuàng)新性本項目較傳統(tǒng)的系統(tǒng)有較大優(yōu)勢，因而市場空間較大。

2.2 功能模塊需求分析

系統(tǒng)的功能模塊圖如圖1所示。

本系統(tǒng)主要分為三大模塊：數(shù)據(jù)分析、控制臺、微信微網(wǎng)頁。數(shù)據(jù)分析又劃分為：招生數(shù)據(jù)、數(shù)據(jù)錄入、錄取數(shù)據(jù)管理、計劃數(shù)管理、數(shù)據(jù)報表統(tǒng)計、院校間數(shù)據(jù)對比、問卷調(diào)查生成。控制臺進一步劃分為：系統(tǒng)設(shè)置、代辦事件、微網(wǎng)頁后臺、日志管理。微信微網(wǎng)頁模塊主要劃分為：會議報名、招生章程、資助政策、報餐、招生信息登記、預(yù)報到、專升本、保留學(xué)籍。

2.3 系統(tǒng)創(chuàng)新

1）在技術(shù)上，本平臺采用了與傳統(tǒng)的web開發(fā)不一樣的大數(shù)據(jù)開發(fā)，保證了處理海量數(shù)據(jù)的時效性。采用熱門的開源數(shù)據(jù)可視化框架，為系統(tǒng)的使用者提供更加直觀的數(shù)據(jù)處理結(jié)果。以及以圖表對照的方式保證了傳統(tǒng)功能與創(chuàng)新性并存。

2）平臺按照功能分為前臺和后臺，前臺利用靜態(tài)和動態(tài)頁面相結(jié)合的方式展示各系及各專業(yè)招生情況、對全景校園進行展現(xiàn)，為新生導(dǎo)航和交通指引情況，方便新生順利報到，后臺利用html加layui框架配合Java輕量級框架搭載高可用的分布式集群。

3）后臺面向招生老師及系統(tǒng)管理員，管理員通過后臺及時更新和維護前臺的信息，保證前臺信息的實時性、有效性。

4）平臺更是融合報名系統(tǒng)、智慧校園查詢功能、升學(xué)考證、辦事指南、問卷調(diào)查、專升本錄取名冊、成績打印、在讀證明畢業(yè)證遺失補辦為一體，全方位生源服務(wù)。

5）優(yōu)化客服中心功能，用戶可以通過地址、郵箱、傳真、電話號碼聯(lián)系的同時，還可以填寫個人信息，后臺客服聯(lián)系或線上面對面交流。

6）系統(tǒng)搭載了一個方便高校招生數(shù)據(jù)存放的數(shù)據(jù)網(wǎng)盤，高?？梢詫?shù)據(jù)存放到該系統(tǒng)中，并且設(shè)置高校自己的密碼，即使是系統(tǒng)開發(fā)人員也無法獲取到數(shù)據(jù)，文件將以md5加密以及base64加密。使數(shù)據(jù)更加安全。

3系統(tǒng)分析與設(shè)計

3.1 系統(tǒng)分析

本系統(tǒng)主要采用MVC模式進行開發(fā)，技術(shù)采用的是spring5、spring boot、springdata。前端框架主要采用的是layui以及jquery和html5、css3等主流的前端技術(shù)。大數(shù)據(jù)采用的是spark，采用大數(shù)據(jù)技術(shù)主要是對于數(shù)據(jù)的并發(fā)處理進行優(yōu)化，并且有效提高數(shù)據(jù)的吞吐量以及執(zhí)行效率。系統(tǒng)的開發(fā)架構(gòu)圖如圖2所示。

3.2 數(shù)據(jù)庫設(shè)計

本系統(tǒng)在數(shù)據(jù)庫設(shè)計上主要分為以下階段，首先需要先了解學(xué)校老師在招生數(shù)據(jù)上面需要什么信息，然后根據(jù)信息進行數(shù)據(jù)庫設(shè)計，然后在對于收集到的信息進行抽象，畫出概念模型，也就是我們經(jīng)常說的（E-R圖），根據(jù)我們畫出來的E-R圖我們可以在spring boot Data jpa上面建立我們的實體類，并且需要加上@Entity注解建立邏輯數(shù)據(jù)庫。再運行程序的時候spring data jpa會自動為我們創(chuàng)建出數(shù)據(jù)庫表。并且加上相對應(yīng)的表結(jié)構(gòu)。此外，本系統(tǒng)還需要額外的數(shù)據(jù)庫函數(shù)，最后建立出數(shù)據(jù)庫模型。然后對于系統(tǒng)進行功能測試，線上運行，線上維護等。

3.3 系統(tǒng)詳細設(shè)計

3.3.1招生工作信息歸納流程描述

1）用戶登錄該合作高校的微信公眾號微信網(wǎng)頁，在下方導(dǎo)航欄中找到首頁，然后在微網(wǎng)頁中查找自己需要向招生部門提交的信息，如（需要保留學(xué)籍者，在保留學(xué)籍處填寫表單，需要報餐人員在報餐處填寫表單）。

2）填寫完成之后，數(shù)據(jù)會進入mysql數(shù)據(jù)庫進行持久化處理。

3）統(tǒng)管理員如果需要采集微信微網(wǎng)頁中的信息，那么可以通過登錄后臺，然后進行微網(wǎng)頁驗證。如果驗證有權(quán)限，就可以登錄微網(wǎng)頁中進行數(shù)據(jù)采集處理。

4）系統(tǒng)管理員處理對應(yīng)的數(shù)據(jù)信息之后，會通過電話或者短信告知對應(yīng)的解決方案。

3.3.2招生數(shù)據(jù)處理流程

招生數(shù)據(jù)處理流程如圖3。

流程圖描述：

1）系統(tǒng)管理員登錄系統(tǒng)，進行權(quán)限認證，如果該系統(tǒng)管理員擁有多個權(quán)限，那么必須選擇一個權(quán)限以登錄該系統(tǒng)。

2）系統(tǒng)管理員可以將招生數(shù)據(jù)導(dǎo)入到該系統(tǒng)中，然后系統(tǒng)會通過算法識別是什么類型的文件，如果是xls或者是xlsx，那么就改用poi的方式讀寫數(shù)據(jù)，如果是采用dbf的數(shù)據(jù)，那么就采用團隊自己研發(fā)的dbf框架。如果是壓縮包的話，那么就先解壓縮，然后再進行分析。

3）然后分析完成的文件會放在hdfs文件系統(tǒng)中，存入之后，再用mapreduce算法進行分析，分析完成之后的中間數(shù)據(jù)存入于hbase中，分析之后的結(jié)果放在mysql關(guān)系型數(shù)據(jù)庫中。

4）系統(tǒng)管理員可以在系統(tǒng)中的數(shù)據(jù)分析處，查出近幾年的數(shù)據(jù)對比以及可視化圖和表。

4系統(tǒng)測試

系統(tǒng)測試主要分為斷點測試和上線測試。斷電測試主要是在編寫程序的時候，用于測試程序出現(xiàn)的問題的根本原因，上線測試主要是發(fā)現(xiàn)一些上線協(xié)作之間進程與線程問題，以及用戶體驗問題。通過斷電測試以及上線測試，可以讓用戶的體驗更佳。大大添加了系統(tǒng)的可行性。以招生數(shù)據(jù)分析為例子：首先我們需要先把以dbf結(jié)尾、以zip結(jié)尾、以xls結(jié)尾或者以xlsx結(jié)尾的文件加載到系統(tǒng)指定的地方，然后系統(tǒng)讀取數(shù)據(jù)，然后如果數(shù)據(jù)校驗正確的話，將對于分析從來的數(shù)據(jù)進行持久化，之后上線測試。形成一份相應(yīng)的測試報告。直到問題全部解決、系統(tǒng)達到指定預(yù)想狀態(tài)為止。部分系統(tǒng)圖如圖4所示。

5結(jié)論

本項目對于普通高校對于全國統(tǒng)一高考報名的高校招生數(shù)據(jù)系統(tǒng)的設(shè)計與實現(xiàn)，運用了spring boot、spring jpa以及spring5的知識來進行數(shù)據(jù)庫以及Java web系統(tǒng)的編寫、運用jquery以及l(fā)ayui來對于系統(tǒng)前端進行編寫，并且運用了大數(shù)據(jù)技術(shù)來對于系統(tǒng)數(shù)據(jù)分析的優(yōu)化。前沿的技術(shù)可以幫助高校招生部門更好、更方便地管理高校招生數(shù)據(jù)。當時因為時間和技術(shù)的約束，我們還有許多的地方?jīng)]有好好完善。因此。筆者會更加努力地完善此系統(tǒng)。

參考文獻：

[1] 張澤，李良，李曉峰.大數(shù)據(jù)時代下高校決策支持系統(tǒng)籌劃與探索[J].邢臺職業(yè)技術(shù)學(xué)院學(xué)報，2014，31（6）：42-46.

[2] 許燕青.民辦高校招生數(shù)據(jù)分析與預(yù)測[D].泉州：華僑大學(xué)，2019.

[3] 王炳堃.基于OLAP民辦高校招生數(shù)據(jù)智能分析系統(tǒng)的設(shè)計[J].信息技術(shù)與信息化，2019（8）：108-110.

[4] 職曉曉.數(shù)據(jù)挖掘在高校招生中的應(yīng)用研究[D].天津：天津工業(yè)大學(xué)，2018.

[5] 蔡中興.大數(shù)據(jù)時代下高職新型招生管理系統(tǒng)的研發(fā)[J].廣東技術(shù)師范學(xué)院學(xué)報，2016，37（8）：112-115，129.

[6] 劉進，陳建.中國高校自主招生地方保護主義的大數(shù)據(jù)分析[J].上海教育科研，2016（5）：5-10.

【通聯(lián)編輯：代影】