符龍生

摘要：近些年，大數(shù)據(jù)技術(shù)在我國(guó)逐步得到發(fā)展，并被社會(huì)的各個(gè)領(lǐng)域所應(yīng)用，因此數(shù)據(jù)的價(jià)值深受關(guān)注。以海南經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院為例，學(xué)校在授課過程中，會(huì)生成許多有關(guān)學(xué)生的數(shù)據(jù)，因此，我們需要更多地考慮如何將這些數(shù)據(jù)升值為有利資源，為學(xué)生及學(xué)校相關(guān)部門所用。由此，本文基于Hadoop大數(shù)據(jù)平臺(tái)，對(duì)學(xué)生畫像存在的價(jià)值以及系統(tǒng)設(shè)計(jì)和研究思路進(jìn)行了詳細(xì)分析，希望可以為相關(guān)研究人員提供參考。

關(guān)鍵詞：智慧校園;Hadoop;學(xué)生畫像;方式研究

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）20-0034-02

大數(shù)據(jù)技術(shù)具有低成本，高速度以及能夠大規(guī)模利用數(shù)據(jù)價(jià)值的特點(diǎn)，可以有效促進(jìn)社會(huì)各個(gè)領(lǐng)域的發(fā)展?，F(xiàn)如今，各大學(xué)的數(shù)字化和計(jì)算機(jī)化建設(shè)基本上都已得到了完成，并且日趨智能化。隨之而來的各類數(shù)據(jù)也越來越多，這也包括海南經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，學(xué)生在校期間生成了大量的數(shù)據(jù)群，例如消費(fèi)數(shù)據(jù)、學(xué)業(yè)成績(jī)數(shù)據(jù)、圖書查看數(shù)據(jù)等各方面的數(shù)據(jù)，從各種角度進(jìn)行研究，以了解學(xué)生的行為和喜好，為學(xué)生進(jìn)行畫像以幫助學(xué)生全面客觀地了解自己，同時(shí)也有利于學(xué)生管理部門精確管理并幫助學(xué)生提高教育水平。

1 什么是Hadoop技術(shù)

在大數(shù)據(jù)時(shí)代，無論是傳統(tǒng)的計(jì)算，還是傳統(tǒng)的數(shù)據(jù)存儲(chǔ)，都已經(jīng)不能跟上現(xiàn)代化的腳步。 Hadoop的逐步發(fā)展及完善，和Spark技術(shù)的問世，有效解決了大數(shù)據(jù)所面臨的各種問題。 Hadoop可以說是一個(gè)統(tǒng)一的分布式計(jì)算，專門用于處理規(guī)模較大的數(shù)據(jù)，通過自動(dòng)并行處理提供的MapReduce，自然可伸縮性，簡(jiǎn)單的實(shí)現(xiàn)和強(qiáng)大的容錯(cuò)能力等。提供分布式并行計(jì)算。它具有數(shù)據(jù)提取，轉(zhuǎn)換和加載以及離線數(shù)據(jù)處理的優(yōu)勢(shì)。此外，Hadoop還與Sqoop，F(xiàn)lum和其他工具兼容。Sqoop是一種數(shù)據(jù)遷移工具，用于在MySQL與現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)（例如Oracle，HDFS和Hbase）之間導(dǎo)入和導(dǎo)出數(shù)據(jù)。Flum提供高可用性和可靠的解決方案。它是一個(gè)用于大規(guī)模日志收集，聚合和傳輸?shù)姆植际较到y(tǒng)，可以執(zhí)行大規(guī)模流數(shù)據(jù)的分布式收集[1]。

2 學(xué)生畫像所存在的價(jià)值

1）可以使數(shù)據(jù)中存在的孤島問題得到改善，促進(jìn)信息的流通性。 大數(shù)據(jù)人物畫像需要從學(xué)校的多個(gè)部門檢索學(xué)生數(shù)據(jù)，以保證建模的結(jié)果是準(zhǔn)確有效的，并允許在不同部門之間可以共享數(shù)據(jù)。

2）信息技術(shù)的合理應(yīng)用，可以有效提升管理水平。通過充分利用學(xué)生模型，現(xiàn)代教育系統(tǒng)來進(jìn)行計(jì)算機(jī)化，使教育決策更具有科學(xué)性，從而實(shí)現(xiàn)教育機(jī)構(gòu)的高水平管理。

3）探索基于學(xué)生畫像的新教學(xué)模式，對(duì)現(xiàn)有的教育體系進(jìn)行創(chuàng)新及優(yōu)化，可以有效提升教學(xué)質(zhì)量;

4）通過對(duì)學(xué)生畫像結(jié)果進(jìn)行分析，可以捕捉學(xué)生獨(dú)特的人格特質(zhì)，對(duì)學(xué)生進(jìn)行準(zhǔn)確的指導(dǎo)和幫助，并制定精確的實(shí)施策略，已達(dá)到對(duì)學(xué)生進(jìn)行科學(xué)、有效、精確的管理工作。

3 學(xué)生畫像的系統(tǒng)設(shè)計(jì)

3.1 學(xué)生畫像系統(tǒng)功能需求

可以通過網(wǎng)絡(luò)從網(wǎng)頁訪問大數(shù)據(jù)驅(qū)動(dòng)的學(xué)生畫像系統(tǒng)。該體系劃分為三個(gè)步驟：1）客戶端;2）服務(wù)器; 3）數(shù)據(jù)庫(kù)模式。如圖1行為畫像構(gòu)建步驟所示，學(xué)生在進(jìn)入系統(tǒng)后，就會(huì)進(jìn)行身份識(shí)別，對(duì)學(xué)生的各種數(shù)據(jù)進(jìn)行總結(jié)和讀取，最終對(duì)學(xué)生的日常生活、學(xué)習(xí)成績(jī)等數(shù)據(jù)構(gòu)建成不同時(shí)間段的報(bào)表，并為學(xué)生提供相應(yīng)的指導(dǎo)和建議，就比如說，學(xué)生去圖書館借書，假如特別頻繁借書就會(huì)對(duì)學(xué)生進(jìn)行獎(jiǎng)勵(lì)或表揚(yáng)，假如在學(xué)習(xí)或者閱覽等方面特別懶惰，就會(huì)對(duì)學(xué)生進(jìn)行批評(píng)或者是提供相關(guān)好的建議。并反饋給輔導(dǎo)員或?qū)W生個(gè)人，進(jìn)行談話戒備。通過該系統(tǒng)，我們希望為學(xué)生提供一個(gè)學(xué)生畫像系統(tǒng)，該系統(tǒng)集成了學(xué)術(shù)統(tǒng)計(jì)信息、信息請(qǐng)求和年終摘要[2]。

3.2 學(xué)生畫像系統(tǒng)數(shù)據(jù)需求

程序數(shù)據(jù)十分重要，可以說是系統(tǒng)的心臟。想要對(duì)個(gè)人信息進(jìn)行及時(shí)準(zhǔn)確的處理與分析，那么系統(tǒng)就需要大量數(shù)據(jù)來完成和歸納個(gè)人信息，例如消費(fèi)統(tǒng)計(jì)和分析，學(xué)校成績(jī)等。數(shù)據(jù)分為學(xué)生的生活中的基本數(shù)據(jù)、學(xué)生在平時(shí)學(xué)習(xí)中的表現(xiàn)所產(chǎn)生的數(shù)據(jù)等。數(shù)據(jù)通常都是以Excel表或csv文件進(jìn)行展現(xiàn)，之后納入數(shù)據(jù)庫(kù)。數(shù)據(jù)總長(zhǎng)度需要設(shè)置為100，以避免數(shù)據(jù)庫(kù)存儲(chǔ)異常。在進(jìn)行數(shù)據(jù)采集過程中，會(huì)有一些異常的數(shù)據(jù)產(chǎn)生，例如一些不完整或是不準(zhǔn)確的數(shù)據(jù)，這些數(shù)據(jù)有一個(gè)統(tǒng)一的名稱（臟數(shù)據(jù)）。對(duì)于臟數(shù)據(jù)，我們可以采取在分析數(shù)據(jù)之前先清理數(shù)據(jù)的方法。操作時(shí)，所有數(shù)據(jù)源都需要進(jìn)行格式化轉(zhuǎn)換。數(shù)據(jù)清理十分重要，是必不可少的環(huán)節(jié)，結(jié)果的質(zhì)量與模式效果和最終結(jié)論直接相關(guān)。在實(shí)際操作中，數(shù)據(jù)清理通常占掃描過程工作量的50%到80%，因此它也是運(yùn)行整個(gè)配置文件系統(tǒng)的關(guān)鍵鏈接，在格式設(shè)置上需要謹(jǐn)慎[3]。

3.3 學(xué)生畫像系統(tǒng)設(shè)計(jì)原理

1）需要遵循簡(jiǎn)單的原理

在進(jìn)行數(shù)據(jù)處理過程中，也需要以簡(jiǎn)單原理為基礎(chǔ)。這樣在獲取有用數(shù)據(jù)時(shí)，可以有效控制數(shù)據(jù)群的大小，提升數(shù)據(jù)質(zhì)量。在實(shí)際工作中，您可以選擇特定的分析數(shù)據(jù)和適當(dāng)?shù)奶幚矸椒▉韴?zhí)行簡(jiǎn)單、有效的工作。

2）確保清晰明了的原理

所有事物的分析，都會(huì)有其結(jié)論產(chǎn)生。其結(jié)論必須清晰明了。假如在結(jié)論沒有明確的狀況下，這時(shí)所講的分析并不成立，也不具備任何意義，因?yàn)楸仨氃谶M(jìn)行分析之前需要對(duì)該結(jié)論進(jìn)行尋找和驗(yàn)證。

3）數(shù)據(jù)要具有可靠性

良好的分析應(yīng)基于可靠的數(shù)據(jù)源。 實(shí)際上，在許多情況下，數(shù)據(jù)收集會(huì)花費(fèi)更長(zhǎng)的時(shí)間，包括計(jì)劃和定義數(shù)據(jù)，調(diào)整數(shù)據(jù)報(bào)告以及允許開發(fā)人員正確提取或進(jìn)行數(shù)據(jù)設(shè)置。在對(duì)良好數(shù)據(jù)進(jìn)行分析只有一個(gè)目的，那就是尋求正確答案，所以所采集數(shù)據(jù)的精確性是其基礎(chǔ)，否則的話，就會(huì)適得其反。

4）報(bào)告進(jìn)行圖標(biāo)體現(xiàn)

應(yīng)盡可能使用圖表體現(xiàn)數(shù)據(jù)。采用圖表來替換大量堆疊的數(shù)字，使用戶可以更生動(dòng)、直接地面對(duì)所存在的弊端或者是做出的結(jié)論。另外，圖標(biāo)雖然有很多好處，但是也不能過度使用。因?yàn)槿嗽诿鎸?duì)大量圖表示容易感到困惑。