李光耀 宋文廣 謝艷晴

摘 要： 市面上加強家庭學(xué)校溝通的APP都有一定的局限性，并不能滿足學(xué)生的個性化需求。通過對學(xué)生畫像在大數(shù)據(jù)平臺上實現(xiàn)的架構(gòu)體系、Hadoop平臺相關(guān)技術(shù)以及Hive數(shù)據(jù)倉庫的研究，分析從智慧校園海量數(shù)據(jù)中提取標(biāo)簽，生成學(xué)生畫像的實現(xiàn)原理，研制一套適合給學(xué)生“畫像”的標(biāo)簽體系。優(yōu)選三層數(shù)據(jù)倉庫，清洗、提煉、聚類的流程方式，優(yōu)化學(xué)生標(biāo)簽的類別和內(nèi)容，完善給學(xué)生打標(biāo)簽的規(guī)則，實現(xiàn)在智慧校園中學(xué)生畫像的構(gòu)建。通過研究學(xué)生畫像，更有利于教師、家長了解學(xué)生，為學(xué)生量身定做其培養(yǎng)方案，助其早日成才。

關(guān)鍵詞： 大數(shù)據(jù)平臺; 智慧校園; 學(xué)生畫像; 標(biāo)簽體系; Hadoop; 數(shù)據(jù)倉庫

中圖分類號： TN911.73?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）12?0161?03

Abstract： The APPs that increase communications between families and schools have some limitations and cannot satisfy the individual requirements of students. Therefore， a label system suitable for student profiling is developed by means of studying the architecture system of student profile implementation on the big data platform， the related technologies of Hadoop platform， and Hive data warehouse， and analyzing the implementation principle of extracting labels from massive data of smart campus to generate student profiles. The three?layer data warehouse and the flow pattern of cleaning， refining and clustering are preferentially selected to optimize the category and content of student labels， improve the rules of labeling the students， and realize the construction of student profiles in smart campus. The research of student profiles is conducive for teachers and parents to understand students， tailor the training program for students， and help students succeed at an early stage.

Keywords： big data platform; smart campus; student profile; label system; Hadoop; data warehouse

隨著信息技術(shù)和網(wǎng)絡(luò)的迅速發(fā)展，教育的信息化成為衡量一個國家和地區(qū)教育發(fā)展水平的重要標(biāo)志。智慧校園推進(jìn)了以學(xué)校為主體的教育信息化進(jìn)程，已是教育信息化的重要組成部分。智慧校園是將師生、設(shè)備環(huán)境、資源以及社會因素，通過“互聯(lián)網(wǎng)+”整合成一種獨特的校園系統(tǒng)，以物聯(lián)網(wǎng)技術(shù)為基礎(chǔ)，信息的相關(guān)性為核心，通過多平臺的信息傳遞提供及時的雙向交流平臺，形成智能學(xué)校[1]。而且市面上已有不少加強家庭學(xué)校溝通的APP，但這類APP都有一定的局限性，并不能滿足學(xué)生的個性化需求。

基于大數(shù)據(jù)技術(shù)，通過整理搜集學(xué)生在網(wǎng)上的瀏覽、點擊、留言、評論等碎片化的行為軌跡，研究學(xué)生言行，這些學(xué)生的言行軌跡直接或間接反映了用戶的性格、習(xí)慣、態(tài)度等信息。把這些碎片式的學(xué)生信息整理后存儲在數(shù)據(jù)庫中，能被企業(yè)用來抽象出學(xué)生的信息全貌，這就是用戶畫像[2]。用戶畫像的主要工作就是標(biāo)簽化，使用高度精煉，語意突出的短文本來為用戶打標(biāo)簽。在大數(shù)據(jù)和個性化技術(shù)的背景下，將用戶畫像應(yīng)用在智慧校園中，將使人們曾希望卻難以實現(xiàn)的因材施教有了實現(xiàn)的可能。

1 智慧校園學(xué)生畫像設(shè)計

1.1 學(xué)生畫像的數(shù)據(jù)分析

首先將學(xué)生數(shù)據(jù)劃分為靜態(tài)信息數(shù)據(jù)、動態(tài)信息數(shù)據(jù)兩大類[3]。學(xué)生畫像模型根據(jù)提供的數(shù)據(jù)來準(zhǔn)確、全面、規(guī)范、合理的描繪出學(xué)生信息及各種屬性，并且能夠根據(jù)所描繪出的學(xué)生信息對學(xué)生進(jìn)行分群，學(xué)生群的內(nèi)部可以體現(xiàn)學(xué)生的相似性，各個學(xué)生群間則能夠體現(xiàn)出不同的差異性。靜態(tài)數(shù)據(jù)主要包括學(xué)生基本屬性、成績、愛好特長等數(shù)據(jù)。這類信息，通過簡單建模預(yù)測，再進(jìn)行數(shù)據(jù)清洗，根據(jù)自定義的規(guī)則統(tǒng)計分析生成相應(yīng)的標(biāo)簽。動態(tài)數(shù)據(jù)為學(xué)生不斷變化的行為數(shù)據(jù)，主要包括學(xué)生或家長在APP上進(jìn)行的一些操作行為，如瀏覽、評論、下載等。這類數(shù)據(jù)需要經(jīng)過數(shù)據(jù)清洗，文本特征提取，建模分析，生成相應(yīng)的標(biāo)簽[4]。

1.2 學(xué)生畫像的標(biāo)簽體系構(gòu)成

學(xué)生畫像目的是使家長、老師能夠?qū)W(xué)生畫像有個清晰明確的認(rèn)識，為后續(xù)的學(xué)生推薦與精準(zhǔn)教育、個性化培養(yǎng)提供更好的服務(wù)。學(xué)生畫像由學(xué)生標(biāo)簽體系[5]構(gòu)成，因此設(shè)計統(tǒng)計方法和統(tǒng)計指標(biāo)，使標(biāo)簽與學(xué)生群體信息更加貼近顯得尤為重要。學(xué)生標(biāo)簽體系的建立，需要一定程度上人工的總結(jié)與概括，結(jié)合數(shù)據(jù)和學(xué)生生活信息，有目的有概括性的總結(jié)，完善標(biāo)簽體系的基本構(gòu)成，使標(biāo)簽體系滿足制度規(guī)范。

學(xué)生畫像標(biāo)簽體系設(shè)計成四類：基礎(chǔ)屬性、性格屬性、特長愛好、成績優(yōu)劣?；A(chǔ)屬性包含學(xué)校、班級、學(xué)號、性別、家庭住址等基本信息;性格屬性包含熱情開朗、風(fēng)趣幽默、堅強、自信等標(biāo)簽;特長包含球類、樂器、藝術(shù)等;成績標(biāo)簽體現(xiàn)了學(xué)期、科目等信息。

2 學(xué)生畫像實現(xiàn)

2.1 數(shù)據(jù)倉庫設(shè)計

學(xué)生畫像設(shè)計三層數(shù)據(jù)倉庫：第一層為原始數(shù)據(jù)層，是根據(jù)業(yè)務(wù)需求對數(shù)據(jù)的匯總、抽象與集成;第二層是數(shù)據(jù)中間層，對原始層數(shù)據(jù)的清洗、提取整合;第三層是數(shù)據(jù)結(jié)果層，存放為學(xué)生打的標(biāo)簽，供外部應(yīng)用生成學(xué)生畫像[6]。其設(shè)計如圖1所示。

2.2 學(xué)生畫像的構(gòu)建

2.2.1 學(xué)生畫像設(shè)計流程

學(xué)生畫像的主要任務(wù)是給學(xué)生貼“標(biāo)簽”，準(zhǔn)確精煉地描述學(xué)生的特征標(biāo)識，標(biāo)簽內(nèi)容從標(biāo)簽體系中選擇，將學(xué)生的所有標(biāo)簽綜合在一起，就可以構(gòu)成學(xué)生的“畫像”。其設(shè)計方案如圖2所示，分析學(xué)生基本信息和學(xué)生行為信息，標(biāo)簽從標(biāo)簽體系中選取。

首先根據(jù)學(xué)生畫像的業(yè)務(wù)需求，對學(xué)生數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換、裝載入數(shù)據(jù)倉庫的第一層，再將第一層的數(shù)據(jù)進(jìn)行文本分詞處理，詞頻統(tǒng)計，分類聚類，生成四張標(biāo)簽表：基本屬性表（Base_Infor）、成績表（Grade）、性格表（Character）、愛好特長表（Interests）。標(biāo)簽內(nèi)容體系也作為一張表（Tag_Define）存儲在數(shù)據(jù)倉庫的第二層。之后再根據(jù)自定義的規(guī)則生成相應(yīng)的學(xué)生標(biāo)簽，存儲在數(shù)據(jù)倉庫第三層的User_Profile表中。

2.2.2 學(xué)生畫像規(guī)則實現(xiàn)

學(xué)生畫像的標(biāo)簽設(shè)計成兩部分：內(nèi)容和權(quán)重。一個標(biāo)簽對學(xué)生不是一成不變，權(quán)重會隨著時間的延長而衰減[7]。例如一名學(xué)生成績表的部分記錄如下：李明，數(shù)學(xué)，90。以上述成績記錄為例，為學(xué)生打成績標(biāo)簽，先通過編寫規(guī)則來計算標(biāo)簽權(quán)重，基本權(quán)重=[成績總分]，基本權(quán)重=[90100=0.9。]假設(shè)時間衰減因子記為R，隨著時間D（天數(shù)）的延長，衰減因子R會線性減少，R=1-0.05×D。標(biāo)簽權(quán)重=基本權(quán)重×衰減因子。

由此可計算出李明數(shù)學(xué)成績當(dāng)天的標(biāo)簽權(quán)重為0.9，標(biāo)簽的內(nèi)容即科目的名稱數(shù)學(xué)，那么可以為小明打上一個標(biāo)簽：數(shù)學(xué)，0.9。6天后衰減因子衰減為0.7，標(biāo)簽權(quán)重為0.63，那么小明的標(biāo)簽變化為：數(shù)學(xué)，0.63。當(dāng)標(biāo)簽權(quán)重一直減少到小于某個值如0.5時，應(yīng)當(dāng)為小明“撕下”數(shù)學(xué)的標(biāo)簽。這也體現(xiàn)了標(biāo)簽的實時性，記0.5為閾值。再使用Hive根據(jù)規(guī)則生成學(xué)生標(biāo)簽，存入學(xué)生標(biāo)簽庫，學(xué)生畫像表（User_Profile）如表1所示。

HiveQL生成標(biāo)簽語句如下：

為學(xué)生打性格、愛好標(biāo)簽步驟與成績標(biāo)簽步驟類似，僅在編寫規(guī)則時有所不同。性格愛好的基本權(quán)重即為TF/IDF的值，衰減因子相同。TF/IDF是一種詞頻統(tǒng)計方法[8]，詞頻（TF）=某個詞在文章中出現(xiàn)的次數(shù)，逆文檔頻率（IDF）=log[（文檔總數(shù)（包含該詞的文檔數(shù)]+1））。

2.2.3 生成學(xué)生畫像

通過上述步驟，即可在數(shù)據(jù)倉庫第三層生成學(xué)生標(biāo)簽表（User_Profile）。此表中的權(quán)重（Tag_Weight）會根據(jù)表中的標(biāo)簽時間（Tag_Time）每日進(jìn)行衰減，并自動更新。外部應(yīng)用根據(jù)學(xué)生標(biāo)簽表數(shù)據(jù)生成學(xué)生畫像，如圖3所示。

3 結(jié) 論

隨著智慧校園建設(shè)的不斷推進(jìn)，教育信息化程度越來越高，研究和探索學(xué)生畫像和信息化教育將更加密切。學(xué)生畫像[9]可以提高教學(xué)水平，分配教育資源，加強素質(zhì)教育，學(xué)生有所側(cè)重的培養(yǎng)，挖掘每個學(xué)生的特長，使教育真正變?yōu)橐虿氖┙?。但是如何更加精確地畫出學(xué)生的畫像卻是一個復(fù)雜而又漫長的事情，值得繼續(xù)研究和探索。

在智慧校園的建設(shè)中存在各種各樣的管理系統(tǒng)。在這些系統(tǒng)中保存了有關(guān)學(xué)生信息的海量數(shù)據(jù)，學(xué)生畫像就是通過這些海量數(shù)據(jù)作為一個數(shù)據(jù)源，構(gòu)建一個學(xué)生數(shù)據(jù)抽取模型。通過分析其個人屬性、興趣愛好、學(xué)習(xí)成績等重要特征，對這些特征進(jìn)行標(biāo)簽化處理，幫助學(xué)校、老師對每一位學(xué)生有一個正確的并且標(biāo)簽化的了解，讓家長對自己的孩子在學(xué)習(xí)成長方面也有一個清楚的認(rèn)識。通過標(biāo)簽，可以將此轉(zhuǎn)化為計算機可以理解的語言，針對每位學(xué)生做出個性化的教學(xué)方案[10]，以及線下進(jìn)行的弱項科目的重點輔導(dǎo)提升，還可以根據(jù)學(xué)生表現(xiàn)出來的特長和天賦來重點培養(yǎng)興趣愛好，來讓學(xué)生的成長能夠取長補短，實現(xiàn)素質(zhì)教育和個性化教學(xué)。

注：本文通訊作者為宋文廣。

參考文獻(xiàn)

[1] 黃榮懷，張進(jìn)寶，胡永斌，等.智慧校園：數(shù)字校園發(fā)展的必然趨勢[J].開放教育研究，2012，18（4）：12?17.

HUANG Ronghuai， ZHANG Jinbao， HU Yongbin， et al. Smart campus： the developing trends of digital campus [J]. Open education research， 2012， 18（4）： 12?17.

[2] 張哲.基于微博數(shù)據(jù)的用戶畫像系統(tǒng)的設(shè)計與實現(xiàn)[D].武漢：華中科技大學(xué)，2015.

ZHANG Zhe. Design and implementation of user portrait system based on microblog data [D]. Wuhan： Huazhong University of Science and Technology， 2015.

[3] 劉鵬.基于Spark的數(shù)據(jù)管理平臺的設(shè)計與實現(xiàn)[D].杭州：浙江大學(xué)，2016：15?17.

LIU Peng. Design and implementation of data management platform based on Spark [D]. Hangzhou： Zhejiang University， 2016： 15?17.

[4] XU G， ZHANG Y， ZHOU X. Towards user profiling for web recommendation [C]// Proceedings of Australasian Joint Conference on Artificial Intelligence. Heidelberg： Springer?Verlag， 2005： 415?424.

[5] 韓鳳霞.大數(shù)據(jù)時代高校學(xué)籍預(yù)警機制的探索與研究[J].中國教育信息化，2015（19）：46?49.

HAN Fengxia. Exploration and research on the early warning mechanism of college student status in the era of big data [J]. The Chinese journal of ICT in education， 2015（19）： 46?49.

[6] 王有為，王偉平，孟丹.基于統(tǒng)計方法的Hive數(shù)據(jù)倉庫查詢優(yōu)化實現(xiàn)[J].計算機研究與發(fā)展，2015，52（6）：1452?1462.

WANG Youwei， WANG Weiping， MENG Dan. Query optimization by statistical approach for Hive data warehouse [J]. Journal of computer research and development， 2015， 52（6）： 1452?1462.

[7] V?ZQUEZ A. Exact results for the Barabasi model of human dynamics [J]. Physical review letters， 2005， 95（24）： 1?4.

[8] 李映坤.大數(shù)據(jù)背景下用戶畫像的統(tǒng)計方法實踐研究[D].北京：首都經(jīng)濟(jì)貿(mào)易大學(xué)，2016：12?14.

LI Yingkun. Practical research on statistical methods of user portrait in large data background [D]. Beijing： Capital University of Economics and Business， 2016：12?14.

[9] 陳勞，張建華，周林志.數(shù)據(jù)“慧”說話：用校園網(wǎng)數(shù)據(jù)繪制用戶畫像[J].中國教育網(wǎng)絡(luò)，2016（5）：75?78.

CHEN Lao， ZHANG Jianhua， ZHOU Linzhi. Data "Hui" talk： using campus network data to draw user portrait [J]. China education network， 2016（5）： 75?78.

[10] 李冰，王悅，劉永祥.大數(shù)據(jù)環(huán)境下基于K?means的用戶畫像與智能推薦的應(yīng)用[J].現(xiàn)代計算機，2016（24）：11?15.

LI Bing， WANG Yue， LIU Yongxiang. Application of user portrait and intelligent recommendation based on big data technology and K?means [J]. Modern computer， 2016（24）： 11?15.