田 鈺

(合肥市教育局 教育科學(xué)研究院，安徽 合肥 230071)

0 引言

隨著社會(huì)對(duì)高等教育的重視程度越來(lái)越高，如何針對(duì)考生成績(jī)進(jìn)行科學(xué)的預(yù)測(cè)分析來(lái)提高教學(xué)質(zhì)量,已成為教育部門關(guān)注的焦點(diǎn)。傳統(tǒng)方法是利用數(shù)理統(tǒng)計(jì)的知識(shí)設(shè)置分?jǐn)?shù)線來(lái)對(duì)考生成績(jī)進(jìn)行檔次劃分，難以從中挖掘影響成績(jī)的潛在因素。因此，教育數(shù)據(jù)挖掘(Educational Data Mining, EDM)應(yīng)運(yùn)而生。EDM[1]運(yùn)用教育學(xué)、計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、心理學(xué)等多個(gè)學(xué)科的理論和技術(shù)來(lái)解決教學(xué)研究與教學(xué)實(shí)踐中的問(wèn)題，主要包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)篩選、數(shù)據(jù)處理、數(shù)據(jù)挖掘、模式評(píng)估等一系列步驟。

如何通過(guò)高效的挖掘算法幫助管理者和決策者揭示教學(xué)規(guī)律并完善教學(xué)方法，一直是EDM領(lǐng)域中極具挑戰(zhàn)性的問(wèn)題。國(guó)內(nèi)外學(xué)者對(duì)此也進(jìn)行了相關(guān)的研究。KUMARVERMA[2]使用Apriori算法對(duì)考生的歷史成績(jī)進(jìn)行分析與分類，挖掘成績(jī)間的關(guān)聯(lián)規(guī)則，但該方法利用傳統(tǒng)的Apriori算法，會(huì)產(chǎn)生大量頻繁項(xiàng)集、候選項(xiàng)集，需要多次訪問(wèn)事務(wù)數(shù)據(jù)庫(kù)，從而帶來(lái)了巨大的I/O負(fù)載。文獻(xiàn)[3-5]使用決策樹(Decision Tree, D-T)對(duì)考生成績(jī)進(jìn)行預(yù)測(cè)，通過(guò)計(jì)算特征屬性的信息熵與信息增益選擇分裂屬性，構(gòu)建具有最大增益率的決策樹來(lái)建立分類規(guī)則并分析預(yù)測(cè)模型，但是對(duì)連續(xù)的分?jǐn)?shù)預(yù)測(cè)精確度較差，可能出現(xiàn)過(guò)度匹配的問(wèn)題且容易產(chǎn)生過(guò)擬合的現(xiàn)象。ZHANG等[6]將支持向量機(jī)(Support Vector Machine, SVM)應(yīng)用到高考成績(jī)預(yù)測(cè)中，以回歸分析來(lái)預(yù)測(cè)高考成績(jī)。但是在數(shù)據(jù)的收集、對(duì)混合預(yù)測(cè)的效果等方面存在不足。DEVASIA等[7]采用樸素貝葉斯模型(Naive Bayesian, N-B)收集考生特征屬性，計(jì)算不同類別下的條件概率來(lái)預(yù)測(cè)期末的表現(xiàn)，最終提高預(yù)測(cè)的準(zhǔn)確性。貝葉斯模型中各屬性相互獨(dú)立，但是在現(xiàn)實(shí)生活中，影響成績(jī)的屬性間往往具有緊密的聯(lián)系，從而導(dǎo)致分類精度較差。上述文獻(xiàn)分析證實(shí)了機(jī)器學(xué)習(xí)方法在某種程度上可以對(duì)考生的成績(jī)進(jìn)行有效的分析及預(yù)測(cè)，但仍然存在諸多缺陷。

雖然傳統(tǒng)機(jī)器學(xué)習(xí)方法在EDM領(lǐng)域已較成熟，然而很少有將深度學(xué)習(xí)模型運(yùn)用到成績(jī)預(yù)測(cè)中?？紤]到傳統(tǒng)方法處理多元化非線性數(shù)據(jù)時(shí)效率較低，一批學(xué)者開始使用神經(jīng)網(wǎng)絡(luò)模型對(duì)考生成績(jī)進(jìn)行分析與預(yù)測(cè)。IBRAHIM等[8]利用人工神經(jīng)網(wǎng)絡(luò)，通過(guò)學(xué)生累計(jì)平均學(xué)分績(jī)點(diǎn)(Cumulative Grade Point Average, CGPA)衡量其學(xué)業(yè)成績(jī)。然而，該模型無(wú)法處理時(shí)間序列數(shù)據(jù)，因此未能考慮到前后成績(jī)的相關(guān)性對(duì)結(jié)果的影響。OKUBO等[9]提出使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)來(lái)預(yù)測(cè)學(xué)生期末成績(jī)。該方法通過(guò)日志信息提取學(xué)生的學(xué)習(xí)活動(dòng)，作為神經(jīng)網(wǎng)絡(luò)的輸入。但是該方法忽略了考生個(gè)人信息,未能充分捕捉其特征。

為解決以上方法中存在的問(wèn)題，本文將考生短期特征與長(zhǎng)期特征相結(jié)合，提出一種新穎的多元特征感知的神經(jīng)網(wǎng)絡(luò)模型(Multiple Features-aware Neural Network, MFNN)。主要貢獻(xiàn)有如下幾點(diǎn)：

(1)本文將長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short Term Memory network, LSTM)應(yīng)用到成績(jī)預(yù)測(cè)中，利用該網(wǎng)絡(luò)對(duì)考生進(jìn)行建模。與經(jīng)典的成績(jī)預(yù)測(cè)方法相比，LSTM算法能提取出具有時(shí)序性的特征，從而提高預(yù)測(cè)結(jié)果的精度。

(2)針對(duì)傳統(tǒng)算法無(wú)法感知多元特征的問(wèn)題，提出MFNN模型。該模型利用LSTM模塊和embedding模塊同時(shí)捕捉考生短期特征和長(zhǎng)期特征，從深度和廣度兩方面分析特征之間非線性關(guān)系。

(3)在2015年合肥市考生的真實(shí)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明，本文提出的MFNN模型在理科和文科數(shù)據(jù)集上的預(yù)測(cè)精度均優(yōu)于其他對(duì)比算法。

1 深度學(xué)習(xí)模型

本章主要介紹循環(huán)神經(jīng)網(wǎng)絡(luò)RNN以及長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM。

1.1 RNN

循環(huán)神經(jīng)網(wǎng)絡(luò)[10-12]通過(guò)將當(dāng)前神經(jīng)元的隱藏狀態(tài)傳入下一時(shí)刻的神經(jīng)元,使神經(jīng)網(wǎng)絡(luò)具備短期的“記憶功能”。設(shè)變長(zhǎng)序列(x1,x2,…,xt)，RNN根據(jù)當(dāng)前的輸入xt以及上一時(shí)刻的隱含狀態(tài)ht-1來(lái)產(chǎn)生下一時(shí)刻的輸出Ot，一般ht直接用于輸出,即ht=RNN(ht-1,xt)。

1.2 LSTM

長(zhǎng)短期記憶網(wǎng)絡(luò)[13-15]是為了解決RNN訓(xùn)練過(guò)程中梯度消失與梯度爆炸問(wèn)題的一種優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。相比于RNN，LSTM能夠更好地挖掘數(shù)據(jù)之間長(zhǎng)期的依賴關(guān)系，是現(xiàn)今最為流行的一種方案。

如圖1所示，LSTM模型包含3個(gè)控制門:遺忘門，輸入門和輸出門。

(1)遺忘門將上一階段ht-1以及當(dāng)前狀態(tài)xt輸入到sigmoid函數(shù)中，針對(duì)上一個(gè)神經(jīng)元狀態(tài)Ct-1進(jìn)行選擇性遺忘。遺忘門計(jì)算公式如下：

ft=σ(wtxt+ufht-1)。

(1)

式中：σ表示sigmoid函數(shù)，wt和uf表示遺忘門中的權(quán)值矩陣，遺忘門的輸出為：

ft°Ct-1。

(2)

式中：°表示元素乘，定義如下：

A°B=(a1,a2,…,an)°(b1,b2,…,bn)=(a1b1,a2b2,…,anbn)。

(3)

(2)輸入門通過(guò)上一狀態(tài)的輸出、當(dāng)前狀態(tài)的輸入以及tanh激活函數(shù)生成候選新信息，得到下一時(shí)刻狀態(tài)Ct，輸入門計(jì)算公式如下：

it=σ(wixt+uiht-1),

(4)

(5)

(6)

(3)輸出門負(fù)責(zé)計(jì)算本層激活值。神經(jīng)元的狀態(tài)信息經(jīng)過(guò)tanh層進(jìn)行激活與Ot相乘，得到輸出信息ht。輸出門計(jì)算公式如下：

Ot=σ(woxt+uoht-1)。

(7)

式中：wo和uo是輸出門中的權(quán)值矩陣，輸出信息為:

ht=Ot°tanh(Ct)。

(8)

2 多元特征感知的神經(jīng)網(wǎng)絡(luò)模型框架

本章將詳細(xì)闡述多元特征感知的神經(jīng)網(wǎng)絡(luò)模型MFNN，包括輸入層、中間層和輸出層，并介紹模型所使用的損失函數(shù)，MFNN模型架構(gòu)如圖2所示。

2.1 多元特征感知模型基本原理

2.1.1 輸入層(Input Layer)

傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法，常利用考生u的成績(jī)序列Su對(duì)u進(jìn)行建模，僅捕獲考生u近期學(xué)習(xí)狀態(tài)，即短期特征Stu。為引入多元化特征，分析特征之間非線性關(guān)系，本文將u的個(gè)人信息Iu作為embedding模塊的輸入，捕獲u的長(zhǎng)期特征Ltu。

2.1.2 中間層(Middle Layer)

中間層主要包括兩個(gè)模塊：LSTM模塊、embedding模塊。中間層利用這兩個(gè)模塊同時(shí)從深度和廣度兩方面捕獲考生u的長(zhǎng)期特征Ltu和短期特征Stu。

(1)LSTM模塊 LSTM利用神經(jīng)元內(nèi)部的門控機(jī)制選擇性地保存序列以往的狀態(tài)。因此，在獲得具有時(shí)序性的輸入Su后，LSTM模塊利用記憶細(xì)胞學(xué)習(xí)u的短期特征，學(xué)習(xí)過(guò)程如下：

(9)

(10)

(11)

(12)

(13)

(14)

(15)

式中：C表示連接操作，Vu表示輸出層所需的輸入向量。

2.1.3 輸出層(Output Layer)

輸出層對(duì)Vu進(jìn)行特征轉(zhuǎn)換，得到考生u的長(zhǎng)期特征，轉(zhuǎn)換過(guò)程如下：

Ltu=fL(WL·Vu+bL)。

(16)

式中：fL表示激活函數(shù)，WL表示權(quán)值矩陣，bL表示偏置項(xiàng)。然后，輸出層在考生u的長(zhǎng)期特征Ltu和短期特征Stu的基礎(chǔ)上，構(gòu)建一個(gè)新的輸出向量Gu。最后，通過(guò)一個(gè)全連接層，產(chǎn)生最終預(yù)測(cè)值。具體定義如下：

(17)

(18)

2.2 損失函數(shù)

MFNN模型預(yù)測(cè)考生u的高考成績(jī)Ou，是一個(gè)回歸問(wèn)題。平方損失函數(shù)是一種常用于回歸問(wèn)題的Pointwise損失函數(shù)，具有以下3個(gè)優(yōu)點(diǎn)：①避免正負(fù)誤差不能相加的問(wèn)題;②計(jì)算誤差的過(guò)程中，提高對(duì)高誤差的靈敏度;③一階導(dǎo)數(shù)連續(xù)，容易優(yōu)化。因此，本文使用平方損失函數(shù)優(yōu)化MFNN模型。平方損失函數(shù)定義如下：

(19)

3 實(shí)驗(yàn)結(jié)果與分析

本章主要對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，并對(duì)本文提出的MFNN模型的性能進(jìn)行相關(guān)評(píng)價(jià)。首先介紹實(shí)驗(yàn)中使用的數(shù)據(jù)集，然后介紹評(píng)價(jià)指標(biāo)和對(duì)比方法，最后通過(guò)不同參數(shù)的設(shè)置說(shuō)明了本文提出的方法的研究?jī)r(jià)值與意義。

3.1 數(shù)據(jù)集描述

本文使用由合肥市教育局提供的真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集由2015年合肥市高三考生3次模擬考試的成績(jī)以及他們的高考成績(jī)構(gòu)成。為使實(shí)驗(yàn)結(jié)果更加準(zhǔn)確可靠，需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理操作。將文科理科類型的考生進(jìn)行分離，并去除了同一所學(xué)校相同姓名的考生記錄。最終，數(shù)據(jù)集包含10 138名理工類考生以及4 874名文史類考生記錄，每條考生記錄包含22個(gè)特征屬性值，分別是考生3次?？嫉某煽?jī)以及該考生的學(xué)校、家庭背景、考生類別以及高考成績(jī)。

本部分實(shí)驗(yàn)環(huán)境是：Python 3.7 , JetBrainsPycharm 2018.1×64，Windows 7 , Intel i7-4790 CPU 3.60 GHZ處理器 , 4 GB RAM。

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)MFNN模型的性能，本文通過(guò)命中率(HR)評(píng)估預(yù)測(cè)準(zhǔn)確度并與其他方法進(jìn)行對(duì)比。命中率的定義為：

(20)

式中：U表示測(cè)試集中考生集合,u表示U中的每位考生，R(u)表示根據(jù)訓(xùn)練集上特征預(yù)測(cè)出來(lái)的高考結(jié)果，T(u)表示測(cè)試集上的實(shí)際考試結(jié)果。

3.3 對(duì)比算法

為了驗(yàn)證MFNN模型在高考成績(jī)預(yù)測(cè)方面的表現(xiàn)，將其與下列6種方法進(jìn)行對(duì)比：

實(shí)驗(yàn)中，為了統(tǒng)一相關(guān)參數(shù)，設(shè)置神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率為0.001，batch的大小為32，迭代次數(shù)為100次，優(yōu)化器為Adam。其中，MLP、RNN、BiLSTM、MFNN的網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示。同時(shí)，為了消除實(shí)驗(yàn)結(jié)果的隨機(jī)性，本文執(zhí)行如下兩種操作：①為獲得更可靠的預(yù)測(cè)，按9:1,8:2,7:3,6:4的比例隨機(jī)劃分訓(xùn)練集和測(cè)試集進(jìn)行多次實(shí)驗(yàn);②在每個(gè)數(shù)據(jù)集上進(jìn)行10次實(shí)驗(yàn)，取其平均值作為最終實(shí)驗(yàn)結(jié)果。

表2給出在不同數(shù)據(jù)集劃分比例下7種預(yù)測(cè)方法的命中率，從表中可以看出，本文提出的MFNN模型具有最高的命中率。結(jié)果表明，MFNN總體上具有最佳的預(yù)測(cè)精度。因此，證明了同時(shí)考慮考生長(zhǎng)期特征和短期特征的MFNN模型在成績(jī)預(yù)測(cè)領(lǐng)域的有效性。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置

表2 預(yù)測(cè)性能對(duì)比

如圖3所示為MFNN與其他5種方法命中率的對(duì)比結(jié)果(由于POP的性能較弱，省略了該方法)。由圖3可以看出：①當(dāng)訓(xùn)練集和測(cè)試集的比例為9∶1時(shí)，6種方法的命中率達(dá)到最高，意味著訓(xùn)練集有用信息足夠時(shí)，可以學(xué)習(xí)出關(guān)鍵特征，從而使得預(yù)測(cè)精度提升；②基于神經(jīng)網(wǎng)絡(luò)的方法預(yù)測(cè)精度總體較高，這是由于神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性擬合能力，能捕獲考生更深層次的特征，因此使用神經(jīng)網(wǎng)絡(luò)能極大地提升預(yù)測(cè)精度；③基于RNN的模型較其他方法命中率更高，從而證明考生的短期特征對(duì)高考成績(jī)具有一定程度的影響，其中BiLSTM的預(yù)測(cè)精度與RNN相似，說(shuō)明在成績(jī)預(yù)測(cè)中雙向捕捉考生的特征意義不大；④MFNN利用RNN和MLP充分感知用戶的多元特征，在6種方法中命中率最高。

3.4 參數(shù)對(duì)預(yù)測(cè)精度的影響

3.4.1 迭代次數(shù)

本文使用迭代次數(shù)λ來(lái)控制MFNN學(xué)習(xí)的進(jìn)度。為了研究迭代次數(shù)λ對(duì)模型性能的影響，實(shí)驗(yàn)設(shè)置，λ的取值范圍是1～100，步長(zhǎng)為1，RNN、BiLSTM和MFNN的網(wǎng)絡(luò)參數(shù)如表1所示。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4a和圖4b分別顯示在理科與文科中λ對(duì)損失值loss的影響?？梢钥闯?，當(dāng)λ<10時(shí)，loss值下降迅速;當(dāng)λ≥10時(shí)，loss值下降趨勢(shì)變緩，逐漸收斂，這表明MFNN迭代10次后性能較為平穩(wěn)，且理科loss值保持在0.004以下，文科loss值保持在0.006以下。此外，在100次迭代中，MFNN的loss值和loss值震蕩幅度總體低于RNN和BiLSTM。證明MFNN引入考生的長(zhǎng)期特征，能夠更全面地對(duì)考生進(jìn)行建模，提高預(yù)測(cè)精度和穩(wěn)定度。

3.4.2 長(zhǎng)短期特征維度

MFNN基于Ltu和Stu進(jìn)行成績(jī)預(yù)測(cè)，為了研究長(zhǎng)期特征的維度LD和短期特征的維度SD對(duì)預(yù)測(cè)結(jié)果的影響，使用理科9:1以及文科7:3數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。設(shè)置LD=[32,64,128,256]，SD=[8,16，32,64]，MFNN網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示，實(shí)驗(yàn)結(jié)果如表3和圖5所示。

表3 長(zhǎng)短期特征維度對(duì)預(yù)測(cè)精度的影響

由圖5及表3中可以看出維度LD和SD對(duì)MFNN的預(yù)測(cè)精度具有顯著影響。維度過(guò)低，模型不能充分捕獲考生特征；反之，模型將捕獲其冗余特征，造成過(guò)擬合的現(xiàn)象。理科中當(dāng)LD=16，SD=128；文科中當(dāng)LD=32，SD=64，命中率達(dá)到最高。說(shuō)明相比于長(zhǎng)期特征，考生短期特征對(duì)高考成績(jī)的影響更大，這一點(diǎn)在理科考生中尤為突出。

4 結(jié)束語(yǔ)

本文提出一種多元特征感知的神經(jīng)網(wǎng)絡(luò)模型MFNN，用于解決教育領(lǐng)域成績(jī)預(yù)測(cè)的問(wèn)題。該模型利用LSTM的記憶功能捕獲考生短期特征，并將長(zhǎng)期特征映射成嵌入向量來(lái)共同學(xué)習(xí)考生的多元化特征，綜合考慮考生的短期特征和長(zhǎng)期特征對(duì)高考成績(jī)預(yù)測(cè)的影響。最后，在2015年高中質(zhì)量檢測(cè)與高考的真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評(píng)估模型性能。實(shí)驗(yàn)結(jié)果表明，MFNN在預(yù)測(cè)效率上優(yōu)于其他對(duì)比方法。未來(lái)將引入注意力機(jī)制到成績(jī)預(yù)測(cè)中，并對(duì)藝體類考生的成績(jī)進(jìn)行相關(guān)預(yù)測(cè)與分析。