王 斌，盛宇軒，冀星昀

(中南大學(xué) 計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410083)

0 引 言

近年來(lái)，隨著在線(xiàn)教育逐漸被人們認(rèn)可，慕課網(wǎng)、網(wǎng)易云課堂、Coursera和Khan Academy等大型在線(xiàn)開(kāi)放式網(wǎng)絡(luò)課程(massive open online courses，MOOC)平臺(tái)由于其高質(zhì)量的在線(xiàn)課程，吸引了全球范圍內(nèi)的大量用戶(hù)注冊(cè)使用[1]。特別是在疫情防控期間，教育部要求在確保全體師生健康的基礎(chǔ)上做好“停課不停學(xué)”工作，各地高校利用各大MOOC平臺(tái)，開(kāi)展了大規(guī)模的線(xiàn)上教學(xué)[2]。利用從這些平臺(tái)收集的數(shù)據(jù)，研究人員能夠深入了解學(xué)生的學(xué)習(xí)過(guò)程，進(jìn)而為教師、學(xué)生提供個(gè)性化服務(wù)，這引發(fā)了對(duì)教育數(shù)據(jù)挖掘(educational data mining，EDM)的更多關(guān)注[3-5]。

知識(shí)追蹤是教育數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要研究課題[6-7]，其目標(biāo)是隨著時(shí)間推移不斷對(duì)學(xué)生知識(shí)掌握狀態(tài)進(jìn)行建模，通過(guò)估計(jì)學(xué)生的知識(shí)掌握程度[7]，預(yù)測(cè)學(xué)生在后續(xù)練習(xí)中的表現(xiàn)狀況。知識(shí)追蹤模型被廣泛應(yīng)用于教育系統(tǒng)中，實(shí)現(xiàn)了學(xué)習(xí)評(píng)價(jià)的智能化，有助于推進(jìn)個(gè)性化教育。知識(shí)追蹤的方法主要分為三類(lèi)[8]。第一類(lèi)是基于概率圖模型的知識(shí)追蹤，代表性模型是貝葉斯知識(shí)追蹤模型(Bayes knowledge tracing，BKT)[9-10]。該模型使用隱馬爾可夫模型(hidden Markov model，HMM)學(xué)習(xí)學(xué)生知識(shí)狀態(tài)，用一組二進(jìn)制變量表示學(xué)生是否掌握相應(yīng)的知識(shí)。BKT可以通過(guò)嚴(yán)格的公式推導(dǎo)得到學(xué)生知識(shí)掌握情況、下次作答的預(yù)測(cè)結(jié)果，具有很強(qiáng)的解釋性。但是由于該模型需要對(duì)各個(gè)知識(shí)單獨(dú)建模(即只保留了練習(xí)的相對(duì)順序)，模型不能充分考慮知識(shí)之間的相互作用。第二類(lèi)是基于矩陣分解的知識(shí)追蹤，如概率矩陣分解(PMF)。該算法是推薦系統(tǒng)領(lǐng)域的經(jīng)典算法之一，由于推薦領(lǐng)域與知識(shí)追蹤的相似性，部分學(xué)者將這一算法改進(jìn)以用于知識(shí)追蹤領(lǐng)域。第三類(lèi)是基于深度學(xué)習(xí)的知識(shí)追蹤。

2015年斯坦福大學(xué)的Piech等人[11]在NIPS上提出深度知識(shí)追蹤模型(deep knowledge tracing，DKT)。相比其他模型，DKT能夠利用學(xué)生的歷史作答數(shù)據(jù)挖掘出各個(gè)練習(xí)之間的隱藏聯(lián)系。與BKT相比，DKT首次出現(xiàn)便達(dá)到了25%的AUC增長(zhǎng)[11]。盡管一些研究人員發(fā)現(xiàn)通過(guò)適當(dāng)?shù)臄U(kuò)展，BKT可以達(dá)到和DKT相近的性能[3]，相信通過(guò)適當(dāng)擴(kuò)展DKT性能仍能夠明顯提升。傳統(tǒng)的DKT模型只使用了知識(shí)點(diǎn)ID和作答結(jié)果作為模型的輸入，它并沒(méi)有考慮其他特征，如作答時(shí)間、作答次數(shù)、上次作答結(jié)果等。這些特征不僅表示了學(xué)生的作答行為，更為知識(shí)診斷提供了額外的信息，充分利用這些額外信息能夠更加準(zhǔn)確地評(píng)估學(xué)生知識(shí)掌握情況。

文獻(xiàn)[12]提出一種基于手動(dòng)選擇特征、離散化連續(xù)特征的方法來(lái)提升DKT模型效果。文獻(xiàn)[13]通過(guò)獲取學(xué)生能力，并以固定時(shí)間間隔將學(xué)生動(dòng)態(tài)分配至具有相似能力的不同組別中，再將這些信息送入DKT中。但這些方法受到兩個(gè)方面的限制：(1)需要足夠的專(zhuān)業(yè)知識(shí)來(lái)理解數(shù)據(jù)。當(dāng)對(duì)數(shù)據(jù)理解不足時(shí)，模型的構(gòu)建可能會(huì)產(chǎn)生較大偏差；(2)當(dāng)數(shù)據(jù)巨大時(shí)，方法費(fèi)時(shí)費(fèi)力。與DKT模型類(lèi)似，另一種EERNN(exercise-enhanced recurrent neural network)模型[14]也是通過(guò)LSTM網(wǎng)絡(luò)來(lái)追蹤學(xué)生知識(shí)掌握的情況。不同的是，EERNN模型更加注重于充分利用題目當(dāng)中的文本信息，以解決冷啟動(dòng)問(wèn)題。同時(shí)，該模型還引入了注意力機(jī)制，通過(guò)考慮題目之間的相似性來(lái)提升在學(xué)生未來(lái)表現(xiàn)預(yù)測(cè)中的準(zhǔn)確性。除了上述三種基本方法外，近年來(lái)，基于知識(shí)圖譜的知識(shí)追蹤也在不斷發(fā)展[15]。

為了解決上述DKT模型中的問(wèn)題，該文提出一種融合多特征的知識(shí)追蹤模型(deep knowledge tracing with multiple features，DKTwMF)。首先，提出基于鄰域互信息和隨機(jī)森林的混合特征選擇算法(neighborhood mutual information and random forest，NMIRF)，來(lái)提取巨大數(shù)據(jù)中的重要特征，然后將這些重要特征數(shù)據(jù)以及學(xué)生表現(xiàn)作為L(zhǎng)STM模型輸入對(duì)學(xué)生的知識(shí)水平進(jìn)行建模。同時(shí)，當(dāng)數(shù)據(jù)維度增大時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練代價(jià)相當(dāng)昂貴，因此提出一種新的多特征編碼方案(multi-feature encoding，MFE)，通過(guò)使用交叉特征、one-hot編碼對(duì)多特征輸入進(jìn)行編碼，兼顧了輸入數(shù)據(jù)維度和模型效果。之后，再通過(guò)自動(dòng)編碼器(auto encoder，AE)對(duì)數(shù)據(jù)進(jìn)行降維。

1 融合多特征的知識(shí)追蹤模型

1.1 模型架構(gòu)

1.2 NMIRF混合特征選擇算法

單一的特征選擇算法都有各自的局限性，因此該文提出一種NMIRF混合特征選擇算法。如圖2所示，該算法首先使用方差選擇過(guò)濾法對(duì)所有變量進(jìn)行初步篩選，計(jì)算各個(gè)變量之間的方差，然后根據(jù)閾值(一般使用0，即不存在變動(dòng)的數(shù)據(jù))，選擇方差大于閾值的特征,得到k個(gè)候選特征集合。然后，使用鄰域互信息算法對(duì)計(jì)算各個(gè)特征之間的相關(guān)性。由于教育數(shù)據(jù)集中存在分類(lèi)數(shù)據(jù)(如知識(shí)點(diǎn)ID、題目ID等)和數(shù)值數(shù)據(jù)(如響應(yīng)時(shí)間)，因此使用鄰域互信息能夠很好地計(jì)算k個(gè)特征之間的相關(guān)性。最后，結(jié)合特征相關(guān)性使用隨機(jī)森林對(duì)特征進(jìn)行精選，得到該模塊的最終結(jié)果。

圖2 NMIRF混合特征選擇算法

評(píng)估變量特征重量性(variable importance measures，VIM)是隨機(jī)森林的一個(gè)重要特征，常規(guī)計(jì)算方法有兩種[16-17]：(1)基于基尼指數(shù)的評(píng)估方法；(2)基于袋外數(shù)據(jù)(out of bag sets，OOB)分類(lèi)準(zhǔn)確率的評(píng)估方法。當(dāng)數(shù)據(jù)中同時(shí)包含連續(xù)變量和分類(lèi)變量時(shí)，基于基尼指數(shù)的評(píng)估方法比基于OOB分類(lèi)準(zhǔn)確率的評(píng)估方法效果差，因此，該文使用基于袋外數(shù)據(jù)分類(lèi)準(zhǔn)確率的變量重要性度量，即袋外數(shù)據(jù)變量特征值發(fā)生擾動(dòng)后的分類(lèi)正確率與未發(fā)生擾動(dòng)的分類(lèi)正確率的平均減少量。變量特征x重要性計(jì)算公式如下：

(1)

在特征精選模塊，該文提出一種基于序列后向選擇法的混合特征選擇算法，即不斷從特征子集中刪除不重要的特征，直至達(dá)到截止條件。為更準(zhǔn)確地評(píng)估變量的重要性，需要逐步剔除最不重要的變量，然后重新構(gòu)建隨機(jī)森林，并在新的隨機(jī)森林上重新對(duì)待篩選特征子集中特征的重要性進(jìn)行排序。數(shù)據(jù)集中可能存在相關(guān)性很高的特征，即使在其他變量(除待評(píng)估變量之外)特征不發(fā)生擾動(dòng)的情況下，其他特征也可能對(duì)待評(píng)估變量特征重要性評(píng)估產(chǎn)生影響，因此該文結(jié)合相關(guān)性矩陣與隨機(jī)森林決定是否剔除該特征。具體特征精選算法描述如下：

(1)初始化待選擇特征子集U，使用鄰域互信息計(jì)算各個(gè)特征之間的相關(guān)性矩陣S。

(2)根據(jù)數(shù)據(jù)集構(gòu)建包含M棵決策樹(shù)的隨機(jī)森林,初始化決策樹(shù)i=1。

(5)對(duì)于i=2，3，…，M，重復(fù)步驟(3)～(4)，計(jì)算特征x的重要性vimx。

(6)對(duì)待選擇特征子集U中的每個(gè)特征重復(fù)(3)～(5)，并對(duì)特征重要性進(jìn)行排序。

(7)選擇特征重要性排序中最不重要的特征y，相關(guān)性矩陣中與特征y相關(guān)性高于閾值δ的特征集合W。如果集合W為空，更新待選擇特征子集U=U-y，跳轉(zhuǎn)至第(8)步；否則，對(duì)于W中任一特征，分別計(jì)算在使用U-W+w集合時(shí)隨機(jī)森林的袋外分?jǐn)?shù)，最大袋外分?jǐn)?shù)對(duì)應(yīng)的特征記為w，更新待選擇特征子集U=U-W+w。

(8)根據(jù)新的特征子集重新構(gòu)建隨機(jī)森林，重復(fù)步驟(2)～(7)，直到剩余兩個(gè)特征，確定最終特征子集。

1.3 MFE多特征編碼

由Piech等人提出的DKT模型只考慮了知識(shí)點(diǎn)ID和作答結(jié)果，該文考慮加入更多的特征作為神經(jīng)網(wǎng)絡(luò)輸入，為此提出多特征編碼方案MFE(multi feature encoding)。通過(guò)對(duì)多個(gè)單獨(dú)特征的編碼進(jìn)行拼接，從而構(gòu)建模型的輸入。MFE方案中的多特征編碼構(gòu)建公式如下：

C(st,ct)=st+[max(s)+1]*ct

(2)

vt=O(C(st,ct))⊕O(C(ft,ct))⊕O(ft)

(3)

其中，C()表示使用交叉特征，O()表示one-hot編碼，⊕表示將編碼結(jié)果進(jìn)行拼接。公式(2)、公式(3)中st代表知識(shí)點(diǎn)ID，ct代表對(duì)應(yīng)練習(xí)的作答結(jié)果(1表示作答正確，0表示作答錯(cuò)誤)，ft代表通過(guò)特征工程模塊選取的重要特征對(duì)應(yīng)的取值。

交叉特征是將兩個(gè)或多個(gè)特征通過(guò)一定規(guī)則編碼成一個(gè)特征的方法。例如，兩個(gè)單獨(dú)特征的交叉特征編碼方式如下：

C(f,g)=f+[max(F)+1]*g

(4)

C(g,f)=g+[max(G)+1]*f

(5)

式中，f、g分別表示需要編碼的兩個(gè)特征，F(xiàn)、G分別表示特征f、g的取值集合。文獻(xiàn)[18]中指出使用交叉特征相比使用單獨(dú)特征可以明顯提高模型性能。如圖3所示，假設(shè)知識(shí)點(diǎn)數(shù)為6種，作答結(jié)果為2種(正確/錯(cuò)誤)。如果不使用交叉特征，神經(jīng)網(wǎng)絡(luò)中每個(gè)隱藏節(jié)點(diǎn)與6+2個(gè)節(jié)點(diǎn)進(jìn)行連接，對(duì)應(yīng)6+2的連接權(quán)重。使用交叉特征神經(jīng)網(wǎng)絡(luò)中每個(gè)隱藏節(jié)點(diǎn)與6*2個(gè)節(jié)點(diǎn)進(jìn)行連接，此時(shí)對(duì)于每個(gè)知識(shí)都有單獨(dú)作答正確權(quán)重、作答錯(cuò)誤權(quán)重與之對(duì)應(yīng)，而不是所有知識(shí)點(diǎn)共用正確權(quán)重與錯(cuò)誤權(quán)重。使用交叉特征而不是單獨(dú)特征的關(guān)鍵原因是：神經(jīng)網(wǎng)絡(luò)中的權(quán)重不平衡，從而導(dǎo)致模型效果下降。

圖3 交叉特征

(6)

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

為驗(yàn)證DKTwMF模型的有效性，該文使用三個(gè)教育相關(guān)的公開(kāi)數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn)。這三個(gè)數(shù)據(jù)集分別來(lái)自不同的智能教育系統(tǒng)，每個(gè)系統(tǒng)都對(duì)學(xué)生練習(xí)的交互信息進(jìn)行了記錄。

Assistments 2009-2010:Assistments是一個(gè)基于計(jì)算機(jī)的學(xué)習(xí)系統(tǒng)，可以同時(shí)評(píng)估學(xué)生的掌握水平和教師的授課水平。該文使用的數(shù)據(jù)集是從Assistments skill builder集合中收集的，這些集合是學(xué)生在類(lèi)似的問(wèn)題(同一個(gè)知識(shí)點(diǎn))上不斷進(jìn)行練習(xí)，直到能正確地回答n個(gè)連續(xù)的問(wèn)題(其中n通常是3)。當(dāng)系統(tǒng)認(rèn)為學(xué)生掌握相應(yīng)的技能后，學(xué)生通常不會(huì)重復(fù)練習(xí)同樣的技能。與其他數(shù)據(jù)集不同，該數(shù)據(jù)集中學(xué)生的作答記錄可能不連續(xù)，在實(shí)驗(yàn)中，通過(guò)預(yù)處理，將所有屬于一個(gè)學(xué)生的記錄連接在一起。

KDD 2010：該數(shù)據(jù)集是ACM的知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘小組(knowledge discovery and data mining)在2010年發(fā)布的競(jìng)賽題目使用的數(shù)據(jù)集。該次競(jìng)賽以基于學(xué)生在線(xiàn)做題記錄，預(yù)測(cè)學(xué)生認(rèn)知能力(學(xué)習(xí)成績(jī))為目的。該數(shù)據(jù)集來(lái)自2005年至2009年卡內(nèi)基學(xué)習(xí)認(rèn)知診斷系統(tǒng)。數(shù)據(jù)集包含574名學(xué)生，437個(gè)知識(shí)點(diǎn)，809 694條學(xué)生作答記錄。與Assistments平臺(tái)不同的是，該平臺(tái)記錄了學(xué)生的詳細(xì)操作數(shù)據(jù)，學(xué)生的每一個(gè)行為都可能是評(píng)估學(xué)生知識(shí)的依據(jù)。使用數(shù)據(jù)集中的KC(knowledge component)作為知識(shí)點(diǎn)，對(duì)于多個(gè)KC組合的情況視為新的知識(shí)點(diǎn)。

OLI F2011：開(kāi)放學(xué)習(xí)計(jì)劃(open learning initiative，OLI)是卡內(nèi)基梅隆大學(xué)的一個(gè)計(jì)算機(jī)學(xué)習(xí)系統(tǒng)，該系統(tǒng)用于為在校學(xué)生提供在線(xiàn)課程。OLI系統(tǒng)在學(xué)生許可的情況下收集了學(xué)生課堂學(xué)習(xí)記錄和網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)。該文使用2011年秋季學(xué)期大學(xué)工程力學(xué)的數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，包含335名學(xué)生，361 092條學(xué)生練習(xí)記錄。該系統(tǒng)詳細(xì)記錄了學(xué)生的操作情況，即學(xué)生在練習(xí)過(guò)程中的鼠標(biāo)點(diǎn)擊、翻頁(yè)、保存等信息。實(shí)驗(yàn)中對(duì)數(shù)據(jù)記錄進(jìn)行了刪減，只保留了學(xué)生的最終作答記錄。

針對(duì)多知識(shí)點(diǎn)題目，不同的系統(tǒng)處理方法也不相同。其中，Assistments中的數(shù)據(jù)對(duì)于多知識(shí)點(diǎn)題目，會(huì)生成多條記錄。而KDD提供的數(shù)據(jù)只會(huì)生成一條記錄，系統(tǒng)采用KC(knowledge component)記錄題目關(guān)聯(lián)的知識(shí)點(diǎn)，知識(shí)點(diǎn)之間采用～～串聯(lián)起來(lái)。例如，題目Q1關(guān)聯(lián)了知識(shí)點(diǎn)k1、k2，題目Q2關(guān)聯(lián)了知識(shí)點(diǎn)k1。假設(shè)學(xué)生S1參與一次作答，其中Q1作答錯(cuò)誤，Q2作答正確。

Assistments生成的記錄如表1所示，KDD生成的記錄如表2所示。

表1 Assistments記錄樣例

表2 KDD記錄樣例

2.2 評(píng)價(jià)指標(biāo)

模型的評(píng)價(jià)標(biāo)準(zhǔn)采用AUC(area under the curve)，即ROC曲線(xiàn)線(xiàn)下面積。ROC曲線(xiàn)每個(gè)點(diǎn)反映模型對(duì)同一信號(hào)刺激的感受性，橫軸為負(fù)正類(lèi)率(false positive rate，F(xiàn)PR)，縱軸為真正類(lèi)率(true positive rate，TPR)。對(duì)于二分類(lèi)問(wèn)題，所有實(shí)例可以被劃分為正類(lèi)、負(fù)類(lèi)。這里將作答結(jié)果為正確的歸為正類(lèi)，作答結(jié)果為錯(cuò)誤的歸為負(fù)類(lèi)，對(duì)應(yīng)的FPR取值為FP/(FP+TN)，TPR取值為T(mén)P/(TP+FN)。

表3 二分類(lèi)AUC指標(biāo)

2.3 實(shí)驗(yàn)對(duì)比方法

該文將數(shù)據(jù)中的學(xué)生隨機(jī)分成5組，依次取其中一組作為測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，最終使用五次實(shí)驗(yàn)結(jié)果的平均值作為評(píng)價(jià)結(jié)果。通過(guò)五折交叉驗(yàn)證得到的實(shí)驗(yàn)數(shù)據(jù)更趨于穩(wěn)定值，結(jié)果能夠更讓人信服。實(shí)驗(yàn)使用TensorFlow中的LSTM Cell實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)模型，為消除其他因素的影響，各模型均采用Adam梯度下降算法，神經(jīng)網(wǎng)絡(luò)包含200個(gè)隱藏神經(jīng)元，dropout概率設(shè)置為0.4。為保證得到的是穩(wěn)定性結(jié)果，實(shí)驗(yàn)采用五折交叉的方式進(jìn)行驗(yàn)證，模型評(píng)價(jià)標(biāo)準(zhǔn)采用AUC[11]。實(shí)驗(yàn)使用基本DKT作為基本模型，分別通過(guò)AE降維、NMIRF自動(dòng)特征提取對(duì)模型進(jìn)行擴(kuò)充。一些研究人員發(fā)現(xiàn)通過(guò)適當(dāng)?shù)臄U(kuò)展，BKT可以達(dá)到和DKT相近的性能[3]，因此實(shí)驗(yàn)也與BKT及其擴(kuò)展模型進(jìn)行比較。更具體的對(duì)比模型介紹如下：

DKT：該模型為基本模型，如文獻(xiàn)[11]所述，即只對(duì)skill ID和correct進(jìn)行one-hot編碼，然后使用編碼數(shù)據(jù)對(duì)LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

DKT+AE：在基本DKT模型的基礎(chǔ)上，使用自動(dòng)編碼器對(duì)DKT模型的輸入進(jìn)行預(yù)處理，降低輸入維度。

DKT+NMIRF：首先使用NMIRF算法對(duì)數(shù)據(jù)集進(jìn)行篩選，然后將篩選后的多特征數(shù)據(jù)使用MFE編碼，最后使用編碼結(jié)果作為循環(huán)神經(jīng)網(wǎng)絡(luò)輸入，并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

DKTwMF：該文提出的模型，將經(jīng)過(guò)NMIRF篩選的多特征數(shù)據(jù)使用MFE算法進(jìn)行編碼，然后使用AE進(jìn)行預(yù)處理，最后使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

BKT：經(jīng)典貝葉斯知識(shí)追蹤模型，該模型中知識(shí)一旦被掌握就不會(huì)遺忘。

BKT+F：在經(jīng)典BKT模型的基礎(chǔ)上擴(kuò)展了知識(shí)遺忘屬性，該模型中知識(shí)可以在掌握和未掌握之間相互轉(zhuǎn)化，該項(xiàng)擴(kuò)展有助于對(duì)于同一知識(shí)的預(yù)測(cè)。

BKT+S：在經(jīng)典BKT的基礎(chǔ)上擴(kuò)展了技能發(fā)現(xiàn)。經(jīng)典BKT對(duì)各知識(shí)點(diǎn)單獨(dú)建模，未對(duì)技能之間的交互進(jìn)行建模，該模型將獨(dú)立的BKT相互關(guān)聯(lián)起來(lái)。

BKT+A：在經(jīng)典BKT模型的基礎(chǔ)上擴(kuò)展了學(xué)生潛在能力屬性，針對(duì)不同的學(xué)生設(shè)置個(gè)性化的猜測(cè)、失誤概率，該項(xiàng)擴(kuò)展有助預(yù)測(cè)學(xué)生從一個(gè)知識(shí)到另外一個(gè)知識(shí)點(diǎn)的能力。

BKT+FSA：該模型同時(shí)擴(kuò)展了知識(shí)遺忘、技能發(fā)現(xiàn)、潛在能力。

2.4 結(jié)果分析

本節(jié)對(duì)在不同數(shù)據(jù)集下，不同模型的AUC結(jié)果進(jìn)行比較分析，目的在于通過(guò)實(shí)驗(yàn)驗(yàn)證DKTwMF模型效果。

對(duì)于Assistments數(shù)據(jù)集，各模型的AUC評(píng)價(jià)結(jié)果如圖4所示。

圖4 Assistments數(shù)據(jù)集AUC結(jié)果

從圖4中可以發(fā)現(xiàn)，基本BKT的AUC值僅有0.73，通過(guò)不同的擴(kuò)展方式模型效果均得到了不同程度的提升；擴(kuò)展知識(shí)遺忘之后的模型BKT+F達(dá)到了略?xún)?yōu)于基本DKT的效果，AUC值達(dá)到0.83；BKT+FSA由于過(guò)多參數(shù)導(dǎo)致該模型效果略差于BKT+F。從圖5中可以發(fā)現(xiàn)，通過(guò)加入多特征(DKT+NMIRF)、對(duì)輸入進(jìn)行降維(DKT+AE)都能在一定程度上提升原模型DKT的效果；DKTwMF在Assistments數(shù)據(jù)集上達(dá)到了最優(yōu)的結(jié)果0.867，達(dá)到所有模型中最優(yōu)效果。

對(duì)于KDD數(shù)據(jù)集，各模型的AUC評(píng)價(jià)結(jié)果如圖5所示。

圖5 KDD數(shù)據(jù)集AUC結(jié)果

從圖5中可以發(fā)現(xiàn)，BKT在該數(shù)據(jù)集上僅達(dá)到0.62的AUC值，BKT+F相比基本BKT模型效果沒(méi)有明顯提升，擴(kuò)展知識(shí)遺忘后AUC值僅增加0.01；在BKT系列模型中，BKT+FSA達(dá)到最好的預(yù)測(cè)效果，并且AUC值稍大于基本DKT模型；DKT模型的AUC值為0.79，在擴(kuò)展多特征后DKT+NMIRF達(dá)到與BKT+FSA相當(dāng)?shù)念A(yù)測(cè)效果。不同于Assistments數(shù)據(jù)集，在該數(shù)據(jù)集上DKTwMF模型相比基本DKT模型雖然沒(méi)有明顯的效果提升，但仍然達(dá)到了所有模型中的最優(yōu)效果。

對(duì)于OLI數(shù)據(jù)集，各模型的AUC評(píng)價(jià)結(jié)果如圖6所示。

圖6 OLI數(shù)據(jù)集AUC結(jié)果

從圖6中可以發(fā)現(xiàn)，BKT系列模型中AUC值最好的是BKT+FSA，但是該模型仍不如未經(jīng)改進(jìn)的DKT模型。而DKTwMF模型的AUC值相比DKT模型又增加了0.04，DKTwMF模型相比BKT模型效果提升了11%。

通過(guò)上述實(shí)驗(yàn)可以發(fā)現(xiàn)：對(duì)于BKT系列模型，針對(duì)不同數(shù)據(jù)集不同模型的表現(xiàn)效果大不相同，想要得到適合該數(shù)據(jù)集的BKT模型需要不斷的嘗試驗(yàn)證。雖然BKT+FSA能夠達(dá)到不錯(cuò)的效果，但是過(guò)多的參數(shù)可能導(dǎo)致效果下降(Assistments數(shù)據(jù)集)。對(duì)于DKT系列模型，可以發(fā)現(xiàn)通過(guò)加入多特征輸入、數(shù)據(jù)降維都可以在不同程度上提升模型效果。DKTwMF模型同時(shí)具備了這兩種優(yōu)化方法，因此模型具有更高的AUC值、能夠更準(zhǔn)確地預(yù)測(cè)學(xué)生表現(xiàn)情況。無(wú)論是多知識(shí)點(diǎn)生成多條記錄(Assistments)的場(chǎng)景，還是多知識(shí)點(diǎn)生成一條記錄(KDD)的場(chǎng)景，該模型均能達(dá)到不差于其他模型的表現(xiàn)。并且，相比于BKT系列模型，該模型不需要專(zhuān)家知識(shí)的指導(dǎo)就可以完成建模，建模效果優(yōu)于一般手動(dòng)選擇特征。綜上所述，該文提出的模型能夠智能、高效、準(zhǔn)確地對(duì)學(xué)生知識(shí)水平進(jìn)行建模。

3 結(jié)束語(yǔ)

相比其他知識(shí)追蹤方法，提出的模型主要有以下優(yōu)點(diǎn)：(1)智能性。通過(guò)NMIRF自動(dòng)對(duì)特征進(jìn)行選擇，不需要專(zhuān)家的領(lǐng)域知識(shí)的指導(dǎo)。模型不需要知識(shí)之間的關(guān)系圖，模型中的神經(jīng)網(wǎng)絡(luò)可以通過(guò)數(shù)據(jù)自動(dòng)學(xué)習(xí)各知識(shí)之間聯(lián)系；(2)精準(zhǔn)性。通過(guò)上述實(shí)驗(yàn)證明，DKTwMF模型相比其他模型能夠更準(zhǔn)確地對(duì)學(xué)生的知識(shí)掌握狀態(tài)進(jìn)行建模；(3)高效性。DKTwMF模型采用NMIRF算法對(duì)特征進(jìn)行自動(dòng)選擇，大大節(jié)省了了手動(dòng)特征選擇然后驗(yàn)證的時(shí)間。同時(shí)，使用AE降低數(shù)據(jù)維度也能降低模型的訓(xùn)練時(shí)間。但目前，DKTwMF模型也有以下不足：(1)由于模型采用深度學(xué)習(xí)的思想，需要大量數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，因此該模型不適用于少量數(shù)據(jù)的情況；(2)可解釋性不足。BKT模型采用概率的方式表示學(xué)生的知識(shí)掌握狀態(tài)，每個(gè)知識(shí)點(diǎn)都對(duì)應(yīng)明確的函數(shù)表示，而神經(jīng)網(wǎng)絡(luò)會(huì)自動(dòng)學(xué)習(xí)神經(jīng)元之間的相互作用，沒(méi)有明確的函數(shù)表明學(xué)生對(duì)每個(gè)知識(shí)的掌握程度。因此，針對(duì)這些不足，未來(lái)還有待進(jìn)一步完善。