胡學(xué)鋼 劉 菲 卜晨陽(yáng)

(大數(shù)據(jù)知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué)) 合肥 230601)

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 合肥 230601)

(合肥工業(yè)大學(xué)大知識(shí)科學(xué)研究院 合肥 230601)

教育信息化的不斷發(fā)展產(chǎn)生了海量的教育數(shù)據(jù)，如何對(duì)教育大數(shù)據(jù)進(jìn)行挖掘和分析成為了教育領(lǐng)域[1]和大數(shù)據(jù)知識(shí)工程領(lǐng)域[2-5]亟待解決的問(wèn)題.由于學(xué)生在學(xué)習(xí)過(guò)程中的行為表現(xiàn)、認(rèn)知狀態(tài)和心理因素是評(píng)估其學(xué)習(xí)成效的關(guān)鍵因素[6]，且這些因素隨著時(shí)間的推移不斷變化，因此構(gòu)建面向動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)的學(xué)生模型具有重要的研究意義.認(rèn)知跟蹤(knowledge tracing, KT)模型[7]旨在面向?qū)W生不同時(shí)刻作答習(xí)題的得分表現(xiàn)數(shù)據(jù)，跟蹤學(xué)生的認(rèn)知狀態(tài)并預(yù)測(cè)學(xué)生在未來(lái)時(shí)刻的作答表現(xiàn)，具有重要的研究?jī)r(jià)值和廣泛的應(yīng)用前景[8-10].

如圖1所示，認(rèn)知跟蹤模型屬于面向動(dòng)態(tài)數(shù)據(jù)的學(xué)生模型.在認(rèn)知跟蹤模型中，學(xué)生對(duì)習(xí)題的作答表現(xiàn)為可觀測(cè)的變量，學(xué)生的認(rèn)知狀態(tài)為不可觀測(cè)的隱變量[11].1994年Corbett等人[7]基于包含觀測(cè)變量和隱變量的隱Markov模型(hidden Markov model, HMM)構(gòu)建了貝葉斯認(rèn)知跟蹤(Bayesian knowledge tracing, BKT)模型.隨后，學(xué)者們分別從變量表示方式、數(shù)據(jù)特征信息、建模方法等方面展開了對(duì)認(rèn)知跟蹤模型的研究.針對(duì)變量表示方式，部分認(rèn)知跟蹤模型(包括BKT模型)采用“0-1”二元表示方法，分別表示隱變量中學(xué)生的“未掌握-掌握”認(rèn)知狀態(tài)及觀測(cè)變量中學(xué)生的“錯(cuò)誤-正確”作答表現(xiàn)[12-14]；除二元表示方法外，部分認(rèn)知跟蹤模型采用多元表示方法增強(qiáng)模型的表示能力[15-18].針對(duì)數(shù)據(jù)特征信息，部分認(rèn)知跟蹤模型通過(guò)結(jié)合數(shù)據(jù)中的習(xí)題[10-11,19-20]、知識(shí)點(diǎn)[21-23]、時(shí)間[13-14,24]等信息提升模型擬合的精度.針對(duì)建模方法，現(xiàn)有認(rèn)知跟蹤模型中2類主流的建模方法為貝葉斯方法[18,25-30]和深度學(xué)習(xí)方法[10,31-38].

Fig. 1 Mind map of knowledge tracing models in educational big data圖1 教育大數(shù)據(jù)中認(rèn)知跟蹤模型的思維導(dǎo)圖

本文從建模方法的角度回顧了認(rèn)知跟蹤模型的發(fā)展，詳細(xì)介紹了基于貝葉斯方法和深度學(xué)習(xí)方法2類認(rèn)知跟蹤模型.據(jù)我們所知，目前關(guān)于認(rèn)知跟蹤模型的綜述型研究較少.文獻(xiàn)[39]主要分析了貝葉斯方法的認(rèn)知跟蹤模型，未分析其他建模方法的認(rèn)知跟蹤模型.文獻(xiàn)[40-43]是學(xué)生模型的綜述，其中認(rèn)知跟蹤模型作為綜述中的一個(gè)部分，并未詳細(xì)展開介紹.文獻(xiàn)[44-47]在性能、精度等方面比較了認(rèn)知跟蹤模型與其他模型.文獻(xiàn)[39-47]未對(duì)認(rèn)知跟蹤模型進(jìn)行系統(tǒng)、全面地梳理.本文通過(guò)檢索計(jì)算機(jī)領(lǐng)域及教育領(lǐng)域的期刊和會(huì)議，從建模方法的角度詳細(xì)分析了教育大數(shù)據(jù)中認(rèn)知跟蹤模型的發(fā)展趨勢(shì)，同時(shí)介紹了模型的應(yīng)用情況，對(duì)不同類型的認(rèn)知跟蹤模型進(jìn)行比較、分析和展望.本文的具體貢獻(xiàn)有3個(gè)方面：

1) 對(duì)教育大數(shù)據(jù)中的認(rèn)知跟蹤模型進(jìn)行全面梳理，分別從模型原理、算法步驟、模型的擴(kuò)展和改進(jìn)等方面詳細(xì)介紹認(rèn)知跟蹤模型；

2) 分別對(duì)基于貝葉斯和深度學(xué)習(xí)方法的2類認(rèn)知跟蹤模型進(jìn)行介紹，將2類模型按照數(shù)據(jù)特征信息、方法策略等方面歸類整理；

3) 對(duì)比了現(xiàn)有認(rèn)知跟蹤模型的優(yōu)缺點(diǎn)，并從模型的參數(shù)尋優(yōu)、可解釋性與精度的權(quán)衡、部分假設(shè)與實(shí)際情況不符等角度分析了未來(lái)認(rèn)知跟蹤模型有待研究的方向.

1 相關(guān)工作

本節(jié)首先介紹教育數(shù)據(jù)挖掘的相關(guān)工作，隨后分別對(duì)面向靜態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知診斷模型及面向動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知跟蹤模型進(jìn)行概述，最后分析本文與其他相關(guān)綜述文章的區(qū)別.

1.1 教育數(shù)據(jù)挖掘

教育數(shù)據(jù)挖掘[48]通過(guò)數(shù)據(jù)挖掘技術(shù)處理教育大數(shù)據(jù)，從而獲取教育系統(tǒng)中有價(jià)值的信息.圖2是一個(gè)教育系統(tǒng)示意圖，模型中有3個(gè)主要角色，分別是知識(shí)庫(kù)(knowledge base)、學(xué)生(students)和教師(teachers).知識(shí)庫(kù)是教育系統(tǒng)的基礎(chǔ)；學(xué)生與教師之間通過(guò)評(píng)估系統(tǒng)(assessment system)或習(xí)題(items)交互，具體為：

1) 知識(shí)庫(kù).在教育數(shù)據(jù)挖掘的相關(guān)研究中，通常將知識(shí)庫(kù)視為知識(shí)點(diǎn)的集合，知識(shí)點(diǎn)之間可能存在樹狀或網(wǎng)狀關(guān)系.知識(shí)庫(kù)的自動(dòng)構(gòu)建是知識(shí)庫(kù)模型[49]的重要研究方向.

2) 學(xué)生.基于學(xué)生的學(xué)習(xí)過(guò)程可評(píng)估認(rèn)知狀態(tài)、分析心理因素、預(yù)測(cè)行為表現(xiàn).學(xué)生模型的研究包括針對(duì)單個(gè)學(xué)生的認(rèn)知狀態(tài)提出的個(gè)性化學(xué)習(xí)方案和基于學(xué)生群體的相似性和差異性提出的協(xié)同學(xué)習(xí)方案等.

3) 教師.教師可通過(guò)追蹤學(xué)生對(duì)習(xí)題的作答表現(xiàn)掌握學(xué)生的學(xué)習(xí)狀態(tài)；通過(guò)評(píng)估系統(tǒng)的反饋分析學(xué)生的認(rèn)知情況、交互心理等.此處的“教師”為廣義上的“教師”，即按照課堂教育和在線教育2種教育方式，教師可被劃分為教職人員和在線平臺(tái)2類.

Fig. 2 Toy model of educational system圖2 教育系統(tǒng)示意圖

根據(jù)研究對(duì)象的不同，教育數(shù)據(jù)挖掘的相關(guān)研究包括面向?qū)W生、面向教師以及面向知識(shí)庫(kù)的相關(guān)模型和方法：1)面向?qū)W生的模型和方法：包括評(píng)估或跟蹤學(xué)生認(rèn)知狀態(tài)的模型(如認(rèn)知診斷模型[50]、認(rèn)知跟蹤模型[7,31]等)及學(xué)習(xí)資源的個(gè)性化推薦[51-54]、協(xié)同學(xué)習(xí)的推薦算法[55-57]等；2)面向教師的模型和方法：包括試卷的自動(dòng)評(píng)估和評(píng)分等，如計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)(CAT)可針對(duì)學(xué)生的測(cè)驗(yàn)情況精準(zhǔn)定位測(cè)驗(yàn)內(nèi)容、評(píng)估試卷的合理性等[58-59]；3)面向知識(shí)庫(kù)的模型和方法[49].

1.2 認(rèn)知診斷模型概述

由圖1可知，學(xué)生模型包括面向靜態(tài)學(xué)習(xí)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)的模型.與面向動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知跟蹤模型不同，經(jīng)典的認(rèn)知診斷模型旨在對(duì)靜態(tài)學(xué)習(xí)數(shù)據(jù)進(jìn)行建模分析.認(rèn)知診斷模型[50](cognitive diagnosis model, CDM)基于教育學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)，通過(guò)對(duì)習(xí)題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系及學(xué)生的答題情況，得到學(xué)生的知識(shí)點(diǎn)掌握情況.目前已有上百種認(rèn)知診斷模型，包括規(guī)則空間模型[60](rule space model, RSM)、屬性層次模型[61](attribute hierarchy model, AHM)、DINA[62](deterministic input, noisy AND-gate)模型等.

DINA模型是CDM中應(yīng)用十分廣泛的模型.該模型假設(shè)每個(gè)習(xí)題都關(guān)聯(lián)1個(gè)或多個(gè)知識(shí)點(diǎn)，通過(guò)分析學(xué)生的作答表現(xiàn)、并考慮“猜測(cè)”和“失誤”等心理因素對(duì)學(xué)生進(jìn)行診斷分析.其中，習(xí)題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系通常使用Q矩陣表示.與認(rèn)知跟蹤模型不同的是，認(rèn)知診斷模型中的學(xué)生作答數(shù)據(jù)不包含學(xué)生作答習(xí)題的時(shí)間特性.然而，時(shí)間特性在分析學(xué)生的認(rèn)知狀態(tài)中具有重要的意義.因此，作為對(duì)動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)建模的模型，認(rèn)知跟蹤模型在教育大數(shù)據(jù)領(lǐng)域值得深入研究.

1.3 認(rèn)知跟蹤模型概述

認(rèn)知跟蹤模型面向動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)建模，基于學(xué)生在學(xué)習(xí)過(guò)程中對(duì)習(xí)題作答表現(xiàn)的數(shù)據(jù)，跟蹤學(xué)生隨時(shí)間的變化對(duì)知識(shí)點(diǎn)的掌握情況[7].如圖3所示，認(rèn)知跟蹤模型從建模方法上可分為基于貝葉斯方法的認(rèn)知跟蹤模型(詳見第2節(jié))和基于深度學(xué)習(xí)的認(rèn)知跟蹤模型(詳見第3節(jié)).

前者出現(xiàn)最早的模型是Corbett等人[7]提出的BKT模型，后者是以2015年P(guān)iech等人[31]提出的DKT(deep knowledge tracing)模型為代表.BKT和DKT模型提出之后，學(xué)者們基于BKT和DKT提出了很多的擴(kuò)展模型.

Fig. 3 Classification of knowledge tracing models圖3 認(rèn)知跟蹤模型的分類

1.3.1 問(wèn)題背景

認(rèn)知跟蹤旨在根據(jù)學(xué)生在不同時(shí)刻的習(xí)題作答數(shù)據(jù)，分析學(xué)生認(rèn)知狀態(tài)的變化、并預(yù)測(cè)他們?cè)谖磥?lái)時(shí)刻的作答表現(xiàn).假設(shè)學(xué)生在每個(gè)時(shí)間步作答一道習(xí)題，該模型的形式化定義中涉及到的符號(hào)如表1所示：

Table 1 Notations and Descriptions in Knowledge Tracing表1 認(rèn)知跟蹤模型中涉及的符號(hào)及描述

(1)

(2)

認(rèn)知跟蹤框架示意圖如圖4所示：1)模型的輸入為I個(gè)學(xué)生在T個(gè)時(shí)間步作答不同知識(shí)點(diǎn)習(xí)題的觀測(cè)得分.任意習(xí)題涉及到1個(gè)或多個(gè)知識(shí)點(diǎn)，習(xí)題涉及到知識(shí)點(diǎn)的不同情況如圖4中圓角框所示.即該習(xí)題可能只涉及到單個(gè)知識(shí)點(diǎn)，也可能涉及到多個(gè)知識(shí)點(diǎn)；用戶標(biāo)注的多個(gè)知識(shí)點(diǎn)可能相互獨(dú)立、也可能是相關(guān)的；習(xí)題涉及到的知識(shí)點(diǎn)可能是已知的，也可能是未知的.2)針對(duì)觀測(cè)得分?jǐn)?shù)據(jù)，通過(guò)貝葉斯網(wǎng)絡(luò)、深度學(xué)習(xí)等模型進(jìn)行擬合、參數(shù)尋優(yōu)，可得到每個(gè)學(xué)生的認(rèn)知跟蹤子模型.3)認(rèn)知跟蹤模型可應(yīng)用于對(duì)學(xué)生在未來(lái)時(shí)刻的作答情況進(jìn)行預(yù)測(cè)，以及在已知習(xí)題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系的情況下，分析學(xué)生在每個(gè)時(shí)間步下對(duì)每個(gè)知識(shí)點(diǎn)的掌握狀態(tài).

Fig. 4 Framework of knowledge tracing (assuming that a student answers only one item at a time step)圖4 認(rèn)知跟蹤框架示意圖 (假設(shè)學(xué)生在每個(gè)時(shí)間步作答1道習(xí)題)

1.3.2 模型的評(píng)價(jià)指標(biāo)

在認(rèn)知跟蹤模型中常見的評(píng)價(jià)指標(biāo)為：對(duì)數(shù)似然(log-likelihood, LL)、均方根誤差(root mean squared error, RMSE)、平均絕對(duì)誤差(mean absolute error, MAE)、ROC曲線下方的面積大小(area under the curve, AUC)[63-64].不同的應(yīng)用場(chǎng)景下可選擇不同的評(píng)價(jià)指標(biāo)，如經(jīng)典的參數(shù)估計(jì)方法EM算法(expectation maximization)[65]通常使用LL擬合參數(shù).LL[66]，RMSE[67]，MAE[68]的計(jì)算分別為

(3)

(4)

(5)

其中，n表示預(yù)測(cè)數(shù)據(jù)的個(gè)數(shù)，ci表示第i個(gè)預(yù)測(cè)數(shù)據(jù)，pi表示第i個(gè)真實(shí)數(shù)據(jù).對(duì)應(yīng)至認(rèn)知跟蹤模型，n表示學(xué)生作答的習(xí)題個(gè)數(shù)，ci和pi分別表示學(xué)生作答第i道習(xí)題得分的預(yù)測(cè)值和真實(shí)值.

在認(rèn)知跟蹤模型的評(píng)價(jià)指標(biāo)研究中，文獻(xiàn)[63]對(duì)比了LL，RMSE，AUC這3個(gè)指標(biāo)在認(rèn)知跟蹤的參數(shù)估計(jì)中的效果，發(fā)現(xiàn)RMSE比其余2個(gè)評(píng)價(jià)指標(biāo)對(duì)參數(shù)估計(jì)具有更強(qiáng)的指引效果，使模型預(yù)測(cè)達(dá)到最佳性能.文獻(xiàn)[64]通過(guò)對(duì)比分析得到RMSE和LL更加適合參數(shù)估計(jì)的場(chǎng)景，而AUC在評(píng)價(jià)模型最終結(jié)果方面效果更佳，因此大多數(shù)研究以AUC作為模型的最終評(píng)價(jià)指標(biāo).

1.3.3 公開數(shù)據(jù)集

現(xiàn)有認(rèn)知跟蹤模型的實(shí)驗(yàn)擬合部分的數(shù)據(jù)多數(shù)采用學(xué)生與在線平臺(tái)交互的習(xí)題作答數(shù)據(jù).為方便研究者對(duì)認(rèn)知跟蹤模型進(jìn)行更好的研究和發(fā)展，本文對(duì)目前網(wǎng)絡(luò)上公開的數(shù)據(jù)集進(jìn)行了不完全歸納統(tǒng)計(jì)，如表2所示:

Table 2 List of Public Datasets表2 公開數(shù)據(jù)集列表

ASSISTmentsData是Heffernan教授團(tuán)隊(duì)公開發(fā)布的數(shù)據(jù)集，該數(shù)據(jù)集是由教輔系統(tǒng)獲得的小學(xué)數(shù)學(xué)習(xí)題的學(xué)生答題記錄，是目前公開的認(rèn)知跟蹤領(lǐng)域最大的數(shù)據(jù)集[31].ASSISTmentsData提供了3組數(shù)據(jù)：1)2009—2010 ASSISTment Data數(shù)據(jù)集包括Skill builder數(shù)據(jù)(401 757條學(xué)生作答記錄)和Non skill builder數(shù)據(jù)(603 129條學(xué)生作答記錄)2個(gè)子數(shù)據(jù)集.其中，Skill builder的含義為：若某學(xué)生作答數(shù)據(jù)滿足某一條件(如連續(xù)正確作答3次與該知識(shí)點(diǎn)相關(guān)的習(xí)題)，則視為該學(xué)生已掌握該知識(shí)點(diǎn)，從而不會(huì)再給該學(xué)生推薦該知識(shí)點(diǎn)的相關(guān)習(xí)題.2)2012—2013 School Data with Affect數(shù)據(jù)集含6 123 271條學(xué)生作答記錄.其中，Affect[69]的含義為：數(shù)據(jù)中包括與學(xué)生心理因素相關(guān)的4個(gè)特征Average_confidence(FRUSTRATED)，Average_confidence(CONFUSED)，Average_confidence(CONCENTRATING)，Average_confidence(BORED).3)2015 ASSISTments Skill Builder Data數(shù)據(jù)集含708 632條學(xué)生作答記錄.該數(shù)據(jù)集為2015年收集的Skill builder數(shù)據(jù).

Datashop是最大的學(xué)習(xí)交互數(shù)據(jù)存儲(chǔ)庫(kù)，供教育數(shù)據(jù)挖掘者、課程開發(fā)人員、教育技術(shù)研究者、心理學(xué)家等各界人士上傳和使用.Datashop中包括數(shù)學(xué)、化學(xué)、物理、英語(yǔ)、漢語(yǔ)等多門課程的學(xué)習(xí)交互數(shù)據(jù)，時(shí)間跨度為1969—2018年且持續(xù)更新中，每個(gè)數(shù)據(jù)集的數(shù)據(jù)特征也不盡相同.因此，Datashop對(duì)于包括認(rèn)知跟蹤領(lǐng)域在內(nèi)的教育大數(shù)據(jù)研究工作具有十分重要的支撐作用.

Anonymizeddata公開了2次計(jì)算機(jī)編程挑戰(zhàn)(Hoc4和Hoc18)的用戶交互數(shù)據(jù)集，時(shí)間跨度為2013-12—2014-03.其中，Hoc4和Hoc18分別包含509 405個(gè)學(xué)生、1 138 506次提交記錄；263 569個(gè)學(xué)生、1 263 360次提交記錄.

Synathetic是深度認(rèn)知跟蹤模型DKT的作者Piech等人[31]構(gòu)建的模擬數(shù)據(jù)，包含4 000個(gè)學(xué)生、50個(gè)習(xí)題、20萬(wàn)條學(xué)生答題記錄.

本節(jié)介紹的4類認(rèn)知跟蹤領(lǐng)域中常用的公開數(shù)據(jù)集，不同數(shù)據(jù)集的規(guī)模、數(shù)據(jù)特征有所不同，研究者可以根據(jù)研究?jī)?nèi)容選擇不同的數(shù)據(jù)集.

1.4 本文與現(xiàn)有綜述的區(qū)別

本節(jié)將介紹現(xiàn)有認(rèn)知跟蹤相關(guān)綜述，并分析與本文的區(qū)別.

認(rèn)知跟蹤模型屬于學(xué)生模型，因此本節(jié)首先列出學(xué)生模型的相關(guān)綜述.此類綜述以學(xué)生模型為對(duì)象，認(rèn)知跟蹤模型作為子類模型，未對(duì)其進(jìn)行系統(tǒng)地介紹和分析.文獻(xiàn)[40-43]是關(guān)于學(xué)生模型的綜述.文獻(xiàn)[40]圍繞智能輔導(dǎo)系統(tǒng)(intelligent tutoring system, ITS)的學(xué)生模型展開.文獻(xiàn)[41]從理論技術(shù)的角度梳理學(xué)生模型，包括疊加模型(overlay model)、機(jī)器學(xué)習(xí)(machine learning)、認(rèn)知理論(cognitive theories)、模糊學(xué)生模型(fuzzy student modeling)、貝葉斯網(wǎng)絡(luò)(Bayesian network)等.文獻(xiàn)[42]詳細(xì)闡述了在特定的情境下如何選擇學(xué)生模型的問(wèn)題，對(duì)開發(fā)者和研究者提出了可能的研究方向.文獻(xiàn)[43]從知識(shí)狀態(tài)、認(rèn)知行為、情感因素和綜合類型4個(gè)方面對(duì)學(xué)生模型進(jìn)行了梳理.這些文獻(xiàn)涉及到認(rèn)知跟蹤模型的內(nèi)容較少，而本文著重從原理、方法步驟、比較分析、發(fā)展歷程、應(yīng)用等不同的維度詳細(xì)介紹認(rèn)知跟蹤模型.

據(jù)我們所知，現(xiàn)有認(rèn)知跟蹤模型的綜述只有文獻(xiàn)[39].文獻(xiàn)[39]從知識(shí)點(diǎn)、學(xué)生和數(shù)據(jù)3個(gè)方面分析了認(rèn)知跟蹤模型在教育領(lǐng)域上的應(yīng)用.但該文獻(xiàn)側(cè)重于分析貝葉斯方法的認(rèn)知跟蹤模型，沒(méi)有討論其他建模方法的認(rèn)知跟蹤模型.與該文獻(xiàn)相比，本文對(duì)教育大數(shù)據(jù)中認(rèn)知跟蹤模型的回顧和分析更加系統(tǒng)和全面，梳理并比較了不同建模方法的認(rèn)知跟蹤模型.

另外，一些非綜述類文獻(xiàn)中介紹了認(rèn)知跟蹤模型與其他模型的對(duì)比分析情況[44-47].文獻(xiàn)[44]將認(rèn)知跟蹤模型與常規(guī)的隨機(jī)對(duì)照試驗(yàn)(randomized controlled trial, RCT)、學(xué)習(xí)分解(learning decom-position)進(jìn)行比較，分別從模型的目的、輸入、假設(shè)條件3個(gè)方面進(jìn)行評(píng)估.文獻(xiàn)[45]將認(rèn)知跟蹤模型與表現(xiàn)因素分析(performance factor analysis, PFA)方法從預(yù)測(cè)精度和參數(shù)的合理性2方面進(jìn)行比較；同時(shí)研究不同的參數(shù)擬合方法——最大期望(expectation maximization, EM)方法和BF(brute force)方法的認(rèn)知跟蹤模型KT+EM與KT+BF的性能，結(jié)果發(fā)現(xiàn)KT+EM的性能優(yōu)于KT+BF.文獻(xiàn)[46]從學(xué)生作答表現(xiàn)的預(yù)測(cè)方面比較了認(rèn)知跟蹤模型與PFA方法.文獻(xiàn)[47]將認(rèn)知跟蹤模型與智能輔導(dǎo)系統(tǒng)中經(jīng)常使用的連續(xù)正確響應(yīng)進(jìn)行了實(shí)驗(yàn)對(duì)比.文獻(xiàn)[44-47]通過(guò)理論證明或?qū)嶒?yàn)分析的方式將認(rèn)知跟蹤模型與其他相關(guān)的學(xué)生模型進(jìn)行比較，側(cè)重點(diǎn)是分析了認(rèn)知跟蹤模型與其他特定模型在預(yù)測(cè)性能、參數(shù)擬合等方面的表現(xiàn).而本文則系統(tǒng)地介紹了認(rèn)知跟蹤模型的發(fā)展歷程和模型的應(yīng)用，比較了不同建模方法模型的優(yōu)缺點(diǎn)，并對(duì)未來(lái)的研究方向進(jìn)行了展望.

2 基于貝葉斯方法的認(rèn)知跟蹤模型

本節(jié)介紹基于貝葉斯方法的認(rèn)知跟蹤模型，首先解釋了經(jīng)典貝葉斯認(rèn)知跟蹤模型BKT的原理和步驟，對(duì)BKT模型的相關(guān)文獻(xiàn)進(jìn)行梳理；然后介紹了其他基于BKT擴(kuò)展的貝葉斯認(rèn)知跟蹤模型、開發(fā)工具和公開源碼.

2.1 BKT模型

1994年Corbett等人[7]提出BKT模型，在學(xué)生使用智能輔導(dǎo)系統(tǒng)過(guò)程中(此處指學(xué)生使用ACT Programming Tutor短程序編寫系統(tǒng)進(jìn)行Lisp語(yǔ)言編程練習(xí))，基于HMM[70]構(gòu)建學(xué)生認(rèn)知狀態(tài)變化的模型，監(jiān)測(cè)和估計(jì)學(xué)生掌握知識(shí)點(diǎn)的概率.

HMM描述離散時(shí)間序列上的概率分布Y=(y1,y2,…,yt,…,yT)，它取決于隱狀態(tài)序列X=(x1,x2,…,xt,…,xT).其中，Y稱為觀測(cè)序列(observation)，X稱為隱狀態(tài)(hidden state)，Y與X均是離散序列.t表示時(shí)間步.即時(shí)間步t的觀測(cè)變量yt只與xt有關(guān)，稱xt至yt的概率為發(fā)射概率(emission probability)，記為P(yt|xt).從時(shí)間步1～T，隱狀態(tài)序列從x1逐步轉(zhuǎn)移成xT，任意一個(gè)時(shí)間步的隱狀態(tài)xt至下一個(gè)時(shí)間步的隱狀態(tài)xt+1稱為轉(zhuǎn)移概率(transition probability)，記為P(xt+1|xt).

如圖5(a)所示，BKT模型將學(xué)生作答表現(xiàn)序列定義為HMM模型中的觀測(cè)序列(對(duì)應(yīng)圖5(a)中的陰影圓圈)；學(xué)生對(duì)知識(shí)點(diǎn)的認(rèn)知狀態(tài)定義為HMM模型中的隱狀態(tài)(對(duì)應(yīng)圖5(a)中的非陰影圓圈).P(Lt)表示時(shí)間步t時(shí)學(xué)生掌握知識(shí)點(diǎn)q的概率，P(L0)表示初始時(shí)間步時(shí)學(xué)生掌握知識(shí)點(diǎn)q的概率.如圖5(b)所示，作答表現(xiàn)存在“正確”(correct)和“錯(cuò)誤”(incorrect)2種取值(對(duì)應(yīng)圖5(b)中的2個(gè)菱形)；認(rèn)知狀態(tài)的取值存在“已掌握狀態(tài)”(learned state)和“未掌握狀態(tài)”(unlearned state)2種取值(對(duì)應(yīng)圖5(b)中的2個(gè)切角矩形).P(G)是猜測(cè)概率，意為在學(xué)生的認(rèn)知狀態(tài)處于“未掌握狀態(tài)”時(shí)，學(xué)生的作答表現(xiàn)為“正確”的概率；P(S)失誤概率，意為在學(xué)生的認(rèn)知狀態(tài)處于“掌握狀態(tài)”時(shí)，學(xué)生的作答表現(xiàn)為“不正確”的概率；P(T)為轉(zhuǎn)移概率，指學(xué)生的認(rèn)知狀態(tài)從“未掌握狀態(tài)”變成“掌握狀態(tài)”的概率.需要注意的是，BKT基于3點(diǎn)假設(shè)進(jìn)行建模：

1) 每一次練習(xí)僅與一個(gè)知識(shí)相關(guān)；

Fig. 5 Model of BKT[17]圖5 BKT模型[17]

2) 忽略學(xué)生的認(rèn)知遺忘因素，即學(xué)生對(duì)知識(shí)的認(rèn)知狀態(tài)可以由“未掌握狀態(tài)”轉(zhuǎn)移至“掌握狀態(tài)”，但反之概率為0；

3) 學(xué)生的轉(zhuǎn)移概率P(T)不變[15]，與學(xué)生作答表現(xiàn)、作答正確次數(shù)無(wú)關(guān).

BKT的具體步驟如下[7]：

Step1. 將一個(gè)學(xué)生針對(duì)1個(gè)知識(shí)點(diǎn)的作答數(shù)據(jù)建模為如圖5所示的BKT模型.

Step2. 初始化P(L0)，P(T)，P(G)，P(S)這4個(gè)參數(shù)的取值，時(shí)間步t=1.

Step3. 根據(jù)時(shí)間步t的觀測(cè)值yq,t計(jì)算時(shí)間步t-1的知識(shí)點(diǎn)掌握條件概率P(Lt-1|yq,t)，若yq,t=Correct，則

P(Lt-1|yq,t=Correct)=

(6)

若yq,t=Incorrect，則

(7)

Step4. 使用時(shí)間步t-1的條件概率P(Lt-1|yq,t)更新時(shí)間步t學(xué)生掌握該知識(shí)點(diǎn)的概率P(Lt).

P(Lt)=P(Lt-1|yq,t)+
(1-P(Lt-1|yq,t))P(T).

(8)

Step5. 更新4個(gè)參數(shù)的值，t=t+1.

Step6. 返回Step3，直至?xí)r間步t=T，得到4個(gè)參數(shù)的解.

Step7. 返回Step2，直至算法終止條件，得到BKT模型.

在得到4個(gè)參數(shù)的最優(yōu)解后，即可評(píng)估學(xué)生的認(rèn)知狀態(tài).當(dāng)學(xué)生作答正確時(shí)，學(xué)生的認(rèn)知狀態(tài)為

P(Lt|yq,t=Correct)=P(Lt)(1-P(S))+
(1-P(Lt))×P(G).

(9)

當(dāng)學(xué)生作答錯(cuò)誤時(shí)，學(xué)生的認(rèn)知狀態(tài)為

P(Lt|yq,t=Incorrect)=P(Lt)P(S)+
(1-P(Lt))×(1-P(G)).

(10)

除了評(píng)估學(xué)生的認(rèn)知狀態(tài)，還可以預(yù)測(cè)學(xué)生在下一時(shí)間步的作答表現(xiàn)，即計(jì)算學(xué)生在下一時(shí)間步學(xué)生正確作答習(xí)題的概率：

P(yq,t+1=Correct)=P(Lq,t+1)(1-P(S))+
(1-P(Lq,t+1))P(G).

(11)

在此，對(duì)式(6)～(11)進(jìn)行詳細(xì)解釋：

由HMM性質(zhì)知，當(dāng)前時(shí)間步的狀態(tài)僅與當(dāng)前時(shí)間步的觀測(cè)結(jié)果及上一時(shí)間步的狀態(tài)有關(guān)，因此時(shí)間步t時(shí)學(xué)生對(duì)知識(shí)點(diǎn)q的掌握概率P(Lt)的更新如式(8).其中，yq,t表示當(dāng)前時(shí)間步t時(shí)的觀測(cè)結(jié)果，yq,t∈{Correct,Incorrect}；P(Lt-1|yq,t)表示上一時(shí)間步的掌握概率的條件概率，1-P(Lt-1|yq,t)表示在當(dāng)前時(shí)間步t的觀測(cè)結(jié)果下上一時(shí)間步未掌握的概率；P(T)表示由未掌握狀態(tài)轉(zhuǎn)移至掌握狀態(tài)的概率.式(8)中的P(Lt-1|yq,t)，yq,t∈{Correct,Incorrect}的計(jì)算如式(6)(7).

式(6)計(jì)算在時(shí)間步t的觀測(cè)值為作答正確的情況下，時(shí)間步t-1的知識(shí)點(diǎn)掌握條件概率P(Lt-1|yq,t=Correct).分母為時(shí)間步t觀測(cè)值為作答正確的所有情況的概率之和：1)時(shí)間步t-1學(xué)生掌握知識(shí)點(diǎn)且學(xué)生對(duì)該習(xí)題無(wú)失誤；2)時(shí)間步t-1學(xué)生沒(méi)有掌握知識(shí)點(diǎn)且學(xué)生對(duì)該習(xí)題猜測(cè)正確.分子為上述2種情況中“時(shí)間步t-1學(xué)生掌握知識(shí)點(diǎn)”的概率.因此求得P(Lt-1|yq,t=Correct).

式(7)計(jì)算在時(shí)間步t的觀測(cè)值為作答錯(cuò)誤的情況下，時(shí)間步t-1的知識(shí)點(diǎn)掌握條件概率P(Lt-1|yq,t=Incorrect).同式(6)，分母為時(shí)間步t觀測(cè)值為作答錯(cuò)誤的所有情況的概率之和：1)時(shí)間步t-1學(xué)生掌握知識(shí)點(diǎn)且學(xué)生對(duì)該習(xí)題有失誤；2)時(shí)間步t-1學(xué)生沒(méi)有掌握知識(shí)點(diǎn)且學(xué)生對(duì)該習(xí)題無(wú)猜測(cè).分子為上述2種情況中“時(shí)間步t-1學(xué)生掌握知識(shí)點(diǎn)”的概率.因此求得P(Lt-1|yq,t=Incorrect).

式(8)計(jì)算時(shí)間步t學(xué)生掌握該知識(shí)點(diǎn)的概率P(Lt)為下列2種情況的概率之和：1)基于時(shí)間步t的觀測(cè)值情況下，時(shí)間步t-1學(xué)生掌握知識(shí)點(diǎn)；2)基于時(shí)間步t的觀測(cè)值情況下，時(shí)間步t-1學(xué)生沒(méi)有掌握知識(shí)點(diǎn)的概率與轉(zhuǎn)移概率的乘積.因此求得P(Lt).

式(9)在時(shí)間步t學(xué)生作答正確的情況下，評(píng)估學(xué)生認(rèn)知狀態(tài)，即在時(shí)間步t學(xué)生作答正確的情況下，學(xué)生掌握該知識(shí)點(diǎn)的概率P(Lt|yq,t=Correct)為以下2種情況的概率之和：1)學(xué)生在時(shí)間步t掌握該知識(shí)點(diǎn)且對(duì)該習(xí)題無(wú)失誤；2)學(xué)生在時(shí)間步t未掌握該知識(shí)點(diǎn)且對(duì)該習(xí)題猜測(cè)正確.因此求得P(Lt|yq,t=Correct).

式(10)在時(shí)間步t學(xué)生作答錯(cuò)誤的情況下，評(píng)估學(xué)生認(rèn)知狀態(tài)，即在時(shí)間步t學(xué)生作答錯(cuò)誤的情況下，學(xué)生掌握該知識(shí)點(diǎn)的概率P(Lt|yq,t=Incorrect)為以下2種情況的概率之和：1)學(xué)生在時(shí)間步t掌握該知識(shí)點(diǎn)且對(duì)該習(xí)題有失誤；2)學(xué)生在時(shí)間步t未掌握該知識(shí)點(diǎn)且對(duì)該習(xí)題無(wú)猜測(cè).因此求得P(Lt|yq,t=Incorrect).

式(11)用以預(yù)測(cè)時(shí)間步t+1學(xué)生正確作答習(xí)題的概率P(yq,t+1=Correct)為以下2種情況的概率之和：1)在時(shí)間步t+1學(xué)生掌握該知識(shí)點(diǎn)且無(wú)失誤；2)在時(shí)間步t+1學(xué)生未掌握該知識(shí)點(diǎn)且猜測(cè)正確.因此求得P(yq,t+1=Correct).

2.2 BKT模型的分析

BKT模型在智能教輔系統(tǒng)等場(chǎng)景中發(fā)揮著重要的作用.學(xué)者們對(duì)BKT模型的參數(shù)、性能、數(shù)據(jù)等方面進(jìn)行了具體分析.本節(jié)將從BKT模型的參數(shù)分析、BKT模型的識(shí)別性問(wèn)題和模型退化問(wèn)題、BKT模型的數(shù)據(jù)分析3個(gè)方面進(jìn)行梳理.

2.2.1 BKT模型的參數(shù)分析

在使用BKT模型進(jìn)行認(rèn)知狀態(tài)評(píng)估時(shí)，可能會(huì)出現(xiàn)2類錯(cuò)誤的評(píng)估：1)一個(gè)學(xué)生實(shí)際未掌握某知識(shí)，其認(rèn)知狀態(tài)卻被評(píng)估為“掌握狀態(tài)”，這種現(xiàn)象被稱為“過(guò)度積極”(false positives)；2)一個(gè)學(xué)生實(shí)際掌握某知識(shí)，其認(rèn)知狀態(tài)卻被評(píng)估為“未掌握狀態(tài)”，這種現(xiàn)象被稱為“過(guò)度消極”(false negatives)[71].為緩解上述錯(cuò)誤評(píng)估的發(fā)生，可設(shè)置一個(gè)認(rèn)知閾值，若學(xué)生掌握某知識(shí)的概率大于該認(rèn)知閾值，則將學(xué)生對(duì)該知識(shí)的認(rèn)知狀態(tài)視為掌握；否則視為未掌握.比如，設(shè)定認(rèn)知閾值為0.95，若一個(gè)學(xué)生對(duì)一個(gè)知識(shí)點(diǎn)掌握的概率為0.97，則判斷該學(xué)生對(duì)該知識(shí)點(diǎn)的認(rèn)知狀態(tài)為掌握.

在課堂教學(xué)或MOOC在線學(xué)習(xí)場(chǎng)景下[72-73]，可能會(huì)存在學(xué)生對(duì)一些知識(shí)具有很強(qiáng)理解能力的情況.文獻(xiàn)[74]探討了當(dāng)學(xué)生的初始參數(shù)P(L0)很高的極端情況下(如P(L0)=0.9)認(rèn)知跟蹤的參數(shù)估計(jì)性能，實(shí)驗(yàn)結(jié)果顯示這種情況的模型參數(shù)估計(jì)性能較低.

2.2.2 BKT模型的識(shí)別性問(wèn)題和模型退化問(wèn)題

文獻(xiàn)[75]指出BKT模型是不可識(shí)別的，即對(duì)于BKT的4個(gè)參數(shù)，不同的參數(shù)取值的組合可能導(dǎo)致相同的作答預(yù)測(cè)結(jié)果，此問(wèn)題被稱為識(shí)別性問(wèn)題(identifiability problem).通過(guò)探索認(rèn)知跟蹤模型中參數(shù)對(duì)模型預(yù)測(cè)性能的敏感性問(wèn)題，確認(rèn)是否可以縮小參數(shù)的搜索空間.文獻(xiàn)[76]發(fā)現(xiàn)模型對(duì)參數(shù)是不敏感的，并通過(guò)將參數(shù)聚類的方法縮小了參數(shù)的搜索空間，更快地找到最優(yōu)解.文獻(xiàn)[77]對(duì)BKT模型中學(xué)生的認(rèn)知概率公式進(jìn)行推演，證明了存在很多種關(guān)于猜測(cè)概率P(G)和初始參數(shù)P(L0)的取值可能，解釋了識(shí)別性問(wèn)題出現(xiàn)的原因.此外，文獻(xiàn)[78-79]均探討了BKT模型的識(shí)別性問(wèn)題.若識(shí)別性問(wèn)題確實(shí)存在，必須對(duì)BKT模型重新建立新的模型評(píng)價(jià)標(biāo)準(zhǔn).

文獻(xiàn)[80]表示在符合實(shí)際情況的條件下，BKT模型是可識(shí)別的，即認(rèn)為BKT模型不存在識(shí)別性問(wèn)題.該文獻(xiàn)提出語(yǔ)義模型退化(semantic model degeneracy)問(wèn)題，即在BKT模型中，求解的模型參數(shù)與模型的假設(shè)條件不一致.該問(wèn)題出現(xiàn)在BKT模型的擬合過(guò)程中.由2.1節(jié)知，BKT模型使用2狀態(tài)的HMM擬合數(shù)據(jù)，得到符合該HMM的參數(shù)最優(yōu)解；但是對(duì)猜測(cè)概率、失誤概率及轉(zhuǎn)移概率的最優(yōu)解解釋卻與最初的BKT模型假設(shè)不完全一致.文獻(xiàn)[80]認(rèn)為分析模型退化的來(lái)源將是未來(lái)研究的一個(gè)重要方向.無(wú)論是識(shí)別性問(wèn)題，還是模型退化問(wèn)題，其根源可追溯至得到模型參數(shù)最優(yōu)解的過(guò)程和方法，從而進(jìn)行學(xué)生認(rèn)知狀態(tài)的估計(jì)和作答表現(xiàn)的預(yù)測(cè)[81].

2.2.3 BKT模型的數(shù)據(jù)分析

模擬數(shù)據(jù)在教育數(shù)據(jù)挖掘及認(rèn)知跟蹤領(lǐng)域的使用十分廣泛，如使用模擬數(shù)據(jù)驗(yàn)證BKT模型的收斂性問(wèn)題[83].文獻(xiàn)[84]研究了是否可以區(qū)分一個(gè)數(shù)據(jù)集是模擬數(shù)據(jù)還是真實(shí)數(shù)據(jù)，分析了模擬數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的相似性，但并未設(shè)計(jì)出可以自動(dòng)識(shí)別模擬數(shù)據(jù)或真實(shí)數(shù)據(jù)的算法.

2.3 BKT的擴(kuò)展

自1994年BKT模型提出后，學(xué)者們從使用不同方法、以不同目的、適應(yīng)不同場(chǎng)景等角度對(duì)BKT模型進(jìn)行擴(kuò)展.本文將BKT的擴(kuò)展模型分為3類：1)結(jié)合教育數(shù)據(jù)特征的擴(kuò)展模型；2)混合方法擴(kuò)展模型；3)其他模型.擴(kuò)展模型的對(duì)比如表3所示：

Table 3 Comparison of the Variants of BKT Model表3 BKT擴(kuò)展模型的對(duì)比

2.3.1 結(jié)合教育數(shù)據(jù)特征的擴(kuò)展模型

學(xué)生在學(xué)習(xí)過(guò)程中會(huì)產(chǎn)生大量的碎片化數(shù)據(jù)，這些教育數(shù)據(jù)含有豐富的語(yǔ)義信息[89,94].傳統(tǒng)的BKT模型只挖掘了語(yǔ)義信息中隨時(shí)間變化的縱向信息，而忽略了數(shù)據(jù)中其余特征信息.因此，學(xué)者們結(jié)合教育數(shù)據(jù)中的各類特征信息提出BKT的擴(kuò)展模型，包括結(jié)合個(gè)性化特征的擴(kuò)展模型和結(jié)合通用特征的擴(kuò)展模型.

1) 結(jié)合個(gè)性化特征的擴(kuò)展模型

BKT模型對(duì)單一知識(shí)點(diǎn)建模，使得模型對(duì)知識(shí)庫(kù)模型及知識(shí)與習(xí)題關(guān)聯(lián)模型的依賴性較強(qiáng).如果知識(shí)庫(kù)模型構(gòu)建的粒度太粗或太細(xì)，會(huì)直接影響模型認(rèn)知狀態(tài)評(píng)估的性能；如果學(xué)生在處理一個(gè)知識(shí)點(diǎn)關(guān)聯(lián)的連續(xù)幾道習(xí)題十分相似，可能會(huì)增加該學(xué)生對(duì)后面出現(xiàn)相似習(xí)題的猜測(cè)率[20].因此，文獻(xiàn)[20]提出BKT-ST模型，在BKT模型的基礎(chǔ)上考慮連續(xù)習(xí)題之間的相似性問(wèn)題，發(fā)現(xiàn)學(xué)生在連續(xù)作答多道相似習(xí)題后其猜測(cè)概率提高、失誤概率降低、作答表現(xiàn)變好.

文獻(xiàn)[22]在MOOC平臺(tái)的Coursera(1)https://www.coursera.org/場(chǎng)景下，針對(duì)BKT模型忽略知識(shí)點(diǎn)之間豐富結(jié)構(gòu)和關(guān)聯(lián)性的問(wèn)題，基于課程章節(jié)對(duì)應(yīng)的講座視頻構(gòu)建具有層次性和時(shí)間特性的Multi-Grained-BKT模型和Historical-BKT模型.文獻(xiàn)[85]探討了在線教育中短視頻對(duì)模型預(yù)測(cè)精度的作用.如作答某一習(xí)題涉及到工具的使用，該習(xí)題關(guān)聯(lián)了記錄使用該工具方法的短視頻，那么在學(xué)生作答該習(xí)題時(shí)觀看該短視頻對(duì)學(xué)生的習(xí)題作答產(chǎn)生影響.Template-Videos利用與習(xí)題高度相關(guān)的短視頻信息提高了BKT模型的認(rèn)知評(píng)估性能.腦電圖(electroencephalography, EEG)設(shè)備可以有效探測(cè)學(xué)生的心理狀態(tài)，如學(xué)生的注意力[86].文獻(xiàn)[86]將EEG方法引入對(duì)學(xué)生認(rèn)知狀態(tài)的評(píng)估中，提出的EEG-KT模型提高了BKT的預(yù)測(cè)性能.文獻(xiàn)[87]將學(xué)生的“有效狀態(tài)”(affective state)如困惑、無(wú)聊、投入或愉悅等因素融入BKT模型中，提出Affective BKT模型并將其應(yīng)用至可實(shí)時(shí)評(píng)估學(xué)生認(rèn)知狀態(tài)的智能導(dǎo)學(xué)機(jī)器人中.

BKT是一種2狀態(tài)變量(變量?jī)H為“0-1”取值)的一階HMM，模型假設(shè)處于一個(gè)無(wú)噪音環(huán)境中.文獻(xiàn)[16]提出的Spectral BKT模型基于特征補(bǔ)償和模型補(bǔ)償范式，使用3-gram代替原始的“0-1”觀測(cè)值(觀測(cè)值僅為“0-1”取值，表示習(xí)題作答表現(xiàn)為“錯(cuò)誤”或“正確”)，給出8種光譜觀測(cè)值，并在傳統(tǒng)BKT模型2個(gè)認(rèn)知狀態(tài)(隱狀態(tài)僅為“0-1”取值，表示認(rèn)知狀態(tài)為“未掌握狀態(tài)”或“掌握狀態(tài)”)之間增加了2個(gè)狀態(tài)，提高了模型的預(yù)測(cè)性能.MS-BKT[15]使用將傳統(tǒng)的2個(gè)認(rèn)知狀態(tài)擴(kuò)展為21個(gè)，使得模型可以更好地捕獲可觀測(cè)序列的信息.大多數(shù)BKT的擴(kuò)展模型均基于HMM，具有可解釋性強(qiáng)的共性優(yōu)點(diǎn)，同時(shí)也具有共性缺點(diǎn)：學(xué)生的學(xué)習(xí)速率保持不變，不符合客觀事實(shí)[15].在保留BKT參數(shù)可解釋性優(yōu)點(diǎn)的同時(shí)，MS-BKT[15]使用權(quán)重參數(shù)代替靜態(tài)學(xué)習(xí)率，經(jīng)歷多次練習(xí)的知識(shí)點(diǎn)意味著該學(xué)生對(duì)該知識(shí)點(diǎn)的學(xué)習(xí)率較低，被賦予較小的權(quán)重.實(shí)驗(yàn)表明與靜態(tài)學(xué)習(xí)率相比，使用動(dòng)態(tài)學(xué)習(xí)率進(jìn)行認(rèn)知狀態(tài)估計(jì)的精度更高.

2) 結(jié)合通用特征的擴(kuò)展模型

2.3.1節(jié)介紹的擴(kuò)展模型結(jié)合個(gè)性化特征可在某一方向或目的上達(dá)到較好效果，但可能因數(shù)據(jù)信息補(bǔ)全而具有一定的局限性.接下來(lái)介紹結(jié)合通用特征的擴(kuò)展模型，緩解了模型的局限性問(wèn)題.

文獻(xiàn)[88]提出Intervention-BKT模型，認(rèn)為各種類型的教學(xué)干預(yù)行為影響學(xué)生的認(rèn)知狀態(tài)，實(shí)驗(yàn)結(jié)果表明，提出的模型性能優(yōu)于傳統(tǒng)的BKT模型，可應(yīng)用于自適應(yīng)的教學(xué)策略推薦場(chǎng)景中.文獻(xiàn)[89]改進(jìn)估計(jì)參數(shù)的EM算法，從學(xué)生作答的觀測(cè)向量中提取特征向量，并定義算法中M步驟的參數(shù)為特征向量的函數(shù)，由此提出FAST(feature aware student knowledge tracing)模型.文獻(xiàn)[13]提出了一種基于知識(shí)點(diǎn)檢測(cè)的數(shù)據(jù)切片算法，用于從學(xué)生觀測(cè)數(shù)據(jù)中提取時(shí)差信息，并將時(shí)差信息整合至認(rèn)知跟蹤模型中，提出TD-BKT模型考慮了學(xué)生觀測(cè)數(shù)據(jù)的時(shí)間特性，提高了認(rèn)知狀態(tài)評(píng)估的精度.

2.3.2 混合方法擴(kuò)展模型

本節(jié)將介紹結(jié)合其他方法的BKT擴(kuò)展模型.傳統(tǒng)的BKT模型未考慮不同知識(shí)點(diǎn)之間的關(guān)聯(lián)性，文獻(xiàn)[90]使用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dynamic Bayesian network, DBN)模型構(gòu)造知識(shí)點(diǎn)的層級(jí)關(guān)系，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)即使是簡(jiǎn)單的知識(shí)點(diǎn)層級(jí)關(guān)系，也可以將BKT的預(yù)測(cè)精度提高10%.Zhang等人[17]受到三支決策的啟發(fā)提出TLS-BKT模型，對(duì)BKT算法中2狀態(tài)學(xué)習(xí)模型進(jìn)行改進(jìn)，將原有的“未掌握狀態(tài)/掌握狀態(tài)”改進(jìn)為“未掌握狀態(tài)/學(xué)習(xí)狀態(tài)/掌握狀態(tài)”，增強(qiáng)了狀態(tài)模型的靈活性和普遍性.文獻(xiàn)[95]應(yīng)用權(quán)重中國(guó)餐廳過(guò)程(weighted Chinese restaurant process, WCRP)提出基于專家標(biāo)注技能的認(rèn)知技能自動(dòng)發(fā)現(xiàn)方法.

為提升模型性能，部分文獻(xiàn)將BKT模型與IRT(item response theory)，LFM(latent factors model)等方法結(jié)合起來(lái).認(rèn)知跟蹤模型常被應(yīng)用于學(xué)生認(rèn)知狀態(tài)的評(píng)估，未對(duì)不同學(xué)生和不同習(xí)題的差異性建模；而IRT可構(gòu)建不同學(xué)生能力、習(xí)題難度的模型，但無(wú)法跟蹤學(xué)生的認(rèn)知狀態(tài)[91].文獻(xiàn)[91]將BKT與IRT結(jié)合(本文將該模型稱為KT & IRT combined模型)，保留了BKT學(xué)生建模的優(yōu)點(diǎn)，通過(guò)IRT方法提升模型認(rèn)知狀態(tài)評(píng)估的精度；文獻(xiàn)[92]將BKT與可以評(píng)估學(xué)生心理因素的HMM-IRT[96]結(jié)合，提出KAT(knowledge and affect tracing)模型可預(yù)測(cè)學(xué)生的作答表現(xiàn)并分析學(xué)生的游戲行為；文獻(xiàn)[93]提出結(jié)合LFM與KT的Hybrid LF-KT模型，在層次貝葉斯模型中將學(xué)習(xí)的時(shí)間動(dòng)力學(xué)理論(temporal dynamics of learning)與學(xué)生和習(xí)題的差異性相結(jié)合以預(yù)測(cè)學(xué)生的作答表現(xiàn).

BKT，KT & IRT combined，KAT，Hybrid LF-KT的模型示意圖分別如圖6(a)～(d)所示.圖6中非陰影圓圈表示模型中的隱變量、陰影圓圈方框表示模型中的觀測(cè)變量，圖6(b)～(d)中的實(shí)現(xiàn)方框表示擴(kuò)展模型比傳統(tǒng)BKT模型增加的部分，具體含義對(duì)應(yīng)圖示部分.

Fig. 6 Models of BKT[7], KT & IRT combined[90], KAT[91], and Hybrid LF-KT[92]圖6 BKT[7]，KT & IRT combined[90]，KAT[91]，Hybrid LF-KT[92]模型

2.4 開發(fā)工具與公開源碼

為降低開發(fā)和評(píng)估學(xué)生模型的成本，Chang等人[97]對(duì)貝葉斯網(wǎng)絡(luò)包BNT(2)http://bnt.sourceforge.net進(jìn)行擴(kuò)展，得到BNT-SM工具包.BNT-SM通過(guò)隱藏大部分構(gòu)造和訓(xùn)練DBNs的編碼細(xì)節(jié)，使研究者可以更加專注于學(xué)生建模問(wèn)題.研究這使用BNT-SM工具時(shí)，將學(xué)生模型以XML文件輸入，該工具會(huì)輸出相應(yīng)訓(xùn)練和評(píng)估模型的BNT MatLab代碼，輸出結(jié)果的大小至少是輸入大小的5倍.BNT-SM為后期學(xué)生模型研究者提供了便利有效地實(shí)驗(yàn)環(huán)境，作者公開該工具(3)http://www.cs.cmu.edu/～listen/BNT-SM以供研究者使用.此外，表4給出部分基于貝葉斯方法的認(rèn)知跟蹤模型公開源碼網(wǎng)址.

Table 4 Open Source Codes of KT Models Based on Bayesian Method表4 基于貝葉斯方法的認(rèn)知跟蹤模型公開源碼列表

3 基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型

深度學(xué)習(xí)因其強(qiáng)大的表征能力被應(yīng)用于各類研究中，基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型提高了傳統(tǒng)認(rèn)知跟蹤模型的精度.本節(jié)介紹經(jīng)典深度認(rèn)知跟蹤模型DKT，并梳理DKT的擴(kuò)展模型及其余基于深度學(xué)習(xí)的認(rèn)知跟蹤模型.

3.1 DKT模型

人類的知識(shí)及大腦具有天然復(fù)雜性，因此使用復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建認(rèn)知跟蹤模型更為合適.然而現(xiàn)有研究大多數(shù)基于具有嚴(yán)格約束函數(shù)的一階HMM.Piech等人[31]于2015年提出DKT模型，將循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)應(yīng)用于認(rèn)知跟蹤問(wèn)題，在不需要專家標(biāo)注習(xí)題與知識(shí)點(diǎn)關(guān)系的情況下，顯著提升了傳統(tǒng)BKT模型作答表現(xiàn)預(yù)測(cè)的性能.

RNN是一種遞歸的動(dòng)態(tài)模型，其當(dāng)前信息基于歷史信息及當(dāng)前輸入.與HMM相比，RNN具有高維的、連續(xù)的潛在變量表示.因此，RNN在處理時(shí)間序列問(wèn)題時(shí)都得到了很好的成效.認(rèn)知跟蹤模型根據(jù)每一個(gè)時(shí)間步(0,1,…,t)的學(xué)生作答表現(xiàn)序列(y0,y1,…,yt)預(yù)測(cè)未來(lái)時(shí)間步的學(xué)生作答表現(xiàn)yt+1，本質(zhì)上是一個(gè)時(shí)間序列問(wèn)題.基本的RNN結(jié)構(gòu)示意圖如圖7所示:

Fig. 7 Mode of DKT[31]圖7 DKT模型[31]

(y1,y2,…,yT)，(k0,k1,…,kT)，(o1,o2,…,oT)分別對(duì)應(yīng)RNN中的輸入層、隱藏層和輸出層.輸入層(y0,y1,…,yT)表示時(shí)間步1～T的學(xué)生的習(xí)題作答表現(xiàn).關(guān)于輸入層的具體含義見one-hot表示法及壓縮感知表示法.隱藏層k0,k1,…,kT中，k0為隱藏單元初值，(k0,k1,…,kT)分別為時(shí)間步1～T的隱藏單元.輸出層(o1,o2,…,oT)表示時(shí)間步1～T時(shí)，正確作答每一道習(xí)題的概率.陰影圓圈表示網(wǎng)絡(luò)的輸入，非陰影圓圈表示隱藏單元，方框表示網(wǎng)絡(luò)的輸出.隱藏單元可視作網(wǎng)絡(luò)的記憶單元，存儲(chǔ)著歷史隱藏單元的所有信息.由圖7可見，每一個(gè)時(shí)間步中輸入層的信息向隱藏層單向傳遞，每一個(gè)時(shí)間步中隱藏單元的信息向輸出層單向傳遞，上一個(gè)時(shí)間步隱藏單元的信息向當(dāng)前時(shí)間步的隱藏單元單向傳遞.由此可得，當(dāng)前時(shí)間步的隱藏單元由歷史隱藏單元及當(dāng)前時(shí)間步的輸入共同決定，當(dāng)前時(shí)間步的輸出單元僅由當(dāng)前時(shí)間步的隱藏單元決定.

輸入層為學(xué)生的作答表現(xiàn)序列，將學(xué)生的作答表現(xiàn)(“正確”、“錯(cuò)誤”)通過(guò)向量表示.在此介紹2種向量表示方法：one-hot表示法[98]和壓縮感知表示法[99].假設(shè)所有的習(xí)題關(guān)聯(lián)的知識(shí)點(diǎn)總共有Q個(gè).

1) one-hot表示法.在任意一個(gè)時(shí)間步t，定義一個(gè)長(zhǎng)度為2Q的空向量yt以存儲(chǔ)該時(shí)間步的學(xué)生作答表現(xiàn).設(shè)該時(shí)間步時(shí)學(xué)生作答的習(xí)題與知識(shí)點(diǎn)q關(guān)聯(lián)，若學(xué)生正確作答該題，則將向量yt的第Q+q位設(shè)為1，其余位均設(shè)為0；若學(xué)生錯(cuò)誤作答該題，則將向量的第q位設(shè)為1，其余位均設(shè)為0.以此類推，即可得輸入層的所有向量表示.當(dāng)知識(shí)點(diǎn)的數(shù)目很大時(shí)，使用one-hot表示法表示的向量稀疏，因此需對(duì)向量進(jìn)行壓縮.

2) 壓縮感知表示法.通過(guò)將學(xué)生作答表現(xiàn)分配給長(zhǎng)度為lg2Q的隨機(jī)高斯輸入向量來(lái)精確編碼.

DKT模型通過(guò)采用小批次隨機(jī)梯度下降法[100](stochastic gradient descent on minibatches, SGDM)作為優(yōu)化方法.對(duì)于一個(gè)學(xué)生，計(jì)算該學(xué)生從時(shí)間步0至?xí)r間步t的交叉熵信息之和，優(yōu)化目標(biāo)為

(12)

其中，l(·)表示交叉熵?fù)p失函數(shù)，(qt+1,at+1)表示在第t+1時(shí)間步學(xué)生作答的習(xí)題標(biāo)簽qt+1,即學(xué)生是否正確作答該習(xí)題的標(biāo)簽at+1，δ(qt+1)表示第t+1時(shí)間步學(xué)生作答的習(xí)題qt+1的one-hot編碼向量.

由此，通過(guò)DKT模型，可以根據(jù)(0,1,…,t)時(shí)間步的學(xué)生作答表現(xiàn)向量(y0,y1,…,yt)得到第t個(gè)時(shí)間步的習(xí)題正確作答概率向量ot，根據(jù)第t+1個(gè)時(shí)間步作答的習(xí)題得到正確作答該習(xí)題的概率P(yt+1|x1,x2,…,xt).

3.2 DKT擴(kuò)展模型

DKT模型將RNN應(yīng)用到認(rèn)知跟蹤模型中，并取得了較好的預(yù)測(cè)精度，受到了學(xué)者們的廣泛關(guān)注.本節(jié)將介紹利用數(shù)據(jù)特征信息及結(jié)合其他方法2類DKT擴(kuò)展模型.表5是本節(jié)介紹的所有DKT擴(kuò)展模型的對(duì)比列表.

Table 5 Comparison of the Variants of DKT Model表5 DKT擴(kuò)展模型的對(duì)比

3.2.1 結(jié)合教育數(shù)據(jù)特征擴(kuò)展模型

文獻(xiàn)[34]通過(guò)引入習(xí)題層面和學(xué)生層面的更多特征信息擴(kuò)展DKT模型(本文稱之為Adaptive DKT)，增加自編碼網(wǎng)絡(luò)層將輸入轉(zhuǎn)換成低維特征向量，減少了模型訓(xùn)練所需的資源和時(shí)間.文獻(xiàn)[14]通過(guò)分析Fuutoot平臺(tái)(一種個(gè)性化的自適應(yīng)學(xué)習(xí)平臺(tái))獲取的學(xué)生數(shù)據(jù)，學(xué)生嘗試作答2個(gè)習(xí)題的時(shí)間間隔可能高至1 h或1 d，甚至1周.Lalwani等人[14]將時(shí)間間隔信息作為DKT模型的一個(gè)特征編碼，提出DKT-t模型，實(shí)驗(yàn)發(fā)現(xiàn)DKT-t模型可提高DKT模型的預(yù)測(cè)性能，同時(shí)還可根據(jù)學(xué)生不同的作答序列及認(rèn)知狀態(tài)跟蹤學(xué)生的遺忘曲線.

學(xué)生數(shù)據(jù)的稀疏問(wèn)題一直影響著認(rèn)知跟蹤模型的預(yù)測(cè)精度和模型復(fù)雜度.Chen等人[101]認(rèn)為從知識(shí)庫(kù)中充分探討知識(shí)點(diǎn)之間的相互依賴關(guān)系有助于解決上述數(shù)據(jù)稀疏問(wèn)題.文獻(xiàn)[101]提出PDKT-C模型，通過(guò)引入知識(shí)點(diǎn)之間的先決關(guān)系，將其作為模型中的一個(gè)約束，以提高模型的精度.文獻(xiàn)[38]認(rèn)為習(xí)題之間也存在相關(guān)關(guān)系(side relations).比如2個(gè)習(xí)題關(guān)聯(lián)的知識(shí)點(diǎn)之間具有相似關(guān)系或其他隱含關(guān)系，那么這2個(gè)習(xí)題必然存在相關(guān)關(guān)系.這些相關(guān)關(guān)系可以構(gòu)造成為一個(gè)習(xí)題子圖，該子圖可為認(rèn)知跟蹤提供更加豐富的特征信息.因此，Wang等人[38]提出DKTS模型，將習(xí)題之間關(guān)系的特征信息整合至DKT模型中，提升了模型的預(yù)測(cè)性能.

文獻(xiàn)[102]提出無(wú)需知識(shí)點(diǎn)標(biāo)簽的end-to-end模型E2E-DKT，通過(guò)學(xué)生作答習(xí)題記錄的日志中自動(dòng)學(xué)習(xí)習(xí)題和知識(shí)點(diǎn)的向量嵌入.實(shí)驗(yàn)證明了該模型學(xué)習(xí)的向量嵌入對(duì)DKT的性能具有促進(jìn)作用.

3.2.2 混合模型

文獻(xiàn)[103]將學(xué)習(xí)能力相似的學(xué)生聚類為一個(gè)群體，基于K-Means聚類方法提出了DKT-DSC模型，提高了DKT模型個(gè)性化的認(rèn)知跟蹤能力.文獻(xiàn)[104-105]引入學(xué)生數(shù)據(jù)的異構(gòu)特征，分別結(jié)合決策樹、隨機(jī)森林、GBDT這3種樹形分類器預(yù)測(cè)學(xué)生的作答表現(xiàn)(本文稱該方法為Classifier-based DKT).

Yeung等人[37]發(fā)現(xiàn)DKT模型在預(yù)測(cè)學(xué)生的認(rèn)知水平時(shí)，可能學(xué)生對(duì)一個(gè)知識(shí)點(diǎn)的作答表現(xiàn)較好，但預(yù)測(cè)結(jié)果反而下降；同時(shí)，作者認(rèn)為學(xué)生的認(rèn)知狀態(tài)會(huì)隨著時(shí)間的推移逐漸改變，而不是在掌握狀態(tài)和未掌握狀態(tài)之間交替變換.為解決上述2個(gè)問(wèn)題，文獻(xiàn)[37]提出DKT+模型，定義了“重構(gòu)錯(cuò)誤”(reconstruction error)和“波動(dòng)準(zhǔn)則”(waviness measures)作為正則化損失函數(shù)來(lái)擴(kuò)充DKT模型的原始損失函數(shù).

3.3 基于深度學(xué)習(xí)方法的其他模型

DKT模型將RNN應(yīng)用于認(rèn)知跟蹤領(lǐng)域，開啟了深度學(xué)習(xí)方法在該領(lǐng)域的應(yīng)用.表6為本節(jié)介紹的基于深度學(xué)習(xí)方法的其他認(rèn)知跟蹤模型的對(duì)比列表.表7給出部分基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型公開源碼網(wǎng)址.

在復(fù)雜交互學(xué)習(xí)中，學(xué)生解決某個(gè)問(wèn)題需要掌握多個(gè)知識(shí)，甚至多個(gè)知識(shí)的組合會(huì)產(chǎn)生更多的額外知識(shí).針對(duì)這種情況，Huang等人[21,106]考慮了知識(shí)的應(yīng)用上下文，提出了一個(gè)數(shù)據(jù)驅(qū)動(dòng)(data-driven)框架CKM-HSC，追蹤學(xué)生更深層次的認(rèn)知狀態(tài).

文獻(xiàn)[107]提出了一種可解釋的概率知識(shí)能力跟蹤模型(knowledge proficiency tracing, KPT)，設(shè)計(jì)了一個(gè)概率矩陣分解框架將學(xué)生和習(xí)題先驗(yàn)知識(shí)結(jié)合起來(lái)，跟蹤學(xué)生的知識(shí)熟練程度，并通過(guò)實(shí)驗(yàn)證明了KPT的有效性和可解釋性.Su等人[19]考慮將習(xí)題信息與學(xué)生的做題記錄相結(jié)合，設(shè)計(jì)了雙向LSTM學(xué)習(xí)習(xí)題信息的編碼，提出exercise-enhanced recurrent neural network(EERNN)框架；同時(shí)提出2種預(yù)測(cè)策略：基于Markov特性的EERNNM(EERNNM with Markov property)和基于注意力機(jī)制的EERNNA(EERNNA with attention).但該框架對(duì)學(xué)生的認(rèn)知狀態(tài)采用隱向量表示，無(wú)法顯示跟蹤學(xué)生的認(rèn)知狀態(tài)，因此Huang等人[10]進(jìn)一步提出EKT(exercise-aware knowledge tracing)框架，實(shí)現(xiàn)了對(duì)學(xué)生關(guān)于每道題各知識(shí)點(diǎn)的認(rèn)知狀態(tài)跟蹤.

Table 6 Comparison of Other Deep-Learning-Based KT Models表6 其余深度學(xué)習(xí)KT模型的對(duì)比

Table 7 Open Source Codes of KT Models Based on Deep Learning Methods表7 基于深度學(xué)習(xí)的認(rèn)知跟蹤模型公開源碼列表

為解決DKT無(wú)法顯示跟蹤學(xué)生對(duì)每一知識(shí)概念的掌握水平問(wèn)題，文獻(xiàn)[108]將改進(jìn)的MANN(memory-augmented neural networks)應(yīng)用于KT問(wèn)題；通過(guò)引入key-value存儲(chǔ)單元，提出DKVMN(dynamic key-value memory networks)框架以發(fā)現(xiàn)每個(gè)輸入習(xí)題的潛在知識(shí)概念、跟蹤學(xué)生對(duì)知識(shí)點(diǎn)的認(rèn)知狀態(tài).DKVMN比DKT具有更大容量的外部存儲(chǔ)空間，因此需要更少的參數(shù).

4 認(rèn)知跟蹤模型的應(yīng)用

認(rèn)知跟蹤模型對(duì)學(xué)生的習(xí)題作答表現(xiàn)進(jìn)行建模，廣泛應(yīng)用于各個(gè)在線教育平臺(tái)，如MOOC平臺(tái)的Coursera[22]，edx[109]，MATHESIS Algebra Tutor[110]等.本節(jié)列出認(rèn)知跟蹤模型分別在作答表現(xiàn)預(yù)測(cè)、認(rèn)知狀態(tài)評(píng)估、心理因素分析、習(xí)題序列研究和特定的編程練習(xí)中的應(yīng)用.

4.1 作答表現(xiàn)預(yù)測(cè)

通過(guò)跟蹤學(xué)生的習(xí)題作答表現(xiàn)序列，預(yù)測(cè)未來(lái)時(shí)刻學(xué)生的習(xí)題作答表現(xiàn)，是認(rèn)知跟蹤模型的重要應(yīng)用之一，在此舉例說(shuō)明.

文獻(xiàn)[111]探討了集成方法(ensemble methods)是否可以在有導(dǎo)師學(xué)習(xí)中提高后試測(cè)驗(yàn)(post-test)的預(yù)測(cè)精度，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)集成方法未促進(jìn)該預(yù)測(cè)精度的提升，并給出了可能的解釋.文獻(xiàn)[22]基于BKT模型，結(jié)合知識(shí)點(diǎn)中豐富的關(guān)聯(lián)關(guān)系信息提出了Multi-Grained-BKT和Historical-BKT模型，通過(guò)實(shí)驗(yàn)證明了提出方法在Coursera的MOOC課程數(shù)據(jù)中的預(yù)測(cè)性能較好.文獻(xiàn)[10]在EERNN框架[19]的基礎(chǔ)上，提出2種預(yù)測(cè)策略：基于Markov性質(zhì)的EERNNM和基于注意力機(jī)制的EERNNA，并進(jìn)一步提出EKT框架實(shí)現(xiàn)了對(duì)學(xué)生認(rèn)知狀態(tài)的評(píng)估和學(xué)生作答表現(xiàn)的預(yù)測(cè).

4.2 認(rèn)知狀態(tài)評(píng)估

本文4.1節(jié)介紹了認(rèn)知跟蹤模型在學(xué)生作答表現(xiàn)預(yù)測(cè)上的應(yīng)用，事實(shí)上部分文獻(xiàn)通過(guò)首先評(píng)估學(xué)生的認(rèn)知狀態(tài)，進(jìn)而實(shí)現(xiàn)作答表現(xiàn)的預(yù)測(cè)，如文獻(xiàn)[10,19,22]；部分文獻(xiàn)提出的模型可以預(yù)測(cè)學(xué)生的作答表現(xiàn)，卻無(wú)法評(píng)估學(xué)生的認(rèn)知狀態(tài)，如文獻(xiàn)[31].

舉例說(shuō)明認(rèn)知跟蹤模型可評(píng)估認(rèn)知狀態(tài)的情況.在2.1節(jié)中介紹了使用BKT模型進(jìn)行認(rèn)知狀態(tài)評(píng)估任務(wù)時(shí)，為緩解“過(guò)度積極”和“過(guò)度消極”問(wèn)題，通常設(shè)置一個(gè)認(rèn)知閾值作為學(xué)生是否掌握知識(shí)的判定條件.實(shí)際上，認(rèn)知閾值可作為一個(gè)可調(diào)參數(shù)來(lái)控制2類問(wèn)題發(fā)生的相對(duì)頻率[71].文獻(xiàn)[71]將練習(xí)機(jī)會(huì)序列分成了“學(xué)習(xí)”(learning)、“過(guò)渡”(lag)和“過(guò)度練習(xí)”(over-practice)3個(gè)階段，對(duì)這3個(gè)階段進(jìn)行量化分析，并闡明了BKT模型中的認(rèn)知閾值與這3個(gè)階段之間的關(guān)系.文獻(xiàn)[112]使用BKT模型估計(jì)學(xué)生掌握知識(shí)成分的可能性，然后在整個(gè)學(xué)習(xí)過(guò)程中對(duì)學(xué)生的學(xué)習(xí)曲線進(jìn)行建模.文獻(xiàn)[107]設(shè)計(jì)了一個(gè)概率矩陣分解框架，結(jié)合學(xué)生練習(xí)的先驗(yàn)知識(shí)，跟蹤學(xué)生的認(rèn)知掌握程度.

4.3 心理因素分析

學(xué)生的習(xí)題作答表現(xiàn)不僅取決于學(xué)生對(duì)知識(shí)的掌握情況和學(xué)生應(yīng)用知識(shí)的能力，還有很多其他因素影響作答表現(xiàn)，如遺忘、猜測(cè)、失誤、游戲行為、情緒狀態(tài)等心理因素.

Xu等人[86]使用腦電圖設(shè)備以探測(cè)學(xué)生學(xué)習(xí)時(shí)的心理狀態(tài)，針對(duì)不同的心理狀態(tài)將學(xué)生的學(xué)習(xí)、遺忘、猜測(cè)和失誤因素設(shè)置為不同的參數(shù)，提高了BKT模型的預(yù)測(cè)性能.

在智能教輔系統(tǒng)ITS的學(xué)生模型應(yīng)用中，大多數(shù)研究假設(shè)學(xué)生對(duì)知識(shí)是無(wú)遺忘的，卻未有文獻(xiàn)證明此假設(shè)是符合客觀事實(shí)的.文獻(xiàn)[113]考慮了遺忘(forgetting)和再學(xué)習(xí)(relearning)因素，對(duì)學(xué)生長(zhǎng)期學(xué)習(xí)建模十分重要.Lalwani等人[14]通過(guò)Fuutoot平臺(tái)發(fā)現(xiàn)學(xué)生作答習(xí)題的間隔可能為1 h或1 d，甚至1周之久，因此作者使用時(shí)間間隔信息擴(kuò)展DKT模型，提出了可以追蹤學(xué)生遺忘曲線的DKT-t模型.

游戲行為(gaming the system)指學(xué)生不斷地利用系統(tǒng)的反饋及幫助來(lái)獲得習(xí)題的正確答案[114].比如，某學(xué)生在作答多項(xiàng)選擇題時(shí)，并沒(méi)有試圖找到正確答案，而是選擇了每道題的所有選項(xiàng)，以此提高其點(diǎn)擊正確答案的頻次.文獻(xiàn)[115]提出可以預(yù)測(cè)游戲行為的認(rèn)知跟蹤模型KTB(knowledge tracing with behavior)，嘗試在利用BKT模型預(yù)測(cè)學(xué)生作答表現(xiàn)的同時(shí)，預(yù)測(cè)學(xué)生的游戲行為.

Spaulding等人[87]構(gòu)建了一個(gè)智能教輔機(jī)器人，通過(guò)增加學(xué)生情緒狀態(tài)的估計(jì)以擴(kuò)展BKT模型.學(xué)生的情緒狀態(tài)包括學(xué)生是否感到困惑、無(wú)聊、精力集中或心情愉悅等.同時(shí)還探討了相較于智能教輔系統(tǒng)，學(xué)生在與智能教輔機(jī)器人交互時(shí)是否可以展現(xiàn)出更多情緒狀態(tài)的問(wèn)題.

4.4 習(xí)題序列研究

認(rèn)知跟蹤模型中，學(xué)生的習(xí)題作答數(shù)據(jù)是以時(shí)間為順序的.因此學(xué)生作答習(xí)題的次序可能會(huì)影響學(xué)生的學(xué)習(xí)效率，從而影響其作答表現(xiàn).

文獻(xiàn)[31]說(shuō)明了DKT模型可以通過(guò)式(13)發(fā)現(xiàn)習(xí)題之間的先決關(guān)系.其中，y(j|i)表示在已知上一時(shí)間步學(xué)生正確作答了習(xí)題i的情況下，該學(xué)生在這一時(shí)間步正確作答習(xí)題j的概率，K表示學(xué)生作答的習(xí)題數(shù)目:

(13)

文獻(xiàn)[116]應(yīng)用具有天然的層次性RBT(revised bloom’s taxonomy)[117]作為習(xí)題次序策略，研究學(xué)生獲得知識(shí)的次序?qū)W(xué)生作答表現(xiàn)的影響，使學(xué)生先進(jìn)行低層次的訓(xùn)練再進(jìn)行高層次的訓(xùn)練，以提升模型精度.

4.5 編程練習(xí)中的認(rèn)知跟蹤

學(xué)生在開放習(xí)題中的訓(xùn)練可以為學(xué)生作答數(shù)據(jù)提供更加豐富的信息.編程題[8]即屬于開放習(xí)題訓(xùn)練中的一種.

文獻(xiàn)[7]對(duì)學(xué)生在ACT Programming Tutor短程序編寫系統(tǒng)進(jìn)行Lisp語(yǔ)言編程練習(xí)建模，提出了經(jīng)典的BKT模型.在學(xué)生學(xué)習(xí)程序設(shè)計(jì)技術(shù)方面，為解決學(xué)生應(yīng)用哪種編程結(jié)構(gòu)以及有多少學(xué)生理解編程語(yǔ)言的概念等問(wèn)題，文獻(xiàn)[118]提出三相評(píng)估(three-phase measuring)方法，用于觀察學(xué)生的編程錯(cuò)誤、應(yīng)用編程結(jié)構(gòu)，同時(shí)應(yīng)用貝葉斯學(xué)習(xí)模型確定編程知識(shí)概念.文獻(xiàn)[9]基于抽象語(yǔ)法樹(abstract syntax tree, AST)提出了一種認(rèn)知跟蹤模型，可以在給定的編程練習(xí)中評(píng)估學(xué)生的認(rèn)知狀態(tài).基于DKT模型的思想.文獻(xiàn)[8]將嵌入式程序輸入到一個(gè)RNN中，并將其用以預(yù)測(cè)未來(lái)編程練習(xí)中學(xué)生的表現(xiàn)情況.

5 比較、分析與展望

認(rèn)知跟蹤模型在智慧教育[119]、智能教輔系統(tǒng)[120]、在線教育[121]等方面具有廣泛的應(yīng)用需求，因此對(duì)認(rèn)知跟蹤模型的研究是計(jì)算機(jī)領(lǐng)域和教育領(lǐng)域的熱點(diǎn)問(wèn)題.通過(guò)對(duì)2類認(rèn)知跟蹤模型的梳理，將當(dāng)前研究歸納為5點(diǎn)：1)認(rèn)知跟蹤模型的參數(shù)誤差和評(píng)價(jià)指標(biāo)；2)現(xiàn)有認(rèn)知跟蹤模型的分析；3)新的認(rèn)知跟蹤模型的提出；4)認(rèn)知跟蹤模型開發(fā)工具的研究；5)認(rèn)知跟蹤模型應(yīng)用的研究.

本文從建模方法上將認(rèn)知跟蹤模型分為基于貝葉斯方法和基于深度學(xué)習(xí)方法2類分別介紹.2類方法均是根據(jù)習(xí)題作答表現(xiàn)跟蹤學(xué)生的認(rèn)知狀態(tài)，但因建模方法的不同而各自具有優(yōu)缺點(diǎn)，本節(jié)首先以認(rèn)知跟蹤模型中經(jīng)典的BKT模型和DKT模型為例進(jìn)行分析.

5.1 BKT與DKT的比較

本文分別在2.1節(jié)和3.1節(jié)詳細(xì)闡述了BKT模型和DKT模型，這2個(gè)模型分別是基于貝葉斯方法和基于深度學(xué)習(xí)方法的經(jīng)典認(rèn)知跟蹤模型，二者各有優(yōu)劣，本節(jié)將以二者為例對(duì)2類認(rèn)知跟蹤模型進(jìn)行比較分析.

根據(jù)圖6的BKT模型和圖7的DKT模型，可發(fā)現(xiàn)BKT針對(duì)單個(gè)知識(shí)點(diǎn)建模，其觀測(cè)變量與知識(shí)點(diǎn)之間的關(guān)系已知，而DKT將所有知識(shí)點(diǎn)構(gòu)建為一個(gè)模型，其觀測(cè)變量與知識(shí)點(diǎn)之間的關(guān)系未知.這是因?yàn)樵诿鎸?duì)某學(xué)生的作答數(shù)據(jù)時(shí)，BKT模型首先將學(xué)生作答數(shù)據(jù)按照習(xí)題關(guān)聯(lián)的知識(shí)點(diǎn)分組，每一個(gè)知識(shí)點(diǎn)關(guān)聯(lián)的所有習(xí)題作答形成一個(gè)序列；相反地，DKT模型將一個(gè)學(xué)生作答的所有知識(shí)點(diǎn)關(guān)聯(lián)的習(xí)題構(gòu)建為一個(gè)序列.

舉例如下：目前有學(xué)生i的作答數(shù)據(jù)，將與知識(shí)點(diǎn)A關(guān)聯(lián)的習(xí)題記作Ax，x為以習(xí)題出現(xiàn)的時(shí)間為序的編號(hào)，以此類推，學(xué)生i作答的習(xí)題序列為A1A2B1A3C1B2B3.在BKT模型中，對(duì)應(yīng)學(xué)生i的作答表現(xiàn)序列被列為3組，分別是：1)對(duì)應(yīng)原習(xí)題序列第1題、第2題和第4題的作答表現(xiàn)yA,1,yA,2,yA,3；2)對(duì)應(yīng)原習(xí)題序列第3題、第6題和第7題的作答表現(xiàn)yB,1,yB,2,yB,3；3)對(duì)應(yīng)原習(xí)題序列第5題的作答表現(xiàn)yC,1，將這3組作答表現(xiàn)序列分別建模成HMM模型進(jìn)行計(jì)算.而在DKT模型中，學(xué)生i的作答表現(xiàn)序列僅被列為1組，即y1,y2,y3,y4,y5,y6,y7，分別對(duì)應(yīng)原習(xí)題序列的第1～7題，將此作答表現(xiàn)序列建模成一個(gè)RNN模型進(jìn)行計(jì)算.由舉例可得：

1) 由于BKT模型需要將原習(xí)題序列按照關(guān)聯(lián)的知識(shí)點(diǎn)進(jìn)行分組，因此其建模過(guò)程依賴于習(xí)題與知識(shí)點(diǎn)之間的關(guān)聯(lián)情況，需要進(jìn)行人工標(biāo)注；而DKT模型無(wú)需將原習(xí)題序列分組，節(jié)省了大量人工標(biāo)注的代價(jià).

2) 原習(xí)題序列中的第4題在按照知識(shí)點(diǎn)分組后出現(xiàn)在了第1個(gè)分組的第3題，即A1A2B1A3C1B2B3中A3的作答表現(xiàn)在分組過(guò)后出現(xiàn)在了yA,1,yA,2,yA,3中的yA,3，習(xí)題出現(xiàn)的時(shí)間特征丟失，而DKT模型卻保留了這一特性.文獻(xiàn)[122]分析，DKT模型正是因?yàn)橛行Ю昧藢W(xué)生作答表現(xiàn)數(shù)據(jù)中的特征和規(guī)律，性能得到了大幅度地提升；同時(shí)，若總結(jié)數(shù)據(jù)中的特征和規(guī)律并應(yīng)用至BKT模型中，也可以得到很好的效果.

3) 通過(guò)BKT的隱狀態(tài)kq,t，可追蹤學(xué)生在任意時(shí)間步t對(duì)知識(shí)點(diǎn)q的認(rèn)知狀態(tài)，這體現(xiàn)了BKT模型強(qiáng)大的可解釋性；而DKT模型的隱藏層雖起到了至關(guān)重要的信息傳遞作用，但是卻無(wú)法解釋其中的含義，即DKT模型無(wú)法追蹤學(xué)生的認(rèn)知狀態(tài).

通過(guò)以上分析，BKT模型和DKT模型各自的優(yōu)點(diǎn)和不足之處總結(jié)為2點(diǎn)，同時(shí)也適用于一般基于貝葉斯方法和基于深度學(xué)習(xí)方法2類認(rèn)知跟蹤模型.

1) BKT可對(duì)學(xué)生的認(rèn)知狀態(tài)進(jìn)行跟蹤，具有強(qiáng)大的可解釋性；但是，BKT也因模型本身的表示能力，丟失了學(xué)生數(shù)據(jù)中的一些重要特征和規(guī)律，其預(yù)測(cè)性能有待提升；

2) DKT因其擁有較強(qiáng)的表示能力，可以有效利用學(xué)生數(shù)據(jù)中一些重要的特征和規(guī)律，具有較好的預(yù)測(cè)性能；但是，DKT目前無(wú)法顯式得到學(xué)生對(duì)每個(gè)具體的知識(shí)點(diǎn)的認(rèn)知狀態(tài)，可解釋性有所欠缺.

5.2 分析與展望

基于已有研究工作及模型的優(yōu)缺點(diǎn)，本節(jié)從認(rèn)知跟蹤模型的建模任務(wù)、數(shù)據(jù)特點(diǎn)、建模方法及優(yōu)缺點(diǎn)、建模的難點(diǎn)與挑戰(zhàn)4個(gè)方面對(duì)認(rèn)知跟蹤的方向進(jìn)行分析與展望.

1) 建模任務(wù).認(rèn)知跟蹤模型面向動(dòng)態(tài)的教育數(shù)據(jù)建模，基于學(xué)生在學(xué)習(xí)過(guò)程中作答習(xí)題的數(shù)據(jù)，跟蹤學(xué)生對(duì)知識(shí)點(diǎn)的掌握隨時(shí)間的變化情況，預(yù)測(cè)學(xué)生在未來(lái)時(shí)刻作答習(xí)題的表現(xiàn)[7].如圖5所示闡述了認(rèn)知跟蹤的問(wèn)題模型包含輸入、建模及輸出.輸入為學(xué)生在不同時(shí)刻作答不同知識(shí)點(diǎn)習(xí)題的觀測(cè)得分；建模為將輸入層的輸入數(shù)據(jù)使用建模方法進(jìn)行模型擬合、參數(shù)尋優(yōu)，得到對(duì)每個(gè)學(xué)生的認(rèn)知跟蹤子模型；輸出為通過(guò)建模層得到的認(rèn)知跟蹤模型，根據(jù)不同的應(yīng)用需求得到不同的輸出結(jié)果；其中，認(rèn)知跟蹤模型可應(yīng)用于學(xué)生認(rèn)知狀態(tài)的跟蹤、作答表現(xiàn)的預(yù)測(cè)等場(chǎng)景中.

2) 數(shù)據(jù)特點(diǎn).認(rèn)知跟蹤模型的輸入為學(xué)生在不同時(shí)刻作答不同知識(shí)點(diǎn)習(xí)題的觀測(cè)得分?jǐn)?shù)據(jù).由于認(rèn)知跟蹤模型是面向動(dòng)態(tài)學(xué)習(xí)數(shù)據(jù)的，因此模型的數(shù)據(jù)應(yīng)具有時(shí)間特性；由于認(rèn)知跟蹤模型針對(duì)每個(gè)學(xué)生訓(xùn)練建模，因此模型的數(shù)據(jù)應(yīng)有足夠數(shù)目學(xué)生的作答數(shù)據(jù)，以確保訓(xùn)練的效果；此外，在認(rèn)知跟蹤模型應(yīng)用于學(xué)生認(rèn)知狀態(tài)的跟蹤時(shí)，若要得到顯性的學(xué)生對(duì)知識(shí)點(diǎn)的認(rèn)知狀態(tài)，數(shù)據(jù)應(yīng)包含課程的知識(shí)點(diǎn)集合、學(xué)生作答的習(xí)題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系.從實(shí)際情況考慮，知識(shí)點(diǎn)應(yīng)是樹狀結(jié)構(gòu)或網(wǎng)狀結(jié)構(gòu)的多粒度狀態(tài)，而非知識(shí)點(diǎn)之間相互獨(dú)立.

3) 建模方法及優(yōu)缺點(diǎn).目前主流的建模方法包括貝葉斯方法(如BKT模型)和深度學(xué)習(xí)方法(如DKT模型).①貝葉斯方法：貝葉斯方法將學(xué)習(xí)過(guò)程建模為HMM.依據(jù)HMM的時(shí)間特性，假設(shè)學(xué)生在當(dāng)前時(shí)刻的作答表現(xiàn)只與學(xué)生上一時(shí)刻的作答表現(xiàn)以及學(xué)生當(dāng)前時(shí)刻的認(rèn)知狀態(tài)相關(guān)，從而可構(gòu)建出基于HMM的貝葉斯認(rèn)知跟蹤模型.因此，貝葉斯方法的認(rèn)知跟蹤模型要求對(duì)每一學(xué)生的不同知識(shí)點(diǎn)作答數(shù)據(jù)分開獨(dú)立建模.其優(yōu)點(diǎn)是可對(duì)學(xué)生的認(rèn)知狀態(tài)進(jìn)行跟蹤，具有較好的可解釋性.而由于模型本身的表示能力，該模型的缺點(diǎn)是丟失了學(xué)生數(shù)據(jù)中的一些重要特征和規(guī)律，使其預(yù)測(cè)性能有待提升；并且該模型要求標(biāo)注每道習(xí)題涉及到的知識(shí)點(diǎn)集合.②深度學(xué)習(xí)方法：在習(xí)題涉及到的知識(shí)點(diǎn)集合未標(biāo)注的情況下，可使用深度學(xué)習(xí)方法對(duì)輸入數(shù)據(jù)進(jìn)行特征表示及建模，將學(xué)生對(duì)知識(shí)點(diǎn)的認(rèn)知狀態(tài)作為隱藏單元，對(duì)學(xué)生的作答數(shù)據(jù)進(jìn)行擬合.其優(yōu)點(diǎn)是具有強(qiáng)大的表示能力，能有效利用學(xué)生數(shù)據(jù)中一些重要的特征和規(guī)律，因此具有較好的預(yù)測(cè)性能.而該模型的缺點(diǎn)是目前的深度學(xué)習(xí)模型無(wú)法得到學(xué)生的認(rèn)知狀態(tài)，因此可解釋性需要加強(qiáng).

4) 建模的難點(diǎn)與挑戰(zhàn).認(rèn)知跟蹤問(wèn)題的建模依然存在3方面難點(diǎn)與挑戰(zhàn).

① 貝葉斯認(rèn)知跟蹤的模型參數(shù)尋優(yōu)問(wèn)題.

貝葉斯認(rèn)知跟蹤模型的參數(shù)取值直接影響模型的性能.有學(xué)者甚至發(fā)現(xiàn)模型的參數(shù)雖然取值不同但可能導(dǎo)致相同的預(yù)測(cè)結(jié)果，即模型的識(shí)別性問(wèn)題.現(xiàn)有的貝葉斯認(rèn)知跟蹤模型中，參數(shù)尋優(yōu)方法可能存在4方面問(wèn)題：Ⅰ.在保證模型精度的情況下降低參數(shù)尋優(yōu)的時(shí)間復(fù)雜度和空間復(fù)雜度問(wèn)題；Ⅱ.在數(shù)據(jù)有限的情況下防止參數(shù)的過(guò)擬合問(wèn)題；Ⅲ.設(shè)計(jì)參數(shù)估計(jì)算法使其不陷入局部最優(yōu)解問(wèn)題；Ⅳ.結(jié)合其他類型的教育數(shù)據(jù)以更好地估計(jì)參數(shù)值問(wèn)題.

② 認(rèn)知跟蹤模型的精度與可解釋性的權(quán)衡問(wèn)題.

結(jié)合5.1節(jié)的比較分析可知，基于貝葉斯方法和深度學(xué)習(xí)方法的2類主流認(rèn)知跟蹤模型均有一定的局限性.因此，部分研究通過(guò)結(jié)合其他類型的數(shù)據(jù)特征或引入混合方法以提高貝葉斯認(rèn)知跟蹤模型的精度，但是現(xiàn)有模型的精度問(wèn)題仍有待提升.而基于深度學(xué)習(xí)的認(rèn)知跟蹤模型雖然具有較高的精度，但在可解釋性方面有所欠缺.因此綜合貝葉斯認(rèn)知跟蹤模型及深度認(rèn)知跟蹤模型的優(yōu)點(diǎn)，權(quán)衡精度和可解釋性的認(rèn)知跟蹤模型仍需要進(jìn)一步研究.

③ 模型部分假設(shè)與實(shí)際應(yīng)用不符的問(wèn)題.

現(xiàn)有認(rèn)知跟蹤模型的部分假設(shè)不符合實(shí)際情況.例如現(xiàn)有的大多數(shù)模型有5種假設(shè)：Ⅰ.假設(shè)學(xué)生在學(xué)習(xí)過(guò)程中無(wú)遺忘，而實(shí)際上學(xué)生在學(xué)習(xí)過(guò)程中會(huì)隨著時(shí)間的推移而遺忘某些知識(shí)；Ⅱ.假設(shè)標(biāo)注的知識(shí)點(diǎn)之間完全獨(dú)立，而實(shí)際中不同課程之間、同一課程之內(nèi)的知識(shí)點(diǎn)之間可能存在包含、繼承、前驅(qū)、等價(jià)等不同的關(guān)系；Ⅲ.假設(shè)不同知識(shí)點(diǎn)處于同一層次級(jí)別，而知識(shí)點(diǎn)可能因包含關(guān)系存在不同的級(jí)別，一個(gè)完整的知識(shí)體系應(yīng)該擁有多粒度的層級(jí)關(guān)系；Ⅳ.假設(shè)習(xí)題之間沒(méi)有關(guān)聯(lián)，而實(shí)際上在知識(shí)點(diǎn)之間存在包含前繼等關(guān)系的情況下，習(xí)題之間也存在關(guān)聯(lián)；Ⅴ.假設(shè)每道習(xí)題只與一個(gè)知識(shí)點(diǎn)相關(guān)聯(lián)，而實(shí)際上很多綜合性習(xí)題涉及到多個(gè)知識(shí)點(diǎn).因此，認(rèn)知跟蹤模型的研究還需針對(duì)實(shí)際場(chǎng)景進(jìn)行進(jìn)一步的研究.

6 總 結(jié)

隨著教育信息化的推進(jìn)，教育領(lǐng)域迎來(lái)了大數(shù)據(jù)時(shí)代.從傳統(tǒng)教育和在線教育中產(chǎn)生的海量碎片化數(shù)據(jù)中挖掘與學(xué)生相關(guān)的認(rèn)知狀態(tài)、行為表現(xiàn)、心理因素等信息具有重要的意義.認(rèn)知跟蹤模型根據(jù)學(xué)生動(dòng)態(tài)的習(xí)題作答表現(xiàn)跟蹤學(xué)生的認(rèn)知狀態(tài)、預(yù)測(cè)學(xué)生的未來(lái)作答表現(xiàn)，廣泛應(yīng)用于MOOC等在線教育平臺(tái)中.本文從建模方法上將認(rèn)知跟蹤模型分成貝葉斯認(rèn)知跟蹤模型和深度認(rèn)知跟蹤模型，對(duì)其進(jìn)行詳細(xì)地梳理和分析，并介紹了認(rèn)知跟蹤方法的5類應(yīng)用.同時(shí)，以經(jīng)典的BKT和DKT模型為例分析了2類認(rèn)知跟蹤模型的優(yōu)缺點(diǎn)，并對(duì)未來(lái)可能的研究方向進(jìn)行了探討和展望.