張凱 付姿姿 覃正楚

摘 要：知識追蹤通過對知識點的表示來描述習(xí)題，以此建模知識狀態(tài)，最終預(yù)測學(xué)習(xí)者的未來表現(xiàn)。然而目前的研究在知識點的表示方面既沒有建模歷史知識點對當(dāng)前知識點產(chǎn)生的時間關(guān)系上的影響，又未能刻畫習(xí)題內(nèi)部各知識點之間產(chǎn)生的空間關(guān)系上的作用。為了解決上述問題，提出了時空相關(guān)性融合表征的知識追蹤模型。首先，以知識點之間的時間相關(guān)程度為基礎(chǔ)，建模歷史知識點對當(dāng)前知識點的時間作用；其次，利用圖注意力網(wǎng)絡(luò)建模習(xí)題所包含的若干知識點之間的空間作用，得到蘊涵了時空信息的知識點表示；最后，利用上述知識點的表示推導(dǎo)出習(xí)題的表示，通過自注意力機制得到當(dāng)前的知識狀態(tài)。在實驗階段，與五種相關(guān)知識追蹤模型在四個真實數(shù)據(jù)集上進(jìn)行性能對比，結(jié)果表明提出的模型在性能方面有更出色的表現(xiàn)。特別地，在ASSISTments2017數(shù)據(jù)集中所提模型比五個對比模型在AUC、ACC方面分別提升了1.7%～7.7%和7.3%～2.1%；消融實驗證明了建模知識點之間時空相關(guān)影響的有效性，訓(xùn)練過程實驗表明了提出的模型在知識點的表示及其相互作用關(guān)系的建模等方面具有一定的優(yōu)勢，應(yīng)用實例也可看出該模型優(yōu)于其他知識追蹤模型的實際結(jié)果。

關(guān)鍵詞：知識追蹤；知識點表示；時空相關(guān)性；圖注意力網(wǎng)絡(luò)

中圖分類號：TP183?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號：1001-3695（2024）05-015-1381-07

doi： 10.19734/j.issn.1001-3695.2023.09.0414

Knowledge tracing model of temporal and spatial correlation fusion

Abstract：Knowledge tracing aims to model the state of knowledge and ultimately predict the future performance of learners by describing exercises through the representation of concepts. However， in terms of the representation of concepts， the current research doesnt model the influence of historical knowledge concepts on the temporal relationship of the current concepts， nor does it describe the role of the spatial relationship between various concepts in the exercise. In order to solve these problems， this paper proposed a knowledge tracing model characterized by temporal and spatial correlation fusion. First of all， based on the degree of temporal correlation between concepts， it modelled the temporal effect of historical concepts from current concepts. Secondly， it modelled the spatial interaction between several concepts contained in the exercise to obtain the representation of knowledge points containing temporal and spatial information through the graph attention network. Finally， it used the above representation of concepts to derive the representation of the exercises， and generated the current state of knowledge through the self-attention mechanism. In the experimental stage， this paper compared the performance of the proposed model with the five relevant knowledge tracing models on four real datasets. The results show that the proposed model has better performance. In particular， compared to the five comparative models on the ASSISTments2017 dataset， the AUC and ACC are improved by 1.7%～7.7% and 7.3%～12.1%， respectively. At the same time， the ablation experiment proves the effectiveness of modeling the temporal and spatial correlation between concepts， and the training process experiment shows that the proposed model has certain advantages in the representation of concepts and the modeling of their interaction relationships. The application examples can also show that the model has better practical results than other knowledge tracing models.

Key words：knowledge tracing; concept representation; temporal and spatial correlation; graph attention network

0 引言

知識追蹤是智慧教育領(lǐng)域中一項重要的研究內(nèi)容，其主要任務(wù)是分析學(xué)習(xí)行為數(shù)據(jù)、建模學(xué)習(xí)者知識狀態(tài)的變化過程、預(yù)測學(xué)習(xí)者的未來作答表現(xiàn)。知識追蹤模型目前應(yīng)用于各類在線教育平臺，如國家高等教育智慧教育平臺、學(xué)堂在線、Coursera等，為智慧教育平臺實現(xiàn)個性化的教與學(xué)提供理論依據(jù)和技術(shù)支撐［1～3］。

知識點的表示是知識追蹤領(lǐng)域的關(guān)鍵科學(xué)問題，目前的研究主要集中在兩個方面：a）利用歷史知識點對當(dāng)前知識點在時間上的影響來豐富知識點的表示；b）通過描述習(xí)題中若干知識點之間在空間上的相互關(guān)系，來增強知識點的表示。這些研究試圖從時間和空間等多個方面建模知識點之間的相互影響或作用，從而更加準(zhǔn)確地描述知識點。

盡管當(dāng)前的研究在刻畫知識點方面取得了不錯的效果，但仍存在一定的局限性。其中，對知識點的表示僅通過卷積網(wǎng)絡(luò)提取時間窗口內(nèi)知識點之間的影響，沒有從全局考慮時間窗口的大小；僅利用圖神經(jīng)網(wǎng)絡(luò)聚合習(xí)題內(nèi)部知識點之間空間上的作用，未能注意到知識點之間作用程度的區(qū)別。本文提出了時空相關(guān)性融合表征的知識追蹤模型，在現(xiàn)有研究的基礎(chǔ)上進(jìn)行了一定的改進(jìn)，主要創(chuàng)新如下：

a）針對知識點的表示建模時間影響不充分這一問題，提出了一種新的方法。首先計算知識點之間的時間相關(guān)程度，根據(jù)時間先后信息建模全局歷史知識點對當(dāng)前知識點的影響，得到知識點的時間相關(guān)表示。

b）在上述知識點時間相關(guān)表示的基礎(chǔ)上，針對知識點的表示建?？臻g作用不精準(zhǔn)這一問題，提出一種新的方法。首先計算習(xí)題內(nèi)部各個知識點之間的空間相關(guān)程度，以此為依據(jù)聚合習(xí)題內(nèi)部知識點之間的空間作用，得到知識點的時空相關(guān)表示。

1 相關(guān)工作

1.1 知識點的傳統(tǒng)表示

深度知識追蹤（deep knowledge tracing，DKT）［4］首次把深度模型應(yīng)用于知識追蹤領(lǐng)域，它把學(xué)習(xí)者與習(xí)題的交互數(shù)據(jù)輸入遞歸神經(jīng)網(wǎng)絡(luò)來建模知識狀態(tài)，沒有考慮到知識點的直接表示，未顯式建模知識點間的相互關(guān)系。在DKT模型的基礎(chǔ)上，KTCR［5］模型利用矩陣Q將習(xí)題映射為知識點，NKTF［6］模型則通過專家標(biāo)注得到習(xí)題中的知識點。劉坤佳等人［7］通過挖掘習(xí)題上下文信息得到新的習(xí)題與知識點表示。更進(jìn)一步地，DKVMN［8］模型用一個靜態(tài)矩陣來存儲知識點表示，與這種方法類似的還有李曉光等人［9］提出的LFKT模型和宗曉萍等人［10］提出的MSKT模型。上述模型的知識點表示一般僅包含了知識點本身的信息，是知識追蹤研究初期常用的方法，屬于知識點的傳統(tǒng)表示。這些表示方法忽略了以往多個時刻的知識點對當(dāng)前知識點的影響，也沒有從空間關(guān)系考慮知識點之間的相互作用。

知識點的表示會受到知識點之間存在的時間或空間上關(guān)系的影響，例如學(xué)習(xí)者先作答了考查加法的習(xí)題，后續(xù)作答了考查乘除混合運算的習(xí)題，則后續(xù)的知識點會受到先前知識點在時間上的影響。另一方面，后續(xù)習(xí)題所包含的乘法和除法知識點也會受到彼此空間上的影響。

1.2 知識點的時間相關(guān)表示

TCN-KT［11］模型融合了學(xué)習(xí)者的先驗基礎(chǔ)來建模習(xí)題的表示，并利用卷積模型的缺省功能提取時間窗口內(nèi)習(xí)題的相互影響。CKT［12］模型把習(xí)題映射為知識點，使用層次卷積建模歷史知識點對當(dāng)前知識點的作用。MAFKT［13］模型使用時間卷積網(wǎng)絡(luò)刻畫了多尺度的知識點表示，描述了不同時刻知識點之間的相互作用，融合得到了新的知識點表示。 MLB-KT［14］模型利用多種學(xué)習(xí)行為數(shù)據(jù)建模知識點表示，并通過學(xué)習(xí)行為間的協(xié)同性和約束性，構(gòu)建歷史知識點對當(dāng)前知識點的影響。李浩君等人［15］使用雙向GRU網(wǎng)絡(luò)建模知識點表示，一定程度上描述了歷史知識點對當(dāng)前知識點間的作用關(guān)系。上述研究都是用不同的方法建模歷史知識點對當(dāng)前知識點的影響，融合時間信息來豐富知識點的表示。但這種方式在建模知識點間的相互作用時使用的是片段時間信息，僅考慮了時間窗口內(nèi)的知識點相互作用，一般也沒有注意到空間關(guān)系對知識點之間相互作用的影響。

1.3 知識點的空間相關(guān)表示

GKT［16］模型利用圖結(jié)構(gòu)表示知識點之間的空間關(guān)系，通過聚合和更新操作建模知識點的表示。GIKT［17］模型則在GKT的基礎(chǔ)上把習(xí)題映射為圖中節(jié)點，但沒有建模知識點之間的關(guān)系。GAKT-IRT［18］模型將圖注意力網(wǎng)絡(luò)與項目反映理論相結(jié)合，刻畫包含空間信息的知識點表示。Tong等人［19］利用知識結(jié)構(gòu)中的多種空間關(guān)系來模擬知識點之間的影響傳播，以此建模知識點表示。鄭浩東等人［20］使用知識圖來描述知識點之間的相關(guān)性，融入知識狀態(tài)的變化過程。上述模型都是以不同的方式建模知識點的空間關(guān)系，利用圖神經(jīng)網(wǎng)絡(luò)的缺省功能刻畫知識點之間的相互作用，以此來描述知識點，但是忽略了歷史多個時刻的知識點對當(dāng)前知識點的影響。

綜上所述，三個方面的知識點表示研究均為通過不同方式建模知識點之間的相互作用，刻畫知識點的表示。然而，當(dāng)前研究尚未完整地從時間關(guān)系的角度建模歷史知識點對當(dāng)前知識點的作用關(guān)系，未能從空間關(guān)系的角度描述習(xí)題包含的若干知識點之間的相互影響。為了更好地表示知識點及其相互作用關(guān)系，本文從時間和空間的角度建模了知識點的表示。

2 時空相關(guān)性融合表征的知識追蹤模型

2.1 提出的思想

在學(xué)習(xí)者與習(xí)題交互過程中，歷史知識點會影響當(dāng)前知識點的表示，比如對三角函數(shù)知識點的學(xué)習(xí)會影響到后續(xù)對正弦函數(shù)知識點的學(xué)習(xí)。另一方面，習(xí)題內(nèi)部的知識點之間也會存在相互作用，比如在同時具有正弦函數(shù)和余弦函數(shù)知識點的習(xí)題中，這兩個知識點也會相互影響。上述兩種知識點之間的影響方式從時間和空間關(guān)系上作用于知識點的表示，現(xiàn)有研究尚未完整地建模這兩種影響。本文提出了一種時空相關(guān)性融合表征的知識追蹤模型（knowledge tracing of temporal and spatial correlation fusion，TSKT），利用歷史知識點與當(dāng)前知識點在時間上的相關(guān)性，以及習(xí)題中各個知識點在空間上的相關(guān)性，從時空角度來建模知識點之間的相互影響，增強知識點的表示。模型共分為三個部分：a）輸入模塊，嵌入表示習(xí)題ID、知識點ID和學(xué)習(xí)行為等輸入數(shù)據(jù)；b）時空相關(guān)性模塊，從時間和空間上建模知識點之間的相互影響，得到蘊涵時空信息的知識點表示，以此推導(dǎo)出習(xí)題表示，計算當(dāng)前知識狀態(tài)；c）預(yù)測更新模塊，描述學(xué)習(xí)者知識狀態(tài)的變化，預(yù)測學(xué)習(xí)者未來的答題情況。整體模型的架構(gòu)如圖1所示。

2.2 符號定義

為了準(zhǔn)確描述TSKT模型各部分的功能，表1給出了模型的相關(guān)符號定義。

2.3 輸入模塊

知識追蹤通過表示知識點、習(xí)題和學(xué)習(xí)時間等數(shù)據(jù)來建模知識狀態(tài)。為了準(zhǔn)確描述知識狀態(tài)，本節(jié)對知識點、習(xí)題和學(xué)習(xí)行為等輸入數(shù)據(jù)進(jìn)行嵌入表示。

1）知識點嵌入表示

2）習(xí)題嵌入表示

其中：Qt，：表示矩陣的第t行，描述了習(xí)題qt所考查的知識點；考查權(quán)重wt表示知識點在習(xí)題中被考查的程度。

3）學(xué)習(xí)時間嵌入表示

綜上所述，可以得到知識點的嵌入表示c′p、習(xí)題的嵌入表示q′t，以及學(xué)習(xí)時間的嵌入表示lqi。

2.4 時空相關(guān)性模塊

在學(xué)習(xí)者與習(xí)題交互的過程中，知識點之間會存在時間和空間上的相互影響，這兩種影響會作用到知識點的表示。為了更準(zhǔn)確地描述知識點，利用歷史知識點與當(dāng)前知識點時間上的相關(guān)性建模知識點之間的時間相關(guān)影響；通過習(xí)題中若干知識點空間上的相關(guān)性建模知識點之間的空間影響，最終得到蘊涵了時間信息和空間信息的知識點表示。

2.4.1 知識點的時間相關(guān)表示

知識點的時間相關(guān)表示蘊涵了歷史知識點對當(dāng)前知識點的影響。具體地，根據(jù)知識點之間的時間相關(guān)程度描述歷史知識點對當(dāng)前知識點的相關(guān)影響；融入時間位置信息來建模歷史知識點對當(dāng)前知識點的時間相關(guān)影響；最后刻畫知識點的時間相關(guān)表示，如圖2所示。

a）知識點之間的時間相關(guān)程度。皮爾森相關(guān)系數(shù)是變量的協(xié)方差與標(biāo)準(zhǔn)差之商，本節(jié)用來度量兩個知識點之間的時間相關(guān)程度，具體如下：

b）相關(guān)影響。歷史知識點會對當(dāng)前知識點產(chǎn)生影響，從而增強當(dāng)前知識點的表示。為了建模這一過程，首先利用知識點之間的時間相關(guān)程度計算歷史知識點對當(dāng)前知識點的相關(guān)影響：

其次，考慮到每個習(xí)題可能包含多個知識點，利用矩陣Q聚合歷史習(xí)題qi中所有知識點對cp的相關(guān)影響：

其次，自注意力機制可以根據(jù)時間位置信息獲取歷史習(xí)題相關(guān)影響的權(quán)重。建模相關(guān)影響隨時間變化的過程，具體如下：

d）知識點的時間相關(guān)表示。所有歷史習(xí)題的時間相關(guān)影響共同作用到當(dāng)前知識點，會增強當(dāng)前知識點cp的表示。為了建模上述過程，把所有歷史習(xí)題對知識點cp的時間相關(guān)影響相加，再與知識點cp的嵌入表示拼接，經(jīng)過一個ReLU函數(shù)得到cp的時間相關(guān)表示如下：

2.4.2 知識點的時空相關(guān)表示

知識點的時空相關(guān)表示是在知識點時間相關(guān)表示的基礎(chǔ)上，增加了習(xí)題內(nèi)部各個知識點之間的空間作用。具體地，以矩陣Q為基礎(chǔ)構(gòu)建知識點關(guān)系圖；根據(jù)知識點關(guān)系圖和時間相關(guān)表示得到知識點的時空相關(guān)表示，并推導(dǎo)出習(xí)題的時空相關(guān)表示，與答題結(jié)果相結(jié)合建模知識狀態(tài)，如圖3所示。

a）知識點關(guān)系圖。以矩陣Q為基礎(chǔ)，為任一習(xí)題qi構(gòu)建知識點關(guān)系圖，記作Gi，Gi={Vi，Si}。其中，Vi={cv|Qi，v=1}是節(jié)點集，表示習(xí)題qi中知識點的集合，每個知識點的特征向量是其時間相關(guān)表示；Si={（u，v）|cu，cv∈Vi}是邊集，每條邊的特征向量為對應(yīng)兩個知識點之間的注意力系數(shù)。

b）知識點的時空相關(guān)表示。作答習(xí)題的過程中，習(xí)題內(nèi)部的知識點之間會產(chǎn)生空間上的相互作用，采用圖注意力網(wǎng)絡(luò)建模這一過程。首先，對于知識點關(guān)系圖Gi，圖注意網(wǎng)絡(luò)可以捕獲圖中每個知識點的鄰居信息，得到知識點之間的注意力系數(shù)，具體過程如下：

為了穩(wěn)定空間相關(guān)程度，通過多頭注意力機制提取多個注意力層面的平均值，最后聚合鄰居信息得到知識點cv的時空相關(guān)表示：

其中：qsi蘊涵習(xí)題qi的時間信息和空間信息。

2.4.3 融合知識狀態(tài)

在建模知識狀態(tài)的過程中，還應(yīng)考慮學(xué)習(xí)者的答題結(jié)果。首先，把習(xí)題的時空相關(guān)表示qsi與對應(yīng)時刻的答題結(jié)果進(jìn)行拼接，具體如下：

其次，提出的模型利用自注意力機制，根據(jù)融合了時空信息和作答結(jié)果的qri提取歷史時刻的權(quán)重，建模知識狀態(tài)：

為了增強當(dāng)前知識狀態(tài)，將歷史知識狀態(tài)進(jìn)行歸一化，獲取歷史時刻知識狀態(tài)的權(quán)重為

其中：wi表示歷史知識狀態(tài)hi的權(quán)重，將其作用于hi并與當(dāng)前知識狀態(tài)ht拼接，通過一個全連接層，最終得到包含歷史信息和當(dāng)前信息的融合知識狀態(tài)：

2.5 預(yù)測更新模塊

預(yù)測更新模塊用于預(yù)測學(xué)習(xí)者未來的答題情況，并更新知識點狀態(tài)。圖4是預(yù)測更新過程的示意圖。

2.5.1 預(yù)測未來表現(xiàn)

考慮到習(xí)題間會存在一定的差異，因此拼接上述融合知識狀態(tài)h′t和習(xí)題的時空相關(guān)表示qst，這樣得到的拼接向量包含了學(xué)習(xí)者的知識狀態(tài)和習(xí)題信息。將拼接向量輸入至tanh函數(shù)激活的全連接層，得到向量it：

其次，將it輸入全連接層，用sigmoid函數(shù)激活，得到學(xué)習(xí)者對習(xí)題qt的表現(xiàn)情況的預(yù)測：

yt=sigmoid（WTyit+by）（19）

其中：Wy是權(quán)重參數(shù)。

2.5.2 更新知識點狀態(tài)

在學(xué)習(xí)者與習(xí)題的交互過程中，對每個知識點的掌握程度也在發(fā)生變化，因此需要更新每個習(xí)題練習(xí)前后的知識點狀態(tài)。

其中：Ft是學(xué)習(xí)者遺忘的知識點狀態(tài)矩陣。

Ft=Kt－1ft（23）

2.6 損失函數(shù)

在訓(xùn)練過程中，選擇用交叉熵?fù)p失函數(shù)來最小化預(yù)測值yt和真實標(biāo)簽rt之間的差異性。當(dāng)交叉熵越小時，預(yù)測值與真實值就越接近，表示如下：

由于交叉熵?fù)p失函數(shù)是凸函數(shù)，所以在訓(xùn)練時使用梯度下降法學(xué)習(xí)參數(shù)，使得模型能夠更準(zhǔn)確地預(yù)測學(xué)習(xí)者未來的表現(xiàn)。

3 實驗結(jié)果與分析

TSKT模型的主要工作集中于：知識點的時間相關(guān)表示、時空相關(guān)表示、習(xí)題的時空融合表示。為了全面對比分析TSKT模型的性能，本章選取了DKT［4］、DKVMN［8］、TCN-KT［11］、GKT［16］、SKT［19］五個模型作為對比模型。具體原因如下：

a）DKT是首個將深度學(xué)習(xí)引入知識追蹤的模型，它使用獨熱編碼作為習(xí)題的表征，雖然沒有蘊涵時空相關(guān)信息，但為后續(xù)的研究開辟了新的方向。

b）DKVMN使用靜態(tài)矩陣來存儲知識點表示，雖然沒有考慮到知識點之間的相互影響，但由知識點表示的線性組合形成習(xí)題的表示。

c）TCN-KT建模了習(xí)題在時間窗口內(nèi)的相互影響，刻畫了習(xí)題的時間相關(guān)表示。

d）GKT刻畫了知識點在空間上的相互作用，聚合鄰居信息，得到了知識點的空間相關(guān)表示。

e）SKT根據(jù)知識點空間關(guān)系的差異設(shè)計了兩種不同的傳播機制，通過融合兩種鄰居信息來建模知識點的空間相關(guān)表示。

上述模型的研究開始于對習(xí)題的表征，細(xì)化的研究著重于知識點的時間和空間相關(guān)表示，TSKT將從知識點和習(xí)題的時空融合表示等方面與這五個模型在多個評價指標(biāo)上進(jìn)行對比。

3.1 實驗方法

TSKT模型以知識點ID、習(xí)題ID等為輸入，以學(xué)習(xí)者的作答預(yù)測值為輸出，具體的實驗步驟如下：

a）建模知識點的時間相關(guān)表示。對數(shù)據(jù)集中知識點的ID進(jìn)行嵌入表示，計算知識點之間的時間相關(guān)程度，并融入時間位置信息，建模知識點之間的時間相關(guān)影響，得到知識點的時間相關(guān)表示cp。

b）建模知識點的時空相關(guān)表示。構(gòu)建習(xí)題蘊涵的知識點關(guān)系圖，計算知識點之間的空間相關(guān)程度，建模知識點的時空相關(guān)表示csv，通過聚合同一習(xí)題中的知識點時空相關(guān)表示，可以得到習(xí)題的時空相關(guān)表示qsi。

c）建模融合知識狀態(tài)。把不同時刻的學(xué)習(xí)者作答結(jié)果映射成零向量，與習(xí)題的時空相關(guān)表示拼接。通過自注意力機制建模不同時刻的知識狀態(tài)hi并計算權(quán)重，得到融合知識狀態(tài)h′i。

d）預(yù)測作答結(jié)果。根據(jù)學(xué)習(xí)者當(dāng)前的知識狀態(tài)，結(jié)合學(xué)習(xí)者作答習(xí)題的時空相關(guān)表示，得到預(yù)測的作答結(jié)果yt。

e）更新知識狀態(tài)。定義一個知識點狀態(tài)矩陣，將學(xué)習(xí)者的遺忘數(shù)據(jù)映射成嵌入向量并轉(zhuǎn)換為遺忘權(quán)重，從而計算得到當(dāng)前的知識點狀態(tài)矩陣Kt。

3.2 數(shù)據(jù)集

為了驗證TSKT模型的有效性，分別在ASSISTments2012［21］、ASSISTments2017［22］、Slepemapy.cz［23］以及Junyi Academy［24］四個真實數(shù)據(jù)集上進(jìn)行實驗，以下分別簡稱為ASSIST12、ASSIST17、Slepemapy和Junyi。表2展示了各數(shù)據(jù)集的基本信息。

3.3 實驗環(huán)境

實驗環(huán)境如表3所示。在每個數(shù)據(jù)集中，將80%的數(shù)據(jù)劃分為訓(xùn)練集，20%的數(shù)據(jù)劃分為測試集；將訓(xùn)練集中20%的數(shù)據(jù)劃分為驗證集，用于選擇最佳模型的超參數(shù)。

參數(shù)的初始化選擇均值和標(biāo)準(zhǔn)差為零的正態(tài)分布隨機初始化，初始學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率每經(jīng)過10輪訓(xùn)練會衰減0.1倍；batch-size設(shè)置為32；選擇交叉熵?fù)p失函數(shù)和Adam優(yōu)化器。

3.4 性能對比實驗

使用曲線下面積（area under curve，AUC）和準(zhǔn)確率（accuracy，ACC）作為模型的評價指標(biāo)。AUC是ROC（receiver opera-ting characteristic）曲線與坐標(biāo)軸圍成圖形的面積，其取值在0.5～1，值越大，說明模型預(yù)測性能越好，若AUC的值為0.5，說明模型是隨機預(yù)測模型。ACC是正確預(yù)測結(jié)果占所有預(yù)測結(jié)果的百分比，ACC的值越大，說明模型的預(yù)測結(jié)果越準(zhǔn)確。

圖5展示了TSKT模型與五個對比模型在四個數(shù)據(jù)集上的AUC值。其中，橫坐標(biāo)為數(shù)據(jù)集，縱坐標(biāo)為AUC的取值。

由圖5可以看出，TSKT模型在四個真實數(shù)據(jù)集上的表現(xiàn)最好，其AUC值分別為0.788 3、0.801 7、0.844 1和0.873 9。在Slepemapy數(shù)據(jù)集中，TSKT比第二名的GKT模型要高出2.41%，分析其原因可能是GKT模型只建模了知識點之間的空間作用，忽略了歷史作答習(xí)題中的知識點對當(dāng)前知識點的時間相關(guān)影響，導(dǎo)致實驗結(jié)果略低于TSKT模型。在ASSIST17數(shù)據(jù)集中，TSKT模型的AUC值比GKT模型的0.784高出1.7%，比DKVMN模型的0.723 9高出7.7%，分析其原因可能是DKVMN模型利用知識點來表示習(xí)題，但未能建模知識點在時空上的相互作用關(guān)系，因此性能表現(xiàn)相較于TSKT模型有所欠缺。實驗結(jié)果也驗證了TSKT模型從時間和空間兩個角度建模知識點表示的有效性。

圖6展示了TSKT模型與五個對比模型在四個數(shù)據(jù)集上的ACC值。由圖6可以看出，TSKT模型在四個真實數(shù)據(jù)集上的ACC值分別為0.782 2、0.803 0、0.793 7和0.845 7，對比其余模型均取得了一定的優(yōu)勢。值得注意的是，在ASSIST17數(shù)據(jù)集中，TSKT模型的準(zhǔn)確率要比SKT模型的0.730高出7.3%，比TCN-KT模型的0.682高出12.1%。SKT模型根據(jù)知識點間不同的空間關(guān)系，設(shè)計了兩種不同的傳播機制，以此建模知識點的空間相關(guān)表示，但沒有完整建模知識點之間的時間相關(guān)影響，因此性能表現(xiàn)略差于TSKT模型。TCN-KT模型利用卷積網(wǎng)絡(luò)描述時間窗口內(nèi)歷史對當(dāng)前的影響，但這種片段式的時間信息不足以囊括所有歷史習(xí)題對當(dāng)前習(xí)題的影響，也忽略了習(xí)題內(nèi)部知識點之間的空間關(guān)系，所以模型的準(zhǔn)確率相較于TSKT模型存在一定的差距。TSKT模型在考慮知識點空間相關(guān)影響的同時還注意到了知識點的時間相關(guān)影響，刻畫了知識點的時空相關(guān)表示，并推導(dǎo)出了習(xí)題的時空相關(guān)表示。實驗結(jié)果充分表明了TSKT模型建模知識點時空相關(guān)表示，以及習(xí)題時空相關(guān)表示的有效性。

3.5 消融實驗

為了進(jìn)一步對比分析知識點時間和空間上的相互影響對知識點最終表示的作用，設(shè)計了TSKT-A模型，消融TSKT模型中歷史知識點對當(dāng)前知識點的時間相關(guān)影響，直接把知識點之間的相關(guān)影響映射到知識點表示中；設(shè)計了TSKT-B模型，消融TSKT模型中習(xí)題內(nèi)部若干知識點之間空間相關(guān)影響，把圖注意力網(wǎng)絡(luò)用簡單的聚合功能替代。相關(guān)實驗結(jié)果如表4、5所示。

從表4、5中可以看出，沒有建模知識點空間相關(guān)影響的TSKT-B模型性能表現(xiàn)最差（表4第二行和表5第二行），其次是沒有建模知識點時間相關(guān)影響的TSKT-A模型，原本的TSKT模型表現(xiàn)最好。這一實驗結(jié)果驗證了知識點之間的相互影響會作用于知識點的最終表示這一假設(shè)，證明了TSKT模型中建模知識點的時間相關(guān)表示和時空相關(guān)表示的有效性。

3.6 訓(xùn)練過程實驗

為了分析TSKT模型的訓(xùn)練效率，設(shè)計了訓(xùn)練過程對比實驗，將TSKT模型在四個真實數(shù)據(jù)集上與對比模型進(jìn)行迭代次數(shù)對比，即比較各個模型在達(dá)到最優(yōu)AUC值的情況下所需的迭代次數(shù)。迭代次數(shù)反映了模型的訓(xùn)練效率，迭代次數(shù)越低，模型達(dá)到最優(yōu)性能所需要的訓(xùn)練時間越少，模型的訓(xùn)練效率越高。相關(guān)實驗結(jié)果如圖7所示。

從圖7的實驗結(jié)果可以看出，TSKT模型在四個數(shù)據(jù)集上達(dá)到最優(yōu)性能的迭代次數(shù)均為最小。最低值出現(xiàn)在Junyi數(shù)據(jù)集上，僅需要小于350輪迭代即可達(dá)到最優(yōu)性能；最高值出現(xiàn)在ASSIST17數(shù)據(jù)集上，需要超過550輪迭代達(dá)到最優(yōu)性能。實驗結(jié)果說明了TSKT模型的訓(xùn)練效率最高。

3.7 模型的實例

為了驗證TSKT模型在實際學(xué)習(xí)中的可用性，指導(dǎo)學(xué)生設(shè)計開發(fā)了 “學(xué)習(xí)數(shù)據(jù)與認(rèn)知模型雙驅(qū)動的跨模態(tài)多尺度自適應(yīng)智慧學(xué)習(xí)環(huán)境 （CMA-ILE）”。該環(huán)境包括了習(xí)題ID、知識點ID和習(xí)題作答時間等信息，具體地，包含102個知識點和1 709名學(xué)習(xí)者的真實作答數(shù)據(jù)等信息。以此為基礎(chǔ)建模知識點之間的時間影響和空間作用，得到知識點的時空相關(guān)表示，完成對學(xué)習(xí)者知識狀態(tài)的判斷和預(yù)測。同時，還集成了若干對比模型，以便對比分析各個模型在實際學(xué)習(xí)環(huán)境的性能并進(jìn)行評估。智慧學(xué)習(xí)環(huán)境的部分功能如圖8所示。

具體應(yīng)用實例包括在2022—2023年第二學(xué)期講授的《人工智能》課程中76名學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，《機器學(xué)習(xí)》課程中63名學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，對隱私信息進(jìn)行脫敏處理，保存若干次作業(yè)的答題記錄。具體實驗步驟參見3.1節(jié)，再將其中的80%用作訓(xùn)練集，20%用作測試集，計算五個對比模型和TSKT模型的平均預(yù)測準(zhǔn)確率，結(jié)果如表6所示。

從表6可以看出，相較于只建模時間窗口內(nèi)歷史習(xí)題對當(dāng)前習(xí)題影響的TCN-KT模型，TSKT模型不僅擴充建模了上述局部知識點之間的時間影響，同時把知識點的空間關(guān)系融入知識點的表示，實驗結(jié)果表明，TSKT模型的準(zhǔn)確率提高了3.6%，驗證了TSKT模型建模知識點時空相關(guān)表示的有效性，以及在實際學(xué)習(xí)環(huán)境中的效果。進(jìn)一步地，相較于只建模了知識點空間關(guān)系的GKT和SKT模型，TSKT模型在此基礎(chǔ)上還刻畫了歷史知識點對當(dāng)前知識點的影響，計算出知識點的時空相關(guān)表示。實驗結(jié)果表明，TSKT模型的建模方式在準(zhǔn)確率方面分別提高了0.8%和1.9%。上述實際環(huán)境中的對比結(jié)果能夠證明TSKT模型對實際學(xué)習(xí)情況的建模更加準(zhǔn)確，驗證了該模型在實際學(xué)習(xí)環(huán)境中的可用性。

4 結(jié)束語

本文提出了一個時空相關(guān)性融合表征的知識追蹤模型，用于解決現(xiàn)有研究尚未從時間和空間的角度建模知識點表示及其相互作用的問題。TSKT模型首先以知識點之間的時間相關(guān)程度為基礎(chǔ)，描述了歷史知識點對當(dāng)前知識點的影響，提煉出知識點的時間相關(guān)表示；其次使用圖神經(jīng)網(wǎng)絡(luò)建模了習(xí)題中知識點之間的空間作用，得到包含時間和空間信息的知識點表示；最后聚合習(xí)題中的知識點，與答題結(jié)果結(jié)合，采用自注意力機制建模知識狀態(tài)，并把歷史知識狀態(tài)融合到當(dāng)前知識狀態(tài)。與五個對比模型在四個真實數(shù)據(jù)集上的實驗結(jié)果表明，TSKT模型的性能較為出色，同時驗證了包含時間和空間信息的知識點表示的有效性。綜上所述，TSKT模型達(dá)到了更好的效果和效率，驗證了建模知識點之間相互作用的必要性和可行性。未來將繼續(xù)深入研究知識點的表示及其相互作用關(guān)系，以及知識點間的相互作用對習(xí)題表征帶來的影響。

參考文獻(xiàn)：

［1］劉恒宇，張?zhí)斐?，武培文，? 知識追蹤綜述 ［J］. 華東師范大學(xué)學(xué)報： 自然科學(xué)版，2019（5）： 1-15. （Liu Hengyu，Zhang Tiancheng，Wu Peiwen，et al. A review of knowledge tracing ［J］. Journal of East China Normal University： Natural Science，2019（5）： 1-15.）

［2］曾凡智，許露倩，周燕，等. 面向智慧教育的知識追蹤模型研究綜述 ［J］. 計算機科學(xué)與探索，2022，16（8）： 1742-1763. （Zeng Fanzhi，Xu Luqian，Zhou Yan，et al. Review of knowledge tracing model for intelligent education ［J］. Journal of Frontiers of Computer Science and Technology，2022，16（8）： 1742-1763.）

［3］張暖，江波. 學(xué)習(xí)者知識追蹤研究進(jìn)展綜述 ［J］. 計算機科學(xué)，2021，48（4）： 213-222. （Zhang Nuan，Jiang Bo. Review progress of learner knowledge tracing ［J］. Computer Science，2021，48（4）： 213-222.）

［4］Piech C，Bassen J，Huang J，et al. Deep knowledge tracing ［C］// Proc of the 29th Annual Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2015： 505-513.

［5］王文濤，馬慧芳，舒躍育，等. 基于上下文表示的知識追蹤方法 ［J］. 計算機工程與科學(xué)，2022，44（9）： 1693-1701. （Wang Wentao，Ma Huifang，Shu Yueyu，et al. Knowledge tracing based on con-textualized representation ［J］. Computer Engineering & Science，2022，44（9）： 1693-1701.）

［6］魏思，沈雙宏，黃振亞，等. 融合通用題目表征學(xué)習(xí)的神經(jīng)知識追蹤方法研究 ［J］. 中文信息學(xué)報，2022，36（4）： 146-155. （Wei Si，Shen Shuanghong，Huang Zhenya，et al. Integrating general exercises representation learning into neural knowledge tracing ［J］. Journal of Chinses Information Processing，2022，36（4）： 146-155.）

［7］劉坤佳，李欣奕，唐九陽，等. 可解釋深度知識追蹤模型 ［J］. 計算機研究與發(fā)展，2021，58（12）： 2618-2629. （Liu Kunjia，Li Xinyi，Tang Jiuyang，et al. Interpretable deep knowledge tracing ［J］. Journal of Computer Research and Development，2021，58（12）： 2618-2629.）

［8］Zhang Jiani，Shi Xingjian，King I，et al. Dynamic key-value memory networks for knowledge tracing ［C］// Proc of the 26th International Conference on World Wide Web. Geneva： International World Wide Web Conferences Steering Committee，2017： 765-774.

［9］李曉光，魏思齊，張昕，等. LFKT： 學(xué)習(xí)與遺忘融合的深度知識追蹤模型 ［J］. 軟件學(xué)報，2021，32（3）： 818-830. （Li Xiaoguang，Wei Siqi，Zhang Xin，et al. LFKT： deep knowledge tracing model with learning and forgetting behavior merging ［J］. Journal of Software，2021，32（3）： 818-830.）

［10］宗曉萍，陶澤澤. 基于掌握速度的知識追蹤模型 ［J］. 計算機工程與應(yīng)用，2021，57（6）： 117-123. （Zong Xiaoping，Tao Zeze. Knowledge tracing model based on mastery speed ［J］. Computer Engineering and Application，2021，57（6）： 117-123.）

［11］王璨，劉朝暉，王蓓，等. TCN-KT：個人基礎(chǔ)與遺忘融合的時間卷積知識追蹤模型 ［J］. 計算機應(yīng)用研究，2022，39（5）： 1496-1500. （Wang Can，Liu Zhaohui，Wang Bei，et al. TCN-KT：temporal convolutional know-ledge tracking model based on fusion of personal basis and forgetting ［J］. Application Research of Computers，2022，39（5）： 1496-1500.）

［12］Shen Shuanghong，Liu Qi，Chen Enhong，et al. Convolutional know-ledge tracing： modeling individualization in student learning process ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2020： 1857-1860.

［13］段建設(shè)，崔超然，宋廣樂，等. 基于多尺度注意力融合的知識追蹤方法［J］. 南京大學(xué)學(xué)報：自然科學(xué)版，2021，57（4）： 591-598. （Duan Jianshe，Cui Chaoran，Song Guangle，et al. Knowledge tracing based on multi-scale attention fusion ［J］. Journal of Nanjing University：Natural Science，2021，57（4）： 591-598.）

［14］張凱，覃正楚，劉月，等. 多學(xué)習(xí)行為協(xié)同的知識追蹤模型 ［J］. 計算機應(yīng)用，2023，43（5）： 1422-1429. （Zhang Kai，Qin Zhengchu，Liu Yue，et al. Multi-learning behavior collaborated knowledge tracing model ［J］. Journal of Computer Applications，2023，43（5）： 1422-1429.）

［15］李浩君，方璇，戴海容. 基于自注意力機制和雙向GRU神經(jīng)網(wǎng)絡(luò)的深度知識追蹤優(yōu)化模型 ［J］. 計算機應(yīng)用研究，2022，39（3）： 732-738. （Li Haojun，F(xiàn)ang Xuan，Dai Hairong. Deep knowledge tracking optimization model based on self-attention mechanism and bidirectional GRU neural network ［J］. Application Research of Computers，2022，39（3）： 732-738.）

［16］Nakagawa H，Iwasawa Y，Matsuo Y. Graph-based knowledge tracing： modeling student proficiency using graph neural network ［C］// Proc of IEEE/WIC/ACM International Conference on Web Intelligence. New York： ACM Press，2019： 156-163.

［17］Yang Yang，Shen Jian，Qu Yanru，et al. GIKT： a graph-based interaction model for knowledge tracing ［C］// Proc of European Conference on Machine Learning and Knowledge Discovery in Databases. Cham： Springer，2021： 299-315.

［18］董永峰，黃港，薛婉若，等. 融合IRT的圖注意力深度知識追蹤模型 ［J］. 計算機科學(xué)，2023，50（3）： 173-180. （Dong Yongfeng，Huang Gang，Xue Wanruo，et al. Graph attention deep knowledge tracing model integrated with IRT ［J］. Computer Science，2023，50（3）： 173-180.）

［19］Tong Shiwei，Liu Qi，Huang Wei，et al. Structure-based knowledge tracing： an influence propagation view ［C］// Proc of IEEE International Conference on Data Mining. Piscataway，NJ： IEEE Press，2020： 541-550.

［20］鄭浩東，馬華，謝穎超，等. 融合遺忘因素與記憶門的圖神經(jīng)網(wǎng)絡(luò)知識追蹤模型 ［J］. 計算機應(yīng)用，2023，43（9）： 2747-2752. （Zheng Haodong，Ma Hua，Xie Yingchao，et al. Knowledge tracing model based on graph neural blending with forgetting factors and memory gate ［J］. Journal of Computer Applications，2023，43（9）： 2747-2752.）

［21］Feng Mingyu，Heffernan N，Koedinger K. Addressing the assessment challenge with an online system that tutors as it assesses ［J］. User Modeling and User-Adapted Interaction，2009，19（8）： 243-266.

［22］Wang Yutao，Heffernan N T，Heffernan C. Towards better affect detectors： effect of missing skills，class features and common wrong answers ［C］// Proc of the 5th International Conference on Learning Analytics and Knowledge. New York： ACM Press，2015： 31-35.

［23］Papouek J，Pelánek R，Stanislav V. Adaptive geography practice data set ［J］. Journal of Learning Analytics，2016，3（2）： 317-321.

［24］Chang H S，Hsu H J，Chen K T. Modeling exercise relationships in E-learning： a unified approach ［C］// Proc of the 8th International Conference on Educational Data Mining. 2015： 532-535.