劉志勇，王淑賢

(東北師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，吉林 長春 130117)

1 引言(Introduction)

近年來，虛擬仿真實驗為學(xué)習(xí)者帶來一種嶄新的實驗方式，突破了傳統(tǒng)實驗中時間與空間的約束，并且解決了由于實驗環(huán)境及設(shè)備的限制造成的實踐性缺乏、實驗培養(yǎng)效果不理想等問題。然而，虛擬仿真實驗中時空分離的教與學(xué)的方式，使教學(xué)者對學(xué)習(xí)者實驗時的學(xué)習(xí)狀態(tài)知之甚少，僅可通過了解實驗者的實驗結(jié)果來進(jìn)行評價，缺少了對實驗的過程性評價，顯然具有一定的片面性和局限性。即使有教師實時參與的實驗的過程性評價，由于缺少數(shù)據(jù)支撐，教師的即時性診斷仍然偏于經(jīng)驗分析和定性分析。

很多學(xué)者致力于研究在線學(xué)習(xí)環(huán)境下的學(xué)習(xí)狀態(tài)評價模型，它能夠根據(jù)學(xué)習(xí)過程中的實驗操作數(shù)據(jù)對學(xué)習(xí)狀態(tài)做出評價。黃濤等指出，信息技術(shù)的發(fā)展，使得傳統(tǒng)教育評價機(jī)制向數(shù)據(jù)驅(qū)動的精準(zhǔn)化學(xué)習(xí)評價方向邁進(jìn)，分析多模態(tài)的數(shù)據(jù)更加有利于發(fā)現(xiàn)教育中的問題。王蓓蓓等從大數(shù)據(jù)的視角，對大數(shù)據(jù)應(yīng)用于學(xué)習(xí)過程評價進(jìn)行了特征分析,探究了學(xué)習(xí)過程錯題個性化推送,學(xué)生過程行為評價的應(yīng)用模式等?？梢姡诰€學(xué)習(xí)環(huán)境中，信息技術(shù)手段賦能學(xué)習(xí)分析，可以大大提高評價的全面性與科學(xué)性，也有助于教育者對后續(xù)課程安排的調(diào)整，有效提高教學(xué)質(zhì)量。學(xué)習(xí)者學(xué)習(xí)狀態(tài)評價最常用的方法有兩種，一種是基于生理信號的方法，比如腦電圖、心電圖等，需要借助專用的傳感設(shè)備；另一種是基于非生理信號的方法，比如面部表情、眼動、手勢、身體動作等。鄭茜元等提出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的眼動分析算法，判定學(xué)生注意力情況。還有一種較為流行的方案是利用Kinect體感數(shù)據(jù)對學(xué)習(xí)者學(xué)習(xí)過程中的姿態(tài)識別，進(jìn)而判斷學(xué)習(xí)者的狀態(tài)，以實現(xiàn)學(xué)習(xí)過程的監(jiān)測。基于生理信號采集數(shù)據(jù)的方式存在設(shè)備佩戴煩瑣從而影響學(xué)習(xí)者等問題，基于非生理信號的方式又可能造成隱私泄漏，并且獲取到的數(shù)據(jù)不夠準(zhǔn)確、客觀，難以真實全面地反映學(xué)習(xí)狀態(tài)。利用鼠標(biāo)事件實現(xiàn)學(xué)習(xí)者學(xué)習(xí)狀態(tài)評價是一個比較新穎的研究方向。美國楊百翰大學(xué)曾提出僅根據(jù)鼠標(biāo)的運(yùn)動方向來評估使用者的情緒狀態(tài)，該研究發(fā)現(xiàn)，學(xué)習(xí)者的情緒狀態(tài)影響鼠標(biāo)運(yùn)動的方式，而鼠標(biāo)事件也能夠反映出使用者的情緒狀態(tài)。

本文以虛擬仿真環(huán)境下的初中物理電學(xué)實驗為研究對象，以鼠標(biāo)事件與學(xué)習(xí)狀態(tài)的相關(guān)性作為理論基礎(chǔ)，提出了一種基于鼠標(biāo)事件分析的學(xué)習(xí)者學(xué)習(xí)狀態(tài)評價模型。該模型分類能力較強(qiáng)，且擴(kuò)展性較好，運(yùn)行也非常穩(wěn)定。

2 數(shù)據(jù)的獲取(Data collection)

采集學(xué)習(xí)者實驗過程中的鼠標(biāo)事件，將其作為原始的數(shù)據(jù)樣本。選定的志愿者群體為初中學(xué)生，共征集了943 名初中在讀學(xué)生參與了數(shù)據(jù)的收集，每人完成七個物理實驗，完成過程中初中物理老師對數(shù)據(jù)進(jìn)行人工標(biāo)記。

在對志愿者實驗結(jié)果進(jìn)行篩選后，剔除了沒有進(jìn)行實際實驗操作的數(shù)據(jù)，最后得到897 名志愿者的有效數(shù)據(jù)，共計4,485 條。

以初中物理虛擬仿真實驗軟件“吃掉物理”中電學(xué)的七個實驗為例，將實驗界面進(jìn)行分區(qū)，分為實驗操作區(qū)與非實驗操作區(qū)。實驗操作區(qū)分為實驗操作區(qū)域與實驗器材區(qū)域，非實驗操作區(qū)為除此之外的其他區(qū)域。從實驗開始時啟動對學(xué)習(xí)者的鼠標(biāo)事件的收集工作。

鼠標(biāo)事件數(shù)據(jù)要盡可能全面地反映實驗者實驗的全過程。所以從實驗開始每隔1 s收集一次鼠標(biāo)事件信息，收集的主要信息包括鼠標(biāo)位置坐標(biāo)、時間戳、鼠標(biāo)所在區(qū)域、移動的距離、移動的角度、鼠標(biāo)點擊的次數(shù)、鼠標(biāo)滾動的次數(shù)等。

數(shù)據(jù)的收集原理是將設(shè)計好的鼠標(biāo)獲取工具嵌入到虛擬仿真實驗的操作界面。當(dāng)學(xué)習(xí)者進(jìn)行實驗時，對學(xué)習(xí)者的鼠標(biāo)事件數(shù)據(jù)進(jìn)行收集，然后將收集到的數(shù)據(jù)上傳處理，最后經(jīng)過處理得到實驗所需要的特征。

鼠標(biāo)事件獲取工具基于JavaScript設(shè)計與實現(xiàn)，主要利用了一些經(jīng)典的鼠標(biāo)驅(qū)動事件。在這些鼠標(biāo)驅(qū)動事件中添加腳本，就可以獲取鼠標(biāo)的橫縱坐標(biāo)，再疊加鼠標(biāo)當(dāng)前滾動的橫縱距離就可以得到鼠標(biāo)當(dāng)前所在的位置。獲取到原始數(shù)據(jù)后，從原始數(shù)據(jù)中提取了16 個特征，人工處理后形成數(shù)據(jù)表。部分字段及數(shù)據(jù)如表1所示，數(shù)據(jù)集信息如表2所示。

表1 部分實驗數(shù)據(jù)Tab.1 Some experimental data

表2 數(shù)據(jù)集信息Tab.2 Dataset information

3 評價模型的構(gòu)建(Evaluation model construction)

評價模型的構(gòu)建過程中，首先分析了實驗對象和內(nèi)容——初中物理電學(xué)實驗，并根據(jù)各個物理實驗所涵蓋的知識點的不同進(jìn)行劃分。其次通過不同的降維方法與回歸方法分別進(jìn)行實驗，分析得出其共性與個性。在這些基礎(chǔ)上，聚焦實驗完成的過程以及實驗中各知識點的細(xì)節(jié)，構(gòu)建了基于HMM的融合時序因素的學(xué)習(xí)狀態(tài)評價模型，并分析問題與不足，針對HMM模型分類能力較弱的特點，采用引入SVM的方式，構(gòu)建了一種結(jié)構(gòu)松散相對獨(dú)立的混合模型。

3.1 實驗內(nèi)容的選擇與分析

實驗教學(xué)是培養(yǎng)創(chuàng)新思維的重要方式，初中時期是學(xué)生剛接觸實驗教學(xué)的時期，這個時期的實驗教學(xué)對于學(xué)生的創(chuàng)新能力有很好的啟蒙作用。其中電學(xué)實驗覆蓋面廣，知識點豐富，因此選擇初中物理電學(xué)實驗作為研究對象。

根據(jù)《義務(wù)教育物理課程標(biāo)準(zhǔn)》中要求的“初中物理學(xué)生必做的20 個分組實驗”，其中電學(xué)共有七個實驗，分別如下所述。

(1)探究電流與電壓、電阻的關(guān)系；

(2)探究通電螺線管外部磁場的方向；

(3)探究導(dǎo)體在磁場中運(yùn)動時產(chǎn)生感應(yīng)電流的條件；

(4)用電流表測量電流；

(5)用電壓表測量電壓；

(6)測量小燈泡電功率；

(7)連接簡單的串聯(lián)電路和并聯(lián)電路。

通過分析七個實驗涵蓋的實驗內(nèi)容和各自的操作要點可以發(fā)現(xiàn)，物理實驗1、6可以涵蓋物理實驗4、5、7的實驗內(nèi)容及操作，于是將物理實驗1、6作為主體實驗。根據(jù)物理教學(xué)要求，在主體實驗中提煉出五個知識點：電流表、電壓表、滑動變阻器、串聯(lián)、并聯(lián)。

在完成實驗過程中采集的數(shù)據(jù)主要有鼠標(biāo)運(yùn)動的平均速度、加速度、角度及時間等，主要目的是對學(xué)習(xí)者完成實驗時的整個過程建模，通過各知識點操作采集的時間序列性的數(shù)據(jù)也可以對實驗進(jìn)行知識點的評價。為了具體分析知識點操作情況，將各知識點的學(xué)習(xí)狀態(tài)分為正常與非正常，如表3所示。

表3 知識點狀態(tài)及編號說明Tab.3 Learning status and number of knowledge points

學(xué)習(xí)狀態(tài)評價中使用全部七個物理實驗，評價結(jié)果有優(yōu)、中、差三級。通過研究覆蓋面較廣的主體實驗可為實驗者反饋需要重點關(guān)注的知識點，便于后續(xù)的學(xué)習(xí)。

3.2 數(shù)據(jù)降維及回歸

數(shù)據(jù)特征的好壞與模型的效果直接相關(guān)，數(shù)據(jù)的降維對模型的構(gòu)建及訓(xùn)練都至關(guān)重要。我們采用了較為經(jīng)典的三種降維方法，即隨機(jī)森林算法、主成分分析法、卡方檢驗法對特征進(jìn)行降維。合適的評價方法可以提高評價的準(zhǔn)確性，我們選擇了評價方法中較為經(jīng)典的BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)、RBF(Radial Basis Function)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)與最小二乘向量機(jī)。結(jié)合這些方法，得出各個物理實驗適用的數(shù)據(jù)維度及回歸方法。

實驗結(jié)果：物理實驗1采用支持向量機(jī)與卡方檢驗法得出的實驗結(jié)果最優(yōu)；物理實驗2采用反向傳播神經(jīng)網(wǎng)絡(luò)與卡方檢驗法得出的實驗結(jié)果最優(yōu)；物理實驗3采用反向傳播神經(jīng)網(wǎng)絡(luò)與隨機(jī)森林法得出的實驗結(jié)果最優(yōu)；物理實驗4采用支持向量機(jī)與卡方檢驗法得出的實驗結(jié)果最優(yōu)；物理實驗5采用支持向量機(jī)與卡方檢驗法得出的實驗結(jié)果最優(yōu)；物理實驗6采用支持向量機(jī)與卡方檢驗法得出的實驗結(jié)果最優(yōu)；物理實驗7采用支持向量機(jī)與卡方檢驗法得出的實驗結(jié)果最優(yōu)。

綜合本次實驗中七個物理實驗的所有結(jié)果，可以得出，在本實驗選取的眾多降維方法中，卡方檢驗法的降維效果最好；支持向量機(jī)是本次實驗采用的所有回歸方法中效果最好的，最終均方根誤差較小。

3.3 基于HMM的模型構(gòu)建

鼠標(biāo)事件與知識點狀態(tài)存在著一定的關(guān)聯(lián)，通過實驗者實驗時的鼠標(biāo)事件可以了解實驗者各知識點的學(xué)習(xí)狀態(tài)。計算機(jī)可以直接觀測到鼠標(biāo)事件而無法直接觀測實驗者在知識點學(xué)習(xí)時的狀態(tài)。所以就需要用統(tǒng)計的推理方法確定它們之間的關(guān)聯(lián)。從觀測序列推斷出概率最大的隱含狀態(tài)，也就是從實驗的鼠標(biāo)事件數(shù)據(jù)中推斷出實驗者的學(xué)習(xí)狀態(tài)。該問題就是HMM中的預(yù)測問題，要構(gòu)建基于HMM的知識點學(xué)習(xí)狀態(tài)評價模型，首先要提取特征，特征的選取對模型構(gòu)建及訓(xùn)練至關(guān)重要。其次將建立HMMs模型庫并對模型庫進(jìn)行訓(xùn)練，最后是分類決策，分類決策將具體實現(xiàn)知識點學(xué)習(xí)狀態(tài)的評價。

特征提取時需要考慮初中物理電學(xué)實驗中知識點操作的要求及特性，從而構(gòu)建合適的觀測序列。在數(shù)據(jù)收集的過程中，教學(xué)者提出的基本要求如下：能夠?qū)τ趯嶒炚哒w操作時的情況得出需要重點關(guān)注的模塊。

對于各個知識點，通過分析數(shù)據(jù)可以得出實驗過程中特征值的變化情況，具體情況如圖1所示。

圖1 特征值的變化Fig.1 Variation chart of characteristic values

根據(jù)特征值的變化情況，可為各個知識點設(shè)置兩個關(guān)鍵值。這兩個關(guān)鍵值分別代表合格、不合格。各知識點關(guān)鍵值如表4所示。

表4 各知識點關(guān)鍵值Tab.4 Key values of all knowledge points

模型庫中的模型對應(yīng)的是對各個知識點的評價模型，每個模型都需要經(jīng)過訓(xùn)練之后再并入HMMs模型庫中，其基本訓(xùn)練流程如圖2所示。

圖2 HMMs模型庫基本訓(xùn)練流程Fig.2 Basic training process of HMMs library

HMMs模型庫建立之后就可以解決概率計算問題。計算觀測序列與模型庫中各個模型的匹配程度。

實驗采集了300 組實驗過程的數(shù)據(jù)，其中每個知識點的狀態(tài)各50 次。將300 組數(shù)據(jù)平均分為兩組，一組用來訓(xùn)練，另一組用來識別。

實驗結(jié)果如表5所示，表中狀態(tài)所在行代表實際的狀態(tài)，所在列代表實驗的結(jié)果，數(shù)值代表對應(yīng)識別的次數(shù)，最終實驗結(jié)果由準(zhǔn)確率進(jìn)行衡量。

表5 HMM模型的實驗結(jié)果Tab.5 Experimental results of HMM

從表中的識別結(jié)果來看，準(zhǔn)確率最高的為S1與S4。評價的平均準(zhǔn)確率為79.7%。

3.4 混合模型的構(gòu)建

由HMM模型實驗結(jié)果來看，對于大部分狀態(tài)的識別還是較為準(zhǔn)確的，因此使用HMM模型是可以對各知識點學(xué)習(xí)狀態(tài)進(jìn)行有效評價的。但是對某些狀態(tài)的識別準(zhǔn)確率欠佳，這就代表當(dāng)觀測序列較為相似時，HMM模型并不足以完全識別。而SVM雖然不考慮時間因素，但它提升了對比分類的效果，并且更加適用于小樣本的數(shù)據(jù)。因此SVM可以很好地彌補(bǔ)HMM存在的不足。

混合模型的基本架構(gòu)分為上層和下層，HMM模型位于上層，負(fù)責(zé)處理具有時序特征的觀測序列，通過計算觀測序列與模型庫中各個模型的似然率來縮小結(jié)果的范圍。SVM位于下層，由于其分類能力較強(qiáng)，將上層HMM模型縮小范圍后的數(shù)據(jù)輸入到SVM模型中，對結(jié)果進(jìn)一步處理。這種獨(dú)立的混合模型可以減輕工作負(fù)擔(dān)，提升工作效率，通過聯(lián)合評價的方式提高評價準(zhǔn)確率?；炯軜?gòu)如圖3所示。

圖3 混合模型的基本架構(gòu)Fig.3 Basic architecture of hybrid model

由于混合模型是外部引入的雙層架構(gòu)，因此HMM模型與SVM模型要先單獨(dú)訓(xùn)練，這兩個模型的訓(xùn)練相互獨(dú)立。HMM模型的訓(xùn)練方法與上一節(jié)中類似，SVM模型的訓(xùn)練要遵循“一對一”策略，使用序列最小優(yōu)化(Sequential Minimal Optimization,SMO)算法對分類器進(jìn)行訓(xùn)練。

混合模型的訓(xùn)練與識別具體步驟如下所述。

(1)首先將觀測序列輸入HMMs模型庫計算與各個模型的似然率，計算似然率采用了前向-后向算法；

(2)其次將似然率較小的結(jié)果排除后，選擇較高的2—3 個狀態(tài)，將其觀測序列傳遞給下層的SVM；

(3)再調(diào)用對應(yīng)的SVM的分類器對這些特征向量進(jìn)行投票；

(4)最后將得票率最高的結(jié)果輸出。

這種由外部引入的混合模型，不僅保留了隱馬爾可夫模型對于實驗中實驗狀態(tài)時序變化的描述能力，還通過支持向量機(jī)提高了評價的準(zhǔn)確性。而且這種松散的結(jié)構(gòu)有助于后續(xù)對知識點的添加與刪除，具有很強(qiáng)的可拓展性。

基于HMM/SVM模型的實驗結(jié)果如表6所示，評價標(biāo)準(zhǔn)為實驗狀態(tài)識別的準(zhǔn)確率。

表6 基于HMM/SVM模型的實驗結(jié)果Tab.6 Experimental results of HMM/SVM model

可以發(fā)現(xiàn)，HMM/SVM模型的采用可以顯著改變HMM模型的性能。各個狀態(tài)的準(zhǔn)確率均有一定的提升，在HMM模型中被識別為同類問題的串聯(lián)模塊與并聯(lián)模塊，在混合模型中的準(zhǔn)確率上升也非常顯著，可以解決HMM分類能力不足的問題。

基于HMM/SVM的學(xué)習(xí)狀態(tài)評價系統(tǒng)將HMM模型與外部引入的SVM模型進(jìn)行結(jié)合。不僅可以處理時間序列的數(shù)據(jù)，反映實驗完成的過程性，還提高了評價的準(zhǔn)確度。同時，文中提出的基于HMM/SVM的知識點學(xué)習(xí)狀態(tài)評價模型，可拓展性強(qiáng)，對于后續(xù)需要添加或刪除知識點的情況非常友好，實際應(yīng)用性很強(qiáng)。

4 結(jié)論(Conclusion)

提出的學(xué)習(xí)狀態(tài)評價模型不僅可以做出過程性的評價，彌補(bǔ)實驗評價的片面性與局限性，還可以充分挖掘?qū)W習(xí)者在實驗中知識點的學(xué)習(xí)狀態(tài)信息，對需要重點關(guān)注的知識點做出反饋。有利于學(xué)習(xí)者與教學(xué)者及時發(fā)現(xiàn)問題、解決問題，一定程度上降低了學(xué)生產(chǎn)生厭學(xué)情緒的可能性，增強(qiáng)了學(xué)習(xí)評價的科學(xué)性與全面性，同時也為虛擬仿真實驗評價問題提供了一種新的思路。