魏勍颋 鄒宏 左有遊

摘要：網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)形式單一的問題亟待解決。因此提出一種基于隱馬爾可夫模型的多維評價(jià)方法，對學(xué)生學(xué)習(xí)事件進(jìn)行持續(xù)跟蹤和統(tǒng)計(jì)，運(yùn)用隱馬爾可夫模型識別隱含在學(xué)習(xí)事件序列中不同維度學(xué)習(xí)狀態(tài)序列，將其作為網(wǎng)絡(luò)課程學(xué)習(xí)過程多維度評價(jià)結(jié)果。實(shí)驗(yàn)表明，該評價(jià)方法準(zhǔn)確率、精度和召回率分別平均達(dá)到0.64、0.75和0.80?；贖MM模型的網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)結(jié)果可有效反映學(xué)生學(xué)習(xí)狀態(tài)過程性變化。

關(guān)鍵詞：網(wǎng)絡(luò)課程;學(xué)習(xí)過程;多維評價(jià);隱馬爾可夫模型

DOI：10. 11907/rjdk. 192679 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：G434文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）005-0247-05

0 引言

網(wǎng)絡(luò)課程因其交互、共享和開放的優(yōu)勢，已成為傳統(tǒng)課堂教學(xué)改革的一種重要形式。與傳統(tǒng)課堂教學(xué)一樣，學(xué)習(xí)評價(jià)是網(wǎng)絡(luò)課程學(xué)習(xí)的一個(gè)重要環(huán)節(jié)，是檢驗(yàn)學(xué)習(xí)效果是否達(dá)到預(yù)期教學(xué)目標(biāo)的有效手段。近年來，網(wǎng)絡(luò)課程學(xué)習(xí)評價(jià)不再以關(guān)注學(xué)習(xí)成果作為唯一評價(jià)指標(biāo)，而是把關(guān)注點(diǎn)更多地放在對學(xué)習(xí)過程的考核上[1]。但是網(wǎng)絡(luò)課程學(xué)習(xí)活動大部分是由學(xué)生自主進(jìn)行的，教師無法面對面地了解學(xué)生學(xué)習(xí)狀態(tài)。即使許多學(xué)習(xí)平臺提供了作業(yè)、測驗(yàn)、討論和學(xué)習(xí)統(tǒng)計(jì)等功能，在一定程度上可反映學(xué)生學(xué)習(xí)狀態(tài)，但教師仍然很難完整地把握每個(gè)學(xué)生學(xué)習(xí)過程，只能簡單地根據(jù)一些指標(biāo)給出終結(jié)性或階段性分?jǐn)?shù)或等級。

因此本文針對網(wǎng)絡(luò)課程學(xué)習(xí)過程，提出一種有效的評價(jià)方法——基于隱馬爾可夫模型（Hidden Markov Model，HMM）[2]的多維評價(jià)方法。該方法可綜合分析和評價(jià)學(xué)習(xí)者整個(gè)學(xué)習(xí)過程，不同于傳統(tǒng)單一的分?jǐn)?shù)或等級評價(jià)。具體指對每位學(xué)習(xí)者學(xué)習(xí)過程中的學(xué)習(xí)事件進(jìn)行持續(xù)跟蹤和統(tǒng)計(jì)，運(yùn)用隱馬爾可夫模型識別隱含在學(xué)習(xí)事件序列中不同維度學(xué)習(xí)狀態(tài)的序列，作為網(wǎng)絡(luò)課程學(xué)習(xí)過程多維度評價(jià)結(jié)果。應(yīng)用該方法的學(xué)習(xí)過程評價(jià)目的不再是分出優(yōu)劣，而是讓教師和學(xué)生把握學(xué)習(xí)狀態(tài)變化，找到學(xué)習(xí)進(jìn)步或退步的內(nèi)在規(guī)律，從而更好地促進(jìn)學(xué)習(xí)。同時(shí)本文還提供一套可進(jìn)行學(xué)習(xí)數(shù)據(jù)分析與學(xué)習(xí)過程評價(jià)的自動化軟件工具，可較方便地利用現(xiàn)有網(wǎng)絡(luò)教學(xué)平臺學(xué)習(xí)數(shù)據(jù)，對平臺上已開設(shè)的課程進(jìn)行學(xué)習(xí)過程評價(jià)。

1 網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)研究現(xiàn)狀

網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)指在網(wǎng)絡(luò)課程學(xué)習(xí)過程中，在過程性評價(jià)等理論指導(dǎo)下，依據(jù)相關(guān)評價(jià)標(biāo)準(zhǔn)，利用計(jì)算機(jī)網(wǎng)絡(luò)記錄和跟蹤技術(shù)，從學(xué)習(xí)者學(xué)習(xí)過程中學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果等多維角度進(jìn)行的持續(xù)跟蹤評價(jià)活動[3]。目前國內(nèi)大多數(shù)高校已建立網(wǎng)絡(luò)教學(xué)平臺，并在互聯(lián)網(wǎng)上開放了慕課、微課，由此網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)研究成為教育技術(shù)研究熱點(diǎn)。相關(guān)研究工作可分為評價(jià)標(biāo)準(zhǔn)、評價(jià)指標(biāo)體系、評價(jià)方法和評價(jià)工具等幾個(gè)方面。本文研究工作可歸于評價(jià)方法與工具范疇。

評價(jià)標(biāo)準(zhǔn)方面的研究工作國外居多。比較著名的網(wǎng)絡(luò)學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)包括Lynette Gillis等[4]提出的“網(wǎng)絡(luò)學(xué)習(xí)認(rèn)證標(biāo)準(zhǔn)（E-Learning Certification Standards）”、英國Wales Bangor大學(xué)Sandy Britain等[5]完成的“虛擬學(xué)習(xí)環(huán)境的教育評價(jià)框架（A Framework for Pedagogical Evaluation of Virtual Learning Environments）”，以及美國國家教育政策研究所和BlackBoard公司聯(lián)合發(fā)布的“在線基準(zhǔn)質(zhì)量（Quality On The Line）”[6]。朱凌云等[7]通過比較分析以上標(biāo)準(zhǔn)，總結(jié)出網(wǎng)絡(luò)課程評價(jià)應(yīng)遵循全面、客觀和唯一原則。此外，還有美國社會訓(xùn)練與發(fā)展組織制定的網(wǎng)絡(luò)課程認(rèn)證標(biāo)準(zhǔn)（E-learning Courseware Certification Standards）[8]、歐洲標(biāo)準(zhǔn)委員會制定的質(zhì)量保證指南（Quality Assurance Standard）[9]和我國教育部科技司開展的現(xiàn)代遠(yuǎn)程教育標(biāo)準(zhǔn)研究項(xiàng)目[10]。高丹丹[11]指出，國內(nèi)外制定的標(biāo)準(zhǔn)在評價(jià)組織、數(shù)據(jù)定量、學(xué)習(xí)效果評價(jià)等方面涉及不多。

評價(jià)指標(biāo)體系方面的研究工作集中在國內(nèi)。王均霞等[12]就“現(xiàn)代教育技術(shù)”課程確定了學(xué)習(xí)能力目標(biāo)、 知識理解目標(biāo)和技能應(yīng)用目標(biāo)為課程的評價(jià)目標(biāo)，并基于此設(shè)計(jì)了相應(yīng)評價(jià)指標(biāo)體系;趙蔚等[13]從動機(jī)、過程和效果3個(gè)維度構(gòu)建網(wǎng)絡(luò)學(xué)習(xí)評價(jià)體系，設(shè)計(jì)了不同的功能模塊;王江[14]建立了包含知識成果、資源利用、交流協(xié)作及網(wǎng)絡(luò)態(tài)度4個(gè)維度的網(wǎng)絡(luò)學(xué)習(xí)過程評價(jià)模型，并使用層次分析法確定了各評價(jià)指標(biāo)的權(quán)重;杜茹娟[15]以實(shí)際網(wǎng)絡(luò)學(xué)習(xí)平臺為基礎(chǔ)，從用戶日志及數(shù)據(jù)庫中提取用戶行為數(shù)據(jù)作為指標(biāo)，找出其中與學(xué)習(xí)成績顯著相關(guān)的16項(xiàng)指標(biāo);李君玉等[16]研究了學(xué)生對網(wǎng)絡(luò)學(xué)習(xí)平臺的訪問時(shí)長與其學(xué)習(xí)成績的相關(guān)性。但這些評價(jià)指標(biāo)體系研究大多從教育學(xué)意義上進(jìn)行分析和描述，因此相關(guān)模型一般無法采用計(jì)算機(jī)進(jìn)行模擬和仿真。

網(wǎng)絡(luò)學(xué)習(xí)評價(jià)方法主要包括總分法、加權(quán)平均法、模糊綜合分析法和層次分析法[14]。肖鳳翔等[17]在課程評價(jià)上提出采用3種方法：①通過等級評價(jià)量表測評予以量化分值最終得出加權(quán)平均值;②一級指標(biāo)采用模糊綜合評價(jià)統(tǒng)計(jì)模糊綜合評價(jià)結(jié)果;③采用蘇格拉底式研討評定法進(jìn)行質(zhì)性研究。鄭志高等[18]在對xMooc的學(xué)習(xí)評價(jià)研究中，通過對Coursera、ed X及 Udacity 3個(gè)平臺各門課程學(xué)習(xí)評價(jià)方法進(jìn)行梳理和統(tǒng)計(jì)分析，認(rèn)為這些網(wǎng)絡(luò)課程評價(jià)還是近似于傳統(tǒng)學(xué)習(xí)評價(jià)，缺少學(xué)習(xí)過程評價(jià)。

常見學(xué)習(xí)過程評價(jià)工具包括：電子檔案袋、問卷評估表、學(xué)習(xí)契約等。電子檔案袋評價(jià)是以音頻、視頻、圖片、文本等多種媒體形式記錄學(xué)習(xí)過程的數(shù)據(jù)，并收集和組織在電子檔案袋中，是學(xué)習(xí)者學(xué)習(xí)過程的全紀(jì)錄[19];問卷評估表是以問題或評價(jià)條目組織的表單，讓學(xué)習(xí)者通過回答預(yù)選設(shè)計(jì)好的問題啟發(fā)反思;學(xué)習(xí)契約是一份學(xué)習(xí)者擬定了學(xué)習(xí)目標(biāo)、學(xué)習(xí)內(nèi)容和方法、學(xué)習(xí)時(shí)間和評估方式的合同，通過檢查學(xué)習(xí)者是否履行契約達(dá)到學(xué)習(xí)過程評價(jià)的目的。但這些評價(jià)工具操作比較復(fù)雜，容易讓學(xué)習(xí)者產(chǎn)生回避評價(jià)的心理，而且評價(jià)可能存在主觀性誤差，使評價(jià)結(jié)果無法準(zhǔn)確反映網(wǎng)絡(luò)課程學(xué)習(xí)者各階段學(xué)習(xí)狀態(tài)變化。

2 基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)

學(xué)習(xí)評價(jià)不但需關(guān)注學(xué)習(xí)結(jié)果，更應(yīng)關(guān)注學(xué)習(xí)過程中的進(jìn)步[20]。遵循該思想，本文將模式識別領(lǐng)域經(jīng)典的隱馬爾可夫模型運(yùn)用到網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)中。從學(xué)習(xí)動機(jī)、學(xué)習(xí)方法或?qū)W習(xí)效果3個(gè)維度，通過識別學(xué)習(xí)過程狀態(tài)序列，從本質(zhì)上理解學(xué)習(xí)過程中的現(xiàn)象和規(guī)律，提出不同于現(xiàn)有研究常用的分?jǐn)?shù)（量性）或等級（質(zhì)性）評價(jià)的一種評價(jià)結(jié)果形式。

2.1 評價(jià)維度

網(wǎng)絡(luò)課程的學(xué)習(xí)是一個(gè)多元素協(xié)同作用的復(fù)雜過程，包含學(xué)習(xí)者學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果等要素。學(xué)習(xí)動機(jī)是引發(fā)與維持學(xué)習(xí)行為、并使之指向一定學(xué)業(yè)目標(biāo)的一種動力傾向，是學(xué)習(xí)的起因;學(xué)習(xí)方法是通過學(xué)習(xí)實(shí)踐總結(jié)出的快速掌握知識的方法，是學(xué)習(xí)過程的推動因素;學(xué)習(xí)效果是學(xué)習(xí)過程的成效和結(jié)果。三者缺一不可。因此，參照文獻(xiàn)[3]對網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)的定義，本文從學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果3個(gè)維度入手，研究網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)方法。

2.2 評價(jià)結(jié)果形式

學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果這3個(gè)維度，對應(yīng)網(wǎng)絡(luò)課程學(xué)習(xí)過程的不同要素，其在某個(gè)學(xué)習(xí)階段總處于一定的狀態(tài)。例如，學(xué)習(xí)動機(jī)的狀態(tài)可以是強(qiáng)或一般，學(xué)習(xí)方法狀態(tài)可以是適合或不適合，學(xué)習(xí)效果狀態(tài)可以是理想或不理想。本文將各維度網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)結(jié)果表示為維度要素在不同學(xué)習(xí)階段所處狀態(tài)的序列，采取一種簡化的維度要素狀態(tài)集合，如圖1所示。

以學(xué)習(xí)動機(jī)維度為例，如果評價(jià)時(shí)間范圍為4個(gè)連續(xù)的教學(xué)單元，評價(jià)結(jié)果可能表示為學(xué)習(xí)動機(jī)要素的狀態(tài)序列“q1q2q2q1”。將幾個(gè)維度的狀態(tài)序列綜合在一起，構(gòu)成整個(gè)網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)結(jié)果。

2.3 評價(jià)依據(jù)

學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果在不同學(xué)習(xí)階段所處狀態(tài)是隱含的，并不能被直接觀測到，只能通過觀察各階段與網(wǎng)絡(luò)課程學(xué)習(xí)活動相關(guān)事件，分析各維度要素狀態(tài)變化序列。這些事件往往是特定學(xué)習(xí)狀態(tài)下才會產(chǎn)生。譬如，學(xué)習(xí)動機(jī)強(qiáng)時(shí)進(jìn)入課程的次數(shù)增多，學(xué)習(xí)方法適合時(shí)參與課程活動的次數(shù)增多，學(xué)習(xí)效果令人滿意時(shí)階段測驗(yàn)分?jǐn)?shù)也會同時(shí)提高。最終本文選擇了比較容易觀測和統(tǒng)計(jì)的3種類型事件，即訪問數(shù)、任務(wù)完成比例、測驗(yàn)成績，分別作為與學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果狀態(tài)相關(guān)的代表性事件，如圖2所示。其中任務(wù)是指教師布置的學(xué)習(xí)任務(wù)，包含學(xué)習(xí)PPT、觀看視頻及上交作業(yè)等。d1、d2和d3均為設(shè)置的閾值，通過實(shí)驗(yàn)反復(fù)比較，本文方法將其分別設(shè)為10、0.5和60。

2.4 評價(jià)模型

為識別網(wǎng)絡(luò)課程學(xué)習(xí)過程中各維度學(xué)習(xí)狀態(tài)序列，本文使用模式識別領(lǐng)域的隱馬爾可夫模型（Hidden Markov Model，HMM）。HMM是一種統(tǒng)計(jì)模型，用來描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過程。該類過程在每個(gè)時(shí)間點(diǎn)處于某個(gè)狀態(tài)，每個(gè)狀態(tài)的轉(zhuǎn)移只依賴于狀態(tài)序列中前k個(gè)狀態(tài)。當(dāng)k=1時(shí)，稱為一階馬爾可夫過程。隱馬爾可夫模型實(shí)際上是標(biāo)準(zhǔn)馬爾可夫模型的擴(kuò)展，其過程中各時(shí)刻狀態(tài)是隱藏的，不能直接被觀察到，只能通過分析觀測狀態(tài)序列獲得。任意時(shí)刻是哪一種可觀測狀態(tài)僅依賴于當(dāng)前時(shí)刻隱藏狀態(tài)。

在網(wǎng)絡(luò)課程學(xué)習(xí)過程中，學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果變化也可認(rèn)為是具有馬爾可夫性質(zhì)的隨機(jī)過程。以網(wǎng)絡(luò)課程學(xué)習(xí)動機(jī)狀態(tài)變化為例，當(dāng)表示為隨機(jī)變量S，則P（St+1=s | S0，…， St）=P（St+1=s | St），符合馬爾可夫過程特征。同時(shí)學(xué)習(xí)過程狀態(tài)是隱藏的，只能通過觀測學(xué)習(xí)事件狀態(tài)，倒推學(xué)習(xí)過程狀態(tài)。因此，本文分別構(gòu)建學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的隱馬爾可夫模型，評價(jià)網(wǎng)絡(luò)課程學(xué)習(xí)過程。

2.4.1 模型定義

通常隱馬爾可夫模型可以用5個(gè)元素描述λ=（Q，V，π，A，B），包括2個(gè)狀態(tài)集合（隱含狀態(tài)集合Q、可觀測狀態(tài)集合V）和3個(gè)概率矩陣（初始狀態(tài)概率矩陣π、隱含狀態(tài)轉(zhuǎn)移概率矩陣A、觀測狀態(tài)轉(zhuǎn)移概率矩陣B）。對于學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的HMM模型，隱含狀態(tài)集合分別為圖1所示的Qa、Qb和Qc?？捎^測狀態(tài)是各維度要素的學(xué)習(xí)事件，集合分別為Va、Vb和Vc，如圖2所示。而另外3個(gè)參數(shù)定義如下（以包含N個(gè)隱含狀態(tài)和M個(gè)可觀測狀態(tài)的HMM為例）：

2.4.2 模型參數(shù)設(shè)置

構(gòu)建隱馬爾可夫模型的一個(gè)重要問題是模型參數(shù)π、A和B的設(shè)置。如果已知樣本觀測序列和隱藏狀態(tài)序列，可用極大似然估計(jì)方法，先統(tǒng)計(jì)初始隱藏狀態(tài)、隱藏狀態(tài)轉(zhuǎn)移以及觀測狀態(tài)轉(zhuǎn)移頻數(shù)，再計(jì)算參數(shù)近似估計(jì)。但在多數(shù)情況下，只有樣本觀測序列，無法得到對應(yīng)隱藏狀態(tài)序列。

本文采用Baum-Welch算法[21]，對學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的HMM模型中參數(shù)π、A和B分別進(jìn)行估計(jì)。該算法利用已知樣本觀測序列，通過學(xué)習(xí)反推最有可能導(dǎo)致這樣結(jié)果的參數(shù)值，即求解使P（O|λ）最大化的π、A和B。參數(shù)學(xué)習(xí)的過程由最大期望算法（Expectation-Maximization Algorithm，EM）[22]實(shí)現(xiàn)：先確定觀測序列O和隱藏狀態(tài)序列I的對數(shù)似然函數(shù)logP（O，I|λ），再求該函數(shù)關(guān)于隨機(jī)變量I的數(shù)學(xué)期望Q，然后通過求偏導(dǎo)計(jì)算使Q極大化的各個(gè)參數(shù)式，在多次迭代后獲得模型參數(shù)π、A和B。

2.4.3 基于HMM模型的狀態(tài)序列解碼

在本文方法中，網(wǎng)絡(luò)課程學(xué)習(xí)過程的評價(jià)等價(jià)于：根據(jù)學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的觀測序列求取最有可能的狀態(tài)序列。該問題實(shí)際上是隱馬爾可夫模型解碼問題，即根據(jù)模型λ為觀測序列O=O1O2…OT尋找一條最有可能的狀態(tài)序列P*，模型在狀態(tài)序列的每一個(gè)隱藏狀態(tài)下均生成一個(gè)可觀測事件，要求使得P（O|P*）最大。

本文采用Viterbi算法[21]解決該問題。Viterbi算法使用動態(tài)規(guī)劃求解概率最大（最優(yōu)）路徑。從t=1時(shí)刻開始，遞推計(jì)算在時(shí)刻t狀態(tài)為i（1≤i≤N）的各條部分路徑最大概率。直到計(jì)算到時(shí)刻T，各條路徑最大概率即為最優(yōu)路徑概率。將每個(gè)時(shí)刻部分路徑概率最大狀態(tài)連接起來，即得到最優(yōu)路徑所有節(jié)點(diǎn)。

3 實(shí)驗(yàn)

為對本文方法進(jìn)行驗(yàn)證，從南昌大學(xué)網(wǎng)絡(luò)課程學(xué)習(xí)平臺導(dǎo)出2019年生物信息學(xué)課程378名學(xué)生連續(xù)4個(gè)月的真實(shí)學(xué)習(xí)數(shù)據(jù)。根據(jù)圖2所示的學(xué)習(xí)事件的定義，將數(shù)據(jù)轉(zhuǎn)換為學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果觀測序列集合。觀測序列集被分為3個(gè)子集：訓(xùn)練集、驗(yàn)證集和測試集，序列樣本數(shù)分別為131、125和122。

先使用訓(xùn)練集觀測序列學(xué)習(xí)HMM模型的參數(shù)，對驗(yàn)證集學(xué)生發(fā)放調(diào)查問卷，獲取學(xué)生對各階段學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果狀態(tài)自我評價(jià);使用驗(yàn)證集觀測序列預(yù)測狀態(tài)序列結(jié)果，與調(diào)查問卷相比較，檢驗(yàn)?zāi)Ｐ陀行圆⒄{(diào)節(jié)模型;最后對測試集學(xué)生的學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的狀態(tài)序列進(jìn)行預(yù)測，作為網(wǎng)絡(luò)課程學(xué)習(xí)過程評價(jià)結(jié)果。

3.1 評價(jià)準(zhǔn)備

3.2 模型驗(yàn)證

以調(diào)查問卷的結(jié)果作為參照，采用準(zhǔn)確率（Accuracy）、精度（Precision）和召回率（Recall）3個(gè)指標(biāo)，衡量建立的HMM模型對驗(yàn)證集學(xué)生的學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果預(yù)測結(jié)果是否符合學(xué)生自我評價(jià)。指標(biāo)定義如下：

其中TP代表預(yù)測正確的正樣本，TN代表預(yù)測正確的負(fù)樣本。正樣本指狀態(tài)為“q1”的樣本，負(fù)樣本指狀態(tài)為“q2”的樣本。FP和FN則代表錯(cuò)誤的正/負(fù)預(yù)測。模型對驗(yàn)證集的預(yù)測結(jié)果如表1所示。

從對驗(yàn)證集預(yù)測結(jié)果來看，本文建立的HMM模型預(yù)測準(zhǔn)確率、精度和召回率分別平均達(dá)到0.64、0.75和0.80。尤其是對學(xué)習(xí)動機(jī)正樣本的預(yù)測，召回率可高達(dá)0.98，說明模型對學(xué)習(xí)動機(jī)處于“強(qiáng)”的狀態(tài)比較敏感。

3.3 預(yù)測分析

使用驗(yàn)證并調(diào)節(jié)后的HMM模型，對測試集122名學(xué)生的學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的狀態(tài)序列進(jìn)行預(yù)測，作為網(wǎng)絡(luò)課程學(xué)習(xí)過程的評價(jià)結(jié)果。預(yù)測結(jié)果中，第1個(gè)月的學(xué)習(xí)狀態(tài)始終為q1，這表明課程學(xué)習(xí)開始時(shí)，學(xué)生學(xué)習(xí)動機(jī)均為“強(qiáng)”，學(xué)習(xí)方法為“適合”，學(xué)習(xí)效果為“理想”。但是，從第2個(gè)月開始，學(xué)生學(xué)習(xí)狀態(tài)出現(xiàn)了分化。表2列出了3個(gè)維度8種可能的狀態(tài)序列實(shí)際對應(yīng)的預(yù)測樣本數(shù)。圖5給出了表2預(yù)測結(jié)果的時(shí)間變化示意圖，圓圈代表狀態(tài)（圖中只有q1和q2兩種狀態(tài)），帶箭頭的線條代表狀態(tài)在不同月之間的跳轉(zhuǎn)，線條粗細(xì)程度根據(jù)狀態(tài)序列預(yù)測樣本數(shù)進(jìn)行設(shè)定。

從表2和圖5可以看出，測試集107名學(xué)生（107/122=87.7%）在4個(gè)月的學(xué)習(xí)過程中學(xué)習(xí)動機(jī)始終保持“強(qiáng)”的狀態(tài)，15名學(xué)生（12.3%）學(xué)習(xí)動機(jī)從第2個(gè)月起持續(xù)為“弱”。這說明，學(xué)生學(xué)習(xí)動機(jī)具有時(shí)間連續(xù)性，課程學(xué)習(xí)的第2個(gè)月對激發(fā)學(xué)生的學(xué)習(xí)興趣至關(guān)重要。

測試集28名學(xué)生（23.0%）的學(xué)習(xí)方法始終為“適合”的狀態(tài)，67名學(xué)生（54.9%）的學(xué)習(xí)方法從第2個(gè)月起變?yōu)椤安贿m合”，其它3種狀態(tài)序列的27名學(xué)生（22.1%）學(xué)習(xí)方法在中間某一個(gè)月或者兩個(gè)月暫時(shí)為“不適合”，最后變?yōu)椤斑m合”，沒有學(xué)生在學(xué)習(xí)的最后一個(gè)或兩個(gè)月學(xué)習(xí)方法由“適合”變?yōu)椤安贿m合”。這說明學(xué)習(xí)方法的掌握一般在學(xué)習(xí)過程前期，有部分學(xué)生一開始就掌握了適合自己的學(xué)習(xí)方法，大部分學(xué)生從第2個(gè)月被困于錯(cuò)誤的學(xué)習(xí)方法，少量學(xué)生可在學(xué)習(xí)中間階段糾正錯(cuò)誤的學(xué)習(xí)方法。

測試集52名學(xué)生（42.6%）的學(xué)習(xí)效果始終為“理想”狀態(tài)，18名學(xué)生（14.8%）從第2個(gè)月起學(xué)習(xí)效果變?yōu)椤安焕硐搿辈⒁恢毕萦谠摖顟B(tài)，33名學(xué)生（27.0%）在中間兩個(gè)月學(xué)習(xí)效果為“不理想”，最后一個(gè)月才變?yōu)椤袄硐搿保渌鼉煞N狀態(tài)序列的19名學(xué)生（15.6%）在學(xué)習(xí)的最后一個(gè)或兩個(gè)月學(xué)習(xí)效果由“理想”變?yōu)椤安焕硐搿?，沒有學(xué)生可在中間某一個(gè)月學(xué)習(xí)效果由為“不理想”突變?yōu)椤袄硐搿?。這說明學(xué)習(xí)效果的負(fù)作用周期較長，一旦某個(gè)月的學(xué)習(xí)效果變差，將嚴(yán)重打擊學(xué)生學(xué)習(xí)積極性，使后續(xù)一個(gè)或多個(gè)月學(xué)習(xí)效果持續(xù)不佳。

4 結(jié)語

基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)是網(wǎng)絡(luò)課程教學(xué)方法改革的一種新探索。在跟蹤和統(tǒng)計(jì)學(xué)習(xí)事件的基礎(chǔ)上，構(gòu)建不同維度學(xué)習(xí)狀態(tài)的隱馬爾可夫模型，根據(jù)學(xué)習(xí)事件序列預(yù)測學(xué)習(xí)狀態(tài)序列，并將其作為網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)結(jié)果。課題組已在生物信息學(xué)課程網(wǎng)絡(luò)輔助教學(xué)中運(yùn)用該學(xué)習(xí)過程評價(jià)方法。實(shí)踐表明，學(xué)習(xí)狀態(tài)序列形式的評價(jià)結(jié)果比較符合學(xué)生對各階段學(xué)習(xí)動機(jī)、學(xué)習(xí)方法和學(xué)習(xí)效果的自我評價(jià)?；谠摲椒ǖ脑u價(jià)結(jié)果，任課教師可較全面地把握學(xué)生學(xué)習(xí)狀態(tài)變化過程，在課程成績評定時(shí)考慮該評價(jià)結(jié)果。此外，本文方法還可以推廣到國內(nèi)其它高校網(wǎng)絡(luò)教學(xué)平臺，或在互聯(lián)網(wǎng)慕課、微課中使用，為我國教育現(xiàn)代化建設(shè)助力。

下一步將把基于隱馬爾可夫模型的網(wǎng)絡(luò)課程學(xué)習(xí)過程多維評價(jià)方法應(yīng)用于南昌大學(xué)網(wǎng)絡(luò)教學(xué)平臺其它的網(wǎng)絡(luò)課程，改革學(xué)習(xí)過程評價(jià)形式，以期激發(fā)學(xué)生學(xué)習(xí)興趣，提高課程教學(xué)質(zhì)量，改進(jìn)課程管理流程，創(chuàng)新課程學(xué)習(xí)考核方式。

參考文獻(xiàn)：

[1] 萬正剛. 基于SCLEs 的網(wǎng)絡(luò)學(xué)習(xí)過程評價(jià)方法研究[J]. 科教導(dǎo)刊，2012（3）：45，49.

[2] RABINER L， JUANG B. An Introduction to Hidden Markov Models[J]. IEEE ASSP Magazine， 1986（3）： 4-16.

[3] 王娜. 網(wǎng)絡(luò)課程中學(xué)習(xí)過程評價(jià)的方法研究[D]. 長春：東北師范大學(xué)，2010.

[4] 黃榮懷，張進(jìn)寶，董艷. 關(guān)于網(wǎng)絡(luò)教學(xué)過程認(rèn)證標(biāo)準(zhǔn)的研究[J]. 開放教育研究，2003（5）：5-9.

[5] BRITAIN S，LIBER O. A framework for pedagogical evaluation of virtual learning environments[R]. ?U.S.： Joint Information Systems Committee （JISC），1999.