李 慧

(首都師范大學(xué) 教育學(xué)院,北京 100048)

1 引 言

作為一種重要的開放型教育方式,基于信息技術(shù)的在線教育已經(jīng)成為當(dāng)代數(shù)字化教學(xué)的主流.MOOC、SPOC、Moodle等大型開放式在線學(xué)習(xí)平臺及各高校自主建設(shè)的在線課程平臺、在線學(xué)習(xí)管理系統(tǒng),采集線上教學(xué)、學(xué)習(xí)活動(dòng)的行為數(shù)據(jù),記錄學(xué)習(xí)者的學(xué)習(xí)行為、學(xué)習(xí)軌跡和學(xué)習(xí)環(huán)境,不僅為學(xué)習(xí)者提供在線學(xué)習(xí)的便捷途徑,而且為教師及教學(xué)管理人員改進(jìn)教學(xué)策略、完善教育管理機(jī)制提供科學(xué)的數(shù)據(jù)支持.基于在線學(xué)習(xí)者產(chǎn)生的大規(guī)模學(xué)習(xí)數(shù)據(jù)(如:學(xué)習(xí)行為軌跡、學(xué)習(xí)結(jié)果數(shù)據(jù)等),如何評估其在線學(xué)習(xí)效果、預(yù)測學(xué)習(xí)成績、實(shí)現(xiàn)學(xué)業(yè)預(yù)警,進(jìn)而為教學(xué)決策提供依據(jù),是在線教育亟需解決的重要課題[1-7].

在線學(xué)習(xí)成績預(yù)測研究主要采集在線學(xué)習(xí)者的客觀統(tǒng)計(jì)數(shù)據(jù)、學(xué)習(xí)行為數(shù)據(jù)等.數(shù)據(jù)來源包括系統(tǒng)數(shù)據(jù)、日志文件、文本、音頻、視頻等,具有容量大、多樣性、動(dòng)態(tài)性等特點(diǎn),能多角度地真實(shí)呈現(xiàn)學(xué)習(xí)者的在線學(xué)習(xí)狀態(tài).目前已提出的在線學(xué)習(xí)成績預(yù)測方法主要分為3類:1)基于概率的在線學(xué)習(xí)成績預(yù)測;2)基于傳統(tǒng)機(jī)器學(xué)習(xí)(Machine learning)的在線成績預(yù)測;3)基于深度學(xué)習(xí)(Deep learning)的在線成績預(yù)測.

基于概率的在線學(xué)習(xí)成績預(yù)測研究集中于知識追蹤技術(shù),主要采用學(xué)習(xí)者的既往學(xué)習(xí)行為數(shù)據(jù),利用概率模型預(yù)測其學(xué)習(xí)成績.知識追蹤技術(shù)分為基于貝葉斯的知識追蹤[8]、基于Logistic模型的知識追蹤[9]和基于深度學(xué)習(xí)的知識追蹤[10].其中,基于貝葉斯的知識追蹤包括貝葉斯知識追蹤(BKT)和擴(kuò)展的BKT模型;基于Logistic模型的知識追蹤包括項(xiàng)目反應(yīng)理論(IRT)和因子分析模型;基于深度學(xué)習(xí)的知識追蹤包括深度知識追蹤(DKT)、改進(jìn)的DKT模型等.傳統(tǒng)的知識追蹤技術(shù)采用概率模型,將學(xué)習(xí)者的知識掌握程度預(yù)測看作概率分布問題,使用的參數(shù)具備語義含義,具有強(qiáng)大的可解釋性.

基于傳統(tǒng)機(jī)器學(xué)習(xí)的在線學(xué)習(xí)成績預(yù)測,利用關(guān)聯(lián)分析、分類、圖理論、矩陣分解、增量學(xué)習(xí)等技術(shù)預(yù)測學(xué)習(xí)者的學(xué)業(yè)成績.Pardos等[11]研究了2786位學(xué)習(xí)者在3年內(nèi)的81萬條網(wǎng)絡(luò)學(xué)習(xí)操作,構(gòu)建學(xué)習(xí)狀態(tài)與行為操作的關(guān)系模型,進(jìn)而預(yù)測年終學(xué)習(xí)結(jié)果.Amrieh等[12]通過分析學(xué)習(xí)者在論壇中的討論數(shù)、發(fā)貼數(shù)、資源訪問數(shù)、閱讀材料時(shí)長等在線學(xué)習(xí)行為,采用分類算法對學(xué)習(xí)成績進(jìn)行分類預(yù)測,發(fā)現(xiàn)在線學(xué)習(xí)行為與學(xué)習(xí)成績之間存在密切關(guān)系.張琪等[13]采用回歸算法和分類算法分析在線學(xué)習(xí)行為特征并預(yù)測學(xué)習(xí)者成績,發(fā)現(xiàn)過程性評估成績是最重要的預(yù)測變量.Qiu等[14]在統(tǒng)計(jì)學(xué)習(xí)者基本信息、分析過程性學(xué)習(xí)行為數(shù)據(jù)的基礎(chǔ)上,基于動(dòng)態(tài)圖理論預(yù)測學(xué)習(xí)者的在線學(xué)習(xí)成績,取得了良好效果.Gómez-Pulido等[15]利用矩陣分解和梯度下降算法構(gòu)建學(xué)習(xí)者成績預(yù)測模型,通過優(yōu)化潛在因素、學(xué)習(xí)率和正則化因子等提高預(yù)測精度.羅楊洋等[16]使用增量學(xué)習(xí)的隨機(jī)森林算法構(gòu)建混合課程的學(xué)習(xí)者成績預(yù)測模型,在樣本數(shù)量較多的數(shù)據(jù)集中獲取了理想的預(yù)測準(zhǔn)確率.

近年來,基于深度學(xué)習(xí)的在線學(xué)習(xí)成績預(yù)測已成為研究和應(yīng)用的熱點(diǎn).Nabil等[17]探索深度學(xué)習(xí)在教育數(shù)據(jù)挖掘領(lǐng)域的效率,開發(fā)學(xué)習(xí)者的成績預(yù)測模型,用于識別有學(xué)習(xí)失敗風(fēng)險(xiǎn)的學(xué)習(xí)者.Liu等[18]充分利用學(xué)習(xí)者的行為特征和練習(xí)特征,融合注意力機(jī)制與深度知識追蹤模型(DKT),提出學(xué)習(xí)者成績預(yù)測框架,采用基于遞歸神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制模擬學(xué)習(xí)者的學(xué)習(xí)過程并預(yù)測其學(xué)習(xí)表現(xiàn),在真實(shí)數(shù)據(jù)集上的準(zhǔn)確率高達(dá)98%.Feng等[19]提出一種上下文感知特征交互網(wǎng)絡(luò),使用上下文平滑技術(shù)對上下文特征進(jìn)行平滑,融合注意力機(jī)制建模和預(yù)測MOOC中用戶的退出行為.與前兩類學(xué)習(xí)成績預(yù)測模型相比,基于深度學(xué)習(xí)的預(yù)測模型在性能上具有顯著優(yōu)勢,但可解釋性較差,既難以清楚闡明隱藏狀態(tài)的涵義,也難以從隱藏狀態(tài)確定學(xué)習(xí)者的知識掌握程度.

上述研究主要考慮了學(xué)習(xí)行為數(shù)據(jù)而忽略了學(xué)習(xí)者在學(xué)習(xí)過程中的情感狀態(tài),如:學(xué)習(xí)體驗(yàn)文本、面部表情、肢體動(dòng)作等所體現(xiàn)出來的情感信息或情緒體驗(yàn).其中,學(xué)習(xí)體驗(yàn)文本中蘊(yùn)含的情感信息對學(xué)習(xí)者成績預(yù)測將產(chǎn)生重要影響,有效地利用情感特征能提升成績預(yù)測的精度[20-22].但目前多數(shù)研究仍局限于定性分析情感因素的作用或文本數(shù)據(jù)的情感提取,結(jié)合學(xué)習(xí)者的情感特征定量預(yù)測學(xué)習(xí)成績的研究亟需深入.本文首先采集學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的文本數(shù)據(jù),構(gòu)建基于自注意力機(jī)制的BiLSTM文本情感分類模型,由詞嵌入層、語義學(xué)習(xí)層、權(quán)重調(diào)整層和情感分類層組成,提取學(xué)習(xí)者的情感特征;然后融合情感特征、人口統(tǒng)計(jì)特征和學(xué)習(xí)行為特征,獲取完備的學(xué)習(xí)者特征;最后采用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)狀態(tài)模型,進(jìn)而定量預(yù)測學(xué)習(xí)成績.本文的主要貢獻(xiàn)在于提出了融合情感信息的學(xué)習(xí)者特征提取方法,利用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)建模學(xué)習(xí)者在時(shí)間序列上的動(dòng)態(tài)學(xué)習(xí)狀態(tài),實(shí)現(xiàn)在線學(xué)習(xí)成績預(yù)測,并定量分析情感信息對學(xué)習(xí)者在線學(xué)習(xí)成績預(yù)測的影響.

2 概念及問題描述

2.1 基本概念

設(shè)某在線課程包含K個(gè)知識點(diǎn);L為在線學(xué)習(xí)者集合,|L|=N,其中N為在線學(xué)習(xí)者的總數(shù).定義學(xué)習(xí)者Li在知識點(diǎn)k上的學(xué)習(xí)者特征向量xk(i)和學(xué)習(xí)狀態(tài)向量yk(i).

定義1.學(xué)習(xí)者特征.令xk(i)=[xi,k,1,xi,k,2,…,xi,k,n]T表示學(xué)習(xí)者Li在知識點(diǎn)k上的學(xué)習(xí)者特征向量,由學(xué)習(xí)者的人口統(tǒng)計(jì)特征fpk(i)、學(xué)習(xí)行為特征fbk(i)和情感特征fek(i)融合而成,共n個(gè)維度;其中,人口統(tǒng)計(jì)特征fpk(i)由學(xué)習(xí)者的年齡、性別、教育層次、專業(yè)背景等特征構(gòu)成;學(xué)習(xí)行為特征fbk(i)由學(xué)習(xí)者的登錄次數(shù)、在線時(shí)長、下載文件數(shù)、提交作業(yè)數(shù)、觀看視頻時(shí)長、論壇發(fā)貼數(shù)、回復(fù)數(shù)、參與討論數(shù)、課堂測驗(yàn)成績等特征構(gòu)成;情感特征fek(i)為學(xué)習(xí)者Li在知識點(diǎn)k上發(fā)表文本所體現(xiàn)的情感特征.因此,在線學(xué)習(xí)者特征向量可以表示為xk(i)=[fpk(i);fbk(i);fek(i)],實(shí)際應(yīng)用中fpk(i)和fbk(i)通過系統(tǒng)數(shù)據(jù)和日志文件抽取獲得,fek(i)由情感分類模型計(jì)算.

定義2.在線學(xué)習(xí)狀態(tài).令yk(i)=[yi,k,1,yi,k,2,…,yi,k,m]T表示學(xué)習(xí)者Li在知識點(diǎn)k上的學(xué)習(xí)狀態(tài)向量,共m個(gè)維度;其中yi,k,j∈[0,1]為學(xué)習(xí)狀態(tài)向量的第j個(gè)維度,代表學(xué)習(xí)者Li對課程知識點(diǎn)k相應(yīng)能力維度j的掌握情況,數(shù)值越高代表掌握得越好.所有學(xué)習(xí)者的學(xué)習(xí)狀態(tài)組成一個(gè)N×K×m維的向量.

定義3.在線學(xué)習(xí)成績.令g(i)為學(xué)習(xí)者Li的在線學(xué)習(xí)成績,g(i)∈[0,1].將學(xué)習(xí)者的在線課程成績(如:百分制、等級制等)映射到區(qū)間[0,1].

2.2 問題描述

根據(jù)上述定義,基于深度學(xué)習(xí)的在線學(xué)習(xí)成績預(yù)測問題,其輸入為所有學(xué)習(xí)者的特征表征X,包括任一學(xué)習(xí)者Li在知識點(diǎn)k上的人口統(tǒng)計(jì)信息pk(i)、學(xué)習(xí)行為信息bk(i)和文本信息ek(i),進(jìn)而抽取出學(xué)習(xí)者特征向量xk(i);輸出為所有學(xué)習(xí)者的學(xué)習(xí)成績g.本文基于深度學(xué)習(xí)理論,構(gòu)建一種在線學(xué)習(xí)成績預(yù)測框架,如圖1所示.其主要工作包括:1)根據(jù)學(xué)習(xí)

圖1 在線學(xué)習(xí)成績預(yù)測框架圖Fig.1 Online achievement prediction framework

者的基礎(chǔ)信息pk(i),抽取其人口統(tǒng)計(jì)特征fpk(i);2)挖掘?qū)W習(xí)者在網(wǎng)絡(luò)學(xué)習(xí)過程中產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)bk(i),抽取其學(xué)習(xí)行為特征fbk(i);3)針對在線學(xué)習(xí)平臺中學(xué)習(xí)者發(fā)布的文本,提出一種基于深度學(xué)習(xí)的文本情感分類模型,獲取學(xué)習(xí)者的情感特征fek(i);4)融合人口統(tǒng)計(jì)特征fpk(i)、學(xué)習(xí)行為特征fbk(i)和情感特征fek(i),得到在線學(xué)習(xí)者特征向量X,能夠全面展現(xiàn)學(xué)習(xí)者畫像;5)將每個(gè)知識點(diǎn)k的在線學(xué)習(xí)者特征xk(i),作為LSTM模型的輸入,獲得學(xué)習(xí)者Li在不同知識點(diǎn)k上的學(xué)習(xí)狀態(tài)yk(i),進(jìn)而預(yù)測學(xué)習(xí)者的在線學(xué)習(xí)成績g(i).

3 在線學(xué)習(xí)成績預(yù)測

3.1 基于自注意力機(jī)制的BiLSTM文本情感分類模型

本文構(gòu)建了基于自注意力機(jī)制的BiLSTM文本情感分類模型,由詞嵌入層、語義學(xué)習(xí)層、權(quán)重調(diào)整層和情感分類層組成,如圖2所示.其中,詞嵌入層將學(xué)習(xí)者發(fā)表的文本轉(zhuǎn)換為詞向量,輸入到神經(jīng)網(wǎng)絡(luò)模型中;語義學(xué)習(xí)層由雙向長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(BiLSTM)構(gòu)成,對文本的上下文語義信息進(jìn)行編碼,獲取語義特征;權(quán)重調(diào)整層采用自注意力機(jī)制(Self-Attention Mechanism)識別不同語義特征對情感分類的貢獻(xiàn),并獲取加權(quán)的語義特征;情感分類層使用softmax函數(shù)獲得文本屬于不同情感類別的概率,進(jìn)而確定其情感分類.下面具體描述該模型.

圖2 基于自注意力機(jī)制的BiLSTM文本情感分類模型Fig.2 Text emotion classification model based on self-attention mechanism and BiLSTM

3.1.1 詞嵌入層

詞嵌入是將文本中的詞匯轉(zhuǎn)化成數(shù)值向量的方法,包括One-Hot編碼、信息檢索技術(shù)、分布式表示等.Word2vec是最常用的詞嵌入模型之一,通過訓(xùn)練將文本中的每個(gè)詞匯映射為一個(gè)n維實(shí)數(shù)向量,即將高維數(shù)據(jù)(維數(shù)為詞數(shù)N)降為低維數(shù)據(jù),最終生成詞向量.Word2vec模型的效果一方面依賴于中文分詞的準(zhǔn)確率,另一方面依賴于大規(guī)模訓(xùn)練語料的長時(shí)間訓(xùn)練,因此可以使用開源的大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練得到詞向量,也可以使用預(yù)訓(xùn)練好的詞向量.本文首先使用中國科學(xué)院計(jì)算技術(shù)研究所研發(fā)的漢語分詞系統(tǒng)NLPIR進(jìn)行中文分詞,對分詞后的數(shù)據(jù)建立字典;然后采用騰訊AI Lab公開的中文詞向量數(shù)據(jù),依據(jù)構(gòu)建好的字典從中提取相應(yīng)的詞向量,最后建立詞向量矩陣.

設(shè)學(xué)習(xí)者Li在知識點(diǎn)k上發(fā)表的文本為tk(i)={s1,s2,…,sp},其中sj={wj1,wj2,…,wjlj}表示文本中的第j個(gè)句子,wjk表示句子sj中第k個(gè)詞匯,lj是句子sj的詞數(shù).采用Word2vec模型,將句子sj轉(zhuǎn)化成詞向量序列sj={vj1,vj2,…,vjq},其中vjk表示詞向量,q是詞向量的維度.

3.1.2 語義學(xué)習(xí)層

中文文本的上下文之間存在明顯的語義關(guān)系.為了同時(shí)考慮文本的上下文語義,全面提取文本特征.在語義學(xué)習(xí)層,將原始文本經(jīng)過詞嵌入層獲得詞向量序列后,構(gòu)建雙向長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)BiLSTM,對句子的語義信息進(jìn)行編碼.BiLSTM是長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM的拓展,由正向LSTM和反向LSTM組成,采用雙向LSTM機(jī)制對句子進(jìn)行建模,提取出比LSTM更豐富的上下文語義特征,具有較強(qiáng)的長距離語義捕獲能力.BiLSTM的輸入為詞向量,隱含層包含正向傳播層和反向傳播層,分別學(xué)習(xí)當(dāng)前文本的上文語義和下文語義,把上層網(wǎng)絡(luò)輸出的向量作為本層的輸入,通過雙向傳播層輸出語義特征.BiLSTM分別通過隱含層的正向LSTM和反向LSTM得到t時(shí)刻的隱態(tài)輸出向量,其矩陣表示為hr和hl,則BiLSTM在t時(shí)刻的隱態(tài)輸出向量Bt可表示為連接正向LSTM和反向LSTM輸出向量hr和hl,即:

Bt={hr,hl}

(1)

3.1.3 權(quán)重調(diào)整層

由于詞向量及其語義特征并不能平等地反映學(xué)習(xí)者的情緒特征,即不同詞向量及其語義特征對學(xué)習(xí)者情緒表達(dá)的重要性不同.因此,在權(quán)重調(diào)整層采用自注意力機(jī)制,調(diào)整BiLSTM模型輸出語義特征的注意力權(quán)重,對關(guān)鍵的語義特征賦予更大的權(quán)重;采用自注意力機(jī)制,將BiLSTM模型產(chǎn)生的隱態(tài)輸出向量再次編碼,提取出更高層次的特征.自注意力機(jī)制是注意力機(jī)制的一種,傳統(tǒng)的注意力機(jī)制依賴部分外部信息,而自注意力機(jī)制通常不使用額外信息,僅通過訓(xùn)練自身信息來學(xué)習(xí)參數(shù)、獲取權(quán)重分布.語義特征的注意力權(quán)重αt計(jì)算如下:

(2)

vt=tanh(W1Bt+b1)

(3)

其中,vtA為得分函數(shù),用于計(jì)算語義特征重要性得分;Bt為BiLSTM在t時(shí)刻的隱藏狀態(tài);A、W1均為權(quán)值矩陣,b1為偏置向量.

(4)

3.1.4 情感分類層

文本情感分析的本質(zhì)是一個(gè)分類任務(wù).因此,基于自注意力機(jī)制的BiLSTM文本情感分類模型的最后一層是情感分類層,其輸入為加權(quán)后的語義特征向量.使用softmax作為激活函數(shù),經(jīng)過softmax函數(shù)獲得文本屬于不同情感類別的概率p,確定情感類別標(biāo)簽l,并定義其損失函數(shù).

(5)

l=arg max(p)

(6)

3.2 融合情感信息的學(xué)習(xí)者特征

為了獲取完備的學(xué)習(xí)者特征,本文融合了學(xué)習(xí)者的人口統(tǒng)計(jì)特征fpk(i)、學(xué)習(xí)行為特征fbk(i)和情感特征fek(i),其中情感特征fek(i)為基于自注意力機(jī)制的BiLSTM文本情感分類模型的輸出結(jié)果——文本在不同情感類別上的分布概率p.

由圖1可知,學(xué)習(xí)者特征的有效表示是學(xué)習(xí)狀態(tài)建模的前提.基于學(xué)習(xí)者的基礎(chǔ)信息pk(i)和學(xué)習(xí)行為信息bk(i),分別抽取其人口統(tǒng)計(jì)特征fpk(i)和學(xué)習(xí)行為特征fbk(i);基于學(xué)習(xí)者發(fā)表的文本,采用基于自注意力機(jī)制的BiLSTM文本情感分類模型,獲取情感特征向量,即學(xué)習(xí)者的情感特征fek(i);采用多源特征融合函數(shù)fuse,獲得學(xué)習(xí)者特征xk(i).

xk(i)=fuse(fpk(i),fbk(i),fek(i))

(7)

本文采用向量拼接融合多源特征,即xk(i)=[fpk(i);fbk(i);fek(i)],其中“;”表示特征向量按行序拼接.

3.3 基于LSTM的在線學(xué)習(xí)狀態(tài)建模和學(xué)習(xí)成績預(yù)測

3.3.1 學(xué)習(xí)狀態(tài)建模

學(xué)習(xí)具有時(shí)間上的持續(xù)性.學(xué)習(xí)過程中,學(xué)習(xí)者在第k個(gè)時(shí)間步的學(xué)習(xí)狀態(tài),既與當(dāng)前時(shí)間步k的學(xué)習(xí)行為相關(guān),也受第k-1個(gè)時(shí)間步學(xué)習(xí)狀態(tài)的影響,因此需要?jiǎng)討B(tài)地建模學(xué)習(xí)者在不同時(shí)間步的學(xué)習(xí)狀態(tài).本文采用LSTM構(gòu)建學(xué)習(xí)者在時(shí)間序列上的學(xué)習(xí)狀態(tài)模型.

圖3 LSTM網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.3 LSTM network model structure

(8)

其中,Wc是細(xì)胞狀態(tài)的權(quán)值矩陣,bc是細(xì)胞狀態(tài)的偏置向量.

考慮學(xué)習(xí)過程中學(xué)習(xí)者對已有知識的遺忘、記憶以及對新知識的吸收,分別通過遺忘門fk(i)和輸入門ik(i)更新第k個(gè)時(shí)間步的隱含學(xué)習(xí)狀態(tài).

fk(i)=σ(Wf[yk-1(i);xk(i)]+bf)

(9)

ik(i)=σ(Wi[yk-1(i);xk(i)]+bi)

(10)

(11)

其中,Wf和Wi是遺忘門和輸入門的權(quán)值矩陣,bf和bi是遺忘門和輸入門的偏置向量;σ是sigmoid函數(shù),⊙表示向量按位乘運(yùn)算.

在學(xué)習(xí)過程中,學(xué)習(xí)者的情緒狀態(tài)(如:緊張、困惑、挫敗等)會影響其學(xué)習(xí)效果,隱含學(xué)習(xí)狀態(tài)難以完全輸出,因此通過輸出門ok(i)將第k個(gè)時(shí)間步的隱含學(xué)習(xí)狀態(tài)ck(i)轉(zhuǎn)換為學(xué)習(xí)者的實(shí)際學(xué)習(xí)狀態(tài)yk(i).

ok(i)=σ(Wo[yk-1(i);xk(i)]+bo)

(12)

yk(i)=ok(i)⊙tanh(ck(i))

(13)

其中,Wo和bo分別是輸出門的權(quán)值矩陣和偏置向量.

3.3.2 學(xué)習(xí)成績預(yù)測

采用在線學(xué)習(xí)狀態(tài)模型,獲得學(xué)習(xí)者Li在不同知識點(diǎn)k上的動(dòng)態(tài)學(xué)習(xí)狀態(tài)yk(i);當(dāng)學(xué)習(xí)者完成某課程所有知識點(diǎn)的學(xué)習(xí)后,得到最終的學(xué)習(xí)狀態(tài)向量y(i);采用一個(gè)單隱層的MLP(Multilayer Perceptron)神經(jīng)網(wǎng)絡(luò),即可預(yù)測學(xué)習(xí)者Li的課程成績g(i).

g(i)=sigmoid(W2c(i)+b2)

(14)

其中,W2和b2分別是線性變換的權(quán)值向量和偏置向量.

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文所提模型的有效性,本文采集了國內(nèi)某大學(xué)在線學(xué)習(xí)平臺上2020年春季學(xué)期至2021年秋季學(xué)期中5門在線課程的人口統(tǒng)計(jì)學(xué)信息、學(xué)習(xí)行為數(shù)據(jù)、學(xué)習(xí)體驗(yàn)文本等.其中,人口統(tǒng)計(jì)學(xué)信息主要包括學(xué)習(xí)者的基本信息,如:年齡、性別、教育層次、專業(yè)、先修課成績等;學(xué)習(xí)行為數(shù)據(jù)是指在線學(xué)習(xí)中的過程性數(shù)據(jù),如:下載文獻(xiàn)、提交作業(yè)、觀看視頻、在線練習(xí)、在線討論、論壇發(fā)帖及回復(fù)等;學(xué)習(xí)體驗(yàn)文本主要來源于課程論壇中學(xué)習(xí)者針對知識點(diǎn)、課程內(nèi)容、學(xué)習(xí)活動(dòng)、學(xué)習(xí)交互等發(fā)布的文本.由于學(xué)習(xí)體驗(yàn)文本缺少情感標(biāo)簽,因此需要進(jìn)行人工標(biāo)注,本文將學(xué)習(xí)體驗(yàn)文本的情感標(biāo)簽確定為積極、消極和中性3類.綜上,形成了本文模型所使用的學(xué)習(xí)者特征,見表1.

表1 模型使用的特征Table 1 Features used in the model

4.2 文本情感分類模型結(jié)果分析

4.2.1 實(shí)驗(yàn)設(shè)置

下載學(xué)習(xí)者發(fā)表在課程論壇中的文本數(shù)據(jù),形成在線課程文本數(shù)據(jù)集,并按照6:2:2的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集.將準(zhǔn)確率(Accuracy,ACC)作為情感分類模型的評價(jià)指標(biāo),采用均方根誤差(Root mean square error,RMSE)衡量預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的分離程度.計(jì)算公式如下:

Acc=T/N

(15)

(16)

文本情感分類模型使用的主要超參數(shù)如下:針對在線課程文本數(shù)據(jù)集,采用騰訊AI Lab的中文詞向量數(shù)據(jù)訓(xùn)練詞向量,建立200維的詞向量矩陣;設(shè)置文本表示向量的維度為50,每條文本的長度不超過50個(gè)詞語;設(shè)置BiLSTM模型中隱藏層的節(jié)點(diǎn)數(shù)為100;設(shè)置初始學(xué)習(xí)率(Learning rate)為0.005,并采用Adam方法優(yōu)化模型參數(shù).

4.2.2 結(jié)果分析

基于Stanford Sentiment Treebank(SST)[23]數(shù)據(jù)集和本文采集的在線課程文本數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,選擇SSWE[24]、RNTN-RNN[23]、PVDMM[25]模型和本文模型進(jìn)行對比,實(shí)驗(yàn)結(jié)果見表2.其中,SSWE模型的核心步驟為:首先進(jìn)行文本中情緒特征的詞向量表示,使用池化操作處理句子中單詞的詞向量并獲取文本表示,進(jìn)而訓(xùn)練SVM分類器實(shí)現(xiàn)情感分類.RNTN-RNN模型的核心步驟為:采用遞歸神經(jīng)張量網(wǎng)絡(luò)RNTN獲得句子表示,將其輸入遞歸神經(jīng)網(wǎng)絡(luò)RNN,對其每個(gè)時(shí)間步的隱向量進(jìn)行平均并獲取文本表示,進(jìn)而訓(xùn)練情感分類模型.PVDMM模型的核心步驟為:采用段落向量的分布式存儲模型PVDMM學(xué)習(xí)文本表示,進(jìn)而使用隱藏層和softmax函數(shù)實(shí)現(xiàn)文本情感分類.

表2 不同情感分類模型的準(zhǔn)確率Table 2 Accuracy of different sentiment classification models

實(shí)驗(yàn)結(jié)果表明:與SSWE、RNTN-RNN、PVDMM模型相比,本文提出的文本情感分類模型的效果最好,在2個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率最高(見表2),在課程文本數(shù)據(jù)集上的分類均方根誤差最小(如圖4所示).究其原因在于本文方法采用了基于自注意力機(jī)制的BiLSTM模型,對文本中情緒特征程度不同的詞語賦予不同權(quán)重(即“注意力”),能有效發(fā)現(xiàn)蘊(yùn)含情緒的詞語,捕捉文本的情感特征,因此其情感分類效果更優(yōu).

圖4 不同情感分類模型的均方根誤差Fig.4 RMSE of different sentiment classification models

4.3 在線學(xué)習(xí)成績預(yù)測結(jié)果分析

4.3.1 實(shí)驗(yàn)設(shè)置

在數(shù)據(jù)預(yù)處理時(shí),選擇課程討論過程中發(fā)貼數(shù)量處于前85%的學(xué)習(xí)者的數(shù)據(jù),組成在線學(xué)習(xí)成績預(yù)測模型的有效數(shù)據(jù)集.學(xué)習(xí)狀態(tài)向量的維度m=20.在5門在線課程上進(jìn)行了學(xué)習(xí)成績預(yù)測實(shí)驗(yàn),按照8:2的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測試集.將準(zhǔn)確率Accg和均方根誤差RMSEg作為在線學(xué)習(xí)成績預(yù)測模型的評價(jià)指標(biāo),計(jì)算公式如下:

Accg=T[a,b]/N

(17)

(18)

4.3.2 結(jié)果分析

基于在線學(xué)習(xí)成績預(yù)測數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,選擇MR、MLP、XGBoost、FM模型和本文模型進(jìn)行對比.其中,MR為多變量回歸模型,MLP為包含一個(gè)隱含層的多層感知器,XGBoost為一個(gè)基于Boosting框架的集成模型,FM[26]是一種基于矩陣分解(Matrix Factorization,MF)的方法.

表3 課程成績預(yù)測結(jié)果Table 3 Achievement prediction results of courses

實(shí)驗(yàn)結(jié)果表明:與其他方法相比,本文提出的成績預(yù)測方法的效果更好.究其原因在于:1)本文方法不僅采用了學(xué)習(xí)者的人口統(tǒng)計(jì)特征和學(xué)習(xí)行為特征等客觀特征,而且使用了在線課程文本的情感特征,能充分體現(xiàn)學(xué)習(xí)者的主觀性,進(jìn)而全面刻畫學(xué)習(xí)者在線學(xué)習(xí)狀態(tài);2)本文方法考慮了學(xué)習(xí)者的整體動(dòng)態(tài)學(xué)習(xí)過程,采用LSTM構(gòu)建其在時(shí)間序列上的學(xué)習(xí)狀態(tài)模型,針對不同知識點(diǎn)獲取學(xué)習(xí)者的在線學(xué)習(xí)狀態(tài)變化,在一定程度上提升了成績預(yù)測效果.FM方法僅考慮了學(xué)習(xí)者的課程成績數(shù)據(jù),難以有效刻畫學(xué)習(xí)者的學(xué)習(xí)行為.MR-、MLP-和XGBoost-僅采用人口統(tǒng)計(jì)特征和不同知識點(diǎn)k上學(xué)習(xí)行為特征的平均值,難以充分反映學(xué)習(xí)者在學(xué)習(xí)過程中學(xué)習(xí)狀態(tài)的變化.與MR-、MLP-和XGBoost-相比,MR+、MLP+和XGBoost+分別增加了在線課程文本的情感特征,成績預(yù)測效果有不同程度的提升,表明情感特征是成績預(yù)測中不可忽視的重要因素.

本文模型使用了人口統(tǒng)計(jì)特征、學(xué)習(xí)行為特征和情感特征.為了探討這3類特征對在線課程成績預(yù)測結(jié)果的影響,進(jìn)一步設(shè)置以下對比實(shí)驗(yàn):分別刪除3類特征,并比較特征刪除前后的在線課程成績預(yù)測結(jié)果,如圖5所示.實(shí)驗(yàn)結(jié)果表明:

圖5 不同特征對在線課程成績預(yù)測的影響Fig.5 Influence of different features for online course performance prediction

僅減少人口統(tǒng)計(jì)特征時(shí),對成績預(yù)測效果的影響最小,成績預(yù)測結(jié)果降低了約2%,原因在于在線學(xué)習(xí)過程中人口統(tǒng)計(jì)特征通常不會發(fā)生變化,難以充分體現(xiàn)學(xué)習(xí)者的個(gè)體差異;僅減少學(xué)習(xí)行為特征時(shí),對成績預(yù)測效果的影響最大,成績預(yù)測結(jié)果降低了約51%,原因在于學(xué)習(xí)行為特征能充分反映學(xué)習(xí)者的學(xué)習(xí)狀態(tài),進(jìn)而明顯地影響其課程成績;僅刪除情感特征時(shí),成績預(yù)測結(jié)果降低了約16%,原因在于情感特征反映了學(xué)習(xí)者在學(xué)習(xí)過程中的情緒狀態(tài),對學(xué)習(xí)者的在線課程成績具有不可忽視的重要作用.

為了闡明情感特征與學(xué)習(xí)狀態(tài)之間的關(guān)系,本文隨機(jī)選取某門課程中兩個(gè)相鄰的知識點(diǎn)ki和ki+1,獲取積極情感隸屬不同概率區(qū)間的學(xué)習(xí)者集合,分析各集合中學(xué)習(xí)者的學(xué)習(xí)狀態(tài)變化.由于本文使用的學(xué)習(xí)狀態(tài)向量的維度m=20,不失一般性,僅分析與在線課程成績相關(guān)度最高的m5、m7和m16,如圖6所示.

圖6 學(xué)習(xí)狀態(tài)呈正向變化的學(xué)習(xí)者的占比(積極情感)Fig.6 Ratio of learners with a positive change of learning status(positive emotions)

根據(jù)ki+1時(shí)刻學(xué)習(xí)者在積極情感上的預(yù)測概率,將其劃分到(0,0.5]、(0.5,0.7]、(0.7,0.9]和(0.9,1]4個(gè)區(qū)間,分別統(tǒng)計(jì)各區(qū)間內(nèi)在m5、m7和m16維度上學(xué)習(xí)狀態(tài)呈正向變化的學(xué)習(xí)者的占比,其中正向變化是指學(xué)習(xí)狀態(tài)維度上ki+1時(shí)刻的數(shù)值大于ki時(shí)刻的數(shù)值.由圖6可知,當(dāng)學(xué)習(xí)者在積極情感上的預(yù)測概率位于[0.5,1]區(qū)間時(shí),大部分學(xué)習(xí)者的積極情感占主導(dǎo)地位、學(xué)習(xí)狀態(tài)呈正向變化;表明學(xué)習(xí)者的學(xué)習(xí)態(tài)度積極、學(xué)習(xí)主動(dòng)性強(qiáng),能比較順利地學(xué)習(xí)知識點(diǎn),并踴躍參與在線學(xué)習(xí)活動(dòng)(如:在線討論、觀看視頻、完成課堂練習(xí)及課后作業(yè)等).但是,仍有少數(shù)學(xué)習(xí)者雖然表現(xiàn)出較高的積極情緒,其學(xué)習(xí)狀態(tài)卻呈負(fù)向變化(即學(xué)習(xí)狀態(tài)維度上ki+1時(shí)刻的數(shù)值小于ki時(shí)刻的數(shù)值),究其原因可能在于其在人口統(tǒng)計(jì)特征或?qū)W習(xí)行為特征上表現(xiàn)不佳,如先修課成績較差或課堂測驗(yàn)成績較低等.當(dāng)學(xué)習(xí)者在積極情感上的預(yù)測概率位于[0,0.5]區(qū)間時(shí),多數(shù)學(xué)習(xí)者的消極或中性情緒占主導(dǎo)地位、學(xué)習(xí)狀態(tài)呈負(fù)向變化;表明學(xué)習(xí)者的學(xué)習(xí)態(tài)度不夠積極、學(xué)習(xí)主動(dòng)性較差,學(xué)習(xí)知識點(diǎn)時(shí)存在一定困難.此時(shí),有部分學(xué)習(xí)者的學(xué)習(xí)狀態(tài)卻仍然呈正向變化,究其原因可能在于他們習(xí)慣表達(dá)消極情緒或通過提問/求助等方式學(xué)習(xí)知識點(diǎn),并在學(xué)習(xí)過程中投入較多時(shí)間和較大精力.

5 結(jié) 論

本文提出一種融合情感特征的在線學(xué)習(xí)成績預(yù)測方法,定量分析了情感信息對學(xué)習(xí)者在線學(xué)習(xí)成績預(yù)測的影響.首先,下載在線課程論壇數(shù)據(jù),形成在線課程文本數(shù)據(jù)集;構(gòu)建基于自注意力機(jī)制的BiLSTM文本情感分類模型,獲取文本情感特征(即文本在不同情感類別上的概率分布向量).其次,融合學(xué)習(xí)者的人口統(tǒng)計(jì)特征、學(xué)習(xí)行為特征和文本情感特征,采用LSTM構(gòu)建學(xué)習(xí)者在時(shí)間序列上的學(xué)習(xí)狀態(tài)模型,獲得其動(dòng)態(tài)學(xué)習(xí)狀態(tài).最后,基于學(xué)習(xí)者的學(xué)習(xí)狀態(tài)向量預(yù)測其在線學(xué)習(xí)成績.實(shí)驗(yàn)結(jié)果表明:本文提出的文本情感分類模型對在線課程論壇文本的分類效果更好,能夠很好地提取學(xué)習(xí)者的情感信息;融合文本情感特征的學(xué)習(xí)狀態(tài)模型能有效提升在線學(xué)習(xí)成績預(yù)測的精度.

下一步工作將繼續(xù)探索更優(yōu)的文本情感分類模型,進(jìn)一步提升在線學(xué)習(xí)成績預(yù)測的效果;本文方法本質(zhì)上是基于深度學(xué)習(xí)的在線學(xué)習(xí)成績預(yù)測方法,其可解釋性較差,擬結(jié)合基于概率的成績預(yù)測方法(如:知識追蹤技術(shù)),增強(qiáng)在線學(xué)習(xí)成績預(yù)測的可解釋性.