吳水秀 羅賢增 鐘茂生,2 吳如萍 羅 瑋

1 （江西師范大學(xué)計(jì)算機(jī)信息工程學(xué)院 南昌 330022）

2 （江西師范大學(xué)江西教育數(shù)字化轉(zhuǎn)型研究中心 南昌 330022）

（wushuixiu@jxnu.edu.cn）

中國(guó)的教育已步入新時(shí)代，為了更好地落實(shí)科教興國(guó)、人才強(qiáng)國(guó)戰(zhàn)略，國(guó)家對(duì)教育現(xiàn)代化[1]和信息化[2]均提出了新要求、新使命. 同時(shí)，普通民眾對(duì)知識(shí)更新的需求不斷增高，以固定時(shí)間、確定地點(diǎn)進(jìn)行的線下課堂教學(xué)活動(dòng)，已經(jīng)難以滿足知識(shí)日益更新、終生學(xué)習(xí)的新形勢(shì)和新需求. 在知識(shí)快速更新的新形勢(shì)和終身自主學(xué)習(xí)的新需求推動(dòng)下，各種大規(guī)模開(kāi)放式在線課程（massive open online courses，MOOC）學(xué)習(xí)平臺(tái)如雨后春筍般地發(fā)展起來(lái)，如edX、Coursera、MIT Open Courseware、Stanford Online、ITS、騰訊課堂、百度傳課、智學(xué)網(wǎng)和淘寶教育等. 在線學(xué)習(xí)（elearning）、開(kāi)放學(xué)習(xí)（open-learning）為實(shí)現(xiàn)“人人皆學(xué)、處處能學(xué)、時(shí)時(shí)可學(xué)”和“終身學(xué)習(xí)”，為教育優(yōu)質(zhì)均衡發(fā)展和實(shí)現(xiàn)教育公平提供了技術(shù)上的保證；對(duì)于構(gòu)建學(xué)習(xí)型社會(huì)，促進(jìn)人的素質(zhì)的全面提高，也具有重要的意義.

MOOC 平臺(tái)匯聚了海量的優(yōu)質(zhì)教學(xué)資源，這些種類繁多、琳瑯滿目的資源為廣大學(xué)習(xí)者實(shí)現(xiàn)自主學(xué)習(xí)的同時(shí)，也造成了“信息過(guò)載”和“信息迷航”等問(wèn)題. 一項(xiàng)對(duì)在線學(xué)習(xí)用戶的研究表明，以不適當(dāng)?shù)恼n程視頻向用戶提供學(xué)習(xí)內(nèi)容會(huì)降低他們的參與度[3].隨著個(gè)性化學(xué)習(xí)需求的不斷增加，基于學(xué)習(xí)者的知識(shí)偏好和學(xué)習(xí)需求向用戶推薦符合他們的興趣和認(rèn)知水平的教學(xué)資源變得越來(lái)越重要.

推薦技術(shù)旨在解決“信息過(guò)載”問(wèn)題，使用戶從浩如煙海的信息中快速定位到自己感興趣的內(nèi)容，已經(jīng)廣泛應(yīng)用于許多領(lǐng)域，如產(chǎn)品推薦、新聞推薦、亞馬遜圖書(shū)推薦和Netflix 電影推薦[4-5]. 受這些領(lǐng)域成功案例的啟發(fā)，有研究者將推薦技術(shù)引入MOOC推薦中，用以解決學(xué)習(xí)資源與學(xué)習(xí)者興趣和需求不匹配等問(wèn)題，并取得一定進(jìn)展. 然而，目前的推薦方法在建模學(xué)習(xí)者學(xué)習(xí)偏好和預(yù)測(cè)學(xué)習(xí)者需求時(shí)仍然存在3 點(diǎn)不足：

1） 無(wú)法深度挖掘課程內(nèi)容的隱含信息. MOOC大多以視頻為載體向?qū)W習(xí)者傳遞知識(shí)，而視頻包含了豐富的信息，如語(yǔ)音、字幕等，通過(guò)挖掘課程視頻信息能夠進(jìn)一步過(guò)濾與學(xué)習(xí)者需求不符的課程資源.例如，有的教師講授數(shù)據(jù)結(jié)構(gòu)課程時(shí)采用C 語(yǔ)言，而有的教師可能采用C++或者Java 語(yǔ)言，這些潛在信息對(duì)于精確表示課程特征、提高推薦質(zhì)量具有輔助意義.

2） 容易形成“蠶繭效應(yīng)”. 推薦的課程若不能在學(xué)習(xí)者興趣的基礎(chǔ)上適度延伸、拓展，就不可避免地產(chǎn)生“蠶繭效應(yīng)”，造成學(xué)習(xí)者視野日益狹窄、喪失學(xué)習(xí)興致，而要打破這種“蠶房”的桎梏，就要求模型能夠挖掘課程內(nèi)容的個(gè)性和共性特征，增加推薦的多樣性. 例如，學(xué)習(xí)者在學(xué)習(xí)“操作系統(tǒng)”課程的“哲學(xué)家進(jìn)餐問(wèn)題”時(shí)，模型能夠給出“信號(hào)量機(jī)制”“銀行家算法”等相關(guān)的延伸知識(shí)的推薦.

3） 難以捕獲學(xué)習(xí)者動(dòng)態(tài)變化的學(xué)習(xí)需求和興趣. 隨著學(xué)習(xí)者對(duì)知識(shí)的不斷內(nèi)化和遷移，其需求和興趣可能會(huì)隨之變化，如何動(dòng)態(tài)追蹤學(xué)習(xí)者不斷變化的學(xué)習(xí)需求和興趣也是亟待解決的關(guān)鍵問(wèn)題.

針對(duì)這3 點(diǎn)不足，本文提出了一種融合視頻字幕信息的MOOC 資源動(dòng)態(tài)推薦模型（MOOC resource dynamic recommendation model fusing video subtitle information, MOOCDR-VSI）. 視頻的字幕文本是向?qū)W習(xí)者傳遞信息的重要載體，通過(guò)提取字幕的語(yǔ)義特征能夠從自然語(yǔ)言處理的角度理解視頻內(nèi)容，進(jìn)而深度挖掘課程內(nèi)容的隱含信息. MOOCDR-VSI 的思想類似于觀看外文電影時(shí)，雙語(yǔ)字幕能夠幫助觀看者理解視頻內(nèi)容. 另一方面，通過(guò)引入課程內(nèi)容的語(yǔ)義關(guān)聯(lián)挖掘視頻內(nèi)容的個(gè)性和共性特征，增加推薦的多樣性，能夠適度地?cái)U(kuò)充學(xué)習(xí)者的視野和興趣.MOOCDR-VSI 首先探索學(xué)習(xí)者的學(xué)習(xí)記錄和相應(yīng)的課程內(nèi)容，學(xué)習(xí)記錄中的觀看完成率是刻畫(huà)學(xué)習(xí)者對(duì)當(dāng)前學(xué)習(xí)內(nèi)容是否感興趣的重要特征. 對(duì)于課程內(nèi)容，MOOCDR-VSI 首先采用BERT（bidirectional encoder representations from transformers）[6]編碼器和多頭注意力機(jī)制獲取每個(gè)視頻字幕的語(yǔ)義信息和挖掘視頻內(nèi)容的個(gè)性特征. 然后，MOOCDR-VSI 采用一種基于LSTM（long short-term memory）[7]的網(wǎng)絡(luò)結(jié)構(gòu)動(dòng)態(tài)建模學(xué)習(xí)者的興趣狀態(tài). 接著通過(guò)引入注意力機(jī)制關(guān)注不同課程的共性特征. 最后，結(jié)合學(xué)習(xí)者當(dāng)前的興趣狀態(tài)和課程內(nèi)容的特征生成推薦列表. 總的來(lái)說(shuō)，本文的主要貢獻(xiàn)包括4 個(gè)方面：

1） 通過(guò)BERT 編碼器獲取MOOC 視頻字幕的文本表示，并采用多頭注意力從不同的語(yǔ)義空間捕獲局部特征間的依賴關(guān)系，深度挖掘了課程內(nèi)容之間的個(gè)性信息和共性信息；

2） 通過(guò)外部矩陣建模了不同MOOC 與各個(gè)知識(shí)點(diǎn)的關(guān)聯(lián)性，學(xué)習(xí)者每一次完成MOOC 學(xué)習(xí)后，采用一種基于LSTM 的網(wǎng)絡(luò)架構(gòu)更新學(xué)習(xí)者對(duì)每一個(gè)知識(shí)的偏好狀態(tài)，從而動(dòng)態(tài)獲取學(xué)習(xí)者的知識(shí)偏好狀態(tài)；

3） 引入注意力機(jī)制捕獲MOOC 視頻之間的相關(guān)性，結(jié)合學(xué)習(xí)者當(dāng)前的知識(shí)偏好狀態(tài)推薦出TopN個(gè)學(xué)習(xí)者可能感興趣的MOOC 視頻；

4） 構(gòu)建了融合字幕信息的MOOC 推薦模型MOOCDR-VSI，在真實(shí)學(xué)習(xí)場(chǎng)景下收集的MOOCCube 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了該模型的有效性.

1 相關(guān)工作

傳統(tǒng)的課程推薦算法包括協(xié)同過(guò)濾推薦算法[8-10]、基于內(nèi)容的推薦算法[11]和混合的推薦算法[12-14]. 其中，協(xié)同過(guò)濾推薦算法主要依賴用戶對(duì)課程的反饋（包括評(píng)價(jià)、打分），而較少地考慮用戶和課程的內(nèi)容信息，當(dāng)用戶對(duì)課程的交互信息較少時(shí)，容易產(chǎn)生冷啟動(dòng)問(wèn)題. 有研究者通過(guò)引入學(xué)習(xí)行為[15]、社交網(wǎng)絡(luò)[16]、用戶屬性[17]和上下文[18]等輔助信息減少用戶對(duì)課程交互信息的依賴，緩解了由交互數(shù)據(jù)稀疏帶來(lái)的冷啟動(dòng)問(wèn)題. 基于內(nèi)容的推薦算法主要依賴挖掘課程之間的相似度，為用戶推薦與過(guò)去學(xué)習(xí)相似的課程，但項(xiàng)目的內(nèi)容信息往往同時(shí)包含結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，因此這種算法高度依賴特征工程. 為了滿足個(gè)性化學(xué)習(xí)的需求，混合推薦算法成為解決復(fù)雜場(chǎng)景的主流算法，如Chen 等人[19]提出了一種基于內(nèi)容的協(xié)同過(guò)濾方法來(lái)獲得與內(nèi)容相關(guān)的課程集，然后根據(jù)學(xué)習(xí)者學(xué)習(xí)序列，使用順序模式挖掘算法，對(duì)課程集進(jìn)行篩選.Li 等人[20]通過(guò)融合用戶興趣模型和教學(xué)資源模型構(gòu)建了個(gè)性化網(wǎng)絡(luò)教學(xué)資源系統(tǒng)，改進(jìn)的混合推薦算法在個(gè)性化課程推薦系統(tǒng)中具有更好的性能，但這些方法大都將用戶偏好視為靜止?fàn)顟B(tài)，即無(wú)法動(dòng)態(tài)監(jiān)控用戶每一次交互后的興趣變化，因此依然存在一定局限性.

近年來(lái)，深度學(xué)習(xí)因其具有強(qiáng)大的特征提取能力受到研究者們的關(guān)注，受其在語(yǔ)音分析[21]和文本處理[22]等領(lǐng)域成功的啟發(fā)，有研究者將深度學(xué)習(xí)引入課程推薦系統(tǒng).Zhao 等人[23]提出了一種全路徑學(xué)習(xí)的推薦模型，該模型首先對(duì)學(xué)習(xí)者集合進(jìn)行聚類，接著訓(xùn)練LSTM 來(lái)預(yù)測(cè)學(xué)習(xí)者的學(xué)習(xí)路徑和學(xué)習(xí)成績(jī)，最后根據(jù)學(xué)習(xí)路徑預(yù)測(cè)的結(jié)果推薦個(gè)性化學(xué)習(xí)的完整路徑. Li 等人[24]提出了一種基于互信息的特征選擇（mutual information feature selection，MIFs）模型和學(xué)習(xí)者學(xué)習(xí)資源二部圖關(guān)聯(lián)模型，利用深度神經(jīng)網(wǎng)絡(luò)挖掘?qū)W習(xí)者的個(gè)性化偏好基礎(chǔ)，進(jìn)而為學(xué)習(xí)者推薦資源.Fan 等人[25]通過(guò)構(gòu)建了一個(gè)多注意力（學(xué)習(xí)記錄注意力、課程描述注意力等）網(wǎng)絡(luò)模型探索多個(gè)非結(jié)構(gòu)化信息，為分析學(xué)生的學(xué)習(xí)行為和進(jìn)行個(gè)性化的MOOC 推薦提供了一種可解釋的策略.Wang等人[26]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的TopN個(gè)性化課程推薦方法，并探索了2 種不同的聚合函數(shù)來(lái)處理學(xué)習(xí)者的序列鄰居. 在考慮課程內(nèi)容的工作中，Xu等人[27]提出一個(gè)融入課程名稱、課程評(píng)價(jià)等信息的多模態(tài)課程特征提取的推薦框架. 考慮到課程推薦存在豐富的實(shí)體關(guān)系，Gong 等人[28]通過(guò)構(gòu)建異構(gòu)信息網(wǎng)絡(luò)（heterogeneous information network，HIN）[29]捕獲多種實(shí)體，如課程、視頻、教師之間的關(guān)系并將其納入學(xué)習(xí)過(guò)程. 這些方法相較傳統(tǒng)的協(xié)同過(guò)濾方法能夠獲得較好的推薦效果，但由于其無(wú)法深入挖掘課程內(nèi)容的隱含信息，可能導(dǎo)致推薦的結(jié)果存在“蠶繭效應(yīng)”，即無(wú)法在學(xué)習(xí)者興趣的基礎(chǔ)上進(jìn)行擴(kuò)展及延伸式的推薦. 另一方面，這些方法大多將學(xué)習(xí)者興趣和需求視為靜止?fàn)顟B(tài)，不符合學(xué)習(xí)者的興趣隨學(xué)習(xí)時(shí)間變化的過(guò)程，因此，這些方法依然存在一定的局限性.

2 問(wèn)題描述與研究思路

2.1 問(wèn)題描述

課程視頻推薦可以形式化為一個(gè)有監(jiān)督的序列預(yù)測(cè)問(wèn)題，假設(shè)在一個(gè)學(xué)習(xí)系統(tǒng)中存在一個(gè)學(xué)習(xí)者S和一組課程視頻E，學(xué)習(xí)者S1的學(xué)習(xí)序列表示為其中元組表示該學(xué)生在時(shí)刻t的學(xué)習(xí)交互，titlet和captiont分別表示學(xué)習(xí)者時(shí)刻t學(xué)習(xí)的MOOC視頻的標(biāo)題和字幕文本，和分別表示觀看視頻的開(kāi)始時(shí)間和結(jié)束時(shí)間，dt表示該課程視頻時(shí)長(zhǎng). 通過(guò)預(yù)設(shè)的模型捕捉每個(gè)時(shí)刻學(xué)習(xí)者的學(xué)習(xí)興趣和需求，并預(yù)測(cè)該學(xué)習(xí)者在時(shí)刻t+1 可能感興趣的N個(gè)MOOC 視頻.

2.2 研究思路

針對(duì)傳統(tǒng)MOOC 推薦模型存在的無(wú)法深入挖掘課程視頻內(nèi)容信息、推薦結(jié)果擴(kuò)展性較差以及無(wú)法捕捉學(xué)習(xí)者動(dòng)態(tài)變化的學(xué)習(xí)興趣和需求等問(wèn)題，本文按照以下研究思路進(jìn)行學(xué)習(xí)者興趣動(dòng)態(tài)建模和MOOC 推薦：

首先，本文將BERT 作為視頻標(biāo)題和字幕文本的編碼器，考慮到BERT 模型采用雙向的Transformer結(jié)構(gòu)[30]，因此它能夠較好地捕獲前后文的語(yǔ)義信息.接著采用多頭注意力機(jī)制從不同語(yǔ)義空間捕獲局部特征間的依賴關(guān)系，進(jìn)一步挖掘課程視頻的個(gè)性特征和共性特征，以此獲得較好的擴(kuò)展性推薦結(jié)果. 對(duì)于建模學(xué)習(xí)者的學(xué)習(xí)興趣變化過(guò)程，本文采用LSTM獲取每一時(shí)刻學(xué)習(xí)者的知識(shí)偏好狀態(tài)，由于課程視頻的完成率能夠從側(cè)面反映學(xué)習(xí)者對(duì)當(dāng)前視頻感興趣的程度，因此學(xué)習(xí)者每一時(shí)刻的知識(shí)偏好狀態(tài)由當(dāng)前視頻的知識(shí)點(diǎn)和完成率共同決定. 同時(shí)，課程的知識(shí)點(diǎn)并不孤立而是彼此關(guān)聯(lián)，因此在這個(gè)過(guò)程中引入了課程視頻知識(shí)點(diǎn)的關(guān)聯(lián)性以刻畫(huà)學(xué)習(xí)者完成當(dāng)前視頻學(xué)習(xí)后對(duì)潛在知識(shí)點(diǎn)偏好的影響. 最后通過(guò)注意力機(jī)制獲取已學(xué)習(xí)MOOC 和未學(xué)習(xí)MOOC間的關(guān)聯(lián)，并結(jié)合當(dāng)前時(shí)刻學(xué)習(xí)者的知識(shí)偏好狀態(tài)召回TopN個(gè)學(xué)習(xí)者可能感興趣的MOOC 視頻.

3 MOOCDR-VSI 模型

本節(jié)給出了MOOCDR-VSI 的總體框架和各個(gè)模塊的實(shí)現(xiàn)過(guò)程，包括MOOC 的文本（標(biāo)題文本、字幕文本）特征提取、學(xué)習(xí)者知識(shí)偏好動(dòng)態(tài)建模、MOOC推薦等模塊以及模型的訓(xùn)練方法.

3.1 模型總體框架

本文提出的MOOCDR-VSI 架構(gòu)如圖1 所示，主要分為3 個(gè)模塊：MOOC 文本特征提取、學(xué)習(xí)者知識(shí)偏好動(dòng)態(tài)建模、MOOC 推薦.

Fig. 1 MOOCDR-VSI framework圖1 MOOCDR-VSI 框架

1） MOOC 文本特征提取. MOOC 包含了標(biāo)題和視頻字幕等文本信息，并通過(guò)BERT 編碼器獲得其字符級(jí)的文本嵌入表示，接著采用多頭注意力機(jī)制從不同語(yǔ)義空間捕獲局部特征間的依賴關(guān)系，并輸出最終文本特征的嵌入表示.

2） 學(xué)習(xí)者知識(shí)偏好動(dòng)態(tài)建模. 該模塊將學(xué)習(xí)者學(xué)習(xí)序列的每個(gè)交互信息作為輸入，包含經(jīng)特征提取后得到的MOOC 字幕文本的嵌入表示和當(dāng)前MOOC 的完成率，MOOC 標(biāo)題信息經(jīng)特征提取后與外部知識(shí)存儲(chǔ)矩陣計(jì)算當(dāng)前MOOC 知識(shí)點(diǎn)與其他MOOC 知識(shí)點(diǎn)的關(guān)聯(lián)性，接著通過(guò)LSTM 輸出每次學(xué)習(xí)交互后學(xué)習(xí)者的知識(shí)偏好狀態(tài).

3） MOOC 推薦. 該模塊將結(jié)合當(dāng)前時(shí)刻學(xué)習(xí)者的知識(shí)偏好狀態(tài)以及經(jīng)注意力機(jī)制提取的MOOC 視頻之間的相關(guān)性，從未學(xué)習(xí)的MOOC 資源中召回N個(gè)MOOC 視頻.

3.2 MOOC 文本特征提取

MOOC 中含有大量文本信息，包括標(biāo)題、字幕等，通過(guò)這些信息能從文本的角度來(lái)理解視頻的內(nèi)容.本文首先將BERT 作為編碼器，獲取MOOC 的標(biāo)題和字幕文本的詞向量. 與傳統(tǒng)的Word2vec[31]詞向量表示方法不同，BERT 采用的雙向Transformer 結(jié)構(gòu)包含位置編碼，因此能夠考慮上下文語(yǔ)義信息. 給定MOOC 標(biāo)題文本title= {x1，x2，…，xn}和字幕文本caption= {y1，y2，…，ym}，通過(guò)BERT 預(yù)訓(xùn)練模型得到標(biāo)題矩陣Ot和字幕文本矩陣Oc表示：

其中Ot∈，Oc∈，n，m分別為MOOC 標(biāo)題和字幕文本的長(zhǎng)度，Ti，Cj分別表示MOOC 標(biāo)題和字幕文本的第i和j個(gè)詞的向量表示，為向量維度大小d=768. 接著使用Oc在不同語(yǔ)義空間的文本信息：

其中headi為第i個(gè)頭的自注意力，，，為第i頭自注意力的權(quán)重矩陣，接著將所有自注意力矩陣拼接在一起，最后乘以一個(gè)權(quán)重矩陣W0得到多頭注意力M.

3.3 學(xué)習(xí)者知識(shí)偏好動(dòng)態(tài)建模

學(xué)習(xí)者知識(shí)偏好動(dòng)態(tài)模塊的目標(biāo)是通過(guò)建模學(xué)習(xí)者的學(xué)習(xí)序列，進(jìn)而追蹤學(xué)習(xí)者知識(shí)偏好狀態(tài)隨著學(xué)習(xí)過(guò)程的動(dòng)態(tài)變化. 這個(gè)過(guò)程考慮了3 個(gè)方面的輸入對(duì)學(xué)習(xí)者知識(shí)偏好的影響：1）當(dāng)前MOOC 標(biāo)題的語(yǔ)義信息Ot；2）當(dāng)前MOOC 視頻字幕經(jīng)多頭注意力捕獲的語(yǔ)義信息M；3）當(dāng)前MOOC 學(xué)習(xí)的完成率.

通常MOOC 標(biāo)題包含了當(dāng)前學(xué)習(xí)內(nèi)容的知識(shí)點(diǎn)信息，為了量化完成當(dāng)前MOOC 后對(duì)不同知識(shí)點(diǎn)的影響，在建模過(guò)程引入了外部存儲(chǔ)矩陣Mk，首先將當(dāng)前MOOC 標(biāo)題語(yǔ)義信息Ot和知識(shí)空間矩陣Mk的每一列相乘得到權(quán)重wt：

表示當(dāng)前MOOC 視頻與知識(shí)空間所有知識(shí)點(diǎn)的相關(guān)度，Mk存儲(chǔ)的是MOOC 標(biāo)題語(yǔ)義的嵌入表示. 接著，為了量化不同MOOC 視頻的完成率對(duì)學(xué)習(xí)者知識(shí)偏好的影響，采用了一種合并的方式將完成率與當(dāng)前MOOC 視頻字幕文本語(yǔ)義的向量聚合. 具體而言，首先將學(xué)習(xí)者對(duì)當(dāng)前MOOC 視頻的觀看完成率ri擴(kuò)展為與字幕語(yǔ)義向量相同維度的全“ri”的向量，然后與Mi拼接得到維度為2d的向量xi:

接著，當(dāng)前時(shí)刻學(xué)習(xí)者的知識(shí)偏好狀態(tài)可以表示為

其中為學(xué)習(xí)者對(duì)知識(shí)空間中第j個(gè)知識(shí)的偏好狀態(tài)，其含義為學(xué)習(xí)者完成當(dāng)前MOOC 后對(duì)不同知識(shí)點(diǎn)的偏好影響由當(dāng)前MOOC 與其他知識(shí)點(diǎn)的關(guān)聯(lián)度決定，并將關(guān)聯(lián)度映射到知識(shí)偏好狀態(tài)矩陣Hi的第j列. 接著，在時(shí)刻t，模型采用LSTM 對(duì)學(xué)習(xí)者的每一個(gè)知識(shí)點(diǎn)的學(xué)習(xí)偏好進(jìn)行更新，即具體計(jì)算過(guò)程為：

其中Zx?，Zh?，b?是網(wǎng)絡(luò)參數(shù)，為學(xué)習(xí)者在時(shí)刻t對(duì)第i個(gè)知識(shí)點(diǎn)的偏好狀態(tài). LSTM 是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，對(duì)于處理長(zhǎng)序列依賴問(wèn)題有出色的性能，與RNN 不同，LSTM 設(shè)置了輸入門、遺忘門、輸出門來(lái)控制單元狀態(tài)在每一個(gè)時(shí)刻的更新.

3.4 MOOC 推薦

MOOC 推薦過(guò)程是從m個(gè)未學(xué)習(xí)的MOOC 視頻中召回n個(gè)當(dāng)前學(xué)習(xí)者可能感興趣的MOOC 視頻，該過(guò)程采用注意力機(jī)制的方法計(jì)算學(xué)習(xí)者未學(xué)習(xí)的MOOC 視頻與過(guò)去學(xué)習(xí)的MOOC 視頻的相似度，并根據(jù)學(xué)習(xí)者當(dāng)前知識(shí)偏好狀態(tài)Ht召回n個(gè)MOOC 視頻. 具體而言，學(xué)習(xí)者未學(xué)習(xí)的MOOC 與過(guò)去學(xué)習(xí)的MOOC 的相似度由它們之間的語(yǔ)義余弦相似度刻畫(huà)：

βij為MOOC 視頻字幕語(yǔ)義Mi與Mj的相似度，接著，結(jié)合學(xué)習(xí)者當(dāng)前的知識(shí)偏好狀態(tài)Ht計(jì)算第i個(gè)MOOC 視頻被召回的概率：

其中yt+1為預(yù)測(cè)信息的表征，W1，W2，b1，b2為模型參數(shù)，pt+1表示第i個(gè)MOOC 視頻被召回的概率，pt+1值越大，代表學(xué)習(xí)者對(duì)其感興趣的程度越大，最后通過(guò) 取pt+1前n個(gè)最大值作為推薦結(jié)果.

3.5 目標(biāo)函數(shù)

模型的目標(biāo)函數(shù)是基于學(xué)生MOOC 學(xué)習(xí)序列的負(fù)對(duì)數(shù)似然函數(shù)：

4 實(shí)驗(yàn)與結(jié)果

本節(jié)介紹了實(shí)驗(yàn)所采用的數(shù)據(jù)集、對(duì)比模型以及評(píng)價(jià)模型性能的指標(biāo). 然后給出了實(shí)驗(yàn)結(jié)果以及對(duì)實(shí)驗(yàn)結(jié)果的分析，包括模型損失下降過(guò)程和不同注意力頭數(shù)對(duì)模型性能的影響分析. 最后，給出了追蹤學(xué)習(xí)者知識(shí)偏好狀態(tài)的變化過(guò)程和MOOC 視頻關(guān)聯(lián)性的可視化分析.

4.1 數(shù)據(jù)集、對(duì)比模型和評(píng)估方法

本文實(shí)驗(yàn)選用的數(shù)據(jù)集MOOCCube[32]為中國(guó)最大的 MOOC 平臺(tái)之一的學(xué)堂在線收集的在線學(xué)習(xí)數(shù)據(jù)集，該數(shù)據(jù)集包含了199 199 名學(xué)習(xí)者在706 門真實(shí)在線課程的選課和視頻觀看記錄，這些課程涉及38 181個(gè)教學(xué)視頻和114 563 個(gè)知識(shí)概念.

為了驗(yàn)證MOOCDR-VSI 模型的有效性，本文選取了9 個(gè)典型的基準(zhǔn)方法的對(duì)比實(shí)驗(yàn)結(jié)果.

1） MLP[33]. 該方法利用多層感知器來(lái)學(xué)習(xí)用戶-項(xiàng)目交互的協(xié)同過(guò)濾方法.

2） FISM[9]. 該方法基于內(nèi)容的方法來(lái)生成TopN推薦，該方法將項(xiàng)目相似度矩陣學(xué)習(xí)作為2 個(gè)低維潛在因子矩陣的乘積，緩解了模型的性能由于數(shù)據(jù)稀疏的增加而減低的問(wèn)題.

3） NAIS[34]. 該方法基于內(nèi)容協(xié)同過(guò)濾的神經(jīng)注意項(xiàng)目相似性模型，通過(guò)注意力網(wǎng)絡(luò)區(qū)分用戶交互記錄中哪些歷史項(xiàng)目對(duì)預(yù)測(cè)更重要.

4） NARM[35]. 該方法基于一種具有編解碼結(jié)構(gòu)的神經(jīng)注意推薦機(jī)，通過(guò)在RNN 中加入注意機(jī)制來(lái)捕獲當(dāng)前會(huì)話中用戶的連續(xù)行為和主要目的.

5） metapath2vec[36]. 該方法是一種異構(gòu)網(wǎng)絡(luò)中元路徑引導(dǎo)的隨機(jī)行走策略，能夠捕獲不同類型節(jié)點(diǎn)和關(guān)系的結(jié)構(gòu)和語(yǔ)義關(guān)聯(lián).

6） ACKRec[28]. 該方法是一種基于圖神經(jīng)網(wǎng)絡(luò)的注意卷積網(wǎng)絡(luò)知識(shí)推薦器，通過(guò)構(gòu)建一個(gè)異構(gòu)信息網(wǎng)絡(luò)，以捕獲不同類型實(shí)體之間的有效語(yǔ)義關(guān)系，并將其納入表示學(xué)習(xí)過(guò)程.

7） HRL[13]. 該方法是一種基于分層強(qiáng)化學(xué)習(xí)的課程推薦方法，其在NAIS 模型的基礎(chǔ)上改進(jìn)以去除噪聲數(shù)據(jù).

8） 文獻(xiàn)[25]方法. 該方法是一種基于多級(jí)注意力的方法，通過(guò)學(xué)習(xí)記錄注意、單詞級(jí)注意、句子級(jí)注意等探索了多個(gè)非結(jié)構(gòu)化信息.

9） DARL[37]. 該方法是一種基于動(dòng)態(tài)注意和分層強(qiáng)化學(xué)習(xí)的課程推薦方法，在每次學(xué)習(xí)交互記錄中自適應(yīng)更新課程的注意力權(quán)重.

參照大部分MOOC 推薦模型的研究工作，本文實(shí)驗(yàn)采用命中率（hit radio，HR）和歸一化折損累計(jì)增益（normalize discount cumulative gain，NDCG）作為評(píng)估指標(biāo).HR是評(píng)價(jià)召回準(zhǔn)確率的指標(biāo)，用于衡量成功推薦給學(xué)習(xí)者的項(xiàng)目數(shù)所占的百分比，計(jì)算公式為：

其中GT表示所有學(xué)習(xí)者測(cè)試集長(zhǎng)度之和，Hitsu@K表示測(cè)試集中第u個(gè)學(xué)習(xí)者的推薦列表中的項(xiàng)目數(shù).NDCG是衡量精確度的指標(biāo)，其值越大，表示推薦準(zhǔn)確的結(jié)果排名越靠前，計(jì)算公式為：

其中為排名在第i位的推薦結(jié)果與第u個(gè)用戶的匹配度，如果命中測(cè)試集中的課程則=1，否則=0，IDCGu@K為DCGu@K的理想值，即可能取得的 最大值.

4.2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)?zāi)Ｐ蛥?shù)為：MOOC 視頻標(biāo)題文本字符長(zhǎng)度title_length=10，該長(zhǎng)度為標(biāo)題預(yù)處理后文本的最大長(zhǎng)度，BERT 隱藏單元數(shù)hidden_num=768（即詞向量維度大?。?，BERT 處理每個(gè)MOOC 字幕文本長(zhǎng)度text_length=510，多頭注意力機(jī)制的頭數(shù)num_head=8，batch_size=128，learningrate=0.001，dropoutratio=0.2.實(shí)驗(yàn)將數(shù)據(jù)集80% 的數(shù)據(jù)劃分為訓(xùn)練集與驗(yàn)證集，20%的數(shù)據(jù)劃分為測(cè)試集. 圖2 展示了MOOCDRVSI 方法的損失曲線. 由圖2 可知，MOOCDR-VSI 經(jīng)過(guò)46 輪的迭代后基本達(dá)到收斂，RMSE（root mean square error）穩(wěn)定在0.89 附近.

Fig. 2 Loss curve of MOOCDR-VSI圖2 MOOCDR-VSI 的損失曲線

實(shí)驗(yàn)結(jié)果如表1 所示，MOOCDR-VSI 在HR@5，HR@10，NDCG@5，NDCG@10，NDCG@20 指標(biāo)上取得了最佳的性能，比目前最優(yōu)方法分別提高了2.35%，2.79%，0.69%，2.2%，3.32%，實(shí)驗(yàn)結(jié)果證明了MOOCDRVSI 的有效性.圖3 展示了HR@K和NDCG@K隨著迭代次數(shù)的變化，第47 次左右迭代后趨于穩(wěn)定，達(dá)到了最優(yōu)效果.

Table 1 Experimental Results and Performance Comparison表1 實(shí)驗(yàn)結(jié)果與性能對(duì)比

Fig. 3 HR@K and NDCG@K curves vary with the number of epoches圖3 HR@K 和NDCG@K 隨迭代次數(shù)的變化曲線

本文采用了多頭注意力從不同語(yǔ)義空間的文本信息提取特征，為了研究不同的注意力頭數(shù)num_head對(duì)模型性能的影響，實(shí)驗(yàn)分別取num_head= 1, 2, 4, 8,12 進(jìn)行實(shí)驗(yàn)，不同頭數(shù)的注意力對(duì)模型的影響如圖4 所示. 圖4 中，當(dāng)num_head= 8 時(shí)，模型獲得最佳效果，當(dāng)num_head= 1 時(shí)，此時(shí)的多頭注意機(jī)制為自注意機(jī)制，隨著注意力頭數(shù)的增加，MOOCDR-VSI 性能取得一定提升，這驗(yàn)證了多頭注意力機(jī)制能夠捕捉多方面的信息，深度挖掘MOOC 視頻的個(gè)性信息.但當(dāng)繼續(xù)增加多頭注意力的頭數(shù)時(shí)，導(dǎo)致了MOOCDR-VSI 性能不升反降，這是由于過(guò)多的注意力頭數(shù)可能會(huì)引入噪聲信息從而誤導(dǎo)模型，使得模型性能下降.

Fig. 4 Effect of different attention heads on MOOCDR-VSI performance圖4 不同注意力頭數(shù)對(duì)MOOCDR-VSI 性能影響

另外，MOOCDR-VSI 模型能夠動(dòng)態(tài)跟蹤學(xué)習(xí)者隨學(xué)習(xí)不斷變化的知識(shí)偏好和需求，為了證明模型追蹤學(xué)生知識(shí)偏好狀態(tài)的合理性和可解釋性，我們對(duì)同一個(gè)學(xué)習(xí)者在6 個(gè)知識(shí)點(diǎn)的偏好狀態(tài)進(jìn)行可視化追蹤，如圖5 所示，其中深顏色表示對(duì)應(yīng)知識(shí)點(diǎn)有較高的偏好狀態(tài). 可以看出，該學(xué)習(xí)者在完成第5 次學(xué)習(xí)后，可能對(duì)“K_含水層_地質(zhì)學(xué)”和“K_孔隙比_地質(zhì)學(xué)”有較高的興趣；當(dāng)完成第15 次學(xué)習(xí)后，該次學(xué)習(xí)內(nèi)容可能與“K_透水性_地質(zhì)學(xué)”和“K_孔隙比_地質(zhì)學(xué)”等知識(shí)點(diǎn)具有較高的關(guān)聯(lián)性，因此捕捉到學(xué)習(xí)者可能有學(xué)習(xí)相應(yīng)知識(shí)點(diǎn)的傾向，通過(guò)不斷追蹤學(xué)習(xí)者變化的學(xué)習(xí)偏好和需求能夠使模型更加精準(zhǔn)地推薦相關(guān)MOOC 資源，并且使得模型能夠提供學(xué)習(xí)者知識(shí)偏好層面的解釋.

Fig. 5 Visualization of learners’ knowledge preference state changing with learning圖5 學(xué)習(xí)者隨著學(xué)習(xí)變化的知識(shí)偏好狀態(tài)可視化

除此之外，MOOCDR-VSI 具有較好的擴(kuò)展學(xué)習(xí)者興趣的能力，圖6 展示了基于學(xué)習(xí)者的學(xué)習(xí)記錄的MOOC 視頻推薦結(jié)果，縱軸為一名學(xué)習(xí)者已學(xué)習(xí)過(guò)的MOOC 視頻，橫軸為向該學(xué)習(xí)者推薦的Top 10的MOOC 視頻. 從學(xué)習(xí)者的歷史學(xué)習(xí)記錄來(lái)看，該學(xué)習(xí)者可能對(duì)“化學(xué)”“基因”等學(xué)習(xí)內(nèi)容感興趣，在推薦結(jié)果中給出了“編碼”“繼承”等非“化學(xué)”學(xué)科的相關(guān)延伸知識(shí)，能夠在一定程度上緩解“蠶繭效應(yīng)”造成的學(xué)習(xí)者視野日益狹隘等問(wèn)題，體現(xiàn)了推薦結(jié)果的拓展性和多樣性. 另外，模型通過(guò)計(jì)算MOOC 字幕文本之間的特征相似性而獲得MOOC 內(nèi)容語(yǔ)義層面的相關(guān)性，這種關(guān)聯(lián)性可作為向?qū)W習(xí)者推薦MOOC 的依賴信息. 圖6 中格子顏色越深表示課程之間的相關(guān)性越高，如“K_氨基酸_化學(xué)”與“K_核酸_化學(xué)”可能在內(nèi)容上有較高的相關(guān)性，這種相關(guān)性可能體現(xiàn)在涉及的知識(shí)點(diǎn)或有語(yǔ)義層面的共性特征，這些自動(dòng)學(xué)習(xí)到的結(jié)果可以作為教育領(lǐng)域的數(shù)據(jù)補(bǔ)充.

Fig. 6 MOOC video recommendation results and their correlation analysis圖6 MOOC 視頻推薦結(jié)果及其相關(guān)性分析

5 結(jié)束語(yǔ)

本文提出了一種融合字幕信息的MOOC 推薦模型對(duì)學(xué)習(xí)者的知識(shí)偏好狀態(tài)進(jìn)行動(dòng)態(tài)追蹤，進(jìn)而為學(xué)習(xí)者推薦其可能感興趣的MOOC 視頻資源. 首先通過(guò)BERT 編碼器獲得MOOC 視頻的文本語(yǔ)義信息的表征；接著采用多頭注意力機(jī)制提取到局部語(yǔ)義特征的關(guān)聯(lián)性；其次采用基于LSTM 的網(wǎng)絡(luò)架構(gòu)捕獲學(xué)習(xí)者隨著學(xué)習(xí)不斷變化的知識(shí)偏好狀態(tài)；然后通過(guò)挖掘MOOC 視頻之間的字幕文本語(yǔ)義關(guān)聯(lián)性獲得MOOC 之間的相關(guān)性；最后結(jié)合當(dāng)前學(xué)習(xí)者的知識(shí)偏好狀態(tài)召回TopN個(gè)學(xué)習(xí)者可能感興趣的MOOC 視頻. 這種通過(guò)深入挖掘MOOC 視頻內(nèi)容的方法能夠獲得詞語(yǔ)級(jí)粒度的MOOC 個(gè)性信息和共性信息，從而獲得更加精準(zhǔn)的推薦結(jié)果. 除此之外，通過(guò)追蹤學(xué)習(xí)者知識(shí)偏好狀態(tài)的變化過(guò)程和挖掘MOOC 之間的關(guān)聯(lián)性能夠使模型提供知識(shí)層面的解釋性.

后續(xù)工作我們將構(gòu)建的知識(shí)圖譜引入多種實(shí)體之間，如學(xué)生與課程、課程與教師、課程與知識(shí)點(diǎn)等的關(guān)系作為MOOC 推薦約束的方法. 實(shí)體之間并不是相互獨(dú)立而是彼此關(guān)聯(lián)，例如，不同的教師授課具有不同的風(fēng)格，不同的學(xué)習(xí)者對(duì)不同教師的授課風(fēng)格具有不同的偏好，因此不同實(shí)體之間具有一定的依賴關(guān)系，將知識(shí)圖譜等輔助信息引入推薦模型獲得不同實(shí)體之間的內(nèi)在關(guān)聯(lián)，可以作為MOOC 推薦任務(wù)的約束條件.

作者貢獻(xiàn)聲明：吳水秀負(fù)責(zé)模型的搭建與算法的設(shè)計(jì)；羅賢增和鐘茂生負(fù)責(zé)模型實(shí)現(xiàn)與論文的撰寫(xiě)；吳如萍和羅瑋負(fù)責(zé)實(shí)驗(yàn)的可行性分析.