徐福江
摘 要:針對(duì)當(dāng)前慕課資源協(xié)同過(guò)濾推薦算法存在推薦誤差大、無(wú)法實(shí)現(xiàn)在線推薦的難題,為了提高慕課資源協(xié)同過(guò)濾推薦精度,設(shè)計(jì)了基于云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法。首先分析慕課資源協(xié)同過(guò)濾推薦的原理,提取慕課資源相似度特征,然后引入k-最近鄰對(duì)慕課資源相似度進(jìn)行評(píng)價(jià),實(shí)現(xiàn)慕課資源分類和協(xié)同過(guò)濾推薦,最后在云平臺(tái)分布式、并行實(shí)現(xiàn)慕課資源協(xié)同過(guò)濾推薦算法,并與傳統(tǒng)算法進(jìn)行了仿真對(duì)比實(shí)驗(yàn)。結(jié)果表明,相對(duì)于傳統(tǒng)算法,提出的算法使得慕課資源協(xié)同過(guò)濾推薦精度得到較高提升,能夠解決當(dāng)前慕課資源協(xié)同過(guò)濾推薦算法存在的一些缺陷,而且可以實(shí)現(xiàn)慕課資源協(xié)同過(guò)濾在線推薦,實(shí)際應(yīng)用價(jià)值也得到了改善。
關(guān)鍵詞:慕課資源;k-最近鄰算法;協(xié)同過(guò)濾;資源分類;推薦精度
Abstract:The design of collaborative filtering and recommendation algorithm for MOOC resources is of great significance. In order to improve the accuracy of collaborative filtering and recommendation of MOOC resources, a collaborative filtering and recommendation algorithm based on cloud platform is designed. Firstly, the principle of collaborative filtering and recommendation of MOOC resources is analyzed, and the similarity features of MOOC resources are extracted. Then the k-nearest neighbor is introduced to evaluate the similarity of MOOC resources and realize the classification and collaborative filtering recommendation of MOOC resources. Finally, the collaborative filtering and recommendation algorithm of MOOC resources is implemented in the cloud platform in a distributed and parallel way. The simulation experiment is carried out for the proposed algorithm and traditional algorithms. The results show that, compared with the traditional algorithm, the accuracy of collaborative filtering and recommendation of MOOC resources in this algorithm has been improved greatly. It can solve some defects of current collaborative filtering and recommendation algorithm of MOOC resources, and realize online recommendation of collaborative filtering of MOOC resources. The actual application value has also been improved.
Key words:MOOC resources;algorithm of k-nearest neighbor;collaborative filtering;resource classification;recommendation accuracy
0 引言
隨著國(guó)家對(duì)高校教育質(zhì)量的不斷重視,高校面臨前所未有的發(fā)展機(jī)遇,為了提高高校教育質(zhì)量,教育部提出建立海量的教學(xué)資源庫(kù)。各所高校順應(yīng)教育部的指標(biāo),利用互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)分析技術(shù)的優(yōu)勢(shì),提出智慧教育。在智慧教育實(shí)施過(guò)程中,慕課資源是最重要的組成部分[1-2]。自從2012年以來(lái),慕課資源得到蓬勃的發(fā)展,出現(xiàn)許多慕課平臺(tái),其成為各高校混合式教學(xué)資源的共享平臺(tái)。在慕課資源共享實(shí)際應(yīng)用中,如何為學(xué)生推薦最需要的慕課資源,實(shí)現(xiàn)個(gè)性化教學(xué),是當(dāng)前慕課平臺(tái)需要解決的問(wèn)題,因慕課資源協(xié)同過(guò)濾推薦算法設(shè)計(jì)具有十分重要研究意義[3]。
隨著大數(shù)據(jù)技術(shù)不斷發(fā)展,出現(xiàn)了慕課資源推薦算法,該系統(tǒng)根據(jù)學(xué)生學(xué)習(xí)的歷史記錄以及相關(guān)資料,分析學(xué)生的學(xué)習(xí)興趣,國(guó)外對(duì)慕課資源推薦的研究比較重視,它們借助于電子商務(wù)、旅游線路、社交網(wǎng)絡(luò)等領(lǐng)域的推薦技術(shù),提出許多優(yōu)秀慕課資源推薦算法[4-5],當(dāng)國(guó)內(nèi)對(duì)于慕課資源推薦算法的研究比較少,有學(xué)者提出了基于內(nèi)容的慕課資源推薦算法,運(yùn)用本體論建立慕課資源模型,利用學(xué)生興趣模型對(duì)慕課資源進(jìn)行分類,最后根據(jù)慕課資源特征和學(xué)生興趣特征之間的相似度實(shí)現(xiàn)慕課資源推薦,該類算法存在慕課資源推薦精度大,學(xué)生難以獲得真正需要的慕課資源[6-7]。隨后有學(xué)者提出慕課資源推薦的協(xié)同推薦算法,首先建立學(xué)生學(xué)習(xí)的慕課資源庫(kù)和學(xué)習(xí)瀏覽歷史記錄,通過(guò)慕課資源和學(xué)學(xué)習(xí)記錄的多屬性評(píng)估,根據(jù)一定的關(guān)聯(lián)技術(shù)為每一位學(xué)生推薦最適合的慕課資源,是一類個(gè)性的推薦技術(shù),獲得比基于內(nèi)容的慕課資源推薦效果[8-10]。由于當(dāng)前慕課資源推薦算法均基于單機(jī)平臺(tái),而慕課資源推薦不斷直線上升,而且學(xué)生在線學(xué)習(xí)的人數(shù)成千上萬(wàn),當(dāng)前慕課資源推薦算法均存在工作效率低,難以實(shí)現(xiàn)在線學(xué)習(xí)的要求[11]。
云平臺(tái)是在互聯(lián)網(wǎng)、分布式處理技術(shù)的基礎(chǔ)上發(fā)展起來(lái)一種數(shù)據(jù)處理技術(shù),可以加快問(wèn)題求解的速度,為了解決當(dāng)前慕課資源協(xié)同過(guò)濾推薦過(guò)程中存在的問(wèn)題,設(shè)計(jì)了基于云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法,并與其它慕課資源推薦算法、單機(jī)平臺(tái)相比,云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦精度、效率均更優(yōu)。
1 云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法
1.1 云平臺(tái)
隨著數(shù)據(jù)朝大規(guī)模、海量的發(fā)展,以及問(wèn)題處理的速度要求越來(lái)越高,云平臺(tái)的產(chǎn)生,其將軟硬件資源按需提供給需求者,所需的軟件和數(shù)據(jù)則存儲(chǔ)在云端,用戶在不同地方隨時(shí)可以提問(wèn)和使用,是分布式計(jì)算、虛擬化、海量存儲(chǔ)等技術(shù)的集成產(chǎn)物[12]。Hadoop系統(tǒng)是近年來(lái)比較熱門(mén)的云平臺(tái),本文采用其構(gòu)建慕課資源協(xié)同過(guò)濾推薦算法的運(yùn)行平臺(tái)。Hadoop系統(tǒng)的關(guān)鍵模塊為:HDFS和MapReduce,其中HDFS負(fù)責(zé)對(duì)文件的分布式存儲(chǔ)和管理,MapReduce負(fù)責(zé)對(duì)文件進(jìn)行并行處理,如讀和寫(xiě)作操作,結(jié)構(gòu)如圖1所示。
1.2 云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦思路
基于云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法的工作思路:首先將慕課資源劃分為不同的類,提取描述慕課資源類型的特征,建立慕課資源特征庫(kù);然后計(jì)算學(xué)生的學(xué)習(xí)行為數(shù)據(jù)特征,并基于云平臺(tái),采用k-最近鄰計(jì)算每一類慕課資源特征和學(xué)生學(xué)習(xí)行為數(shù)據(jù)特征之間的相似度,最后根據(jù)相似度值生成慕課資源協(xié)同過(guò)濾推薦結(jié)果,云平臺(tái)每一個(gè)節(jié)點(diǎn)的工作流程具體如圖2所示。
1.3 云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法的具體設(shè)計(jì)
1.3.1 學(xué)生和慕課資源之間的評(píng)分矩陣
設(shè)m個(gè)學(xué)生,慕課資源數(shù)量為:n,rij表示學(xué)生i對(duì)慕課資源j的評(píng)分,所有學(xué)生對(duì)慕課資源的評(píng)分組成一個(gè)學(xué)生和慕課資源之間的評(píng)分矩陣R={rij}m×n,具體如表1所示。
1.3.2 慕課資源評(píng)分預(yù)測(cè)
計(jì)算全部慕課資源間的相似性,從而產(chǎn)生一個(gè)“鄰居”群,然后計(jì)算目標(biāo)慕課資源與其它全部慕課資源之間的預(yù)測(cè)評(píng)分值,找出k個(gè)最相似慕課資源集—“最近鄰居”, 產(chǎn)生了一個(gè)慕課資源推薦列表,實(shí)現(xiàn)了慕課資源的精準(zhǔn)推薦,因此在慕課資源協(xié)同過(guò)濾推薦中,慕課資源評(píng)分預(yù)測(cè)十分關(guān)鍵,直接決定了慕課資源協(xié)同過(guò)濾推薦結(jié)果的好壞,設(shè)r-u為慕課資源的平均評(píng)分,sim(i,j)是慕課資源i和慕課資源j之間的相似度,如式(1)所示。
1.3.3 相似度計(jì)算
當(dāng)前慕課資源i和慕課資源j之間的相似度sim(i,j)的計(jì)算公式主要有:余弦相似度、皮爾遜相關(guān)系數(shù)和約束的皮爾遜相關(guān)系數(shù),它們的計(jì)算公式分別為式(2)—式(4)。
云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法選擇式(4)計(jì)算慕課資源i和慕課資源j之間的相似度。
2 仿真實(shí)驗(yàn)
2.1 實(shí)驗(yàn)環(huán)境搭建
為了測(cè)試云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦效果,通過(guò)具體仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證性分析。云平臺(tái)包含10個(gè)節(jié)點(diǎn),全部節(jié)點(diǎn)根據(jù)功能劃分兩類:一類主節(jié)點(diǎn),數(shù)量為1個(gè),一類為從節(jié)點(diǎn),數(shù)量為9個(gè),每一類節(jié)點(diǎn)的配置情況,如表2所示。
采用Java語(yǔ)言編程實(shí)現(xiàn)慕課資源協(xié)同過(guò)濾推薦算法。
2.2 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)
選擇大量的慕課資源實(shí)驗(yàn)對(duì)象,共獲得10 000個(gè)慕課資源,它們被劃分為10類,每一類的慕課資源數(shù)量,如表3所示。
當(dāng)前慕課資源協(xié)同過(guò)濾推薦算法性能的評(píng)價(jià)標(biāo)準(zhǔn)很多,本文選擇推薦準(zhǔn)確度作為評(píng)價(jià)標(biāo)準(zhǔn),其定義如式(5)。
2.3 慕課資源推薦準(zhǔn)確度對(duì)比與分析
選擇文獻(xiàn)[9]和文獻(xiàn)[10]的資源協(xié)同過(guò)濾推薦算法進(jìn)行對(duì)比實(shí)驗(yàn),對(duì)于相同的數(shù)據(jù)集,它們的慕課資源推薦準(zhǔn)確度如圖3所示。
對(duì)圖3的慕課資源推薦準(zhǔn)確度進(jìn)行對(duì)比分析可以發(fā)現(xiàn),本文算法的慕課資源推薦準(zhǔn)確度要遠(yuǎn)遠(yuǎn)高于文獻(xiàn)[9]和文獻(xiàn)[10]的慕課資源推薦準(zhǔn)確度,減少了慕課資源推薦誤差。
2.4 慕課資源推薦準(zhǔn)時(shí)間對(duì)比與分析
為了分析云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法的優(yōu)越性,選擇單機(jī)平臺(tái)進(jìn)行對(duì)比測(cè)試,不同數(shù)據(jù)的慕課資源下,云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法和單機(jī)的慕課資源協(xié)同過(guò)濾推薦算法的運(yùn)行時(shí)間如表4所示。
從表4可以看出,當(dāng)慕課資源數(shù)量比較少時(shí),單機(jī)的慕課資源協(xié)同過(guò)濾推薦時(shí)間更少,這是因?yàn)樵朴?jì)算需要對(duì)節(jié)點(diǎn)調(diào)度,當(dāng)慕課資源不斷增加時(shí),云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦時(shí)間就相對(duì)更少,尤其當(dāng)慕課資源數(shù)量較大時(shí),云平臺(tái)的優(yōu)越性更加明顯,可以實(shí)現(xiàn)大規(guī)模慕課資源在線推薦,具有更高的實(shí)際應(yīng)用范圍。
3 總結(jié)
由于慕課資源的數(shù)量大,在線要求的實(shí)時(shí)性高,當(dāng)前單機(jī)工作模式無(wú)法滿足慕課資源協(xié)同過(guò)濾推薦的要求,為了提高慕課資源協(xié)同過(guò)濾推薦效果,提出了一種基于云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦算法,通過(guò)引入云平臺(tái)分布式、并行處理技術(shù),在多個(gè)節(jié)點(diǎn)同時(shí)運(yùn)行慕課資源協(xié)同過(guò)濾推薦算法,加快了慕課資源協(xié)同過(guò)濾推薦算法的工作效率,同時(shí)改善了慕課資源協(xié)同過(guò)濾推薦結(jié)果,相對(duì)其它算法,云平臺(tái)的慕課資源協(xié)同過(guò)濾推薦誤差更低,為大規(guī)模的慕課資源協(xié)同過(guò)濾推薦提供了一種新的研究思路。
參考文獻(xiàn)
[1] 柏建嶺,陳峰,趙楊,等.以慕課為基礎(chǔ)的生物統(tǒng)計(jì)學(xué)翻轉(zhuǎn)課堂教學(xué)[J].中國(guó)衛(wèi)生統(tǒng)計(jì), 2017, 34(5):829-831.
[2] 郭冰,孫小榮,吳杰. “慕課”背景下的工程測(cè)量教學(xué)改革思考[J].測(cè)繪通報(bào),2017(3):145-148.
[3] 嚴(yán)三九,鐘睿. 教育資源的公平共享與可持續(xù)發(fā)展:慕課[J].中國(guó)人口·資源與環(huán)境, 2015,25(2):176-178.
[4] 石博,何楚,卓桐,等.慕課教學(xué)中基于局部社區(qū)發(fā)現(xiàn)的主題交互模型[J].計(jì)算機(jī)應(yīng)用研究,2015,32(6):1724-1727.
[5] 蔣卓軒,張巖,李曉明.基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測(cè)[J].計(jì)算機(jī)研究與發(fā)展,2015,52(3):614-628.
[6] 劉國(guó)麗,白曉霞,廉孟杰,等. 基于專家信任的協(xié)同過(guò)濾推薦算法改進(jìn)研究[J].計(jì)算機(jī)工程與科學(xué),2019,41(10):1846-1853.
[7] 鄭鵬,王應(yīng)明,梁薇.基于信任和矩陣分解的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)工程與應(yīng)用, 2018, 54(13):34-40.
[8] 黃賢英,龍姝言,謝晉. 基于用戶非對(duì)稱相似性的協(xié)同過(guò)濾推薦算法[J].四川大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018,55(3):489-493.
[9] 王永貴,宋真真,肖成龍. 基于改進(jìn)聚類和矩陣分解的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)應(yīng)用, 2018, 38(4):1001-1006.
[10] 李昆侖,萬(wàn)品哲,張德智. 基于改進(jìn)用戶相似性度量和評(píng)分預(yù)測(cè)的協(xié)同過(guò)濾推薦算法[J].小型微型計(jì)算機(jī)系統(tǒng),2018,39(3):567-571.
[11] 汪軍,朱建軍,覃朗. 基于云模型熟悉相似度的協(xié)同過(guò)濾推薦算法[J]. 計(jì)算機(jī)工程與科學(xué), 2017, 39(11):2102-2108.
[12] 田保軍,杜曉娟,楊滸昀, 等. 云計(jì)算環(huán)境下混合協(xié)同過(guò)濾優(yōu)化技術(shù)研究[J]. 計(jì)算機(jī)應(yīng)用研究,2018,35(7):2079-2083.
(收稿日期:2019.07.26)