侯璐璐

摘? 要： 傳統(tǒng)資源協(xié)同過濾推薦算法MAE值偏高，因此提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法。采用分級(jí)響應(yīng)形式，建立用戶?資源評(píng)分關(guān)系模型，用戶對(duì)資源的評(píng)分減掉該用戶評(píng)分平均值，完成資源協(xié)同過濾相似度計(jì)算的優(yōu)化，引入集成度高的Spark架構(gòu)，預(yù)測(cè)用戶對(duì)資源的評(píng)分并生成推薦列表，實(shí)現(xiàn)藝術(shù)學(xué)慕課資源的精準(zhǔn)推薦。經(jīng)過與兩種傳統(tǒng)算法的對(duì)比實(shí)驗(yàn)結(jié)果可知，研究的算法在不同比例訓(xùn)練集和測(cè)試集的情況下，MAE值均低于兩種傳統(tǒng)方法，說明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法推薦精度更高，性能更好。

關(guān)鍵詞： 協(xié)同過濾推薦算法; Spark架構(gòu); 藝術(shù)學(xué)慕課資源; 用戶評(píng)分預(yù)測(cè); 用戶?資源評(píng)分關(guān)系模型; 相似度計(jì)算

中圖分類號(hào)： TN911.1?34; TP319? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）03?0162?03

Research on art MOOC resource collaborative filtering recommendation algorithm

based on Spark architecture

HOU Lulu

（Baoji University of Arts and Sciences， Baoji 721013， China）

Abstract： The MAE （mean absolute error） value of traditional resource collaborative filtering recommendation algorithm is slightly higher， so an art MOOC （massive open online course） resource collaborative filtering recommendation algorithm based on Spark architecture is proposed. The user?resource scoring relation model is established in the form of hierarchical response. The average value of the user′s scoring is taken from the user′s scoring for resources， which is then used to optimize the similarity calculation for resource collaborative filtering. The Spark architecture with high integration level is introduced to predict the user′s scoring for resources and generate the recommendation list， thus realizing the accurate recommendation of art MOOC. The results of comparative experiments show that， in comparison with the two traditional algorithms， the MAE value of the proposed algorithm is lower than those of the two traditional methods in different proportion of training sets and test sets， which shows that the art MOOC resource collaborative filtering recommendation algorithm based on Spark architecture has higher recommendation accuracy and better performance.

Keywords： collaborative filtering recommendation algorithm; Spark architecture; art MOOC resource; user scoring prediction; user?resource scoring relation model; similarity calculation

0? 引? 言

慕課是當(dāng)今時(shí)代下互聯(lián)網(wǎng)與教育相結(jié)合的產(chǎn)物，它實(shí)際上是一種大規(guī)模開放的在線課程（Massive Open Online Course），是互聯(lián)網(wǎng)時(shí)代下涌現(xiàn)出的一種在線課程的開發(fā)模式。傳統(tǒng)課程只有幾十個(gè)或幾百個(gè)學(xué)生，但是一門慕課最多可以容納十多萬人。因此，在互聯(lián)網(wǎng)中，利用協(xié)同過濾進(jìn)行藝術(shù)學(xué)慕課資源的推薦[1?2]。協(xié)同過濾簡(jiǎn)單來說，就是利用共同興趣或者是擁有共同經(jīng)驗(yàn)人群的喜好大數(shù)據(jù)資料，來給用戶推薦有可能感興趣的信息，個(gè)人通過合作機(jī)制給予信息一定程度的回應(yīng)，利用評(píng)分等方法將特別感興趣的以及特別不感興趣的資源進(jìn)行區(qū)分，并利用大量的評(píng)分記錄對(duì)信息進(jìn)行過濾，幫助別人進(jìn)行信息的篩選。由于資源數(shù)據(jù)日益龐大，現(xiàn)有的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法只能停留在數(shù)據(jù)表面上的分析，導(dǎo)致MAE值較高，因此提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法。Spark架構(gòu)的優(yōu)點(diǎn)在于能夠更加適用于數(shù)據(jù)挖掘的算法，能夠從大量的數(shù)據(jù)中，通過算法搜索內(nèi)部隱含的信息。

1? 基于Spark架構(gòu)的協(xié)同過濾推薦算法研究

隨著慕課的大范圍普及，很多的互聯(lián)網(wǎng)社交平臺(tái)上都能夠搜索到大量的慕課資源。要想在海量資源中搜索到自己需要的信息，需要借助Spark架構(gòu)下的協(xié)同過濾推薦算法來實(shí)現(xiàn)[3?4]，預(yù)期通過建立用戶自身的搜索歷史模型，記錄用戶的喜好和興趣，主動(dòng)提供相關(guān)的慕課推送。從協(xié)同過濾算法的出發(fā)點(diǎn)來看，相似用戶的喜好也會(huì)有相似的品味，因此可以利用相似用戶（在這里簡(jiǎn)稱為鄰居）的喜好為目標(biāo)用戶做出推薦，算法流程如圖1所示。

流程主要分為4部分，用戶評(píng)分、計(jì)算相似度選擇鄰居、預(yù)測(cè)評(píng)分、資源推薦列表，下面對(duì)流程進(jìn)行詳細(xì)研究。

1.1? 建立用戶?資源評(píng)分關(guān)系模型

藝術(shù)學(xué)慕課的受眾分群和資源推薦需要以用戶?資源關(guān)系模型為基礎(chǔ)，本文主要采取分級(jí)響應(yīng)形式，對(duì)海量數(shù)據(jù)進(jìn)行深層挖掘，將數(shù)據(jù)中隱含的反饋信息作為構(gòu)建模型的重要元素。想要對(duì)用戶推薦其感興趣的資源，需要根據(jù)用戶和資源的歷史數(shù)據(jù)進(jìn)行預(yù)測(cè)，比如用戶是否觀看了某個(gè)慕課課程，以及用戶觀看的時(shí)長(zhǎng)和次數(shù)[5?6]。分級(jí)響應(yīng)形式值是用戶對(duì)資源進(jìn)行不同級(jí)別的評(píng)價(jià)，可以用一個(gè)用戶評(píng)分?jǐn)?shù)據(jù)表來體現(xiàn)，見表1。

表1中：[m]代表用戶數(shù)量;[n]代表資源數(shù)量;[Tmb]表示用戶[Um]對(duì)資源[Ib]的評(píng)分值，評(píng)分值的區(qū)間為1～5分，分別代表非常不喜歡、不喜歡、一般、喜歡、非常喜歡，以此作為用戶?資源評(píng)分關(guān)系模型，能夠準(zhǔn)確地體現(xiàn)出用戶對(duì)不同慕課資源的滿意程度。

1.2? 優(yōu)化資源協(xié)同過濾的相似度計(jì)算

在用戶?資源評(píng)分關(guān)系模型的基礎(chǔ)上，為了實(shí)現(xiàn)資源的精準(zhǔn)推薦，需要依靠鄰居的喜好做出預(yù)測(cè)，鄰居需要對(duì)比相似度而選擇出來，因此在相似度的計(jì)算中，需要能夠正確衡量出資源和用戶之間的相似性，才能夠保證資源推薦的準(zhǔn)確性。傳統(tǒng)算法中用的是余弦相似度[7?9]，但是余弦相似度忽略了資源被評(píng)分尺度的問題，因此需要對(duì)其進(jìn)行修正，采用用戶對(duì)資源的評(píng)分減掉該用戶評(píng)分的平均值進(jìn)行中心化評(píng)分，計(jì)算公式如下：

式中：[sim（i，j）]表示資源[i]和[j]的相似度;[U（i）]代表對(duì)資源[i]評(píng)分的用戶全體;[U（j）]代表對(duì)資源[j]評(píng)分的用戶全體;[U（i）?U（j）]代表對(duì)[i]，[j]都有評(píng)分的用戶全體;[Tu，i]，[Tu，j]分別代表用戶[u]對(duì)資源[i]，[j]的評(píng)分;[Tu]代表兩個(gè)資源的評(píng)分均值。單一慕課與所有慕課的集合之間都存在著距離[10?11]，該距離為二者之間的最小距離，單一用戶與用戶集合之間的距離也能夠同理得到。其相似度選擇示意圖如圖2所示。

圖2中，[K1]為慕課資源集合的個(gè)數(shù)，在基于慕課資源的協(xié)同過濾算法中，相似度選擇對(duì)于算法整體的準(zhǔn)確度有重要影響，實(shí)現(xiàn)了資源協(xié)同過濾相似度計(jì)算的優(yōu)化。

1.3? 實(shí)現(xiàn)慕課資源精準(zhǔn)推薦

研究的算法中，想要實(shí)現(xiàn)慕課資源的精準(zhǔn)推薦，需要引入Spark架構(gòu)。Spark是一個(gè)能夠快速且通用的集群計(jì)算引擎，在本文的推薦算法研究中，采用基于內(nèi)存的數(shù)據(jù)抽象設(shè)計(jì)，將Spark任務(wù)的中間環(huán)節(jié)的結(jié)果進(jìn)行保存，具體框架如圖3所示。

Spark框架包含了SQL查詢、文本處理、機(jī)器學(xué)習(xí)等功能組件[12?13]，這些組件在Spark內(nèi)緊密集成，其運(yùn)算性能更好，尤其是在進(jìn)行信息大批量分析和迭代的工作環(huán)境下，利用Spark框架的優(yōu)勢(shì)更加突出。當(dāng)Spark架構(gòu)在集群中運(yùn)行時(shí)，首先由驅(qū)動(dòng)程序通過資源管理器完成資源申請(qǐng)，在管理器分配完資源后，在相應(yīng)的節(jié)點(diǎn)上啟動(dòng)Executor，節(jié)點(diǎn)在完成驅(qū)動(dòng)程序提交的任務(wù)后，最后向驅(qū)動(dòng)程序提交反饋，其運(yùn)行過程如圖4所示。

在算法中引入Spark架構(gòu)，運(yùn)行的過程中能夠過濾大量的資源[14?15]，并對(duì)剩余資源進(jìn)行深層次的信息預(yù)測(cè)評(píng)分。預(yù)測(cè)評(píng)分主要是利用資源的相似度和資源[i]的鄰居集合[N（i）]評(píng)估某用戶對(duì)目標(biāo)資源的評(píng)分，具體評(píng)估方法如式（2）所示：

式中：[Pu，i]代表用戶[u]對(duì)資源[i]的相似度預(yù)測(cè)評(píng)分;[Ri]表示資源[i]的平均分;[N（i）]代表資源[i]的鄰居集合;[Ru，j]代表用戶[u]對(duì)資源[j]的評(píng)分;[Rj]代表資源[j]的平均分;[sim（i，j）]表示資源[i]和資源[j]的相似度。

通過公式得出的相似度預(yù)測(cè)評(píng)分越高，說明算法的準(zhǔn)確度越高。根據(jù)用戶[u]對(duì)資源[i]的最近鄰集合[N（i）]的評(píng)分值，利用式（2）預(yù)測(cè)用戶[u]對(duì)資源[i]的評(píng)分高低，產(chǎn)生了資源推薦列表，實(shí)現(xiàn)了藝術(shù)學(xué)慕課資源的精準(zhǔn)推薦，至此完成了基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法研究。

2? 實(shí)? 驗(yàn)

為了驗(yàn)證本文提出的基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法是否能夠提高推薦的性能，設(shè)計(jì)了對(duì)比實(shí)驗(yàn)，分別將兩種傳統(tǒng)算法和本文算法的預(yù)測(cè)精度進(jìn)行對(duì)比，并將結(jié)果進(jìn)行分析。

2.1? 實(shí)驗(yàn)環(huán)境

搭建包含6臺(tái)虛擬機(jī)的Spark集群，其中1臺(tái)設(shè)置為主節(jié)點(diǎn)，另外5臺(tái)設(shè)置為從節(jié)點(diǎn)，參數(shù)如表2所示。

協(xié)同過濾算法采用平均絕對(duì)偏差MAE作為算法精準(zhǔn)的評(píng)價(jià)指標(biāo)，其計(jì)算公式定義如下：

式中：[N]表示資源數(shù)量;[pi]表示資源的實(shí)際分?jǐn)?shù);[qi]表示資源的預(yù)測(cè)分?jǐn)?shù)。當(dāng)MAE的值越小，表示推薦的精準(zhǔn)度越高。將進(jìn)行實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集以不同的比例進(jìn)行實(shí)驗(yàn)，訓(xùn)練集和測(cè)試集比例分別為：6∶4，7∶3，8∶2，9∶1。

2.2? 實(shí)驗(yàn)結(jié)果與分析

在上述的實(shí)驗(yàn)環(huán)境參數(shù)下分別用傳統(tǒng)算法和本文算法進(jìn)行實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如表3所示。

實(shí)驗(yàn)結(jié)果表明，隨著訓(xùn)練集與測(cè)試集比例的增加，三種算法的MAE值都在減小，準(zhǔn)確度都在不斷提升。本文提出的算法在每種比例下，MAE值均低于兩種傳統(tǒng)方法，說明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法推薦精度更高，性能更好。

3? 結(jié)? 語

針對(duì)傳統(tǒng)資源協(xié)同過濾推薦算法推薦性能差，本文提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法。采用分級(jí)響應(yīng)形式建立用戶?資源評(píng)分關(guān)系模型，用戶對(duì)資源的評(píng)分減掉該用戶評(píng)分平均值完成中心化評(píng)分，優(yōu)化了傳統(tǒng)余弦相似度計(jì)算方法。利用Spark框架集成SQL查詢、文本處理、機(jī)器學(xué)習(xí)等功能組件，完成了基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法的研究。經(jīng)過與兩種傳統(tǒng)算法的對(duì)比實(shí)驗(yàn)結(jié)果可知，研究的算法在不同比例訓(xùn)練集和測(cè)試集的情況下，MAE值均低于兩種傳統(tǒng)方法，說明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過濾推薦算法推薦精度更高，性能更好。

參考文獻(xiàn)

[1] 黃成成，遠(yuǎn)方.慕課與專業(yè)音樂教育改革：男高音歌唱家張美林教授的聲樂慕課實(shí)踐[J].戲劇之家，2017（9）：215?216.

[2] 史曉玲，王福朋.淺談學(xué)前教育專業(yè)音樂混合式教學(xué)改革：對(duì)初中起點(diǎn)五年制音樂教學(xué)的思考與實(shí)踐[J].大眾文藝，2018，450（24）：205?206.

[3] 梁瑩，陳孝余.藝術(shù)碩士課程“慕課”教學(xué)法探究：以學(xué)校音樂課程與教學(xué)理論實(shí)踐課程為例[J].藝術(shù)教育，2017（4）：229?230.

[4] 李濤，符丁.基于協(xié)同過濾算法的自動(dòng)化隱式評(píng)分音樂雙重推薦系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制，2018，26（11）：171?175.

[5] 章宗杰，陳瑋.基于標(biāo)簽擴(kuò)展的協(xié)同過濾算法在音樂推薦中的應(yīng)用[J].軟件導(dǎo)刊，2018，17（1）：99?101.

[6] 祝永志.基于Spark技術(shù)的協(xié)同過濾推薦算法的可擴(kuò)放性研究[J].電子技術(shù)（上海），2018（7）：41?42.

[7] 游思晴，周麗，趙東杰.基于粒子群優(yōu)化算法的協(xié)同過濾推薦并行化研究[J].北京郵電大學(xué)學(xué)報(bào)，2018，41（6）：119?126.

[8] 何麗，李熙偉.基于樸素貝葉斯與協(xié)同過濾的分布式推薦模型研究[J].北方工業(yè)大學(xué)學(xué)報(bào)，2017，29（5）：96?102.

[9] 周顯春，鄧雨，吳世雄.基于改進(jìn)協(xié)同過濾算法的個(gè)性化美食推薦APP開發(fā)[J].軟件導(dǎo)刊，2019，18（2）：94?96.

[10] 徐靜，杜崗，安剛.融合關(guān)聯(lián)規(guī)則及情感分析的音樂協(xié)同過濾推薦[J].連云港職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2018，31（4）：19?22.

[11] 李卓遠(yuǎn)，曾丹，張之江.基于協(xié)同過濾和音樂情緒的音樂推薦系統(tǒng)研究[J].工業(yè)控制計(jì)算機(jī)，2018，31（7）：127?128.

[12] 李艷，李葆華，王金環(huán).一種新的基于LDA?MURE模型的音樂個(gè)性化推薦算法[J].吉林大學(xué)學(xué)報(bào)（理學(xué)版），2017，55（2）：371?375.

[13] 許明杰，蔚承建，沈航.Spark并行化基于物品協(xié)同過濾算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（7）：1817?1822.

[14] 黃亞坤，王楊，王明星.綜合社區(qū)與關(guān)聯(lián)序列挖掘的電子政務(wù)推薦算法[J].計(jì)算機(jī)應(yīng)用，2017，37（9）：2671?2677.

[15] 扈濱.互聯(lián)網(wǎng)時(shí)代音樂基礎(chǔ)理論教育翻轉(zhuǎn)課堂模式探析：評(píng)《翻轉(zhuǎn)課堂的可汗學(xué)院：互聯(lián)時(shí)代的教育革命》[J].中國(guó)教育學(xué)刊，2018（5）：142.