李浩君　張征　郭海東　王旦

摘要：隨著“互聯(lián)網(wǎng)+”教育的快速發(fā)展，在線(xiàn)學(xué)習(xí)資源數(shù)據(jù)規(guī)模急劇擴(kuò)張，學(xué)習(xí)者從海量的學(xué)習(xí)資源中選擇合適資源的難度隨之增大。如何幫助學(xué)習(xí)者獲取合適的學(xué)習(xí)資源開(kāi)展個(gè)性化學(xué)習(xí)，已成為智能學(xué)習(xí)領(lǐng)域重要的研究課題。實(shí)現(xiàn)個(gè)性化學(xué)習(xí)資源推薦的關(guān)鍵在于對(duì)在線(xiàn)學(xué)習(xí)平臺(tái)數(shù)據(jù)應(yīng)用價(jià)值的探索與挖掘，全面考慮學(xué)習(xí)者與學(xué)習(xí)資源之間的關(guān)聯(lián)性。隨著人工智能的不斷發(fā)展，簡(jiǎn)單的機(jī)器學(xué)習(xí)已經(jīng)難以滿(mǎn)足個(gè)性化學(xué)習(xí)資源推薦服務(wù)，基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的個(gè)性化學(xué)習(xí)資源推薦方法，通過(guò)基于MIFS的特征選擇模型和學(xué)習(xí)者-學(xué)習(xí)資源二部圖關(guān)聯(lián)模型，在有效衡量學(xué)習(xí)者對(duì)學(xué)習(xí)資源的不同關(guān)注程度，以及深度挖掘?qū)W習(xí)者的個(gè)性化偏好基礎(chǔ)上，為學(xué)習(xí)者推薦合適的學(xué)習(xí)資源。該方法在不同學(xué)習(xí)時(shí)間和學(xué)習(xí)者的實(shí)驗(yàn)條件下，取得了較好的推薦效果，并且在分類(lèi)與回歸性能評(píng)價(jià)指標(biāo)上優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法，說(shuō)明其能夠較好地提供教育大數(shù)據(jù)環(huán)境下的個(gè)性化學(xué)習(xí)資源推薦服務(wù)，提升學(xué)習(xí)者的在線(xiàn)學(xué)習(xí)體驗(yàn)。

關(guān)鍵詞：深度學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);學(xué)習(xí)資源;個(gè)性化;推薦方法

中圖分類(lèi)號(hào)：G434 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ?文章編號(hào)：1009-5195（2019）04-0094-10 ?doi10.3969/j.issn.1009-5195.2019.04.011

移動(dòng)互聯(lián)網(wǎng)和云計(jì)算技術(shù)的飛速發(fā)展，使在線(xiàn)學(xué)習(xí)成為一種普遍且重要的學(xué)習(xí)方式。但其在帶來(lái)海量學(xué)習(xí)資源的同時(shí)，也給學(xué)習(xí)者帶來(lái)了認(rèn)知過(guò)載、學(xué)習(xí)資源零亂等困惑（韓營(yíng)等，2017）。如何幫助學(xué)習(xí)者獲取合適的學(xué)習(xí)資源并開(kāi)展個(gè)性化學(xué)習(xí)，已成為智能學(xué)習(xí)領(lǐng)域重要的研究課題。為使個(gè)性化學(xué)習(xí)資源推薦效果更加精準(zhǔn)，深入了解學(xué)習(xí)者的個(gè)人偏好、學(xué)習(xí)風(fēng)格和認(rèn)知能力等，并與多樣化的學(xué)習(xí)資源形成有效關(guān)聯(lián)，建立模型并通過(guò)相關(guān)推薦技術(shù)向?qū)W習(xí)者提供符合自身需求的學(xué)習(xí)資源，是解決這一問(wèn)題的主要思路。目前個(gè)性化推薦技術(shù)已在電影、音樂(lè)、電視、新聞等領(lǐng)域得到廣泛應(yīng)用（Zhao et al.，2013;Wei et al.，2016;Mao et al.，2016;Wang et al.，2016），其中機(jī)器學(xué)習(xí)已成為個(gè)性化推薦服務(wù)性能提升的重要技術(shù)支撐。

一、個(gè)性化學(xué)習(xí)資源推薦方法及技術(shù)

學(xué)習(xí)資源是指用來(lái)支持信息化教學(xué)活動(dòng)開(kāi)展的數(shù)字化資源，包括數(shù)字化教育教學(xué)案例、電子文檔、音視頻素材以及多媒體軟件等。隨著互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)的發(fā)展，學(xué)習(xí)資源獲取更加多樣化，不同學(xué)習(xí)者可以根據(jù)自己的偏好選擇合適的學(xué)習(xí)資源來(lái)開(kāi)展學(xué)習(xí)，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)目標(biāo)，許多技術(shù)正被廣泛應(yīng)用于在線(xiàn)學(xué)習(xí)。

1.基于推薦算法的個(gè)性化學(xué)習(xí)資源推薦

常用推薦算法包括基于資源內(nèi)容的推薦、協(xié)同過(guò)濾推薦以及混合推薦等?；趦?nèi)容的推薦算法是通過(guò)識(shí)別和提取資源內(nèi)容特征，構(gòu)建學(xué)習(xí)者特征模型和資源特征模型，將二者匹配度較高的學(xué)習(xí)資源推薦給學(xué)習(xí)者（Yao et al.，2015;Pandey et al.，2016）。協(xié)同過(guò)濾算法通過(guò)對(duì)學(xué)習(xí)者偏好的挖掘，基于不同的偏好對(duì)學(xué)習(xí)者進(jìn)行分組劃分，并推薦相似的學(xué)習(xí)資源給各組（Zapata et al.，2015）。協(xié)同過(guò)濾算法能有效降低模型構(gòu)建復(fù)雜性，但存在矩陣稀疏和冷啟動(dòng)等問(wèn)題（何潔月等，2016，Polatidis et al.，2016）?；旌贤扑]算法將資源內(nèi)容特征與學(xué)習(xí)者特征聯(lián)合考慮，根據(jù)學(xué)習(xí)者的學(xué)習(xí)風(fēng)格和習(xí)慣為學(xué)習(xí)者推薦學(xué)習(xí)資源（Kla?nja-Mili?evi? et al.，2011），如劉忠寶等（2018）基于引入熱傳導(dǎo)和物質(zhì)擴(kuò)散理論提出了二部圖的學(xué)習(xí)資源混合推薦方法?？偟膩?lái)說(shuō)，資源推薦模型構(gòu)建的合理性和科學(xué)性一直是傳統(tǒng)推薦算法應(yīng)用于個(gè)性化學(xué)習(xí)資源推薦領(lǐng)域的難題。

2.基于機(jī)器學(xué)習(xí)的個(gè)性化學(xué)習(xí)資源推薦

隨著機(jī)器學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等領(lǐng)域的成功應(yīng)用（Xue et al.，2014;Tian et al.，2016），其在教育領(lǐng)域應(yīng)用也逐漸成為研究熱點(diǎn)（余明華等，2017）。許多學(xué)者致力于降低學(xué)習(xí)資源推薦過(guò)程中的模型依懶性，發(fā)揮歷史學(xué)習(xí)數(shù)據(jù)對(duì)資源推薦過(guò)程的服務(wù)作用，開(kāi)展機(jī)器學(xué)習(xí)應(yīng)用于個(gè)性化學(xué)習(xí)資源推薦領(lǐng)域的研究工作。Vesin等（2011）通過(guò)測(cè)試學(xué)習(xí)者狀態(tài)與挖掘服務(wù)器日志，識(shí)別學(xué)習(xí)者的學(xué)習(xí)風(fēng)格與習(xí)慣，開(kāi)展個(gè)性化資源推薦研究;Aher等（2013）利用半監(jiān)督機(jī)器學(xué)習(xí)以及歷史數(shù)據(jù)，較為準(zhǔn)確地為學(xué)習(xí)者推薦了課程;Batouche等（2014）提出一種基于無(wú)監(jiān)督機(jī)器學(xué)習(xí)的教學(xué)資源推薦方法，采用改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)獲得了較為合理的推薦結(jié)果;趙蔚等（2015）提出了基于知識(shí)推薦技術(shù)與本體技術(shù)相融合的個(gè)性化資源推薦策略;文孟飛等（2016）采用了一種基于支持向量機(jī)與深度學(xué)習(xí)相結(jié)合方法來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)教學(xué)視頻推送服務(wù)的方法，提升教學(xué)視頻資源的利用率和獲取率;Tarus 等（2017）構(gòu)建了一種基于本體與序列模式挖掘相結(jié)合的混合知識(shí)推薦系統(tǒng)，為在線(xiàn)學(xué)習(xí)者推薦個(gè)性化資源;Zhou等（2018）提出了基于LSTM神經(jīng)網(wǎng)絡(luò)的在線(xiàn)學(xué)習(xí)路徑推薦策略。

縱觀以往的研究，將機(jī)器學(xué)習(xí)領(lǐng)域中的深度學(xué)習(xí)算法運(yùn)用到在線(xiàn)資源推薦的研究較少，并且對(duì)在線(xiàn)學(xué)習(xí)隱性數(shù)據(jù)的挖掘較為粗糙，推薦效果提升不明顯。雖然神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線(xiàn)性擬合能力，可映射任意復(fù)雜的非線(xiàn)性關(guān)系，但目前機(jī)器學(xué)習(xí)算法應(yīng)用于推薦問(wèn)題針對(duì)性不強(qiáng)，缺乏對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練要素的深入研究。而且推薦效果驗(yàn)證時(shí)缺乏對(duì)分類(lèi)與回歸問(wèn)題的綜合分析，容易忽略一些重要的性能指標(biāo)導(dǎo)致推薦效果不理想。

本文嘗試使用機(jī)器學(xué)習(xí)與歷史數(shù)據(jù)來(lái)優(yōu)化資源推薦模型，提出了基于深度神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)資源推薦方法，在設(shè)計(jì)基于互信息特征選擇模型（Mutual Information Feature Selection，MIFS）的深度神經(jīng)網(wǎng)絡(luò)輸入優(yōu)化策略的基礎(chǔ)上，建立了學(xué)習(xí)者-資源二部圖關(guān)聯(lián)模型下的輸出直觀化描述，利用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練資源推薦模型，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)資源推薦。

二、問(wèn)題描述與方法框架

1.問(wèn)題描述

實(shí)現(xiàn)個(gè)性化學(xué)習(xí)資源推薦，實(shí)質(zhì)上是對(duì)學(xué)習(xí)者與學(xué)習(xí)資源二者之間關(guān)系的解析。要使在線(xiàn)學(xué)習(xí)平臺(tái)提供個(gè)性化資源推薦服務(wù)，關(guān)鍵在于采集學(xué)習(xí)平臺(tái)原始數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行有效地分析、挖掘等處理，最終向?qū)W習(xí)者推薦合適的學(xué)習(xí)資源。個(gè)性化學(xué)習(xí)資源推薦模型可以利用學(xué)習(xí)者學(xué)習(xí)資源的歷史集合信息。該信息可用圖1左側(cè)的m×n矩陣表示，其中R代表學(xué)習(xí)資源（Learning Resource），L代表學(xué)習(xí)者（Learner）。陰影部分表示學(xué)習(xí)者學(xué)習(xí)過(guò)的學(xué)習(xí)資源。白色空白部分表示未學(xué)習(xí)的資源，需要解決的問(wèn)題是如何通過(guò)該歷史信息矩陣實(shí)現(xiàn)個(gè)性化學(xué)習(xí)資源推薦，即從新學(xué)習(xí)資源中得到符合學(xué)習(xí)者需求的推薦資源，該過(guò)程如圖1右側(cè)所示。

2.個(gè)性化學(xué)習(xí)資源推薦方法框架

基于深度神經(jīng)網(wǎng)絡(luò)的個(gè)性化推薦方法可以歸結(jié)為兩個(gè)過(guò)程，即模型訓(xùn)練過(guò)程和資源推薦過(guò)程，如圖2所示。模型訓(xùn)練過(guò)程包括學(xué)習(xí)平臺(tái)數(shù)據(jù)處理、算法設(shè)計(jì)等;推薦過(guò)程由訓(xùn)練過(guò)程得到的推薦模型運(yùn)行產(chǎn)生，即獲取個(gè)性化學(xué)習(xí)資源的過(guò)程。本文所設(shè)計(jì)的推薦方法分為三級(jí)，其中第一、二級(jí)屬于訓(xùn)練過(guò)程，第三級(jí)是個(gè)性化學(xué)習(xí)資源推薦過(guò)程。

在第一級(jí)中，為了使深度神經(jīng)網(wǎng)絡(luò)能夠工作，須獲取它的輸入輸出。對(duì)于輸入，本文設(shè)計(jì)了基于互信息特征選擇模型MIFS，以此來(lái)描述和處理歷史學(xué)習(xí)數(shù)據(jù);對(duì)于輸出，構(gòu)建了學(xué)習(xí)者-資源二部圖關(guān)聯(lián)模型，明確了學(xué)習(xí)資源是否推薦的條件。第二級(jí)中，通過(guò)第一級(jí)的輸入輸出，建立深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型，針對(duì)個(gè)性化推薦問(wèn)題，設(shè)計(jì)了深度神經(jīng)網(wǎng)絡(luò)優(yōu)化策略，通過(guò)復(fù)雜的訓(xùn)練過(guò)程可得到學(xué)習(xí)資源推薦模型。第三級(jí)中，將測(cè)試數(shù)據(jù)輸入訓(xùn)練完畢的推薦模型，向?qū)W習(xí)者推薦符合學(xué)習(xí)需求的個(gè)性化學(xué)習(xí)資源。

三、模型設(shè)計(jì)

1.基于互信息特征選擇模型（MIFS）

不同學(xué)習(xí)平臺(tái)上學(xué)習(xí)者和學(xué)習(xí)資源的屬性具有多元化特征。影響學(xué)習(xí)者選擇學(xué)習(xí)資源的因素有很多，涉及性別、專(zhuān)業(yè)、學(xué)習(xí)目標(biāo)、內(nèi)容偏好、學(xué)習(xí)風(fēng)格、認(rèn)知水平、學(xué)習(xí)動(dòng)機(jī)等（包昊罡等，2018）。同時(shí)，學(xué)習(xí)資源可能存在資源風(fēng)格、媒介類(lèi)型、交互方式、難易水平等內(nèi)在屬性（文孟飛等，2016）。因此，需要在眾多特征中探尋學(xué)習(xí)者與資源之間的關(guān)聯(lián)并建立特征選擇模型，以此完成推薦方法的輸入過(guò)程。

在線(xiàn)學(xué)習(xí)數(shù)據(jù)中包含學(xué)習(xí)者學(xué)習(xí)行為記錄，也存在很多隱式數(shù)據(jù)，學(xué)習(xí)資源特征也能在數(shù)據(jù)中獲取。實(shí)際數(shù)據(jù)處理過(guò)程中存在無(wú)關(guān)特征或者冗余特征，例如學(xué)習(xí)者的學(xué)號(hào)或者班級(jí)號(hào)可能是無(wú)關(guān)特征，在公開(kāi)的一些大型開(kāi)放數(shù)據(jù)集中可能還記錄了學(xué)習(xí)者的家鄉(xiāng)、父母職業(yè)、家庭住址等等，因此需要進(jìn)行篩選處理或者特征選擇，將無(wú)關(guān)特征或者相似冗余特征去除，使得推薦模型更加準(zhǔn)確與高效。機(jī)器學(xué)習(xí)實(shí)踐任務(wù)中需要選擇與類(lèi)別相關(guān)性強(qiáng)的特征或者數(shù)據(jù)信息，可以運(yùn)用特征選擇方法定義合適的子集評(píng)價(jià)函數(shù)來(lái)實(shí)現(xiàn)。

我們通常可以直接利用訓(xùn)練數(shù)據(jù)的性能來(lái)評(píng)價(jià)特征，這與后續(xù)算法無(wú)關(guān)，且速度較快?；バ畔⑹侵竷蓚€(gè)隨機(jī)屬性或者特征之間的關(guān)聯(lián)強(qiáng)弱。判斷單個(gè)特征與目標(biāo)類(lèi)別的相關(guān)性，可以減少特征維度的冗余程度。本文選用基于互信息特征選擇（MIFS）方法，圖3為基于MIFS的特征選擇模型示例。

基于MIFS的特征選擇方法中，信息度量評(píng)價(jià)函數(shù)至關(guān)重要。雖然函數(shù)形式多樣，但目的都是選擇與類(lèi)別相關(guān)性最大的特征子集（姚旭等，2012）。泛化的信息度量評(píng)價(jià)函數(shù)可表示為：

（1）

其中S為已選擇的特征，f為候選特征，C為類(lèi)別，函數(shù)是C、f、S之間的信息量，即已選特征添加候選特征后與類(lèi)別之間的相關(guān)程度，α是調(diào)節(jié)系數(shù)，用于調(diào)節(jié)f加入時(shí)帶來(lái)信息量的程度，δ是懲罰因子，用于f給S帶來(lái)的冗余程度。因此最簡(jiǎn)單直觀的信息度量評(píng)價(jià)函數(shù)可表示為：

（2）

若直接將所有候選特征用于計(jì)算評(píng)價(jià)函數(shù)，則會(huì)給預(yù)處理過(guò)程帶來(lái)過(guò)多冗余。為避免這種情況，在考慮特征之間的關(guān)聯(lián)性基礎(chǔ)上，通過(guò)特征f與已選單個(gè)特征s的相關(guān)性對(duì)f懲罰，β是調(diào)節(jié)系數(shù)，此時(shí)最終評(píng)價(jià)函數(shù)可表示為：

（3）

已選擇的特征表示確定會(huì)影響學(xué)習(xí)者選擇資源的其他特征，比如資源的知識(shí)內(nèi)容、學(xué)習(xí)時(shí)長(zhǎng)等，此部分特征可以通過(guò)對(duì)已有研究的梳理來(lái)確定或者通過(guò)調(diào)查方式來(lái)確定。候選特征代表暫時(shí)還不能確定是否影響學(xué)習(xí)者學(xué)習(xí)某資源的其他特征，比如學(xué)習(xí)者的年齡、專(zhuān)業(yè)背景、性別等。而類(lèi)別是對(duì)已選特征的提取，用于衡量已選特征與候選特征的信息量相關(guān)性。最終評(píng)價(jià)函數(shù)的構(gòu)建是為了判斷候選特征對(duì)評(píng)價(jià)結(jié)果的影響，添加相關(guān)度較大的候選特征，進(jìn)而過(guò)濾掉一些冗余特征，以有效緩解后期利用數(shù)據(jù)進(jìn)行深度學(xué)習(xí)訓(xùn)練的工作量。

2.學(xué)習(xí)者-資源的二部圖關(guān)聯(lián)模型

了解學(xué)習(xí)者對(duì)一個(gè)或者若干個(gè)學(xué)習(xí)資源的學(xué)習(xí)狀況，對(duì)理解學(xué)習(xí)者的行為和興趣具有很大的幫助。傳統(tǒng)的協(xié)同過(guò)濾推薦算法主要依賴(lài)于學(xué)習(xí)者對(duì)某些學(xué)習(xí)資源是否學(xué)習(xí)過(guò)以及學(xué)習(xí)者自身偏好，未考慮不同學(xué)習(xí)者對(duì)資源的學(xué)習(xí)次數(shù)。學(xué)習(xí)者對(duì)同一資源或者同一類(lèi)資源的學(xué)習(xí)次數(shù)代表了不同的偏好程度，因此資源的學(xué)習(xí)次數(shù)是一個(gè)很好的反映學(xué)習(xí)者偏好程度的衡量指標(biāo)。

本文提出學(xué)習(xí)者-資源的二部圖關(guān)聯(lián)模型，定義學(xué)習(xí)者集合為：L={l1，l2，l3，…，lm}，資源集合為：R={r1，r2，r3，…，rn}，由此可得到一個(gè)由學(xué)習(xí)者集合和資源集合構(gòu)成的二值關(guān)系矩陣Xm×n，行向量代表學(xué)習(xí)者，列向量則代表學(xué)習(xí)者關(guān)于學(xué)習(xí)資源的學(xué)習(xí)行為。若Xm×n=1，則表示學(xué)習(xí)者學(xué)習(xí)過(guò)該資源;若Xm×n=0，則沒(méi)有學(xué)習(xí)過(guò)。

（4）

學(xué)習(xí)者對(duì)學(xué)習(xí)資源的學(xué)習(xí)頻率可反映不同的偏好程度，資源學(xué)習(xí)的平均頻率可定義為：

四、實(shí)驗(yàn)研究

1.實(shí)驗(yàn)方案

為了驗(yàn)證基于深度神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)資源推薦方法推薦的個(gè)性化學(xué)習(xí)資源與學(xué)習(xí)者需求的符合程度，研究者開(kāi)展了一系列實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)不僅包括學(xué)習(xí)資源數(shù)據(jù)，還包括學(xué)習(xí)者開(kāi)展學(xué)習(xí)的歷史數(shù)據(jù)。在現(xiàn)有的公開(kāi)數(shù)據(jù)集中，如edX、World UC等，提供了數(shù)十個(gè)屬性，包括課程數(shù)據(jù)、學(xué)習(xí)者信息和學(xué)習(xí)者行為數(shù)據(jù)等。參考Zhou等（2018）的實(shí)驗(yàn)設(shè)計(jì)方案，本文從浙江省某高校網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)中集中提取了部分在線(xiàn)學(xué)習(xí)數(shù)據(jù)信息，結(jié)合學(xué)習(xí)者和學(xué)習(xí)資源的實(shí)際情況，按照相應(yīng)規(guī)則補(bǔ)全了部分?jǐn)?shù)據(jù)形成本文實(shí)驗(yàn)數(shù)據(jù)集。利用基于MIFS的特征選擇方法處理后的模型，可獲取學(xué)習(xí)者-資源特征，即在整個(gè)方法流程中需要輸入的特征子集。在實(shí)際任務(wù)中很多機(jī)器學(xué)習(xí)存在表離散化特征，如表1所示。本文對(duì)特征采用獨(dú)熱編碼方式，例如一條學(xué)習(xí)記錄中顯示學(xué)習(xí)資源屬于計(jì)算機(jī)類(lèi)，難度為較易，媒介類(lèi)型是視頻格式，學(xué)習(xí)者是上午九點(diǎn)進(jìn)行學(xué)習(xí)的，則該資源樣本通過(guò)獨(dú)熱編碼可記作：[10000000]、[01000]、[10000]、[1000]。

學(xué)習(xí)者對(duì)學(xué)習(xí)資源的使用次數(shù)既反映了學(xué)習(xí)者的興趣程度，也提供了資源是否推薦的依據(jù)。為了直觀地顯示學(xué)習(xí)者與學(xué)習(xí)資源的學(xué)習(xí)頻次，更好地論證本文方法的有效性和可讀性，研究者隨機(jī)選擇了20位學(xué)習(xí)者對(duì)20個(gè)學(xué)習(xí)資源的使用情況作為示例，如表2所示。

2.評(píng)價(jià)指標(biāo)

一方面，本文解決的問(wèn)題是判斷學(xué)習(xí)資源是否推薦給學(xué)習(xí)者，可分為傾向推薦和傾向不推薦兩種情況，因此可看作一個(gè)分類(lèi)問(wèn)題;另一方面，學(xué)習(xí)者對(duì)學(xué)習(xí)資源的使用頻次很大程度上反映了學(xué)習(xí)者的興趣，因此也可看作為一個(gè)回歸問(wèn)題。研究結(jié)合常用的推薦系統(tǒng)評(píng)價(jià)指標(biāo)，將查準(zhǔn)率、召回率和F1-score值作為分類(lèi)性能評(píng)價(jià)指標(biāo)，將均方誤差、均方根誤差、平均絕對(duì)誤差作為回歸性能評(píng)價(jià)指標(biāo)。

（1）分類(lèi)評(píng)價(jià)指標(biāo)

TP（True Positive），正確預(yù)測(cè)出的正樣本個(gè)數(shù)，代表預(yù)測(cè)學(xué)習(xí)者會(huì)使用或者多次使用的資源數(shù)量;FP（False Positive），錯(cuò)誤預(yù)測(cè)出的正樣本個(gè)數(shù)，代表預(yù)測(cè)學(xué)習(xí)會(huì)者會(huì)使用或者多次使用實(shí)際卻幾乎沒(méi)被使用的資源數(shù)量;TN（True Negative）：正確預(yù)測(cè)出的負(fù)樣本個(gè)數(shù)，代表預(yù)測(cè)學(xué)習(xí)者幾乎不使用，實(shí)際確實(shí)如此的學(xué)習(xí)資源數(shù)量;FN（False Negative），錯(cuò)誤預(yù)測(cè)出的負(fù)樣本個(gè)數(shù)，代表預(yù)測(cè)學(xué)習(xí)者幾乎不使用卻被使用了的資源數(shù)量。

根據(jù)上述表述，查準(zhǔn)率（Precision，P）、召回率（Recall， R）和F1-score值（F）通常是越高越好，表明推薦的學(xué)習(xí)資源被學(xué)習(xí)者學(xué)習(xí)的概率較大，即推薦結(jié)果較符合學(xué)習(xí)者的需求。它們的數(shù)學(xué)計(jì)算公式如公式（9）：

（9）

（2）回歸評(píng)價(jià)指標(biāo)

為了探索學(xué)習(xí)資源被學(xué)習(xí)者使用的實(shí)際次數(shù)與預(yù)測(cè)次數(shù)的誤差，引入以下指標(biāo)：

平均絕對(duì)誤差（Mean Absolute Error，MAE），由于預(yù)測(cè)誤差有正負(fù)之分，為了防止正負(fù)抵消，故對(duì)誤差的絕對(duì)值進(jìn)行綜合并取平均數(shù)。均方誤差（Mean Squared Error，MSE），是預(yù)測(cè)誤差平方和的均值，目的是解決正負(fù)誤差不能相加的問(wèn)題。均方根誤差（Roof Mean Squared Error，RMSE），是均方誤差的平方根，可以代表預(yù)測(cè)值的離散程度。誤差越小，說(shuō)明預(yù)測(cè)的學(xué)習(xí)次數(shù)與實(shí)際次數(shù)越接近，即說(shuō)明推薦結(jié)果較好。它們的計(jì)算公式如下：

（10）

其中n表示樣本數(shù)，Xi表示第i個(gè)實(shí)際值，YI表示第i個(gè)預(yù)測(cè)值。

3.實(shí)驗(yàn)結(jié)果與討論

為了使實(shí)驗(yàn)結(jié)果更加精確，研究采用十折交叉驗(yàn)證。由于學(xué)習(xí)者在實(shí)際進(jìn)行資源學(xué)習(xí)時(shí)具有時(shí)間上的連續(xù)性，因此研究對(duì)使用時(shí)間前段的數(shù)據(jù)進(jìn)行十字交叉訓(xùn)練，再將訓(xùn)練完畢的模型應(yīng)用于時(shí)間后段的數(shù)據(jù)進(jìn)行驗(yàn)證，以便更加客觀地說(shuō)明推薦的學(xué)習(xí)資源的使用情況，并通過(guò)不同數(shù)量的學(xué)習(xí)者與學(xué)習(xí)資源構(gòu)成了四個(gè)大小遞增的樣本（如表3所示），進(jìn)一步進(jìn)行驗(yàn)證。

研究選擇Windows Server 2012 R2操作系統(tǒng)、64GB RAM、MatlabR2017b語(yǔ)言環(huán)境進(jìn)行實(shí)驗(yàn)。表4是各對(duì)比算法的性能數(shù)據(jù)，其中分類(lèi)對(duì)比算法采用決策樹(shù)算法（Fine Decision Tree，DT）、支持向量機(jī)算法（Linear SVM，SVM）和k最近鄰算法（Fine KNN，KNN）;回歸方面則采用回歸樹(shù)算法（Fine Regression Tree，RT）、支持向量機(jī)算法（Linear SVM，SVM）和線(xiàn)性回歸算法（Linear Regression，LR）;DNN（Deep Neural Network）代表本文方法設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)算法。

分類(lèi)結(jié)果中，隨著數(shù)據(jù)集樣本大小的變化，各算法查準(zhǔn)率（P）和召回率（R）也隨之波動(dòng)，但都處于一個(gè)較高的值，說(shuō)明本文針對(duì)個(gè)性化學(xué)習(xí)資源推薦問(wèn)題所構(gòu)建的模型，及采用機(jī)器學(xué)習(xí)算法求解是可行且有效的。分類(lèi)評(píng)價(jià)指標(biāo)中P值和R值較高，說(shuō)明推薦模型即推薦給學(xué)習(xí)者的資源較為符合學(xué)習(xí)者的需求。再?gòu)氖剑?）的分析過(guò)程可以看出，P與R往往不能共同處于較好的值，如樣本一中SVM算法的R值較高，但是P值較小，此時(shí)不能片面地從一個(gè)指標(biāo)判斷其性能優(yōu)劣，因此將F1-score值（F）作為推薦性能的綜合評(píng)價(jià)指標(biāo)，F(xiàn)值越高代表推薦效果越好。

如圖6所示，本文設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)（DNN）在F值上優(yōu)于其他傳統(tǒng)機(jī)器學(xué)習(xí)算法并且值較高，說(shuō)明本文提出的方法在解決學(xué)習(xí)資源推薦實(shí)際問(wèn)題上是具有針對(duì)性且高效的。結(jié)合表3，可以看出不同樣本中隨著學(xué)習(xí)者數(shù)量或者學(xué)習(xí)時(shí)間的增多，分類(lèi)指標(biāo)中的三個(gè)指標(biāo)都會(huì)隨之增加，說(shuō)明學(xué)習(xí)記錄增多，有利于學(xué)習(xí)者與學(xué)習(xí)資源的關(guān)聯(lián)分析，提高推薦性能。

回歸分析能夠較好地預(yù)測(cè)學(xué)習(xí)者對(duì)學(xué)習(xí)資源的關(guān)注程度或者興趣大小。從表4中可以看出，回歸評(píng)價(jià)指標(biāo)中的誤差值都較小，即預(yù)測(cè)的學(xué)習(xí)頻次與實(shí)際的學(xué)習(xí)頻次較為接近，說(shuō)明本文方法的建模也適用于回歸分析。

如圖7所示，隨著樣本大小的變化，以及學(xué)習(xí)者對(duì)資源進(jìn)行學(xué)習(xí)積累的記錄增多，對(duì)其學(xué)習(xí)頻次的預(yù)測(cè)越有利。在預(yù)測(cè)結(jié)果與實(shí)際結(jié)果的誤差上，DNN算法是最小的，并且均方根誤差值（RMSE）下降較多，說(shuō)明離散程度小，即預(yù)測(cè)學(xué)習(xí)者的使用次數(shù)值與實(shí)際次數(shù)偏差小，在不同樣本下經(jīng)過(guò)改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)學(xué)習(xí)者學(xué)習(xí)資源頻次上也具有很好的適應(yīng)，表現(xiàn)出比其他算法更好的性能。

基于深度神經(jīng)網(wǎng)絡(luò)的個(gè)性化學(xué)習(xí)資源推薦方法，不僅考慮了學(xué)習(xí)者是否會(huì)對(duì)資源進(jìn)行學(xué)習(xí)，也預(yù)判了學(xué)習(xí)者對(duì)學(xué)習(xí)資源的興趣大小或者關(guān)注程度。通過(guò)不同推薦性能指標(biāo)對(duì)推薦方法進(jìn)行驗(yàn)證，本文所提出的推薦方法在資源推薦方面具有明顯的優(yōu)勢(shì)，能夠一定程度上解決新對(duì)象或冷門(mén)對(duì)象的推薦問(wèn)題。各個(gè)評(píng)價(jià)指標(biāo)的驗(yàn)證說(shuō)明，基于MIFS的特征選擇模型和學(xué)習(xí)者-資源二部圖關(guān)聯(lián)模型與深度神經(jīng)網(wǎng)絡(luò)適配性強(qiáng)，顯現(xiàn)出很好的推薦性能，能夠適用于大小規(guī)模不等的在線(xiàn)學(xué)習(xí)數(shù)據(jù)。此外，根據(jù)時(shí)間前段的歷史學(xué)習(xí)數(shù)據(jù)為學(xué)習(xí)者在時(shí)間后段的學(xué)習(xí)推薦個(gè)性化學(xué)習(xí)資源，能夠很好地滿(mǎn)足學(xué)習(xí)者的需求。

[14]Polatidis， N.， & Georgiadis， C.（2016）. A Multi-level Collaborative Filtering Method that Improves Recommendations[J]. Expert Systems with Applications， 48：100-110.

[15]Tarus， J.， Niu， Z.， & Mustafa， G. （2017）. Knowledge-Based Recommendation： A Review of Ontology-Based Recommender Systems for E-learning[J]. Artificial Intelligence Review， 1-28.

[16]Tian， L.， Fan， C.， & Ming， Y. （2016）. Multiple Scales Combined Principle Component Analysis Deep Learning Network for Face Recognition[J]. Journal of Electronic Imaging， 25（2）：023025.

[17]Vesin， B.， & Budimac， Z. （2011）. E-learning Personalization Based on Hybrid Recommendation Strategy and Learning Style Identification[J]. Computers & Education， 56（3）：885-899.

[18]Wang， Y.， & Shang， W. （2016）. Personalized News Recommendation based on ConsumersClick Behavior[C]// International Conference on Fuzzy Systems and Knowledge Discovery. IEEE： 634-638.

[19]Wei， S.， Zheng， X.， & Chen， D. et al. （2016）. A Hybrid Approach for Movie Recommendation Via Tags and Ratings[J]. Electronic Commerce Research & Applications， 18（C）：83-94.

[20]Xue， S.， Jiang， H.， & Dai， L. （2014）. Speaker Adaptation of Hybrid NN/HMM Model for Speech Recognition Based on Singular Value Decomposition[A]. International Symposium on Chinese Spoken Language Processing[C]. IEEE： 175-185.

[21]Yao， L.， Sheng， Q.， & Ngu， A. et al. （2015）. Unified Collaborative and Content-Based Web Service Recommendation[J]. IEEE Transactions on Services Computing， 8（3）：453-466.

[22]Zapata， A.， Menéndez， V.， & Prieto， M. et al. （2015）. Evaluation and Selection of Group Recommendation Strategies for Collaborative Searching of Learning Objects [J]. International Journal of Human-Computer Studies， 76（C）：22-39.

[23]Zhao， X.， Yuan， J.， & Wang， M. et al. （2013）. Video Recommendation over Multiple Information Sources[J]. Multimedia Systems， 19（1）：3-15.

[24]Zhou， Y.， Huang， C.， & Hu， Q. et al. （2018）. Personalized Learning Full-Path Recommendation Model Based on LSTM Neural Networks [J]. Information Sciences， 444：135-152.

Personalized Learning Resource Recommendation from the Perspective of Deep Learning

LI Haojun， ZHANG Zheng， GUO Haidong， WANG Dan

Abstract： With the rapid development of “Internet +” education， the scale of online learning resources data has expanded rapidly， and the difficulty of learners to choose the right resources from massive learning resources has increased. How to help learners acquire appropriate learning resources and develop personalized learning has become an important research topic in the field of intelligent learning. The key to realizing personalized learning resource recommendation lies in exploring and mining the application value of online learning platform data， and taking into account the relevance between learners and learning resources. With the continuous development of artificial intelligence， simple machine learning cant meet the personalized learning resources recommendation service. The personalized learning resources recommendation method based on deep neural network， through MIFS-based feature selection model and learner-learning resources bipartite graph association model， on the basis of effectively measuring learners different attention to learning resources， as well as deep mining learners personalized preferences， appropriate learning resources can be recommended for learners. This method achieves good recommendation effect in different learning periods and under different learners experimental conditions， and it is superior to traditional machine learning algorithm in classification and regression performance evaluation index. It shows that this method can provide personalized learning resource recommendation service in the big data environment of education and improve learners online learning experience.

Keywords： Deep Learning; Neural Network; Learning Resources; Personalization; Recommendation Methods