李鵬，閔慧，丁長松*

（1.湖南中醫(yī)藥大學 信息科學與工程學院，湖南 長沙；2.湖南信息職業(yè)技術學院 軟件學院，湖南 長沙）

一 引言

疫情防控常態(tài)化的背景下，“停課不停學”是一種常態(tài)化教學要求。在線教學也成為“停課不停學”的主要途徑[1]。不同于傳統(tǒng)課堂學習，線上教學中師生被置于不同的空間，一方面弱化了教師對學生的監(jiān)督和指導作用，另一方面降低了師生間的互動頻率及互動效率，不利于學生對知識的理解、整合及應用，大大降低了教學效果和教學質(zhì)量。那么，在常態(tài)化疫情防控的特殊時期，學生如何基于線上學習有限的條件最大程度地利用線上教學資源實現(xiàn)自主學習、深度學習，成為我們亟須解決的問題。同時，激增的在線教學平臺、海量的教學內(nèi)容及多樣化的教學資源在某種程度上又極大地增加了學習者的學習難度，學習者如何從海量的學習資源中篩選出適合自己的學習資源已成為在線學習領域的一大難題[2]。

二 相關工作

在線學習資源的個性化推薦問題是目前研究的熱點，已有眾多的學者提出了一系列用于在線學習資源推薦的方法[3-8]，如盧春華等人[3]提出了一種基于本體和循環(huán)神經(jīng)網(wǎng)絡的在線學習資源推薦方法。該方法采用本體對學習資源進行表示和建模，并采用循環(huán)神經(jīng)網(wǎng)絡來識別學習者的學習偏好。實驗結(jié)果表明，該方法在召回率和準確率方面的推薦性能比傳統(tǒng)方法有了極大提升。李浩君等人[4]針對現(xiàn)有基于單目標的學習資源推薦算法精度不足的問題，采用了一種基于多目標優(yōu)化策略的在線學習資源推薦方法，以同時獲得學習者對學習資源類型難度水平適應度最佳和偏好度最大為優(yōu)化目標，設計了多目標粒子群優(yōu)化算法來提高推薦精度和效率。張小雪等人[5]在分析幾種國內(nèi)外個性化學習資源推薦的基礎上，提出了使用Felder-Silverman 量表和自我評價指標來檢測學習者的偏好，然后從學習者的學習行為和學習路徑等角度出發(fā)來挖掘潛在的隱形學習特征，并結(jié)合協(xié)同過濾和數(shù)據(jù)挖掘技術來實現(xiàn)學習者特征與在線學習資源之間的匹配，從而達到優(yōu)化學習資源推薦的目的。夏立新等人[6]從移動學習平臺中用戶評價結(jié)果出發(fā)，設計了一種改進的布爾型移動在線學習資源協(xié)同推薦方案。該方案首先采用基于用戶自身屬性和學習歷史的FRUTAI 算法來識別所有面向用戶所需的可能的學習資源，然后利用基于打分的評估機制來過濾推薦結(jié)果。另外，王曉東等人[7]針對現(xiàn)有的學習資源推薦方法存在冷啟動和數(shù)據(jù)稀疏性所導致的推薦精度不足的問題，進一步考慮了學習者的學習風格和學習水平對推薦結(jié)果的影響，設計了一種基于知識表示和協(xié)同過濾的精準推薦模型，有效地提高了個性化推薦的準確度；張征等人[8]將深度學習技術應用到個性化學習資源推薦過程中，提出了一種結(jié)合特征選擇和二部圖模型的智能推薦算法，有效地提升了在線學習時學習者的學習質(zhì)量，一定程度上解決了大數(shù)據(jù)環(huán)境下學習資源劇增所導致的資源選擇難度大的問題。

然而總的來看，現(xiàn)有的推薦算法還很難準確地挖掘出在線學習過程中的隱性數(shù)據(jù)，導致推薦質(zhì)量不夠理想。此外，現(xiàn)有的基于深度神經(jīng)網(wǎng)絡的推薦算法大多存在網(wǎng)絡退化問題(degradation problem)[9]，極大地制約了推薦算法的性能，難以滿足個性化推薦服務的質(zhì)量要求。鑒于此，本文提出了一種基于殘差網(wǎng)絡(residual network, ResNet)[10]的在線學習資源個性化推薦方法。文中在設計了基于互信息的特征選擇的基礎上，采用學習者- 學習資源二分圖模型來衡量學習者的學習偏好，并提出利用殘差網(wǎng)絡來訓練推薦模型，實現(xiàn)在線學習資源的個性化精準推薦。

三 本文方案

（一） 問題描述

學習資源個性化推薦問題可以看作是一種學習者與學習資源之間的關系匹配問題[11]。在線學習平臺如何為學習者精準地推薦學習資源，其關鍵點在于如何有效地利用好學習者的歷史學習資源信息，對其進行深入地分析和挖掘處理。假設，學習者的歷史學習資源集合信息用圖1 左側(cè)所示的m×n矩陣表示，其中，L代表學習者，R代表學習資源。圖1 中的白色空白部分表示學習者還未學習過的學習資源，而陰影部分表示已經(jīng)學習過的資源。本文研究的問題：在獲得學習者的歷史學習信息(可用歷史學習矩陣表示)的基礎上，如何通過深度學習技術從海量的在線學習資源中篩選得到符合需求的資源推薦學習者。

圖1 個性化學習資源推薦問題

（二） 個性化推薦框架

本文提出基于殘差網(wǎng)絡的三級模型來進行學習資源的個性化推薦，如圖2 所示。其中，在第一級中，我們基于互信息的特征選擇來表示和處理學習者的歷史學習數(shù)據(jù)，并將它作為模型的輸入。此外，我們還構(gòu)建了一種用于判斷學習資源是否值得推薦的決策條件：學習者- 學習資源二部圖關聯(lián)模型。在第二級中，我們建立了基于殘差網(wǎng)絡的學習模型，針對學習資源的個性化推薦問題，提出了基于Adam算法[12]的殘差網(wǎng)絡優(yōu)化策略，通過一系列復雜的訓練過程得到學習資源推薦模型。在第三級中，將待測試數(shù)據(jù)輸入已經(jīng)訓練完畢的個性化推薦模型，模型便可以向?qū)W習者推薦符合學習需求的個性化學習資源。

圖2 基于深度學習的在線學習資源個性化推薦框架

（三） 在線學習資源個性化推薦模型設計

1.基于互信息的特征選擇

特征選擇是否準確是影響到個性化推薦模型性能的關鍵之一。一般而言，影響學習者選擇不同的在線學習資源的主要因素有專業(yè)領域、認知能力、學習目標、學習風格和學習時長等。同時，學習資源本身也存在著資源類型、獲取方式、資源難易程度等屬性。因此，為了建模得到準確的學習資源個性化推薦模型，我們首先需要從眾多特征中挖掘得到學習者與學習資源之間的關聯(lián)并進行特征選擇，以作為個性化推薦模型的輸入。

在線學習數(shù)據(jù)中除了包含學習者的多次學習行為記錄，還存在很多隱性數(shù)據(jù)，我們可以從這些數(shù)據(jù)中獲取學習資源的特征。而在實際數(shù)據(jù)處理過程中存在無關特征和冗余特征，比如學習者的學員編號或者班級編號可能就是無關特征，在一些大型的公開數(shù)據(jù)集中還有可能記錄了學習者的家庭住址、父母職業(yè)及工作單位等信息，因此需要進行特征選擇或者篩選處理，將無關特征和冗余特征去除，來提高推薦模型的準確率與高效性。本文采用基于互信息的特征選擇方法來完成這一工作?；バ畔⒖捎糜谠u價定性自變量( 特征) 對定性因變量( 標簽) 的相關性。對于離散型隨機變量X,Y，互信息的計算公式如下：

為了便于計算，互信息可以轉(zhuǎn)換為KL散度的形式：

KL散度常用來衡量兩個概率分布之間的差異，如果x和y是相互獨立的隨機變量，則p(x,y) =p(x)p(y)，那么上式為 0。因此若I(X;Y)越大，則表示兩個變量相關性越大，于是可以用互信息來篩選學習者和資源的特征。篩選的過程如圖3所示。

圖3 基于互信息的特征選擇

2.學習者-學習資源二分圖模型

了解學習者對某一學習資源的偏好對于實現(xiàn)準確的資源推薦具有重要作用。本文提出用學習者-學習資源二分圖模型來衡量學習者對某一資源的偏好程度。假設，學習者集合為L={l1,l2,...,ln}，學習資源集合為LR={r1,r2,...,rm}，則可以構(gòu)造一個0~1 矩陣Xn×m來表述學習者與學習資源之間的關聯(lián)關系[8]：

在式（3）中，如果Xn×m= 1，則表示學習者已經(jīng)學習過此資源；反之，則表示沒有學習過。其中，矩陣X的行向量表示學習者；列向量表示學習者對于學習資源的學習行為。進一步地，我們可將學習者對某一學習資源的學習頻率定義為：習資源的平均次數(shù)；表示li學習資源lrj的總

在式（4）中，F(xiàn)oL(li)表示學習者li學習某一學次數(shù)；Num(li)表示li已學習過的資源總數(shù)。圖4 給出了基于二分圖的資源選擇示例。從圖4 可以看到，學習者 學習了l2r，則兩者之間存在一條邊，邊上的權(quán)值2 表示學習了2 次。此時可以計算出l2學習的lr2頻率為：2/10。該頻率反映了學習者對某一資源的感興趣程度，學習頻率越高，則表明該學習者對該資源有更大的偏好。進一步地，本文定義了如式（5）所示的推薦條件(RC)來判斷是否應該將某一學習資源推薦給相應的學習者：

圖4 基于二分圖的資源選擇

3.基于殘差網(wǎng)絡的個性化推薦

在學習資源推薦場景中應用深度學習技術，其關鍵在于如何利用學習者的歷史學習記錄進行建模，找出原始數(shù)據(jù)間隱式特征，進而在訓練模型構(gòu)造時能規(guī)范模型的輸入層與輸出層。上一小節(jié)采用基于互信息的特征選擇模型與學習者- 學習資源二部圖關聯(lián)模型有效地解決了深度神經(jīng)網(wǎng)絡的輸入與輸出部分。本文采用殘差網(wǎng)絡[10]來判斷學習者是否已經(jīng)學習過某一學習資源、對該資源的重視度，進而實現(xiàn)在線學習資源的個性化推薦。

ResNet 由一個個殘差單元組合而成，它容易優(yōu)化，其準確率也能通過增加相當?shù)纳疃葋硖岣摺?nèi)部殘差塊間的跳躍連接(短路機制)有效地緩解了在深度神經(jīng)網(wǎng)絡中因增加深度所帶來的梯度消失或梯度擴散等問題。本文構(gòu)建了一個34 層的深度殘差網(wǎng)絡(ResNet-34) 來提取學習者- 資源二部圖的特征，如圖5 所示。在本文提出的ResNet-34 模型中，我們采用Relu 函數(shù)[13]作為每個卷積核的激活函數(shù)；采用交叉熵[14]作為損失函數(shù)來評估模型的準確性；采用Adam 算法作為訓練過程中的優(yōu)化策略。具體而言，在ResNet-34 中，首先采用一個大小為7×7 的卷積核以2 個步長對原始輸入的二部圖進行特征提取，得到一個大小為112×112 的特征圖，接著使用最大池化(Max Pooling) 技術來對特征進行壓縮，然后經(jīng)過四組大小分別為3、4、6 和3 的殘差塊進行多次反復的特征提取。其中，所有殘差組中的卷積核大小都為3×3，每組殘差塊中的第一個卷積核采用2 個步長進行特征提取，其他卷積核采用1 個步長進行特征提取。此外，同組殘差塊所采用的卷積核通道數(shù)均相同，依次為64、128、256 和512。此時，各組輸出的特征圖大小依次為56×56、28×28、14×14、7×7。最后經(jīng)過平均池化和全連接層，采用Sigmoid 函數(shù)進行分類映射，進而得到個性化在線學習資源的推薦結(jié)果。

圖5 用于在線學習資源推薦的ResNet-34 結(jié)構(gòu)

（四） 仿真實驗分析

我們的實驗是在一臺8 核16 線程的計算機上進行的。計算機的操作系統(tǒng)為Ubuntu 16.04 LTS 64 位，CPU 型 號 為Intel Core i9-9960X@ 3.10GHz，內(nèi)存為16G。采用深度學習框架TensorFlow 和Anaconda 平臺實現(xiàn)了文中提出的基于殘差網(wǎng)絡的在線學習資源推薦模型(RR-RN)。實驗數(shù)據(jù)集源自湖南省長沙市某高校在線學習平臺數(shù)據(jù)集，我們從中提取了部分學習數(shù)據(jù)得到如表1 所示的實驗數(shù)據(jù)集。為了避免推薦模型過擬合，我們對所有四個數(shù)據(jù)樣本采用十折交叉驗證來評估ResNet-34 的推薦性能，選出性能最好狀態(tài)下的超參數(shù)，得到最終的推薦模型。

表1 數(shù)據(jù)樣本

本文研究的問題是判斷是否應該推薦某一學習資源給特定的學習者。文中根據(jù)學習者- 學習資源二分圖模型將該問題劃分為推薦和不推薦兩種情況，屬于一種典型的分類問題。另一方面，學習者對某一學習資源的學習頻率則反映了學習者的偏好，因此這也是一種回歸問題。為此，文中從兩個方面去衡量本文方法的性能，在分類方面采用查準率(Precision, P)、召回率(Recall, R) 和 F 值作為評價指標。在回歸方面則采用均方誤差(MAE)、均方根誤差(MSE)、平均絕對誤差(RMSE)作為評價指標。此外，為了橫向比較本文方法的性能，我們采用決策樹(Decision Tree，DT)[15]、支持向量機(Support Vector Machines，SVM)[16]和K 最 近 鄰(K-Nearest Neighbor，KNN)[17]作為分類方面的對比算法；采用回歸樹(Regression Tree, RT)[18]、支持向量機(Support Vector Machines，SVM)、線性回歸(Linear Regression, LR)[19]作為回歸方面的對比算法。

分類評價結(jié)果如圖 6 所示。從圖6 中我們可以看出，隨著不同樣本中學習時間或?qū)W習者數(shù)量的增加，查準率、召回率和F值都在增加，這表明學習記錄的增加，有利于挖掘?qū)W習者和學習資源之間的潛在關聯(lián)關系，從而提高推薦的準確性。此外我們還注意到，本文提出的基于殘差網(wǎng)絡的推薦算法(RR-RN) 的性能始終要優(yōu)于其他算法，這表明RR-RN 算法對于解決實際的學習資源推薦問題具有較好的針對性，能夠滿足個性化推薦的需求。

圖6 不同算法的分類評價結(jié)果

回歸評價結(jié)果如圖 7 所示。從圖7 中我們可以看出，隨著不同樣本中學習時間或?qū)W習者數(shù)量的增加，不同算法預測的學習者對學習資源的學習頻率會隨之波動，但總的來看，本文提出的RR-RN 算法在四個數(shù)據(jù)樣本上的預測結(jié)果與實際結(jié)果之間的誤差總是最小，這表明RR-RN 算法在預測學習者對某一學習資源的學習頻率上具有較好的適應性，有比其他算法更優(yōu)越的性能。仔細分析其原因可知，這是因為隨著學習行為記錄的不斷增加，通過采用殘差網(wǎng)絡的學習和誤差判斷，有利于預測學習者的真正偏好，進一步篩選出學習者真正感興趣的學習資源，提高了推薦的質(zhì)量。

圖7 不同算法的回歸評價結(jié)果

四 推薦平臺的實現(xiàn)

上節(jié)詳細介紹了本文提出的基于殘差網(wǎng)絡的在線學習資源個性化推薦模型，并通過仿真實驗驗證了該個性化推薦模型的有效性。下面進一步給出嵌入了該模型的在線學習資源推薦平臺的實現(xiàn)過程，以直觀地展示本文提出的推薦方法如何應用到實際中去。

（一） 推薦平臺總體架構(gòu)設計

1.開發(fā)框架

在本文提出的在線學習資源推薦平臺中，學習者角色可以結(jié)合自身的學習興趣選擇需要的學習資源來進行學習，教師角色或者管理員角色可以實現(xiàn)學習資源的管理，包括制作個人化學習資源，上傳、修改和刪除學習資源等。限于篇幅，本節(jié)僅展示與個性化推薦相關的功能，搭建的基于殘差網(wǎng)絡的在線學習資源個性化推薦平臺如圖8 所示。其中，數(shù)據(jù)庫中存儲了整個推薦平臺的所有數(shù)據(jù)，例如用戶的基本信息、學習者學習記錄、學習資源的信息等；持久層則負責實現(xiàn)數(shù)據(jù)的采集、清洗和在線學習資源的個性化推薦；服務層負責提供面向用戶的各種服務；Web 層負責接收客戶端發(fā)送的請求，再將請求轉(zhuǎn)發(fā)給服務層（service 層）和數(shù)據(jù)持久層進行功能處理來實現(xiàn)對應用層的支持。

圖8 學習資源推薦平臺架構(gòu)設計

2.數(shù)據(jù)庫設計

在本文提出的在線學習資源推薦平臺中，在數(shù)據(jù)持久層中實現(xiàn)了核心的推薦服務功能，該功能與學習者的偏好、歷史學習行為和學習資源的特征等屬性具有緊密聯(lián)系，因此建立一個合適的數(shù)據(jù)庫對于高質(zhì)量地完成在線學習資源個性化推薦是至關重要的。我們?yōu)橛脩粼O定了三種角色：管理員、教師和學習者，構(gòu)建出如圖9 所示的實體對象E-R 圖，完成數(shù)據(jù)庫的建模。

圖9 實體對象E-R 圖

進一步地，圖10 給出了推薦平臺中設計的數(shù)據(jù)庫表和表字段關系圖。我們將圖10 中描述的學習者的行為記錄進一步轉(zhuǎn)化為可供殘差網(wǎng)絡算法訓練的數(shù)據(jù)，用來支撐推薦平臺的功能實現(xiàn)。

圖10 數(shù)據(jù)庫表和以及字段關系

（二） 功能流程

最后，圖11 給出了在線學習資源推薦平臺的功能流程圖。圖中，學習者的功能包括收藏、下載、瀏覽、搜索學習資源等，教師的功能包括資源的上傳、修改、屬性編輯、查看記錄等。此外，教師在上傳資源的同時可以對資源的一些屬性加以標記，例如該資源的主題目標、學習難度、內(nèi)容類型和學習時長等。該平臺收集學習者的學習數(shù)據(jù)和學習資源數(shù)據(jù)，采用基于深度學習的推薦引擎，計算得到學習者的偏好信息和學習資源的權(quán)重數(shù)值，以此作為在平臺中實現(xiàn)學習資源匹配的依據(jù)，進而完成學習資源的個性化推薦。

圖11 功能流程圖

五 結(jié)論和未來工作

疫情常態(tài)化管控下，在“停課不停學”常態(tài)化要求下，如何有效地向?qū)W習者推薦他們感興趣的學習資源是提高線上教學效果的一種重要手段。文中提出了一種新穎的在線學習資源個性化推薦方法。該方法通過基于互信息的特征選擇、基于學習者-學習資源二分圖模型的資源選擇和基于殘差網(wǎng)絡的資源學習等處理來完成在線學習資源的個性化推薦。仿真實驗結(jié)果和實現(xiàn)的推薦平臺都驗證了本文方法的有效性。在下一步研究工作中，我們將考慮利用知識圖譜來對學習者、學習路徑以及學習資源之間的關系進行建模，進而采用知識計算和知識推理的手段來構(gòu)建高效的學習資源推薦方法。