王曙燕，郭睿涵，孫家澤

（西安郵電大學(xué) 計算機學(xué)院，西安 710121）

0 概述

近年來，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，在線教育行業(yè)也迎來了新的發(fā)展潮流，其中擁有大量優(yōu)質(zhì)課程資源的MOOC 學(xué)習(xí)平臺是在線教育行業(yè)的主要代表。MOOC 平臺的不斷發(fā)展和積累為高校開展線上線下相結(jié)合的混合式教學(xué)提供了便利［1］。截止2021 年10 月底，我國上線MOOC 數(shù)量超過4.75 萬門，注冊用戶達(dá)到3.64 億，選課人次達(dá)到7.55 億，中國慕課數(shù)量和慕課學(xué)習(xí)人數(shù)均為世界第一。但是隨著學(xué)習(xí)資源越來越豐富，面對海量的MOOC 學(xué)習(xí)資源，廣大學(xué)習(xí)者面臨著“信息迷航”和“信息過載”等問題［2］，同時，MOOC 平臺也很難針對學(xué)習(xí)者的特點為學(xué)習(xí)者推薦出其感興趣的學(xué)習(xí)資源。另一方面，MOOC 平臺也存在著高注冊率、低通過率的問題，通過率10%以上的課程占比不到10%。一個重要原因是MOOC 不能針對用戶的特點進(jìn)行高質(zhì)量的推薦。在MOOC 平臺中，用戶的興趣等信息難以獲取，現(xiàn)有的推薦方法不能很好地挖掘用戶學(xué)習(xí)記錄中隱含的用戶興趣等信息，同時，一些優(yōu)質(zhì)的新課程因為被點擊學(xué)習(xí)的次數(shù)較少而被雪藏，而一些發(fā)布時間較早的課程由于累計點擊學(xué)習(xí)次數(shù)較高而被頻繁地推薦。個性化推薦系統(tǒng)是解決信息過載問題的最有效的方法之一，可以幫助學(xué)習(xí)者在MOOC 平臺上高效地學(xué)習(xí)，避免學(xué)習(xí)迷航。此時，高質(zhì)量的推薦結(jié)果就顯得尤為重要。一方面，準(zhǔn)確的推薦結(jié)果可以節(jié)省學(xué)習(xí)者查找課程的時間，提高學(xué)習(xí)者的學(xué)習(xí)效率和學(xué)習(xí)興趣，高質(zhì)量的推薦結(jié)果可以提高新課程的推薦頻率，使一些優(yōu)質(zhì)的新課程不會因為曝光頻次較少而被雪藏，增加授課教師的創(chuàng)作熱情；另一方面，高質(zhì)量的推薦結(jié)果可以提高學(xué)習(xí)者對MOOC 平臺的滿意度和信任程度，提高M(jìn)OOC 平臺的課程通過率。

目前常用的推薦模型主要分為淺層模型、神經(jīng)模型與基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）的模型［3］。最早的推薦模型通過直接計算交互的相似度來捕捉協(xié)同過濾效應(yīng)，隨后文獻(xiàn)［4］提出了基于神經(jīng)網(wǎng)絡(luò)的模型。近年來，基于GNN 的圖嵌入推薦方法［5］憑借其處理結(jié)構(gòu)化數(shù)據(jù)和挖掘結(jié)構(gòu)化信息的優(yōu)點，已經(jīng)成為推薦系統(tǒng)中最新的研究方向。

但是目前對于MOOC 推薦的研究還比較少，MOOC 平臺的交互數(shù)據(jù)較為稀疏，不同課程被曝光的頻次差異較大，交互數(shù)據(jù)中噪聲數(shù)據(jù)較多，目前已有的MOOC 推薦方法不能有效解決上述問題。本文提出一種基于圖對比學(xué)習(xí)的MOOC 推薦方法，并設(shè)計一種新的數(shù)據(jù)增強方法。首先對用戶項目交互的二分圖進(jìn)行數(shù)據(jù)增強得到兩個子視圖，數(shù)據(jù)增強包括隨機添加和隨機刪除兩種方法，然后通過圖卷積神經(jīng)網(wǎng)絡(luò)對原始二分圖和兩個子視圖進(jìn)行節(jié)點表征提取，構(gòu)建推薦監(jiān)督任務(wù)和對比學(xué)習(xí)輔助任務(wù)進(jìn)行聯(lián)合優(yōu)化，最后獲得推薦結(jié)果。

1 相關(guān)研究

1.1 推薦系統(tǒng)

1.1.1 協(xié)同過濾推薦方法

協(xié)同過濾推薦方法源于現(xiàn)實生活中口碑相傳的過程，協(xié)同過濾利用相似用戶之間具有相似興趣偏好的方法來發(fā)現(xiàn)用戶對項目的潛在偏好［6］。其核心思想可以分為兩部分：首先是利用用戶的歷史信息計算用戶之間的相似性；然后利用與目標(biāo)用戶相似性較高的鄰居對其他產(chǎn)品的評價來預(yù)測目標(biāo)用戶對特定產(chǎn)品的喜好程度，系統(tǒng)根據(jù)這一喜好程度來對目標(biāo)用戶進(jìn)行推薦。由于協(xié)同過濾僅需要利用用戶的歷史評分?jǐn)?shù)據(jù)，因此簡單有效，是目前應(yīng)用最為成功的推薦方法。協(xié)同過濾推薦系統(tǒng)最大的優(yōu)點是對推薦對象沒有特殊的要求，能處理音樂、電影等難以進(jìn)行文本結(jié)構(gòu)化表示的對象［7］。但是，由于用戶對項目的評分?jǐn)?shù)據(jù)相對項目的總數(shù)量非常少，因此常會遇到數(shù)據(jù)稀疏的問題［6］。

1.1.2 基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦方法

在推薦系統(tǒng)中，大多數(shù)信息都具有圖形結(jié)構(gòu)。用戶與項目之間的交互可以看作是二分圖，利用圖學(xué)習(xí)方法來獲得用戶和項目的嵌入表示［8］。在圖學(xué)習(xí)方法中，圖形神經(jīng)網(wǎng)絡(luò)目前受到了廣泛的關(guān)注，其中基于圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）的推薦模型憑借其優(yōu)異的效果在推薦系統(tǒng)模型中被廣泛應(yīng)用［9-10］。

圖神經(jīng)網(wǎng)絡(luò)采用嵌入傳播迭代聚合鄰域嵌入。通過疊加傳播層，每個節(jié)點可以訪問高階鄰居信息，而不像傳統(tǒng)方法那樣只訪問一階鄰居信息［11］。該技術(shù)的靈感來自于圖卷積神經(jīng)網(wǎng)絡(luò)，它提供了一種端到端的方式，將多跳鄰居集成到節(jié)點表征學(xué)習(xí)中，并實現(xiàn)最先進(jìn)的性能推薦。

文獻(xiàn)［10］將協(xié)同信號嵌入到基于模型的連接圖的嵌入函數(shù)中，提出一種新的推薦方法NGCF，該方法利用用戶-項目集成圖中的高階連接性來實現(xiàn)協(xié)同信號的嵌入表示。

文獻(xiàn)［11］提出一種簡化的GCN 模型LightGCN，該模型只包含了GCN 鄰域聚合中最基本的部分，例如領(lǐng)域的聚合、多層傳播用于協(xié)同過濾的聚合，刪除了特征變換和非線性激活的部分。LightGCN 中圖卷積運算定義為：

圖1 LightGCN 圖卷積過程Fig.1 LightGCN graph convolution process

其中：al≥0 表示第l層嵌入構(gòu)成最終嵌入的權(quán)重，它可以作為一個超參數(shù)進(jìn)行手動調(diào)整，也可以作為一個模型參數(shù)。

LightGCN 通過在用戶-項目交互圖上線性傳播用戶和項目的嵌入來學(xué)習(xí)節(jié)點表征，最后將用戶和項目嵌入加權(quán)和作為最后的預(yù)測得分。模型預(yù)測結(jié)果被定義為用戶和項目最終表示的內(nèi)積：

同時該結(jié)果也被作為生成推薦排名的分?jǐn)?shù)。

1.2 對比學(xué)習(xí)

自監(jiān)督學(xué)習(xí)的思想是設(shè)置一個輔助任務(wù)，從輸入數(shù)據(jù)本身提取額外的信息，利用未標(biāo)記的數(shù)據(jù)空間。與監(jiān)督式學(xué)習(xí)相比，自監(jiān)督學(xué)習(xí)通過修改輸入數(shù)據(jù)來利用未標(biāo)記的數(shù)據(jù)空間，挖掘出難以與正樣本區(qū)分的負(fù)樣本，從而在下游任務(wù)中取得顯著的改進(jìn)［12-13］。對比學(xué)習(xí)是自監(jiān)督學(xué)習(xí)中的一種方法。

在計算機視覺（Computer Vision，CV）、自然語言處理（Natural Language Processing，NLP）領(lǐng)域，對比學(xué)習(xí)結(jié)合自監(jiān)督學(xué)習(xí)框架，近年來取得了顯著的成就［14-16］，文獻(xiàn)［16］提出了一個簡單的視覺表征對比學(xué)習(xí)框架SimCLR，研究隨機圖像增強。對比學(xué)習(xí)通過最大化一個實例的兩個擴展視圖之間的一致性來訓(xùn)練編碼器。其核心思想是樣本和與之相似的正樣本之間的距離遠(yuǎn)大于樣本和與之不相似的負(fù)樣本之間的距離。

最新的研究結(jié)果表明，自監(jiān)督學(xué)習(xí)可以有效提升推薦模型的性能，提高推薦模型對長尾項目的推薦效果［17］，文獻(xiàn)［13］將自監(jiān)督學(xué)習(xí)的方法加入到推薦模型中，提出一種新的推薦方法SGL，以用戶項圖上的自監(jiān)督學(xué)習(xí)來補充有監(jiān)督的推薦任務(wù)。文獻(xiàn)［18］針對交互序列提出一種新的數(shù)據(jù)增強方式，將對比學(xué)習(xí)應(yīng)用于序列推薦中，提高了推薦模型的魯棒性。

在圖學(xué)習(xí)領(lǐng)域，由于圖數(shù)據(jù)也存在缺少標(biāo)簽或難以標(biāo)注的問題，自2020 年以來，研究人員著力于將對比學(xué)習(xí)技術(shù)應(yīng)用于圖表示學(xué)習(xí)任務(wù)上，取得了較好的效果，這一系列算法研究稱為圖對比學(xué)習(xí)［19］。在一般意義上，圖對比學(xué)習(xí)是一種針對圖數(shù)據(jù)的自監(jiān)督學(xué)習(xí)算法。對給定的大量無標(biāo)注圖數(shù)據(jù)，圖對比學(xué)習(xí)算法旨在訓(xùn)練出一個圖神經(jīng)網(wǎng)絡(luò)編碼器。由這個圖神經(jīng)網(wǎng)絡(luò)編碼得到的圖表示向量，可以很好地保留圖數(shù)據(jù)的特性，并進(jìn)一步在無監(jiān)督、半監(jiān)督、遷移學(xué)習(xí)以及魯棒性測試等實驗設(shè)置下進(jìn)行測試，并應(yīng)用于社交網(wǎng)絡(luò)、蛋白質(zhì)交互網(wǎng)絡(luò)、分子結(jié)構(gòu)、學(xué)術(shù)引用網(wǎng)絡(luò)等多個場景中［20］。

2 MOOC 推薦方法

受到SGL 模型的啟發(fā)，本文將對比學(xué)習(xí)的思想應(yīng)用于MOOC 課程推薦中，設(shè)計一種基于圖對比學(xué)習(xí)的MOOC 課程推薦模型。首先對輸入的用戶項目交互的二分圖進(jìn)行數(shù)據(jù)增強，得到兩個子視圖；然后在原始二分圖和兩個子視圖上使用最先進(jìn)的LightGCN 模型進(jìn)行節(jié)點表征提取，構(gòu)建推薦監(jiān)督任務(wù)和對比學(xué)習(xí)輔助任務(wù)進(jìn)行聯(lián)合優(yōu)化；最后得到推薦結(jié)果。算法框架如圖2 所示。

圖2 本文算法框架Fig.2 Framework of the proposed algorithm

2.1 矩陣形式

將用戶和項目交互的二分圖以矩陣的形式進(jìn)行操作，交互矩陣記為矩陣R∈RM×N，其中M和N分別為用戶的數(shù)量和課程的數(shù)量，如果用戶u學(xué)習(xí)過課程i，則Rui對應(yīng)位置的數(shù)值為1，否則為0。得到用戶項圖的鄰接矩陣形式如下：

其中：D是（M+N）×（M+N）的對角矩陣，對角線上的數(shù)值Dii表示鄰接矩陣A第i行向量中非零項的數(shù)量。最后得到用于模型預(yù)測的最終嵌入矩陣形式如下：

2.2 數(shù)據(jù)增強

推薦系統(tǒng)中用戶項目交互二分圖具有如下的特點：1）用戶和項目的特征是離散的；2）與CV 和NLP任務(wù)將每個數(shù)據(jù)實例視為孤立的情況不同，交互圖中的用戶和項目本質(zhì)上是相互連接和依賴的。因此，在圖像上進(jìn)行的數(shù)據(jù)增強操作，如隨機裁剪、旋轉(zhuǎn)、灰度處理等方法是不適用于交互圖的，需要為基于圖的推薦模型重新設(shè)計數(shù)據(jù)增強的方法。

二分圖是建立在用戶-項目交互信息之上的，因此包含了協(xié)同過濾信息。第一跳鄰居直接描述用戶和項目節(jié)點，即用戶（或項目的互動用戶）的歷史交互可以被視為用戶（或項目）的預(yù)先存在的特性。用戶（或項目）的第二跳相鄰節(jié)點表現(xiàn)出相似的用戶行為（或項目的受眾）。此外，從用戶到項目的高階路徑反映了用戶對項目的潛在興趣。挖掘圖形結(jié)構(gòu)的內(nèi)在模式有助于節(jié)點表征學(xué)習(xí)。本文在圖結(jié)構(gòu)上設(shè)計了兩種數(shù)據(jù)增強的方法：隨機添加和隨機刪除，以創(chuàng)建不同的節(jié)點視圖。數(shù)據(jù)增強的操作可以統(tǒng)一表示如下：

其中：將數(shù)據(jù)增強操作記為S；對用戶和項目交互的二分圖G進(jìn)行兩次完全獨立的數(shù)據(jù)增強的操作形成兩個視圖s1(G)和s2(G)；為在第l層得到的節(jié)點的兩個相關(guān)的節(jié)點表征；H表示鄰域聚合的函數(shù)用以更新節(jié)點表征。

每輪迭代在開始時生成每個節(jié)點的兩個不同視圖，對于兩個獨立的操作過程，隨機添加的參數(shù)m和隨機刪除比率p保持不變。

2.2.1 隨機添加方法

該方法通過參數(shù)m向交互記錄中添加m個隨機生成的交互記錄數(shù)據(jù)，具體而言，該方法會在用戶和項目交互的二分圖中隨機添加一些邊。兩個獨立的操作表示為：

其中：V表示節(jié)點的集合；E 表示邊的集合；E′、E″表示添加的邊的集合。

這種擴充有望從不同的擴充視圖中識別對節(jié)點表征學(xué)習(xí)比較重要的節(jié)點信息，并使節(jié)點表征學(xué)習(xí)對圖結(jié)構(gòu)變化不太敏感。

2.2.2 隨機刪除方法

該方法通過一個隨機刪除比率p刪除一些用戶和項目的交互記錄，具體來講，該方法會隨機刪除一些交互二分圖中的一些邊，兩個獨立的操作表示為：

其中：M1,M2∈{0,1}||E是基于邊的集合的兩個掩碼向量，通過隨機刪除比率p生成；⊙表示兩個向量的乘積。

只有鄰域內(nèi)的部分連接參與節(jié)點表征學(xué)習(xí)，使得GCN 不會過于依賴某一條邊，旨在捕獲節(jié)點局部結(jié)構(gòu)的內(nèi)在信息，并進(jìn)一步賦予節(jié)點表征學(xué)習(xí)對噪聲數(shù)據(jù)更強的魯棒性。

2.3 對比學(xué)習(xí)

建立節(jié)點的增強視圖后，將同一個節(jié)點的視圖視為正對，將同一訓(xùn)練批次不同節(jié)點的視圖視為負(fù)對。對正對的監(jiān)督學(xué)習(xí)促進(jìn)了同一節(jié)點不同視圖之間的一致性，而對負(fù)對的監(jiān)督學(xué)習(xí)加強了不同節(jié)點之間的差異。損失函數(shù)形式上采用對比損失InfoNCE［21］，以最大化正對的一致性，并最小化負(fù)對的一致性，用戶側(cè)InfoNCE 損失函數(shù)公式為：

其中：s表示計算用戶向量之間相似度的函數(shù)，這里采用余弦函數(shù)計算向量相似度；τ為溫度超參數(shù)，在兩個視圖s1（G）和s2（G）下進(jìn)行圖卷積操作得到用戶u的節(jié)點表征，記為為同一用戶u在不同視圖下經(jīng)過圖卷積網(wǎng)絡(luò)學(xué)習(xí)到的節(jié)點表征向量；用戶v（u≠v）在視圖s2（G）下經(jīng)過圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的表示記為為不同用戶節(jié)點經(jīng)過圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的節(jié)點表征向量。項目側(cè)InfoNCE 損失函數(shù)與用戶側(cè)InfoNCE 損失函數(shù)保持一致。LSSL損失函數(shù)公式為：

LSSL優(yōu)化的目標(biāo)是最大化同一節(jié)點表征向量之間的相似性，最小化不同節(jié)點表征向量之間的相似性。

2.4 聯(lián)合優(yōu)化

為了利用對比學(xué)習(xí)任務(wù)改進(jìn)推薦方法，本文采用多任務(wù)訓(xùn)練策略，通過結(jié)合推薦監(jiān)督任務(wù)和對比學(xué)習(xí)輔助任務(wù)對目標(biāo)函數(shù)進(jìn)行聯(lián)合優(yōu)化，聯(lián)合優(yōu)化的目標(biāo)函數(shù)表示為：

其中：Θ表示模型中可訓(xùn)練的參數(shù)表示L2 正則項，L2 正則項用以防止過擬合現(xiàn)象；λ1、λ2為超參數(shù)；LBPR表示推薦系統(tǒng)常用的貝葉斯個性化排名損失［22］。LBPR公式為：

其中：O表示用戶和項目交互的數(shù)據(jù)記錄；u表示用戶；i表示用戶交互過的項目；j表示用戶未交互過的項目；表示樣本得分，由式（5）計算得到表示正樣本得分；表示負(fù)樣本的得分。貝葉斯個性化排名損失LBPR的目標(biāo)是讓正樣本和負(fù)樣本之間的得分之差盡可能大。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

本文在實驗中選用的數(shù)據(jù)集為從中國最大的MOOC平臺之一的學(xué)堂在線收集的數(shù)據(jù)集［23］，將不同年份開設(shè)的相同課程統(tǒng)一為一門課程，選擇2016 年10 月1日—2018年3月31日期間報名至少3門課程的用戶。數(shù)據(jù)集包括1 302 門課程、82 535 個用戶和458 454 條交互記錄。該數(shù)據(jù)集數(shù)據(jù)項包括：用戶ID，課程ID，學(xué)生首次注冊相應(yīng)課程的時間，課程名稱，課程類別，課程類別ID。

對于選取的數(shù)據(jù)集，選取交互次數(shù)大于10 的用戶的數(shù)據(jù)集合，經(jīng)過篩選后的數(shù)據(jù)集信息如表1 所示。

表1 篩選后的數(shù)據(jù)集信息Table 1 Filtered dataset information

3.2 實驗參數(shù)設(shè)置

本文實驗基于流行的開源推薦框架伯樂［24］實現(xiàn)，在實驗過程中，訓(xùn)練集、驗證集和測試集的劃分按照比率8∶1∶1 隨機選取。模型的參數(shù)使用Xavier方法［25］進(jìn)行初始化，優(yōu)化器選用adam，學(xué)習(xí)率大小設(shè)為0.001，batch_size 設(shè)為2 048，圖卷積神經(jīng)網(wǎng)絡(luò)層數(shù)設(shè)定為3 層。

本文實驗針對前K項推薦（Top-K）場景，采用式（17）～式（20）中描述的召回率（R）和歸一化折損累積增益（Normalize Discount Cumulative Gain，NDCG）作為評價指標(biāo)。

其中：Reu表示根據(jù)用戶在訓(xùn)練集上的行為給用戶做出的推薦列表；Tu表示用戶在測試集上的行為列表；U表示用戶的集合；reln表示處于位置n的推薦課程的相關(guān)性；K表示向用戶推薦預(yù)測概率最大的前K門課程；|REL|表示相關(guān)度最高的前K個課程的集合，令K等于5，即向用戶推薦預(yù)測概率最大的前5 門課程；召回率表示正確預(yù)測出的正樣本占實際正樣本的概率；NDCG 用來評價推薦結(jié)果的準(zhǔn)確性，有高關(guān)聯(lián)度的結(jié)果出現(xiàn)在更靠前的位置時，NDCG 指標(biāo)越高，推薦效果越好。

3.3 對比模型選擇

選擇另外4 種方法作為實驗的對比方法，包括基于矩陣分解模型的推薦算法、基于自編碼器的推薦算法和基于圖卷積神經(jīng)網(wǎng)絡(luò)的推薦算法，具體內(nèi)容如下：

1）DMF［26］。一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的矩陣分解模型，通過神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將用戶和項目投射到潛在空間的低維向量中。

2）GC-MC［9］。一種基于用戶項目交互二分圖的圖自編碼器框架，從鏈路預(yù)測的角度解決推薦系統(tǒng)中的預(yù)測問題，只考慮一階鄰居，因此只使用了一個圖卷積層。

3）NGCF［10］。一種基于圖的協(xié)同過濾方法，基于標(biāo)準(zhǔn)的圖卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，在消息傳遞過程中將二階交互特征編碼到消息中。

4）LightGCN［11］。一種基于簡化和增強的圖卷積網(wǎng)絡(luò)的推薦方法，只包含GCN 中最重要的組成部分，例如領(lǐng)域聚合、多層傳播。通過在用戶項目交互圖上線性傳播用戶和項目的嵌入來學(xué)習(xí)節(jié)點表征，最后將用戶和項目嵌入的加權(quán)和作為最后的預(yù)測得分。

3.4 結(jié)果分析

3.4.1 MOOC 數(shù)據(jù)集實驗結(jié)果

本文方法與其他推薦方法在MOOC 數(shù)據(jù)集上的實驗結(jié)果如表2 所示。

表2 MOOC 數(shù)據(jù)集實驗結(jié)果Table 2 Experimental results of MOOC dataset

從表2 可以看出，本文提出的推薦方法在MOOC數(shù)據(jù)集上取得了優(yōu)于其他對比方法的實驗結(jié)果，證明了本文方法的有效性，相較于性能最優(yōu)異的LightGCN方法，本文方法Recall@5 提升了7.8%，NDCG@5 提升了7.3%。從實驗結(jié)果分析來看，GC-MC 使用基于信息傳遞方式的GNN 來挖掘二分圖，將協(xié)同過濾信號直接建模到節(jié)點表征中，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型性能有所提升。NGCF 通過顯式建模用戶和項目之間的高階連接性來提升節(jié)點表征的質(zhì)量，取得了相較于GC-MC更好的性能。LightGCN 只對下一層進(jìn)行規(guī)范化的鄰域嵌入，去除了NGCF 中自連接、特征變換、非線性激活等對于協(xié)同過濾推薦方法意義不大的操作，取得了優(yōu)于NGCF 的實驗結(jié)果。

3.4.2 超參數(shù)λ1對算法性能的影響分析

為驗證超參數(shù)λ1對算法性能的影響，將本文方法在不同λ1值下的實驗結(jié)果進(jìn)行比較，實驗結(jié)果如圖3、圖4 所示。

圖3 在MOOC 數(shù)據(jù)集上不同λ1 值的Recall@5 對比Fig.3 Recall@5 comparison of different λ1values on MOOC dataset

圖4 在MOOC 數(shù)據(jù)集上不同λ1 值的NDCG@5 對比Fig.4 NDCG@5 comparison of different λ1values on MOOC dataset

超參數(shù)λ1的作用是控制對比學(xué)習(xí)輔助任務(wù)占聯(lián)合學(xué)習(xí)任務(wù)的比例。由圖3、圖4 實驗結(jié)果可知，當(dāng)λ1=0.1 時，本文方法性能最佳，當(dāng)λ1＞0.4時，模型性能急劇下降。合適的λ1值可以平衡推薦監(jiān)督任務(wù)和對比學(xué)習(xí)輔助任務(wù)之間的關(guān)系，取得理想的性能。

3.4.3 溫度超參數(shù)τ對算法性能的影響分析

為驗證溫度超參數(shù)τ對算法性能的影響，將本文方法在不同溫度超參數(shù)τ值下的實驗結(jié)果進(jìn)行比較，實驗結(jié)果如圖5、圖6 所示。

圖5 在MOOC 數(shù)據(jù)集上不同τ 值的Recall@5 對比Fig.5 Recall@5 comparison of different τ values on MOOC dataset

圖6 在MOOC 數(shù)據(jù)集上不同τ 值的NDCG@5 對比Fig.6 NDCG@5 comparison of different τ values on MOOC dataset

溫度超參數(shù)τ的作用是挖掘困難負(fù)樣本，即對梯度貢獻(xiàn)較大的負(fù)樣本。在投影空間中，小的溫度超參數(shù)會使困難負(fù)樣本和正樣本距離更遠(yuǎn)，增大相似性得分的差值，使得正樣本和負(fù)樣本的區(qū)分度更加明顯。由圖5、圖6 結(jié)果可以看出，不同τ值對實驗結(jié)果具有不同的影響。當(dāng)τ=0.5 時，算法性能達(dá)到最優(yōu)，當(dāng)τ值過?。é樱?.3）時，算法性能 會急劇下降。

3.4.4 數(shù)據(jù)增強方法效果對比

數(shù)據(jù)增強方法對比結(jié)果如表3 所示。由表3 結(jié)果可知，隨機添加的數(shù)據(jù)增強方法稍優(yōu)于隨機刪除的方法。

表3 數(shù)據(jù)增強方法對比結(jié)果Table 3 Comparison results of data enhancement methods

一個可能的原因是使用隨機刪除數(shù)據(jù)增強方法會刪除掉一些交互中有用的信息，例如：用戶學(xué)習(xí)了C 語言、數(shù)據(jù)結(jié)構(gòu)課程之后又學(xué)習(xí)了一門C#課程，但是由于C#的課程開設(shè)的較少，在隨機刪除的過程中刪除掉了這條交互記錄，導(dǎo)致在學(xué)習(xí)節(jié)點表征的過程中損失了一些有用的信息，而隨機添加的方法保留了所有的交互信息，可以在不丟失信息的情況下對圖結(jié)構(gòu)進(jìn)行擴充。

3.4.5 模型訓(xùn)練效率對比

模型訓(xùn)練的過程如圖7 所示，模型取得最優(yōu)結(jié)果之后便不再記錄數(shù)值波動。

圖7 在MOOC 數(shù)據(jù)集上訓(xùn)練效率Fig.7 Training efficiency on MOOC dataset

從圖7 可以看出，本文方法先于LightGCN 收斂，在實驗中，LightGCN 在103 次迭代后取得最優(yōu)結(jié)果，本文方法在87 次迭代后取得最優(yōu)結(jié)果。這得益于對比學(xué)習(xí)采用的InfoNCE 損失函數(shù)將同一batch 中不同用戶的節(jié)點表征均視為負(fù)樣本，使模型能夠從多個負(fù)樣本中學(xué)習(xí)節(jié)點表征，而LightGCN 中的BPR 損失僅使用一個負(fù)樣本，限制了模型的感知領(lǐng)域。另一方面，通過InfoNCE 損失函數(shù)中溫度超參數(shù)可以挖掘困難負(fù)樣本來引導(dǎo)節(jié)點表征學(xué)習(xí)，加快模型的收斂速度。

3.4.6 長尾課程推薦效果分析

將MOOC 數(shù)據(jù)集按項目交互次數(shù)進(jìn)行篩選得到交互次數(shù)較少的課程的數(shù)據(jù)集，即長尾課程數(shù)據(jù)集，同時為了保證長尾課程的個數(shù)，選取交互次數(shù)為［5，300］的課程，共212 門課程，這些課程的平均交互次數(shù)為21.8。模型在長尾課程數(shù)據(jù)集上得到的結(jié)果如圖8 所示。

圖8 長尾課程推薦實驗結(jié)果Fig.8 Recommended experimental results of long tail course

從圖8 可以看出，在交互數(shù)據(jù)稀疏的情況下，LightGCN 很難獲取到長尾課程的高質(zhì)量表示，本文提出的方法在交互次數(shù)較少的長尾課程數(shù)據(jù)集上仍能表現(xiàn)出較強的競爭力。這得益于InfoNCE 損失函數(shù)采用余弦相似度對課程之間的相似性進(jìn)行度量，當(dāng)所有實例映射到投影空間之后，通過計算余弦相似度，使得它們在投影空間內(nèi)的分布是均勻的，因而在項目embedding包含的信息里，更多的保留了每個項目的個性化信息，使點擊次數(shù)較多地?zé)衢T課程和一些點擊次數(shù)較少的新開設(shè)的課程之間不會有較大的差異。

3.4.7 模型對噪聲數(shù)據(jù)魯棒性分析

將MOOC 數(shù)據(jù)集中按比例加入一定量隨機生成的交互記錄數(shù)據(jù)，得到加入噪聲數(shù)據(jù)的數(shù)據(jù)集。模型在噪聲數(shù)據(jù)集上得到的實驗結(jié)果圖9 所示。

圖9 本文方法和對比方法在噪聲數(shù)據(jù)集上的結(jié)果Fig.9 Results of this method and comparison method on noise datasets

從圖9 可以看出，在加入較多的噪聲數(shù)據(jù)的條件下，其他模型表現(xiàn)效果不佳，本文提出的方法在加入噪聲數(shù)據(jù)的數(shù)據(jù)集上仍能取得較好的實驗結(jié)果。本文方法通過比較節(jié)點經(jīng)過數(shù)據(jù)增強后得到的兩個子視圖，能夠從用戶和項目交互的二分圖中識別出節(jié)點的圖結(jié)構(gòu)信息，并且能夠減少節(jié)點表征學(xué)習(xí)對某些邊的依賴。

4 結(jié)束語

個性化推薦系統(tǒng)已經(jīng)在互聯(lián)網(wǎng)各個領(lǐng)域得到廣泛使用，但是對于MOOC 課程推薦方法的研究卻相對較少，MOOC 平臺上的交互數(shù)據(jù)存在用戶信息不容易獲取、交互數(shù)據(jù)稀疏、課程曝光頻次不平衡、交互數(shù)據(jù)中存在噪音等問題。為此，本文提出一種基于圖對比學(xué)習(xí)的MOOC 推薦方法，通過構(gòu)建對比學(xué)習(xí)輔助任務(wù)，提高對MOOC 課程推薦的效果，在MOOC 數(shù)據(jù)集上進(jìn)行實驗，結(jié)果表明，本文提出的方法能有效提高M(jìn)OOC 課程推薦質(zhì)量，同時提升了模型訓(xùn)練的效率。但是課程的特征信息中依然存在豐富的關(guān)聯(lián)信息，如課程中包含的知識點、講授課程的院校教師等信息，如何將課程的特征信息融入推薦系統(tǒng)，從而提升推薦效果，將是下一步的研究方向。