翟正利，馮 舒，李鵬輝

青島理工大學 信息與控制工程學院，山東 青島 266520

隨著互聯(lián)網(wǎng)空間的多元發(fā)展，各類應用的出現(xiàn)引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長。這些數(shù)據(jù)中蘊含著豐富價值的同時也帶來了嚴重的“信息過載”問題。如何讓用戶精準選擇自己所需的資源無疑是一個值得重視的問題。在此背景下，推薦技術(shù)是解決該問題的有效手段。推薦系統(tǒng)是基于歷史記錄分析用戶興趣，一方面為用戶提供他們可能感興趣的項目，另一方面讓信息能展現(xiàn)在對它感興趣的用戶中，從而實現(xiàn)信息提供商與用戶的雙贏。大多推薦技術(shù)都基于矩陣因式分解（matrix factorization，MF）模型[1]。MF 模型將用戶的歷史記錄視為用戶-項目交互矩陣，將用戶和項目描述為潛在空間中的潛在向量，未觀察到的評分估計描述為用戶潛在向量和項目潛在向量之間的內(nèi)積。受MF模型的啟發(fā)，近年來出現(xiàn)了基于深度學習的推薦方法，包括協(xié)同過濾（collaborative filtering，CF）[2-3]、順序推薦[4-5]等并受到了廣泛關(guān)注。

盡管上述方法取得了巨大成功，但由于其忽視鄰居信息從而限制了性能，鄰居信息既包括用戶可能感興趣的項目，也包括共享相似興趣的用戶[6]。圖嵌入方法可以很好地克服以上缺點，通過將用戶-項目交互視為二部圖并將每個節(jié)點編碼為向量空間中的高維向量，從而將圖模型和分解模型組合在一起，能夠合并原始用戶-項目交互中不包括的高階鄰居連接。在各種圖嵌入技術(shù)中，圖卷積網(wǎng)絡(luò)（graph convolutional networks，GCN）通過定義圖卷積來處理非歐式空間數(shù)據(jù)，如圖數(shù)據(jù)。如文獻[7]引入Chebyshev多項式來降低模型參數(shù)，并對權(quán)重矩陣做歸一化處理，所得一階圖卷積網(wǎng)絡(luò)大大降低了計算復雜度。由于其有效性和實用性，GCN 在文章分類、社交網(wǎng)絡(luò)、化學等不同領(lǐng)域得到了廣泛的應用[8]并成為了最受歡迎的推薦技術(shù)之一[9]。

眾多模型實驗結(jié)果表明：不合理的GCN 模型設(shè)計會增加訓練復雜度并限制模型性能。首先，GCN 遞歸地聚合來自不同順序鄰域的消息，卻難以區(qū)分來自不同節(jié)點的混合消息，使提取關(guān)鍵信息和剔除無用信息變得困難。其次，來自不同階鄰域的鄰居消息都被壓縮為用于表示節(jié)點的固定長度向量，表達圖結(jié)構(gòu)數(shù)據(jù)的能力尚有欠缺，可能導致在傳播過程中丟失重要信息。第三，多層堆疊會導致過平滑從而降低模型性能，因此當前大多數(shù)GCN模型仍是淺層模型。過平滑問題準確來說是連通分量中每個節(jié)點的特征都為所有節(jié)點特征的平均，即同一連通分量內(nèi)的節(jié)點的表征趨向于收斂到同一個值。

為解決上述協(xié)同過濾問題，提出一種基于改進圖卷積網(wǎng)絡(luò)的推薦模型。首先，通過將消息從不同順序的鄰域中分離出來，分別匯總了來自不同階鄰域的鄰域消息，然后以分層方式將其表示為最終的節(jié)點表示形式。其次，通過隨機刪除交互圖的節(jié)點信息來減緩過平滑的收斂速度，并證明該策略還可有效防止過擬合。在三個真實數(shù)據(jù)集上進行了實驗，并對不同設(shè)置進行對比，證明所提模型的有效性。

1 相關(guān)工作

1.1 傳統(tǒng)方法

現(xiàn)有處理用戶-項目交互的方法大致可分為兩類。

第一類方法中，模型將<用戶、項目、評分>元組作為訓練數(shù)據(jù)來建模用戶-項目關(guān)系。在這種類型中，MF模型最具代表性，但MF 僅是一個線性模型，不足以模擬復雜的用戶-項目關(guān)系并采用多層感知器來增加非線性關(guān)系。同樣，大多數(shù)基于圖嵌入的方法都屬于這一類。此外，很多方法忽略了用戶關(guān)注不同項目的不同方面這一事實，為了解決這一問題，有關(guān)模型使用注意力機制動態(tài)建模用戶感興趣的信息[10]?？傊?，這類方法訓練策略基本一致，不同之處在于用戶/項目的表示方式。

第二類方法中，模型將用戶-項目融合。通常將用戶描述為他們與之交互的一組項目，并且基于目標項目和目標用戶所交互的項目之間的相似性來估計未觀察到的評分。早期的研究[11]使用馬爾科夫鏈模型或基于圖的方法使用深度隨機游走圖嵌入學習或來傳播用戶偏好，這在稀疏數(shù)據(jù)集上取得了很好的效果?？傊?，在這類方法中側(cè)重于預測用戶的興趣，而不是簡單地關(guān)注<用戶，項目>對。但是，由于缺乏模型參數(shù)，這類模型性能并不夠理想。

1.2 協(xié)同過濾

給定用戶-項目評分矩陣R，協(xié)同過濾通常將用戶和項目都投影在相同的低維潛在空間中。然后，每個用戶對一個項目的預測偏好可以通過用戶的潛在向量和項目潛在向量在學習的低維空間中的相似性來衡量。在現(xiàn)實中，與顯示評分相比，用戶通過其行為（如點擊、添加到購物車或消費）含蓄地表達他們的反饋更為常見。貝葉斯個性化排序（Bayesian personalized ranking，BPR）是一種基于潛在因子的技術(shù)，用于處理隱式反饋。BPR并沒有直接預測每個用戶的顯式評分，而是假設(shè)每個用戶之間的偏好行為相互獨立和同一用戶對不同物品的偏序相互獨立，在此基礎(chǔ)上對配對偏好進行建模[12]。盡管性能相對較高，但由于數(shù)據(jù)稀疏性[13]及其引起的冷啟動問題仍是此類協(xié)同過濾模型的性能障礙。

1.3 基于GCN的推薦模型

近年來，由于GCN 具有從非歐式空間學習表示的強大功能，其在推薦系統(tǒng)領(lǐng)域取得了很大的成功。GCN的主要思想是如何通過神經(jīng)網(wǎng)絡(luò)迭代地聚合來自局部鄰域的特征信息。例如，Ying等[14]將卷積神經(jīng)網(wǎng)絡(luò)應用到推薦系統(tǒng)中，提出了一個數(shù)據(jù)高效的圖卷積神經(jīng)網(wǎng)絡(luò)算法PinSage，對商品節(jié)點產(chǎn)生嵌入表達。這些表達包含了圖結(jié)構(gòu)和節(jié)點特征信息，相比傳統(tǒng)的圖卷積方式，其提出了一個高效的隨機游走策略建模卷積，設(shè)計了一個新的訓練策略，成功地將圖卷積神經(jīng)網(wǎng)絡(luò)應用到節(jié)點數(shù)為10 億級的超大規(guī)模推薦系統(tǒng)中。文獻[15]采用vanilla GCN進行協(xié)同過濾，方法是堆疊多層以合并高階連接，節(jié)點表示是來自不同層的消息的串聯(lián)。文獻[16]利用Linear GCN 來減少模型的復雜性，并提出一種殘差學習策略來解決過平滑的問題。

2 算法

2.1 數(shù)據(jù)表示

在推薦系統(tǒng)中，有兩組實體：用戶集U(|U|=M)和項目集V(|V|=N)。根據(jù)給定的用戶歷史評分信息構(gòu)建一個m×n階的用戶-項目評分矩陣R(m,n)，相應的二部圖為G=(V,E)，包括 |V|=M+N個節(jié)點和 |E|條邊。用A表示G的鄰接矩陣，其中Aij表示節(jié)點i和節(jié)點j之間連接的狀態(tài)，D是一個對角矩陣，表示第i個節(jié)點的度。每個用戶u被編碼為嵌入向量eu∈Rd，每個項目i被編碼為嵌入向量ei∈Rd，并且所有節(jié)點的嵌入向量構(gòu)成嵌入矩陣基于此提出一種GCN 的簡單改進模型，通過學習一個交互函數(shù)來解碼嵌入向量，可以將其表示為：

給定模型參數(shù)θ，以及包括觀察到的交互（表示為R+）和未觀察到的交互（表示為R-）的交互圖G。關(guān)注隱式反饋，即G中的每條邊都具有相同的權(quán)重值。

2.2 模型結(jié)構(gòu)

為了解決前文所提GCN 設(shè)計的不合理問題，提出一種改進的圖卷積網(wǎng)絡(luò)模型，拋棄了非線性激活，以層組合來表示最后的節(jié)點，模型結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)Fig.1 Model structure

GCN的基本思想是通過在圖上平滑特征來學習節(jié)點的表示。為了實現(xiàn)這一點，迭代執(zhí)行圖上卷積操作，即將鄰居的特征聚合為目標節(jié)點的新表示。這種鄰居聚集可以抽象為：

AGG是一個聚合函數(shù)，是圖數(shù)據(jù)卷積的核心，考慮第k層對目標節(jié)點及其鄰居節(jié)點的表示。很多工作已經(jīng)指定了AGG，如GraphSAGE[17]中的LSTM 聚合器等。然而，大部分工作都將特征變換或非線性激活與AGG函數(shù)聯(lián)系起來。盡管它們在具有語義輸入特性的節(jié)點或圖分類任務(wù)上表現(xiàn)良好，但對于協(xié)同過濾來說，訓練難度依然很復雜。

文獻[18]指出非線性變換在一階圖卷積神經(jīng)網(wǎng)絡(luò)中無足輕重，使GCN 發(fā)揮作用的是每一層的特征傳播機制?；诖耍紤]刪除每層之間的非線性轉(zhuǎn)換函數(shù)（如ReLU），只保留最終的softmax（以獲得概率輸出）。得到的模型是線性的，如下所示：

將非線性的GCN 轉(zhuǎn)變?yōu)楹唵蔚鼐€性模型，減小了模型及其計算復雜度，在很多任務(wù)上比GCN 以及其他GNN模型更加高效。本文模型傳播規(guī)則如下：

給定初始狀態(tài)H(0)，生成包含不同階鄰域的節(jié)點嵌入，其中，H(0)=P，用Adrop代替，Wk是線性變換參數(shù)。上述公式考慮矩陣形式的更新，當考慮每個用戶u和項目i時，它等效于以下公式：

其中，是的系數(shù)，≠0 表示沒有被丟棄的邊連接。當k=1 時，可以看出，傳播規(guī)則選擇將不同階鄰域的節(jié)點嵌入直接輸出到最終層，這樣可以防止來自不同階鄰域的消息混淆，還可以降低過平滑對模型性能的影響。

在獲得來自不同鄰域的節(jié)點嵌入之后，使用聚合函數(shù)將它們聚合在一起。

在模型中，選擇使用級聯(lián)函數(shù)來生成最終的節(jié)點表示，因為它使模型能夠以分層的方式表示不同階鄰域的特征。最后，用戶u與項目i之間的交互預測如下：

其中，Zu和Zi是來自Z的相應節(jié)點向量。

2.3 模型分析

為了防止模型過擬合，常見的處理方式為Dropout，其核心思想是在每一層以一定比例隨機丟棄神經(jīng)元。盡管直接將Dropout 用于GCN 并不能阻止過擬合或過平滑，但是將該想法遷移至本文的模型中提升了模型性能。使用一種稱為節(jié)點Dropout 的去噪訓練機制，在模型隱藏層階段，以概率Pdropout隨機屏蔽或丟棄某些節(jié)點。經(jīng)實驗驗證，節(jié)點Dropout 的操作可以使得編碼過程對于特定用戶或者物品得影響更具獨立性。

GCN 每個節(jié)點都有豐富的屬性作為輸入特征，而在CF的用戶-項目交互圖中，每個節(jié)點（用戶或項目）只由一個除了作為標識符之外，沒有具體語義的one-hot表示的ID描述。在這種情況下，給定ID嵌入作為輸入，執(zhí)行多層非線性會增加模型訓練的難度。為了克服傳統(tǒng)協(xié)同過濾模型在特征表示能力上的缺陷，本文模型使用GCN 最基本的組成部分-鄰域聚合來用于協(xié)同過濾。具體地說，在將每個用戶（項目）與ID 嵌入關(guān)聯(lián)之后，在用戶-項目交互圖上傳播嵌入以改進它們。然后將不同傳播層的嵌入信息分層組合，得到最終的預測嵌入信息，同時對節(jié)點特征信息與結(jié)構(gòu)信息進行端對端學習，使模型的特征編碼輸出對協(xié)同過濾過程的預測結(jié)果有所提升。

Seq2seq是用于序列學習的編碼器-解碼器模型，通過引入注意力機制，將輸入序列的所有隱藏狀態(tài)匯總為上下文向量。受到注意力機制如何改善Seq2seq 的啟發(fā)，類似地，GCN 模型中鄰居消息不可區(qū)分地混合，并通過固定長度向量遞歸傳輸以生成節(jié)點表示的問題。通過累積來自不同鄰域的消息而不混淆它們來解決此問題，初始狀態(tài)H(0)通常由所有節(jié)點的節(jié)點特征向量組成，通過疊加多層，將來自不同高階鄰域的節(jié)點信息聚合到目標節(jié)點，因此目標節(jié)點信息可以清楚反映來自不同鄰域的貢獻能力，實驗結(jié)果證明模型性能有所提升。

3 實驗

3.1 實驗環(huán)境與數(shù)據(jù)集

基于Intel?Xeon?W-2133處理器，NVIDIA GeForce GTX 1080 Ti GPU，實驗環(huán)境以TensorFlow 為后端的Keras 開源框架進行網(wǎng)絡(luò)模型訓練和測試。在Book-Crossings、Jester、Movielens 這三個協(xié)同過濾基準數(shù)據(jù)集上實驗來評估模型。Book-Crossings 是一個圖書評分數(shù)據(jù)集。包含90 000 個用戶的270 000 本書的110 萬個評分。評分范圍從1 到10，包括顯式和隱式的評分。Movielens是推薦系統(tǒng)領(lǐng)域非常經(jīng)典的數(shù)據(jù)集。這個數(shù)據(jù)集包含電影評級，由于它是一個顯式反饋數(shù)據(jù)集，將其評級轉(zhuǎn)換為隱式反饋。Jester 數(shù)據(jù)集中，評分由互聯(lián)網(wǎng)上的用戶提供。與其他數(shù)據(jù)集相比，Jester 有兩個方面特殊：它使用-10 到10 的連續(xù)等級，并且在量級上具有最高的評分密度。這三個數(shù)據(jù)集特性不同，Book-Crossings數(shù)據(jù)集評分最少，極為稀疏，Jester數(shù)據(jù)集密度較大，Movielens數(shù)據(jù)集各方面相對均衡。

3.2 評價指標

為了評估top-k性能（從最后的按得分排序的推薦列表中返回前k個結(jié)果）。采用了用于個性化排名任務(wù)的評估指標：NDCG@k。NDCG 通過將最高分分配給排名最高的項目，從而將重點更多地放在測試集中出現(xiàn)項目的位置。平均NDCG的值如下：

3.3 參數(shù)設(shè)置

損失函數(shù)（BPR損失函數(shù)）：

其中，T={(u,i,j)|(u,i)∈R+,(u,j)∈R+} ，θ是可訓練參數(shù)，θ={{w(1)w(2)…w(k)},P} ，λ是防止過擬合的正則化參數(shù)，σ(· )是sigmod 函數(shù)。與point-wise 類損失函數(shù)不同，BPR 損失函數(shù)更多地關(guān)注個性化排名，該排名假設(shè)觀察到的交互比未觀察到的交互表現(xiàn)出更高的偏好，并注意每個訓練對是從訓練數(shù)據(jù)集T隨機生成。

訓練網(wǎng)絡(luò)使用Xavier 初始化，采用Adam 優(yōu)化器對損失函數(shù)進行優(yōu)化，初始的學習率設(shè)為0.01，設(shè)置其范圍為0.001～0.01，batch size 設(shè)置為64，正則化參數(shù)設(shè)置為0.001。選擇80%的用戶-項目對用于訓練數(shù)據(jù)，20%用于測試。

3.4 模型算法對比

本節(jié)主要是為了回答以下幾個問題：

Q1：模型是否在推薦效果上優(yōu)于目前主流的推薦模型？

Q2：控制過平滑和圖結(jié)構(gòu)完整性之間是否存在平衡點？

Q3：如何設(shè)置網(wǎng)絡(luò)層數(shù)可以使模型最優(yōu)？

為驗證提出的改進模型對推薦模型性能的提升，選取了5 個近年流行且取得較好推薦結(jié)果的算法進行對比。BRP是一個穩(wěn)定的方法，文獻[19]提出貝葉斯成對損失函數(shù)以從隱式反饋中學習。Neurec[20]是一個基于深度學習的模型，該模型采用MLP 來學習用戶與項目之間的非線性關(guān)系。GC-MC[21]是一個基于GCN 的模型，最初專注于顯式反饋，使用不同的權(quán)重矩陣來解碼不同類型的邊緣。由于專注于將每個邊緣都視為相同的隱式反饋，因此可以將其簡單地視為一層GCN 模型。NGCF[22]：是基于GCN的最新模型。LR-GCCF[23]模型提出了一種殘差網(wǎng)絡(luò)結(jié)構(gòu)來解決過平滑的問題。Baselines 及本文模型總結(jié)在表1 中（其中k={10，20}，最佳性能粗體突出顯示，最佳基線下劃線突出顯示）。

表1 NDCG@k 的總體比較Table 1 Overall comparison of NDCG@k

通過結(jié)果對比可知，對于NDCG@20，在Book-Crossing、Jester、Movielens 數(shù)據(jù)集上本文模型相比性能最好的模型分別提升了18.44%、5.61%、3.11%。這說明本文模型在稀疏數(shù)據(jù)集上獲得了更好的性能，與基于GCN 方法的上述分析一致。而基于MF 的方法往往在稠密數(shù)據(jù)集上實現(xiàn)更好的性能。可以推測，在稠密數(shù)據(jù)集上，有足夠的交互信息來描述用戶偏好，鄰域消息是多余的而引入了無用信息。但基于MF 的方法無法解決稀疏數(shù)據(jù)集上缺少交互的問題，但基于GCN的方法通過在鄰域消息中補充原始內(nèi)容來解決此問題。在基于GCN 的方法中，一階的GCMC 在Jester 上表現(xiàn)更好，而考慮到高階鄰域的NGCF和LR-GCCF在Book-Crossing上表現(xiàn)出比Jester稀疏的優(yōu)越性能。這表明高階鄰居消息并不總能帶來更好的結(jié)果。原因是很難將有用消息與大量冗余消息區(qū)分。

是否在過平滑和過擬合的約束與圖形結(jié)構(gòu)的完整性之間存在平衡。經(jīng)實驗發(fā)現(xiàn)該平衡點確實存在，并與兩個因素有關(guān)：收斂速度和網(wǎng)絡(luò)層數(shù)。根據(jù)圖2所示的收斂速度（x軸是A^(k)中的k，y軸表示收斂比），可以看到Movielens 的收斂速度最快?？梢酝茰y，對于那些具有更嚴重的過平滑問題（收斂速度快）的數(shù)據(jù)集，最佳drop ratio往往很大（drop ratio是1-p）。同時，從圖3 中看出網(wǎng)絡(luò)層數(shù)增加可能會導致模型性能下降。以Book-Crossing 為例，性能首先得到了提高，其中逐層噪聲很好地包含了過平滑和過擬合。該模型在k=3 時性能最大化，然后開始下降，由于分層噪聲與鄰居消息一起向前傳輸，其中累積的逐層噪聲妨礙了要精確傳輸?shù)南亩档托阅?。在Movielens 及Jester 上也顯示了類似的趨勢。因為增加的層只引入了已包含的消息，這導致了過擬合，這也是目前基于GCN 的模型仍然很淺的一個主要原因。

圖2 三個數(shù)據(jù)集上的收斂速度Fig.2 Convergence rate on three data sets

圖3 下降比在NDCG@10方面的影響Fig.3 Impact of drop ratio on NDCG@10

為了驗證在每一層隨機丟棄節(jié)點是否有助于提高模型性能，將模型與不隨機丟棄（no-drop）的模型進行了比較。如圖4 所示（X軸是網(wǎng)絡(luò)層數(shù)，“drop”表示隨機丟棄節(jié)點的模型；“no-drop”表示無隨機丟棄節(jié)點的模型）。結(jié)果顯示“drop”模型性能優(yōu)于“no-drop”，這說明：首先，考慮在高階鄰域的模型的改進驗證了模型能夠很好地緩解過平滑和過擬合的問題；其次，當僅考慮一階時，模型與“no-drop”模型相比性能也更好，證明了子圖訓練策略的有效性。

圖4 按NDCG@20計算的分層噪聲的影響Fig.4 Impact of layered noise calculated by NDCG@20

為了研究網(wǎng)絡(luò)層數(shù)如何影響性能，設(shè)置k=1，2，3，4，5。實驗結(jié)果顯示在表2 中，很明顯高階鄰域大大提高了模型性能。例如，在三個數(shù)據(jù)集上，性能最佳的模型分別比僅具有一階鄰域的模型好13.9%、9.3%、2.85%。另一方面，可以看出當不斷增加模型的層數(shù)時，性能在下降。原因在于GCN的最佳層數(shù)與鄰居矩陣A^的稀疏程度有關(guān)，當圖的稀疏度較低時，很快會出現(xiàn)過平滑現(xiàn)象。眾多實驗表明，GCN通常在2～3層就可使模型取得不錯的效果，隨著網(wǎng)絡(luò)層數(shù)的增加，除去過擬合，梯度消失等司空見慣的問題外，過平滑會影響模型性能。GCN 可以看作是一個低通濾波器[24]這種特性會造成信號變得更加平滑，這是GCN的內(nèi)在優(yōu)勢，然而多次進行這種信號平滑操作會使得信號趨于一致，這就喪失了節(jié)點特征的多樣性。從節(jié)點角度具體來說，GCN 節(jié)點的領(lǐng)域聚合被證明其實是Laplacian smooth的一種特殊形式，迭代地執(zhí)行Laplacian smooth 自然導致節(jié)點層面的過平滑。根據(jù)以上論證，模型層數(shù)過深會導致過平滑使性能下降。另一方面是由于網(wǎng)絡(luò)上傳輸和累積層級噪聲的原因。即k+1 層從{1,2,…,k}層中獲取分層噪聲，這意味著來自高階鄰域的消息比來自低階鄰域的消息遭受的噪聲更大。更重要的是，當鄰居開始收斂時，幾乎包含了圖中的所有節(jié)點，不斷增加的鄰居消息不會引入新信息，這只會導致過擬合并增加訓練難度。

表2 模型在不同層k 的性能Table 2 Performance of model at different layers k

4 結(jié)束語

推薦系統(tǒng)由于其商業(yè)價值受到了越來越高的重視。目前，圖卷積神經(jīng)網(wǎng)絡(luò)發(fā)展迅速，越來越多的推薦模型將圖卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的推薦算法進行了結(jié)合，用于解決數(shù)據(jù)稀疏、推薦排序等問題，圖卷積神經(jīng)網(wǎng)絡(luò)和推薦系統(tǒng)的結(jié)合將是推薦系統(tǒng)未來的主要研究方向。在本文中推薦模型的研究，提出了一種基于圖卷積網(wǎng)絡(luò)的協(xié)同過濾的分層網(wǎng)絡(luò)，旨在解決協(xié)同過濾在推薦模型中存在的問題。首先提出了一種通過在每一層隨機丟棄節(jié)點消息來實現(xiàn)過平滑和過擬合的解決方案，該思想與Dropout 有相似之處。然后，通過分別聚集來自不同順序鄰域的節(jié)點消息來構(gòu)建分層模型，這避免了無法區(qū)分它們。在三個數(shù)據(jù)集上進行了廣泛的實驗，以評估提出的模型的性能。實驗結(jié)果驗證了模型的有效性。在之后的研究中，嘗試以合理有效的方式提升模型的泛化能力使之能有更大的應用空間，以更好地理解用戶的偏好并提供可靠的建議。