孫軒宇，史艷翠

融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會話推薦模型

孫軒宇1，史艷翠1，2*

（1.天津科技大學(xué) 人工智能學(xué)院，天津 300457； 2.國家開放大學(xué) 數(shù)字化學(xué)習(xí)技術(shù)集成與應(yīng)用教育部工程研究中心，北京 100039）（?通信作者電子郵箱syc@tust.edu.cn）

針對現(xiàn)有的會話推薦模型難以顯式地表示項(xiàng)目對推薦結(jié)果的影響的問題，提出一種融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會話推薦模型（SR-II）。首先，提出一種新的邊權(quán)重計(jì)算方法，將計(jì)算結(jié)果作為圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系的影響力權(quán)重，并用圖神經(jīng)網(wǎng)絡(luò)（GNN）的影響力圖門控層提取該圖的特征；其次，提出改進(jìn)的捷徑圖連接有關(guān)聯(lián)的項(xiàng)目，有效捕獲遠(yuǎn)程依賴，豐富圖結(jié)構(gòu)所能表達(dá)的信息，并通過注意力機(jī)制的捷徑圖注意力層提取該圖的特征；最后，通過結(jié)合上述兩層，構(gòu)建推薦模型。在Diginetica和Gowalla數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果中，SR-II的HR@20最高達(dá)到53.12%，MRR@20最高達(dá)到25.79%。在Diginetica數(shù)據(jù)集上，相較于同一表征空間下基于訓(xùn)練模型的會話推薦（CORE-trm），SR-II在HR@20上提升了1.10%，在MRR@20上提升了1.21%。在Gowalla數(shù)據(jù)集上，相較于基于會話的自注意網(wǎng)絡(luò)推薦（SR-SAN），SR-II在HR@20上提升了1.73%；相較于基于無損邊緣保留聚合和捷徑圖注意力的推薦（LESSR）模型，SR-II在MRR@20上提升了1.14%。實(shí)驗(yàn)結(jié)果表明SR-II的推薦效果優(yōu)于對比模型，具有更高的推薦精度。

會話推薦；推薦系統(tǒng)；圖神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制；會話圖

0 引言

隨著推薦系統(tǒng)的發(fā)展以及用戶對隱私保護(hù)的重視，需要用戶長期歷史行為記錄作為訓(xùn)練數(shù)據(jù)的傳統(tǒng)推薦算法不再適合所有情景。為了給匿名瀏覽的用戶和沒有歷史行為記錄的新用戶推薦符合需求的商品，同時提高在一次會話中推薦系統(tǒng)的性能，學(xué)者們提出了一個新的推薦系統(tǒng)發(fā)展方向：基于會話的推薦系統(tǒng)。

基于會話的推薦系統(tǒng)將一系列連續(xù)行為從開始到結(jié)束的過程作為一次會話。傳統(tǒng)的推薦系統(tǒng)主要研究如何利用用戶歷史行為挖掘用戶的長期興趣偏好，基于會話的推薦系統(tǒng)則認(rèn)為用戶的短期興趣偏好也很重要，且認(rèn)為用戶的短期興趣偏好主要和一次會話中的上下文有關(guān)。同時用戶選擇項(xiàng)目的興趣偏好是動態(tài)的，所以基于會話的推薦系統(tǒng)的任務(wù)是根據(jù)用戶當(dāng)前會話中的行為上下文預(yù)測用戶下一個可能感興趣的項(xiàng)目，并作出推薦。

目前的會話推薦算法存在以下兩點(diǎn)不足：

1）在為會話序列建模時，認(rèn)為同一跳的不同項(xiàng)目是同等重要的，忽略了項(xiàng)目之間的差異性，導(dǎo)致項(xiàng)目對推薦結(jié)果的影響程度不同。

2）只通過用戶點(diǎn)擊序列對連續(xù)的上下文進(jìn)行建模，使項(xiàng)目間的轉(zhuǎn)移關(guān)系局限于相鄰項(xiàng)目之間，很難捕獲不相鄰的項(xiàng)目之間的依賴關(guān)系。

為了解決上述兩點(diǎn)不足，本文提出了一種融合項(xiàng)目影響力的圖神經(jīng)網(wǎng)絡(luò)會話推薦模型（Session-based Recommendation model by graph neural network fused with Item Influence， SR-II）。

本文的主要工作如下：

1）提出影響力圖，在將會話構(gòu)建成圖的過程中使用改進(jìn)的邊權(quán)重計(jì)算方法，使越接近當(dāng)前興趣的轉(zhuǎn)移關(guān)系在同一跳中獲得的權(quán)重越大，通過加強(qiáng)邊權(quán)重的差別增強(qiáng)圖的表達(dá)能力。

2）為存在路徑的不相鄰的兩個圖節(jié)點(diǎn)間添加有向邊，構(gòu)建捷徑圖，并通過邊權(quán)重提升捷徑圖的表達(dá)能力，提供遠(yuǎn)程項(xiàng)目之間的依賴關(guān)系捕獲能力。

3）融合影響力圖和捷徑圖，建立了圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）模型進(jìn)行會話推薦，并在兩個公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了本文模型在會話推薦上的合理性和有效性。

1 相關(guān)工作

1.1　GNN

近年來，由于圖結(jié)構(gòu)具有較強(qiáng)的處理關(guān)系型數(shù)據(jù)的能力，所以學(xué)者們對圖的研究和應(yīng)用的探索廣泛存在于各個領(lǐng)域，包括圖像處理［1］、藥物醫(yī)學(xué)［2-3］和交通預(yù)測［4-5］等。

GNN是一類用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的總稱，包括圖卷積網(wǎng)絡(luò)［6-7］、圖循環(huán)網(wǎng)絡(luò)［8］和圖注意力網(wǎng)絡(luò)［9-10］等。GNN具有處理關(guān)系型數(shù)據(jù)和解決長距離信息傳播的能力，在社會化推薦、個性化推薦和會話推薦上表現(xiàn)出了較高的契合度和較好的效果［11］。

1.2　會話推薦

早期基于會話的推薦算法通常使用馬爾可夫鏈預(yù)測用戶的下一個行為。Shani等［12］提出基于馬爾可夫鏈的推薦模型，利用項(xiàng)目的轉(zhuǎn)換頻率得到轉(zhuǎn)移矩陣；但是在應(yīng)用過程中當(dāng)訓(xùn)練集中不存在轉(zhuǎn)移關(guān)系時，該模型的效果較差。為了解決這一問題，Rendle等［13］提出將張量分解與馬爾可夫鏈結(jié)合的FPMC（Factorizing Personalized Markov Chains for next-basket recommendation）模型。Davidson等［14］提出Item-KNN（Item based K-Nearest Neighbor）模型，通過計(jì)算項(xiàng)目之間的余弦相似度預(yù)測下一個最有可能出現(xiàn)的項(xiàng)目。

隨著深度學(xué)習(xí)在許多領(lǐng)域取得了成功，在會話推薦領(lǐng)域也逐漸使用深度學(xué)習(xí)技術(shù)提高推薦算法特征提取的能力。例如Hidasi等［15］提出GRU4Rec（Gated Recurrent Unit for Recommendation）模型，將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于會話推薦，因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)能夠捕捉會話中的序列模式，所以該模型取得了較好的效果；Tan等［16］改進(jìn)了該模型，使用數(shù)據(jù)擴(kuò)張的方法進(jìn)行數(shù)據(jù)預(yù)處理，并添加dropout方法防止過擬合。

隨后，注意力機(jī)制在許多機(jī)器學(xué)習(xí)任務(wù)中被使用，并在推薦系統(tǒng)領(lǐng)域引發(fā)熱潮，會話推薦模型中開始嵌入注意力網(wǎng)絡(luò)。Li等［17］提出了一個結(jié)合注意力網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的NARM（Neural Attentive Recommendation Machine）模型，在循環(huán)神經(jīng)網(wǎng)絡(luò)考慮用戶行為序列的基礎(chǔ)上考慮用戶的注意力。Liu等［18］認(rèn)為在用戶的一次會話中應(yīng)該優(yōu)先提取用戶的當(dāng)前興趣，所以通過注意力機(jī)制為更符合用戶當(dāng)前興趣的項(xiàng)目賦予更大的權(quán)重，達(dá)到短期注意力優(yōu)先的效果。

但是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的會話推薦在建模時遵循嚴(yán)格的線性序列關(guān)系，忽略了項(xiàng)目之間復(fù)雜的轉(zhuǎn)移關(guān)系。為了更好地表示項(xiàng)目之間的轉(zhuǎn)移關(guān)系，GNN逐漸被用于會話推薦。Wu等［19］提出基于GNN的會話推薦模型SR-GNN（Session-based Recommendation with Graph Neural Network）模型，該模型將會話建模成不帶權(quán)重的有向圖，使用門控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network， GGNN）［8］順著節(jié)點(diǎn)方向在鄰居節(jié)點(diǎn)間傳播信息，隨后使用注意力網(wǎng)絡(luò)讀取全局興趣，融合會話的全局興趣和當(dāng)前興趣生成最終興趣，最后生成推薦結(jié)果；Song等［20］認(rèn)為用戶興趣是動態(tài)變化且容易受社會影響的，于是提出了動態(tài)圖注意力網(wǎng)絡(luò)進(jìn)行基于會話的社會推薦；Yu等［21］提出了一種目標(biāo)注意力圖神經(jīng)網(wǎng)絡(luò)TAGNN（Target Attentive Graph Neural Network）模型，使模型能夠針對會話中目標(biāo)項(xiàng)目的變化而激活不同的用戶興趣，更好地進(jìn)行會話推薦；Xu等［22］提出GC-SAN（Graph Contextualized Self-Attention Network for session-based recommendation）模型，結(jié)合GNN與自注意力機(jī)制，增強(qiáng)局部特征的提取能力；Xian等［23］結(jié)合GNN與復(fù)購-探索機(jī)制，強(qiáng)化復(fù)購行為；Chen等［24］提出基于無損邊緣保留聚合和捷徑圖注意力的推薦（Lossless Edge-order preserving aggregation and Shortcut graph attention for Session-based Recommendation， LESSR）模型，將會話序列的點(diǎn)擊順序作為權(quán)重賦值給邊，使圖結(jié)構(gòu)能夠保留會話的順序信息，又使用無權(quán)重的捷徑圖輔助捕獲遠(yuǎn)程依賴，取得了較好的效果；Fang［25］提出基于會話的自注意網(wǎng)絡(luò)推薦（Session-based Recommendation with Self-Attention Networks， SR-SAN）模型，將多頭自注意力機(jī)制應(yīng)用于會話推薦；南寧等［26］將用戶與項(xiàng)目的交互作為項(xiàng)目間轉(zhuǎn)移關(guān)系的權(quán)重，取得了較好的效果；任俊偉等［27］使用物品的類別信息作為項(xiàng)目的補(bǔ)充信息，對SR-GNN進(jìn)行了改進(jìn)；黃震華等［28］使用模型訓(xùn)練獲得會話圖的邊權(quán)重，使用詞嵌入方法獲得數(shù)據(jù)集的全局特征；閆昭等［29］挖掘商品間的歷史交互，使用相似度構(gòu)建商品關(guān)系圖，進(jìn)行圖卷積會話推薦；Hou等［30］提出的CORE（COnsistent REpresentation space）模型，通過設(shè)計(jì)編碼器，將會話嵌入和項(xiàng)目嵌入統(tǒng)一在同一表示空間中進(jìn)行會話推薦。

現(xiàn)有模型通常認(rèn)為在傳播過程中同一跳的轉(zhuǎn)移關(guān)系同等重要，忽略了同一跳項(xiàng)目在轉(zhuǎn)移概率上的差異性；在使用捷徑圖時，也忽略了轉(zhuǎn)移關(guān)系之間的差異性。為此，本文提出了融合項(xiàng)目影響力的GNN會話推薦模型。

2 融合項(xiàng)目影響力的GNN會話推薦模型

對于一個會話，會話歷史中的項(xiàng)目可能會影響用戶對下一個感興趣項(xiàng)目的判斷，因此會話圖同一跳的每一個轉(zhuǎn)移關(guān)系對結(jié)果的影響力不同。本文提出了一種融合項(xiàng)目影響力的GNN會話推薦模型，結(jié)構(gòu)如圖1所示。

將用戶會話序列構(gòu)造為兩個具有代表性的圖結(jié)構(gòu)：影響力圖和捷徑圖。影響力圖表示目標(biāo)項(xiàng)目與同一跳中其他項(xiàng)目相比，對推薦結(jié)果的影響能力；捷徑圖為不相鄰的項(xiàng)目間添加帶權(quán)重的有向邊，強(qiáng)化遠(yuǎn)程依賴關(guān)系，提升模型的遠(yuǎn)程依賴捕獲能力。圖和節(jié)點(diǎn)的表示將作為輸入傳遞給多個交錯的影響力圖門控層和捷徑圖注意力層，每一層都輸出新的節(jié)點(diǎn)表示，最后預(yù)測下一個項(xiàng)目的概率分布。

圖結(jié)構(gòu)中豐富的信息會給圖神經(jīng)模型更多學(xué)習(xí)選擇的空間，使模型的擬合更加靈活，從而得到更好的表達(dá)，獲得更好的推薦結(jié)果。

圖1　本文模型的結(jié)構(gòu)

2.1　相關(guān)定義

定義1 會話序列。一個會話序列表示為=［1，2，…，v］，序列長度為。

2.2　將會話構(gòu)建為圖

2.2.1構(gòu)建影響力圖

在將會話序列構(gòu)建成圖結(jié)構(gòu)時，現(xiàn)有工作［19，23，29］通常將目標(biāo)節(jié)點(diǎn)的每一條出邊設(shè)定為相同權(quán)重。本文認(rèn)為這類出邊雖然從同一目標(biāo)節(jié)點(diǎn)出發(fā)，但是這些邊表示的轉(zhuǎn)移關(guān)系的重要程度不同，這種有區(qū)別的轉(zhuǎn)移關(guān)系會影響用戶找到心儀項(xiàng)目所需的時間，本文將這樣的影響稱為影響力，根據(jù)影響力不同，為對應(yīng)的邊添加權(quán)重，具有這樣邊權(quán)重的圖就是影響力圖。

圖2　會話圖

如圖3（a）所示，有會話序列=［1，2，2，3，2，4，5］，經(jīng)過計(jì)算可以得到如圖3（b）所示的影響力圖和如圖3（c）所示的鄰接矩陣。

圖3　構(gòu)建影響力圖

2.2.2構(gòu)建捷徑圖

圖模型的逐層傳播可能會忽略遠(yuǎn)程項(xiàng)目的信息，使得當(dāng)前節(jié)點(diǎn)的傳播與聚合只考慮相鄰的少數(shù)幾個節(jié)點(diǎn)的信息，而忽略不相鄰的節(jié)點(diǎn)的信息。這些不相鄰的節(jié)點(diǎn)信息稱為遠(yuǎn)程依賴，豐富的遠(yuǎn)程依賴可以為模型提供更多的信息。

捷徑圖為可達(dá)但不相鄰的兩個節(jié)點(diǎn)添加有向邊，邊指向的方向由節(jié)點(diǎn)表示的項(xiàng)目在會話中出現(xiàn)的先后順序決定，這樣的邊稱為捷徑。圖結(jié)構(gòu)通過添加捷徑和自循環(huán)，可以有效學(xué)習(xí)遠(yuǎn)程依賴，并在執(zhí)行消息傳遞時結(jié)合更新功能和聚合功能。

在使用捷徑圖進(jìn)行基于GNN的會話推薦時，現(xiàn)有工作使用無權(quán)重的捷徑圖輔助學(xué)習(xí)遠(yuǎn)程依賴［24］，忽略了圖的邊權(quán)重可以攜帶信息這一特點(diǎn)。

本文使用邊權(quán)重區(qū)分虛擬邊和真實(shí)邊，豐富圖結(jié)構(gòu)攜帶的信息：將捷徑和添加的自循環(huán)稱為虛擬邊，將用戶真實(shí)點(diǎn)擊轉(zhuǎn)移關(guān)系形成的邊稱為真實(shí)邊。虛擬邊是根據(jù)用戶的真實(shí)點(diǎn)擊轉(zhuǎn)移關(guān)系補(bǔ)充而成，具備參考價值；真實(shí)邊是用戶點(diǎn)擊轉(zhuǎn)移關(guān)系的真實(shí)表示，具備決定價值。為了區(qū)分虛擬邊與真實(shí)邊，在新構(gòu)成的捷徑圖中為這兩類邊分配不同的權(quán)重。

其中：是虛擬邊的權(quán)重，決定了虛擬邊在捷徑圖注意力層中的重要程度。元素將被保存在鄰接矩陣AS2SG中。例如，對于會話S=［v1，v2，v2，v3，v2，v4，v5］，構(gòu)建的捷徑圖GS2SG和鄰接矩陣AS2SG如圖4所示。

2.3　模型構(gòu)建

2.3.1影響力圖門控層

2.3.2捷徑圖注意力層

一般情況下，一層GNN只能捕獲1跳距離的節(jié)點(diǎn)關(guān)系，想要捕獲1跳以上的節(jié)點(diǎn)關(guān)系就需要疊加多層GNN；然而使用多層GNN疊加的方法雖然可以捕獲多跳關(guān)系，但是會引入過平滑問題，即多個節(jié)點(diǎn)收斂到同一個值。因此，使用捷徑圖為有關(guān)聯(lián)的多跳節(jié)點(diǎn)添加新的轉(zhuǎn)移關(guān)系，再使用捷徑圖注意力層學(xué)習(xí)捷徑圖，可以避免多層GNN疊加并能有效捕獲遠(yuǎn)程依賴，實(shí)現(xiàn)信息的遠(yuǎn)程傳播。

對于影響力圖門控層與捷徑圖注意力層，本文引入密集連接［31］的方法，將影響力圖門控層與捷徑圖注意力層交錯堆疊，從而進(jìn)一步促進(jìn)特征重用。

2.3.3生成會話嵌入

其中，1，1∈R以及1，2∈R控制每個節(jié)點(diǎn)嵌入獲得的權(quán)重。

最后，將g和last向量串聯(lián)后進(jìn)行線性變換，可以得到混合向量h作為最終興趣表示：

其中矩陣3∈R2d把兩個向量的串聯(lián)映射到潛在空間R中。

2.3.4生成推薦和訓(xùn)練模型

對于每個會話圖，損失函數(shù)定義為預(yù)測值與真實(shí)值的交叉熵，如式（18）所示：

其中是真實(shí)的會話序列中下一個點(diǎn)擊項(xiàng)目的one-hot向量。最后通過反向傳播算法訓(xùn)練模型。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　數(shù)據(jù)集

為了驗(yàn)證融合項(xiàng)目影響力的GNN推薦模型的有效性，本文在以下兩個公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

1）Diginetica（https：//competitions.codalab.org/competitions/11161）是一個來自CIKM CUP 2016的數(shù)據(jù)集，包含一個電子商務(wù)網(wǎng)站5個月內(nèi)的點(diǎn)擊流數(shù)據(jù)。本文將它最后一周的點(diǎn)擊數(shù)據(jù)作為測試集，其余數(shù)據(jù)作為訓(xùn)練集。

2）Gowalla（http：//snap.stanford.edu/data/loc-gowalla.html）是一個廣泛用于興趣點(diǎn)推薦的簽到數(shù)據(jù)集。本文使用出現(xiàn)最多的前30 000個位置，并將用戶間隔時間不超過1 d的相鄰簽到記錄作為簽到會話，其中最后20%的會話作為測試集。

在訓(xùn)練之前首先對數(shù)據(jù)集進(jìn)行預(yù)處理，將非常短的會話和不常出現(xiàn)的項(xiàng)目篩除，并對數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)技術(shù)［17-19，24］。預(yù)處理之后的數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1　實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息

注：長度指項(xiàng)目數(shù)。

3.2　對比模型和評價指標(biāo)

為了評估SR-II的效果，用以下8個典型模型與SR-II進(jìn)行對比。

FPMC［13］：將馬爾可夫鏈和矩陣分解結(jié)合進(jìn)行下一個籃子推薦，將當(dāng)前會話中的下一個項(xiàng)目作為下一個籃子，可以使FPMC運(yùn)用在會話推薦中。

Item-KNN［14］：使用余弦相似度計(jì)算項(xiàng)目間的相似度，推薦與目標(biāo)項(xiàng)目相似度最高的項(xiàng)目。

NARM［17］：在GRU4Rec的基礎(chǔ)上引入注意力機(jī)制捕獲用戶的主要興趣。

SR-GNN［19］：將會話序列建模為圖結(jié)構(gòu)，并使用GNN聚合項(xiàng)目間的轉(zhuǎn)移關(guān)系，達(dá)到加強(qiáng)項(xiàng)目特征的目的。

GC-SAN［22］：使用GNN捕獲項(xiàng)目間的局部依賴關(guān)系，使用自注意力機(jī)制捕獲全局依賴關(guān)系。

LESSR［24］：使用圖結(jié)構(gòu)的邊保存點(diǎn)擊順序，解決由會話構(gòu)建圖的信息損失問題，并用捷徑圖輔助學(xué)習(xí)遠(yuǎn)程依賴。

SR-SAN［25］：使用多頭自注意力機(jī)制進(jìn)行會話推薦。

CORE［30］：設(shè)計(jì)編碼器，將會話嵌入和項(xiàng)目嵌入統(tǒng)一在同一表示空間中進(jìn)行會話推薦，本文選用在兩個數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果較好的同一表征空間下基于訓(xùn)練模型的會話推薦（simple and effective session-based recommendation within COnsistent REpresentation space-transformer， CORE-trm）作為對比模型。

考慮到本文提出的創(chuàng)新點(diǎn)，提供兩種實(shí)現(xiàn)作為對比模型：一是使用基礎(chǔ)會話圖（如圖2所示）和捷徑圖的實(shí)現(xiàn)，記為SR-II-base；另一個是使用影響力圖和捷徑圖的實(shí)現(xiàn)，記為SR-II。

本文使用命中率（Hit Ratio， HR）和平均倒數(shù)排名（Mean Reciprocal Rank， MRR）作為評價指標(biāo)。HR@和MRR@中的表示使用推薦結(jié)果列表的前個項(xiàng)目進(jìn)行評價。

3.3　實(shí)驗(yàn)參數(shù)設(shè)置

本文經(jīng)過多次實(shí)驗(yàn)，確定了最優(yōu)實(shí)驗(yàn)參數(shù)：初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減系數(shù)為0.2，嵌入維度為64，L2正則化系數(shù)為0.000 1，使用Adam優(yōu)化器優(yōu)化模型參數(shù)，最小批處理量為256，SR-II堆疊的層數(shù)為2，捷徑圖中虛擬邊的值設(shè)置為0.4，并且采用提前停止策略，即如果在連續(xù)10輪測試中HR@20指標(biāo)沒有提升，則提前終止訓(xùn)練。

3.4　與現(xiàn)有模型比較

為了驗(yàn)證SR-II的效果，將SR-II-base和SR-II與對比模型在兩個數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2　不同模型在兩個數(shù)據(jù)集上的 HR@20和MRR@20比較 單位： %

注：下畫線數(shù)據(jù)表示對比模型中的最優(yōu)值。

從表2可以看出，SR-II-base模型的實(shí)驗(yàn)結(jié)果已經(jīng)超過了大部分對比模型，SR-II在HR@20和MRR@20兩個指標(biāo)上的效果均有進(jìn)一步提升。與結(jié)果最優(yōu)的對比模型進(jìn)行比較，在Diginetica數(shù)據(jù)集上，相較于CORE-trm，SR-II在HR@20上提升了1.10%，在MRR@20上提升了1.21%；在Gowalla數(shù)據(jù)集上，相較于SR-SAN，SR-II在HR@20上提升了1.73%，相較于LESSR在MRR@20上提升了1.14%。

綜上，SR-II在引入了影響力概念后，命中率進(jìn)一步提升，表明通過影響力概念豐富圖結(jié)構(gòu)的內(nèi)容后，能進(jìn)一步提升推薦效果。

3.5　消融實(shí)驗(yàn)

本節(jié)將驗(yàn)證SR-II各個組件的有效性，分析重要超參數(shù)對推薦性能的影響。

3.5.1驗(yàn)證影響力圖和捷徑圖有效性

為了驗(yàn)證本文提出的影響力圖的有效性，將影響力圖門控層模型、使用GGNN的SR-GNN和SR-II進(jìn)行對比。實(shí)驗(yàn)使用的數(shù)據(jù)集為Diginetica，3個模型在評價指標(biāo)HR@20、MRR@20上的表現(xiàn)如圖5所示。

圖5　3個模型的表現(xiàn)

根據(jù)圖5所示結(jié)果可知，與SR-GNN相比，影響力圖門控層模型在HR@20和MRR@20上分別都有提升；這是因?yàn)橛绊懥D門控層模型考慮了圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系差異性，并根據(jù)轉(zhuǎn)移關(guān)系對結(jié)果的影響力區(qū)別分配對應(yīng)權(quán)重，因此可以得出結(jié)論，考慮了圖結(jié)構(gòu)中轉(zhuǎn)移關(guān)系差異性可以改善推薦結(jié)果。

與影響力圖門控層模型相比，SR-II在HR@20和MRR@20上分別都有提升；這是因?yàn)樵赟R-II中還引入了捷徑圖。由此可以得出結(jié)論：與影響力圖門控層相比，將影響力圖門控層與捷徑圖注意力層融合得到的SR-II可以得到更好的推薦結(jié)果。

3.5.2虛擬邊的權(quán)重對性能的影響

本文提出設(shè)置虛擬邊和真實(shí)邊不同的權(quán)重值，顯式地區(qū)分兩類邊，以提高捷徑圖的表達(dá)能力。為了研究虛擬邊權(quán)重值的變化對模型效果的影響，本文將模型的虛擬邊的權(quán)重值分別設(shè)置為｛0，0.2，0.4，0.6，0.8，1｝進(jìn)行實(shí)驗(yàn)，模型的其他參數(shù)設(shè)置與3.3節(jié)相同，在數(shù)據(jù)集Diginetica上模型表現(xiàn)如圖6所示。

圖6　不同θ下SR-II的表現(xiàn)

從圖6可以看出，使用改進(jìn)的捷徑圖（即=｛0.2，0.4，0.6，0.8｝）的推薦結(jié)果較好，明顯優(yōu)于無捷徑的會話圖（即=0）的推薦結(jié)果，說明改進(jìn)的捷徑圖能有效提高推薦效果。同時，從圖6可以看出，虛擬邊權(quán)重值的變化會影響模型的表現(xiàn)效果。使捷徑圖不區(qū)分虛擬邊和真實(shí)邊，即虛擬邊的權(quán)重值為1時，模型表現(xiàn)明顯差于區(qū)分虛擬邊和真實(shí)邊時的情況，此現(xiàn)象表明虛擬邊和真實(shí)邊的重要性存在差異。從圖6還可以看出，在以上評價指標(biāo)中，=0.4時模型的表現(xiàn)都優(yōu)于或相近于等于其他值時模型的表現(xiàn)。

3.5.3超參數(shù)對性能的影響

模型層數(shù)和嵌入維度是兩個重要的超參數(shù)，通常能顯著影響模型的性能，本節(jié)將探究這兩個超參數(shù)對SR-II的影響。SR-II以｛影響力圖門控層，捷徑圖注意力層，影響力圖門控層｝的順序堆疊，堆疊層數(shù)在｛1，2，3，4，5｝中取值，嵌入維度在｛16，32，64，96，128｝中取值。在評價指標(biāo)HR@20上的實(shí)驗(yàn)結(jié)果如圖7所示。由于在指標(biāo)MRR@20上的結(jié)果變化趨勢與在HR@20上的類似，又考慮到篇幅限制，故此省略。

圖7　SR-II的表現(xiàn)

從圖7可以看出，盲目地增加堆疊層數(shù)和嵌入維度大小無法使推薦性能變得更好。逐步增加堆疊層數(shù)，會使模型性能呈現(xiàn)先升高再下降的趨勢。在達(dá)到最優(yōu)層數(shù)之前，增加層數(shù)可以加強(qiáng)模型的學(xué)習(xí)能力；但是在這之后添加更多的層數(shù)，反而會導(dǎo)致過平滑等問題，使得模型性能下降，因此堆疊層數(shù)不是越多越好。

對于嵌入維度，在Diginetica數(shù)據(jù)集上，32是最佳的嵌入維度大小，由于過擬合問題，大于最佳大小越多，模型性能表現(xiàn)越差；對于Gowalla數(shù)據(jù)集，更大的嵌入維度大小能帶來更好的模型學(xué)習(xí)能力，提升模型的性能。因此嵌入維度不是越大越好，而是最合適的最好。

3.6　時間復(fù)雜度和時間效率分析

表3展示了本文模型和對比模型在時間復(fù)雜度上的對比和在Diginetica數(shù)據(jù)集上平均每輪的訓(xùn)練時間。

從表3可以看出：SR-GNN和CORE-trm的時間復(fù)雜度較優(yōu)，本文模型在時間復(fù)雜度上高于SR-GNN，高出的復(fù)雜度與會話圖中邊數(shù)有關(guān)，但本文模型的推薦效果更好。在平均訓(xùn)練時間方面，SR-II的平均訓(xùn)練時間較長。這是因?yàn)樵诿總€會話構(gòu)建影響力圖的過程中，需要多次遍歷會話圖得到計(jì)算影響力的依據(jù)。使用普通會話圖的SR-II-base，需要的平均訓(xùn)練時間大幅縮短，與現(xiàn)有模型相比，相差不大。綜合分析推薦精確度和訓(xùn)練時間，可以得出結(jié)論：在精度要求比較高的場合，SR-II的表現(xiàn)優(yōu)于其他對比模型；在兼顧精度和時間的場合，SR-II-base更適用；在對訓(xùn)練時間要求較高的場合，可以選用CORE-trm。

表3　不同模型的時間復(fù)雜度和平均訓(xùn)練時間對比

4 結(jié)語

為了克服現(xiàn)有會話推薦算法的不足，本文提出了一種融合項(xiàng)目影響力的GNN模型的會話推薦模型（SR-II）。不僅通過增強(qiáng)圖結(jié)構(gòu)中邊的表達(dá)能力有效提升模型推薦效果，而且一定程度上解決了GNN難以捕獲遠(yuǎn)程依賴的問題。

該模型使用GGNN根據(jù)影響力圖提取項(xiàng)目特征，通過注意力機(jī)制捕獲項(xiàng)目的遠(yuǎn)程依賴關(guān)系，得到會話全局嵌入，將會話最后點(diǎn)擊項(xiàng)目的嵌入作為局部嵌入，結(jié)合兩種嵌入得到會話的最終興趣表示，并產(chǎn)生推薦結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文模型在HR@20和MRR@20這兩個指標(biāo)上取得了較好的推薦效果。

本文使用現(xiàn)有的GNN提取影響力圖的特征，為了進(jìn)一步提升推薦效果，下一步工作將考慮優(yōu)化影響力圖的計(jì)算效率，并設(shè)計(jì)更適合影響力圖的GNN增強(qiáng)項(xiàng)目影響力的表達(dá)效果；并且對于改進(jìn)的捷徑圖，也考慮設(shè)計(jì)更看重邊的區(qū)別的神經(jīng)網(wǎng)絡(luò)，更好地利用捷徑圖的遠(yuǎn)程依賴。

[1] SHI L， ZHANG Y， CHENG J， et al. Skeleton-based action recognition with directed graph neural networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7912-7921.

[2] GOMES J， RAMSUNDAR B， FEINBERG E N， et al. Atomic convolutional networks for predicting protein-ligand binding affinity［EB/OL］. ［2022-05-10］. https：//arxiv.org/pdf/1703.10603.pdf.

[3] MA T， XIAO C， ZHOU J， et al. Drug similarity integration through attentive multi-view graph auto-encoders［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： IJCAI， 2018： 3477-3483.

[4] YU B， YIN H， ZHU Z. Spatio-temporal graph convolutional networks： a deep learning framework for traffic forecasting［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： IJCAI， 2018： 3634-3640.

[5] KOSARAJU V， SADEGHIAN A， MARTíN-MARTíN R， et al. Social-bigat： multimodal trajectory forecasting using bicycle-gan and graph attention networks［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. ?［S.l.］： NIPS， 2019： 137-146.

[6] BRUNA J， ZAREMBA W， SZLAM A， et al. Spectral networks and locally connected networks on graphs［EB/OL］. （2014-04-21）［2022-07-10］. https：//arxiv.org/pdf/1312.6203.pdf.

[7] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks ［EB/OL］. ［2022-06-02］. https：//arxiv.org/pdf/1609.02907.pdf.

[8] LI Y， ZEMEL R， BROCKSCHMIDT M， et al. Gated graph sequence neural networks ［EB/OL］. ［2022-03-26］. https：//arxiv.org/pdf/1511.05493.pdf.

[9] VELIKOVI P， CUCURULL G， CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2022-03-28］. https：//arxiv.org/pdf/1710.10903.pdf.

[10] LEE J B， ROSSI R， KONG X. Graph classification using structural attention ［C］// Proceedings of the 24th International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1666-1674.

[11] 劉鑫，梅紅巖，王嘉豪，等.圖神經(jīng)網(wǎng)絡(luò)推薦方法研究［J］. 計(jì)算機(jī)工程與應(yīng)用， 2022， 58（10）： 41-49.（LIU X， MEI H Y， WANG J H， et al. Research on graph neural network recommendation method［J］. Computer Engineering and Applications， 2022， 58（10）： 41-49.）

[12] SHANI G， HECKERMAN D， BRAFMAN R I， et al. An MDP-based recommender system ［J］. Journal of Machine Learning Research， 2005， 6： 1265-1295.

[13] RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation［C］// Proceedings of the 19th International Conference on World Wide Web. New York： ACM， 2010： 811-820.

[14] DAVIDSON J， LIEBALD B， LIU J， et al. The YouTube video recommendation system［C］// Proceedings of the 2010 4th ACM Conference on Recommender Systems. New York： ACM， 2010： 293-296.

[15] HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. ［2022-04-15］. https：//arxiv.org/pdf/1511.06939.pdf.

[16] TAN Y K， XU X， LIU Y. Improved recurrent neural networks for session-based recommendations［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22.

[17] LI J， REN P， CHEN Z， et al. Neural attentive session-based recommendation ［C］// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[18] LIU Q， ZENG Y， MOKHOSI R， et al. STAMP： short-term attention/memory priority model for session-based recommendation ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 1831-1839.

[19] WU S， TANG Y， ZHU Y， et al. Session-based recommendation with graph neural networks ［EB/OL］. ［2022-11-01］.https：//arxiv.org/pdf/1811.00855v4.pdf.

[20] SONG W， XIAO Z， WANG Y， et al. Session-based social recommendation via dynamic graph attention networks［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 555-563.

[21] YU F， ZHU Y， LIU Q， et al. TAGNN： target attentive graph neural networks for session-based recommendation［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 1921-1924.

[22] XU C， ZHAO P， LIU Y， et al. Graph contextualized self-attention network for session-based recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. PaloAlto， CA： AAAI Press， 2019： 3940-3946.

[23] XIAN X， FANG L， SUN S. ReGNN： a repeat aware graph neural network for session-based recommendations［J］. IEEE Access， 2020， 8： 98518-98525.

[24] CHEN T， WONG R C W. Handling information loss of graph neural networks for session-based recommendation［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1172-1180.

[25] FANG J. Session-based Recommendation with self-attention networks［EB/OL］. ［2022-04-28］. https：//arxiv.org/abs/2102.01922.

[26] 南寧，楊程屹，武志昊. 基于多圖神經(jīng)網(wǎng)絡(luò)的會話感知推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（2）： 330-336.（NAN N， YANG C Y， WU Z H. Multi-graph neural network-based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）： 330-336.）

[27] 任俊偉，曾誠，肖絲雨，等. 基于會話的多粒度圖神經(jīng)網(wǎng)絡(luò)推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）： 3164-3170.（REN J W， ZENG C， XIAO S Y， et al. Session-based recommendation model of multi-granular graph neural network［J］. Journal of Computer Applications， 2021， 41（11）： 3164-3170.）

[28] 黃震華，林小龍，孫圣力，等. 會話場景下基于特征增強(qiáng)的圖神經(jīng)推薦方法［J］. 計(jì)算機(jī)學(xué)報， 2022， 45（4）： 766-780.（HUANG Z H， LIN X L， SUN S L， et al. Feature augmentation based graph neural recommendation method in session scenarios［J］. Chinese Journal of Computers， 2022， 45（4）： 766-780.）

[29] 閆昭，項(xiàng)欣光，李澤超.基于交互序列商品相關(guān)性建模的圖卷積會話推薦［J］. 中國科學(xué)：信息科學(xué)， 2022， 52（6）： 1069-1082.（YAN Z， XIANG X G， LI Z C. Graph convolution session recommendation based on interactive sequence commodity correlation modeling［J］. SCIENTIA SINICA Informationis， 2022， 52（6）： 1069-1082.）

[30] HOU Y， HU B， ZHANG Z， et al. CORE： simple and effective session-based recommendation within consistent representation space［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1796-1801.

[31] HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708.

Session-based recommendation model by graph neural network fused with item influence

SUN Xuanyu1， SHI Yancui1，2*

（1，，300457，；2，，，100039， China）

Aiming at the problem that it is difficult for the existing session-based recommendation models to explicitly express the influence of items on the recommendation results， a Session-based Recommendation model by graph neural network fused with Item Influence （SR-II） was proposed. Firstly， a new edge weight calculation method was proposed to construct a graph structure， in which the calculated result was used as the influence weight of the transition relationship in the graph， and the features of the graph were extracted through the influence graph gated layer by using Graph Neural Network （GNN）. Then， an improved shortcut graph was proposed to connect related items， effectively capture long-range dependencies， and enrich the information expressed by the graph structure； and the features of the graph were extracted through the shortcut graph attention layer by using the attention mechanism. Finally， a recommendation model was constructed by combining the above two layers. In the experimental results on Diginetica and Gowalla datasets， the highest HR@20 of SR-II is reaching 53.12%， and the highest MRR@20 of SR-II is reaching 25.79%. On Diginetica dataset， compared with CORE-trm （simple and effective session-based recommendation within COnsistent REpresentation space-transformer）， SR-II has the HR@20 improved by 1.10% ，and the MRR@20 improved by 1.21%； On Gowalla dataset， compared with SR-SAN（Session-based Recommendation with Self-Attention Networks）， SR-II has the HR@20 improved by 1.73%.Compared with the recommendation model called LESSR （Lossless Edge-order preserving aggregation and Shortcut graph attention for Session-based Recommendation）， SR-II has the MRR@20 improved by 1.14%. The experimental results show that the performance of SR-II is better than that of the comparison models， and SR-II has a higher recommendation accuracy.

session-based recommendation; recommender system; Graph Neural Network (GNN); attention mechanism; session graph

This work is partially supported by Basic Research Business Fee Project for Science and Engineering of Tianjin Education Commission （2018KJ105）， Innovation Fund of Engineering Research Center of Ministry of Education for Integration and Application of Digital Learning Technology （1221025）.

SUN Xuanyu， born in 1998， M. S. candidate. His research interests include deep learning， recommender system.

SHI Yancui， born in 1982， Ph. D.， associate professor. Her research interests include recommender system， social network.

TP391.4

A

1001-9081（2023）12-3689-08

10.11772/j.issn.1001-9081.2022121812

2022?12?07；

2023?03?05；

2023?03?07。

天津市教委理工類基本科研業(yè)務(wù)費(fèi)項(xiàng)目（2018KJ105）；數(shù)字化學(xué)習(xí)技術(shù)集成與應(yīng)用教育部工程研究中心創(chuàng)新基金資助項(xiàng)目（1221025）。

孫軒宇（1998—），男，江蘇南京人，碩士研究生，CCF會員，主要研究方向：深度學(xué)習(xí)、推薦系統(tǒng)；史艷翠（1982—），女，河北保定人，副教授，博士，CCF會員，主要研究方向：推薦系統(tǒng)、社會化網(wǎng)絡(luò)。