黨偉超，程炳陽(yáng)，高改梅，劉春霞

基于對(duì)比超圖轉(zhuǎn)換器的會(huì)話推薦

黨偉超，程炳陽(yáng)*，高改梅，劉春霞

（太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024）（?通信作者電子郵箱 s202120210809@stu.tyust.edu.cn）

針對(duì)會(huì)話推薦本身存在的噪聲干擾和樣本稀疏性問(wèn)題，提出一種基于對(duì)比超圖轉(zhuǎn)換器的會(huì)話推薦（CHT）模型。首先，將會(huì)話序列建模為超圖；其次，通過(guò)超圖轉(zhuǎn)換器構(gòu)建項(xiàng)目的全局上下文信息和局部上下文信息。最后，在全局關(guān)系學(xué)習(xí)上利用項(xiàng)目級(jí)（I-L）編碼器和會(huì)話級(jí)（S-L）編碼器捕獲不同級(jí)別的項(xiàng)目嵌入，經(jīng)過(guò)信息融合模塊進(jìn)行項(xiàng)目嵌入和反向位置嵌入融合，并通過(guò)軟注意力模塊得到全局會(huì)話表示，而在局部關(guān)系學(xué)習(xí)上借助權(quán)重線圖卷積網(wǎng)絡(luò)生成局部會(huì)話表示。此外，引入對(duì)比學(xué)習(xí)范式最大化全局會(huì)話表示和局部會(huì)話表示之間的互信息，以提高推薦性能。在多個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，CHT模型的推薦性能優(yōu)于目前的主流模型。相較于次優(yōu)模型S2-DHCN（Self-Supervised Hypergraph Convolutional Networks），在Tmall數(shù)據(jù)集上，所提模型的P@20最高達(dá)到了35.61%，MRR@20最高達(dá)到了17.11%，分別提升了13.34%和13.69%；在Diginetica數(shù)據(jù)集上，所提模型的P@20最高達(dá)到了54.07%，MRR@20最高達(dá)到了18.59%，分別提升了0.76%和0.43%，驗(yàn)證了所提模型的有效性。

會(huì)話推薦；超圖轉(zhuǎn)換器；對(duì)比學(xué)習(xí)；注意力機(jī)制

0 引言

推薦系統(tǒng)作為一種有效緩解信息過(guò)載的基礎(chǔ)設(shè)施工具，已被廣泛應(yīng)用在許多網(wǎng)絡(luò)搜索應(yīng)用、電子商務(wù)平臺(tái)和在線娛樂(lè)平臺(tái)。在這些應(yīng)用中，傳統(tǒng)的推薦系統(tǒng)主要依據(jù)用戶的個(gè)人信息和長(zhǎng)期歷史交互完成推薦，事實(shí)上很多服務(wù)器上無(wú)法訪問(wèn)這些信息，只有當(dāng)前會(huì)話的匿名信息可用，匿名用戶和系統(tǒng)之間的這些交互被組織成會(huì)話。與傳統(tǒng)的推薦系統(tǒng)不同，基于會(huì)話的推薦系統(tǒng)［1］（簡(jiǎn)稱會(huì)話推薦系統(tǒng)）利用用戶的點(diǎn)擊行為序列構(gòu)建用戶的行為模式，進(jìn)而預(yù)測(cè)下一項(xiàng)用戶可能感興趣的物品。

會(huì)話推薦系統(tǒng)具有很高的實(shí)用性，相關(guān)研究成果不斷涌現(xiàn)。當(dāng)前基于圖神經(jīng)網(wǎng)絡(luò)的推薦模型［2-3］取得了良好的推薦性能，但仍存在幾個(gè)關(guān)鍵挑戰(zhàn)：首先，噪聲干擾在大多數(shù)推薦場(chǎng)景中普遍存在；其次，樣本稀疏性問(wèn)題仍然阻礙著用戶項(xiàng)交互建模。鑒于上述挑戰(zhàn)，本文提出了一種新的基于對(duì)比超圖轉(zhuǎn)換器的會(huì)話推薦（Contrastive Hypergraph Transformer for session-based recommendation， CHT）模型。

本文的主要工作如下：

1）提出一種對(duì)比超圖轉(zhuǎn)換器，從有噪聲的用戶交互數(shù)據(jù)中挖掘更有價(jià)值的用戶偏好信息，高效地捕獲所有會(huì)話中的項(xiàng)目級(jí)表示。

2）在獲得項(xiàng)目級(jí)表示的基礎(chǔ)上，通過(guò)全局關(guān)系學(xué)習(xí)和局部關(guān)系學(xué)習(xí)生成全局和局部會(huì)話表示，并在兩個(gè)會(huì)話表示之間引入對(duì)比學(xué)習(xí)范式輔助推薦模型，緩解數(shù)據(jù)稀疏性問(wèn)題。

1 相關(guān)工作

1.1　基于會(huì)話的推薦

基于會(huì)話的推薦是推薦系統(tǒng)的典型應(yīng)用。會(huì)話推薦系統(tǒng)的初步探索主要集中于序列建模，主要包括基于項(xiàng)目的鄰域方法［4］和基于馬爾可夫鏈的序列方法［5］。盡管基于項(xiàng)目的鄰域方法根據(jù)項(xiàng)目相似性矩陣完成推薦，但它忽略了項(xiàng)目之間的順序。為解決這一問(wèn)題，基于馬爾可夫鏈的序列方法利用每個(gè)相鄰的兩次點(diǎn)擊之間的順序行為建模用戶的短期偏好［6］，但無(wú)法捕捉長(zhǎng)期偏好。Zhan等［7］將兩者結(jié)合，避免了對(duì)局部序列信息的依賴。近期，研究人員提出了一些基于深度學(xué)習(xí)的模型：Hidasi等［8］提出GRU4Rec（Gated Recurrent Unit for Recommendation），首次使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）根據(jù)單擊項(xiàng)對(duì)會(huì)話進(jìn)行建模；NARM（Neural Attentive Recommendation Machine）［9］被設(shè)計(jì)為混合RNN和注意力機(jī)制的編碼器，以建模用戶的順序行為；STAMP（Short-Term Attention/Memory Priority）［10］利用MLP（MultiLayer Perceptron）網(wǎng)絡(luò)和注意力機(jī)制，捕獲用戶的一般興趣和當(dāng)前的興趣。

隨著圖神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的成功，研究人員考慮將圖神經(jīng)網(wǎng)絡(luò)融入會(huì)話推薦以提升推薦性能。其中，Wu等［11］提出SR-GNN（Session-based Recommendation with Graph Neural Networks）將序列建模為會(huì)話圖，并通過(guò)門控圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)項(xiàng)目的表示。隨著SR-GNN的成功應(yīng)用，一些GNN的變體也取得了良好的性能。其中，Qiu等［12］提出了FGNN（Function Graph Neural Networks）模型，通過(guò)考慮會(huì)話內(nèi)特定項(xiàng)目的轉(zhuǎn)換模式補(bǔ)償SR-GNN。雖然上述方法在會(huì)話推薦（Session-Based Recommendation， SBR）中取得了很好的性能，但仍未能捕獲項(xiàng)目之間復(fù)雜的高階關(guān)系。

1.2　超圖學(xué)習(xí)

超圖［13］為捕獲項(xiàng)目之間復(fù)雜的高階關(guān)系提供了可行性。隨著超圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，一些研究將超圖學(xué)習(xí)與推薦系統(tǒng)結(jié)合。Yadati等［14］首次將超圖卷積網(wǎng)絡(luò)用于順序推薦，通過(guò)將序列構(gòu)造為超圖以建模用戶的短期偏好；Xia等［15］提出了S2-DHCN（Self-Supervised Hypergraph Convolutional Networks），通過(guò)構(gòu)造雙通道超圖建模用戶之間的高階關(guān)系。然而噪聲干擾在大多數(shù)推薦場(chǎng)景中普遍存在，具體地，直接應(yīng)用超圖聚合信息將破壞原始特征空間中的節(jié)點(diǎn)相似性，損害準(zhǔn)確的用戶表示；更嚴(yán)重地，由于低維節(jié)點(diǎn)只有少量的鄰居，它們從鄰域接收的信息非常有限，導(dǎo)致基于超圖的推薦系統(tǒng)不能為新用戶或項(xiàng)目提供滿意的推薦。為了應(yīng)對(duì)這些挑戰(zhàn)，本文提出了一種新的超圖轉(zhuǎn)換器，有效地捕獲了所有會(huì)話中的項(xiàng)目轉(zhuǎn)換模式。

1.3　對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)［16］是一種新興的機(jī)器學(xué)習(xí)范式，旨在從原始數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)表示。近年來(lái)，對(duì)比學(xué)習(xí)也引起了研究人員對(duì)圖表示的廣泛關(guān)注［17］。受圖的對(duì)比學(xué)習(xí)的啟發(fā)，SGL（Self-supervised Graph Learning）通過(guò)生成具有隨機(jī)節(jié)點(diǎn)和邊緣退出操作的對(duì)比視圖產(chǎn)生先進(jìn)的性能［18］。根據(jù)這一研究路線，本文的工作重點(diǎn)從會(huì)話級(jí)表示的角度，將對(duì)比學(xué)習(xí)范式集成到超圖轉(zhuǎn)換器架構(gòu)，聯(lián)合訓(xùn)練全局會(huì)話表示與局部會(huì)話表示，有效地緩解了數(shù)據(jù)稀疏性的問(wèn)題。

2 基于對(duì)比超圖轉(zhuǎn)換器的會(huì)話推薦

2.1　總體架構(gòu)

本文CHT模型的總體架構(gòu)如圖1所示。首先，通過(guò)自適應(yīng)超圖和權(quán)重線圖構(gòu)建項(xiàng)目的全局上下文信息和局部上下文信息。其次，在全局關(guān)系學(xué)習(xí)上通過(guò)會(huì)話級(jí)（Session-Level， S-L）編碼器和項(xiàng)目級(jí)（Item-Level， I-L）編碼器得到兩個(gè)級(jí)別的項(xiàng)目嵌入，經(jīng)過(guò)信息融合模塊進(jìn)行項(xiàng)目嵌入和反向位置嵌入融合，并通過(guò)軟注意力模塊得到全局會(huì)話表示；在局部關(guān)系學(xué)習(xí)上利用平均池化層和權(quán)重線圖卷積網(wǎng)絡(luò)層學(xué)習(xí)局部會(huì)話表示。再次，將對(duì)比學(xué)習(xí)范式集成到CHT模型中。最后，通過(guò)預(yù)測(cè)層，輸出下次點(diǎn)擊的項(xiàng)推薦列表。

圖1　CHT模型的總體架構(gòu)

2.2　問(wèn)題定義

圖2　超圖轉(zhuǎn)換器的結(jié)構(gòu)

2.3　全局關(guān)系學(xué)習(xí)

全局關(guān)系學(xué)習(xí)通過(guò)項(xiàng)目級(jí)（I-L）編碼器和會(huì)話級(jí)（S-L）編碼器得到兩個(gè)級(jí)別的項(xiàng)目嵌入，經(jīng)過(guò)信息融合模塊進(jìn)行項(xiàng)目嵌入和反向位置嵌入融合，并通過(guò)軟注意力模塊得到全局會(huì)話表示。

2.3.1I-L編碼器

I-L編碼器通過(guò)自適應(yīng)超圖卷積層獲取會(huì)話中項(xiàng)目之間的高階關(guān)系。與傳統(tǒng)的圖相比，超圖中的超邊可以在多個(gè)節(jié)點(diǎn)之間聚合特征，可以看作是“頂點(diǎn)-超邊-頂點(diǎn)”特征轉(zhuǎn)換的兩級(jí)細(xì)化。將超圖卷積定義為：

其中表示卷積網(wǎng)絡(luò)總層數(shù)。

2.3.2S-L編碼器

2.4　局部關(guān)系學(xué)習(xí)

局部關(guān)系學(xué)習(xí)利用平均池化層和權(quán)重線圖卷積網(wǎng)絡(luò)學(xué)習(xí)局部會(huì)話表示。

2.5　預(yù)測(cè)層

在訓(xùn)練過(guò)程中，損失函數(shù)定義為預(yù)測(cè)值和真實(shí)值的交叉熵函數(shù)，公式為：

2.6　對(duì)比學(xué)習(xí)聯(lián)合所有模塊

采用InfoNCE損失函數(shù)，最大化不同層次的會(huì)話表示之間的互信息，作為本文的學(xué)習(xí)目標(biāo)：

3 實(shí)驗(yàn)與結(jié)果分析

3.1　數(shù)據(jù)集及預(yù)處理

在3個(gè)真實(shí)的基準(zhǔn)數(shù)據(jù)集Diginetica、Tmall和Nowplaying［19］上進(jìn)行了廣泛的實(shí)驗(yàn)。其中：Diginetica來(lái)自CIKM Cup 2016，包含具有代表性的交易數(shù)據(jù)；Tmall來(lái)自IJCAI-15競(jìng)賽，包含了天貓購(gòu)物平臺(tái)上的匿名用戶的購(gòu)物日志；Nowplaying包含用戶收聽音樂(lè)的行為。為了公平地進(jìn)行比較，按照Xia等［15］實(shí)驗(yàn)設(shè)置，對(duì)3個(gè)基準(zhǔn)數(shù)據(jù)集進(jìn)行預(yù)處理。表1給出了3種數(shù)據(jù)集經(jīng)過(guò)預(yù)處理過(guò)程后的基本統(tǒng)計(jì)信息和使用的屬性信息。

表1　預(yù)處理后的數(shù)據(jù)集統(tǒng)計(jì)信息

注：訓(xùn)練會(huì)話數(shù)和測(cè)試會(huì)話數(shù)的值表示增強(qiáng)后的樣本數(shù)。

3.2　評(píng)價(jià)指標(biāo)

為了便于與基線模型比較，選擇了常用的精確率（Precision）和平均倒數(shù)排名（Mean Reciprocal Rank， MRR）評(píng)估提出的模型的性能。

本文將設(shè)置為20。

3.3　參數(shù)設(shè)置

3.4　模型性能比較與分析

本文將CHT模型與現(xiàn)有的9種主流的模型進(jìn)行比較（現(xiàn)有模型的超參數(shù)設(shè)置與原文一致）：

1）POP。推薦當(dāng)前數(shù)據(jù)集中點(diǎn)擊頻率最高的個(gè)物品。

2）Item-KNN［4］。將物品同時(shí)出現(xiàn)的頻率作為相似度，并推薦相似度最高的個(gè)物品。

3）FPMC［5］。融合了矩陣分解和馬爾可夫鏈的混合模型，在捕獲用戶長(zhǎng)期偏好的同時(shí)考慮了序列的時(shí)間信息。

4）GRU4Rec［8］。通過(guò)使用 RNN 神經(jīng)網(wǎng)絡(luò)處理會(huì)話的長(zhǎng)期特征。

5）NARM［9］。采用RNN結(jié)合注意力機(jī)制對(duì)序列模式進(jìn)行建模。

6）STAMP［10］。在RNN上引入注意力機(jī)制，從會(huì)話上下文的長(zhǎng)期記憶中捕獲一般興趣，并將最后一項(xiàng)作為用戶對(duì)當(dāng)前會(huì)話的短期興趣進(jìn)行預(yù)測(cè)。

7）SR-GNN［11］。將會(huì)話序列建模為圖結(jié)構(gòu)，通過(guò)GNN模型提取項(xiàng)目間的轉(zhuǎn)換關(guān)系，并使用注意力機(jī)制捕獲用戶的長(zhǎng)期興趣。

8）FGNN［12］。通過(guò)考慮項(xiàng)目轉(zhuǎn)換模式的固有順序來(lái)擴(kuò)展NARM。

9）S2-DHCN［15］。利用超圖捕獲高階關(guān)系，并構(gòu)造自監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練。

總體性能的實(shí)驗(yàn)結(jié)果見表2。

表2　不同模型在公開數(shù)據(jù)集上的性能對(duì)比 單位：%

注：加粗表示最優(yōu)數(shù)值。

通過(guò)分析，可以得出以下結(jié)論：

1）從表2中可以看出，基于RNN推薦方法優(yōu)于POP、FPMC和Item-KNN等傳統(tǒng)方法，這表明RNN在會(huì)話推薦模型中的關(guān)鍵作用。基于GNN的模型（SR-GNN、FGNN）的性能優(yōu)于基于RNN的模型，這種改進(jìn)歸功于圖神經(jīng)網(wǎng)絡(luò)的巨大容量；然而，基于GNN的模型只捕獲當(dāng)前會(huì)話中的順序模式，而沒(méi)有利用其他會(huì)話中的項(xiàng)目轉(zhuǎn)換信息。S2-DHCN通過(guò)對(duì)項(xiàng)目之間的高階關(guān)系進(jìn)行建模，性能得到較大提升。由于直接應(yīng)用超圖聚合信息，將破壞原始特征空間中的節(jié)點(diǎn)相似性，損害準(zhǔn)確的用戶表示，因此將基于會(huì)話的數(shù)據(jù)直接建模為超圖可能會(huì)受噪聲干擾的影響。

2）融入對(duì)比學(xué)習(xí)的CHT模型取得了不錯(cuò)的效果。特別是在Tmall、Diginetica這兩個(gè)數(shù)據(jù)集的平均長(zhǎng)度較短的會(huì)話中，對(duì)比學(xué)習(xí)扮演了更重要的角色，這符合本文假設(shè)，即會(huì)話數(shù)據(jù)的稀疏性可能阻礙CHT模型的建模，對(duì)比學(xué)習(xí)通過(guò)最大化兩個(gè)會(huì)話表示之間的互信息解決了這個(gè)問(wèn)題。

3）CHT模型在幾乎所有數(shù)據(jù)集上都顯示了較大的優(yōu)勢(shì)。CHT模型在Tmall數(shù)據(jù)集上實(shí)現(xiàn)了最大的提升，P@20和MRR@20指標(biāo)分別為35.61%和17.11%，相較于次優(yōu)模型分別提升了13.34%和13.69%，這得益于對(duì)全局和局部會(huì)話表示的綜合考慮；同時(shí)，CHT模型在Diginetica上也取得了最優(yōu)的性能，P@20最高達(dá)到了54.07%，MRR@20最高達(dá)到了18.59%，相較于次優(yōu)模型分別提升了0.76%和0.43%，這也驗(yàn)證了CHT模型的有效性；CHT在Nowplaying上的性能提升并不明顯，因?yàn)镹owplaying的平均會(huì)話長(zhǎng)度比其他兩個(gè)數(shù)據(jù)集更長(zhǎng)，在一定程度上阻礙了對(duì)比學(xué)習(xí)在稀疏數(shù)據(jù)集上的學(xué)習(xí)能力。

3.5　消融實(shí)驗(yàn)

CHT模型可以看作是不同模塊聯(lián)合的結(jié)果。為了驗(yàn)證所提模塊的實(shí)際價(jià)值，分別刪除了CHT的5個(gè)主要部分，得到5個(gè)變體分別是CHT-I-L，CHT-S-L，CHT-C，CHT-G和CHT-L，其中：CHT-I-L為刪除CHT的I-L編碼器模塊的模型；CHT-S-L為刪除CHT的S-L編碼器模塊的模型；CHT-C為刪除對(duì)比學(xué)習(xí)模塊的模型；CHT-G為刪除自適應(yīng)超圖轉(zhuǎn)換器模塊；CHT-L為刪除權(quán)重線圖轉(zhuǎn)換器模塊。

消融實(shí)驗(yàn)結(jié)果如表3所示，CHT模型在Tmall和Diginetica數(shù)據(jù)集上的性能始終優(yōu)于5個(gè)變體，這表明每個(gè)模塊都對(duì)CHT模型的推薦過(guò)程有貢獻(xiàn)，并驗(yàn)證了本文模型的有效性?？傮w地，S-L編碼器利用當(dāng)前會(huì)話的內(nèi)部連接捕獲會(huì)話級(jí)的連接信息，當(dāng)刪除S-L編碼器時(shí)，可以發(fā)現(xiàn)在所有指標(biāo)上的性能都顯著降低。相對(duì)而言，I-L編碼器的貢獻(xiàn)較少，但在相對(duì)稀疏的Nowplaying數(shù)據(jù)集上，I-L編碼器可以通過(guò)預(yù)訓(xùn)練所有會(huì)話的項(xiàng)目轉(zhuǎn)換信息幫助模型作出更準(zhǔn)確的預(yù)測(cè)。當(dāng)刪除對(duì)比學(xué)習(xí)模塊時(shí)，在所有情況下都會(huì)產(chǎn)生明顯的性能下降，這驗(yàn)證了本文引入對(duì)比學(xué)習(xí)的有效性。在Tmall和Diginetica數(shù)據(jù)集上，CHT-L的性能優(yōu)于CHT-G，說(shuō)明使用自適應(yīng)超圖可以有效地捕獲高階信息。在Nowplaying數(shù)據(jù)集上，CHT-L比CHT-G表現(xiàn)更好，這可能是由于Nowplaying數(shù)據(jù)集中的會(huì)話的平均長(zhǎng)度比其他兩個(gè)數(shù)據(jù)集中的長(zhǎng)，這有助于在局部關(guān)系學(xué)習(xí)上對(duì)會(huì)話中項(xiàng)目之間的依賴關(guān)系的學(xué)習(xí)。

表3　CHT模型的消融實(shí)驗(yàn)結(jié)果 單位：%

3.6　對(duì)比學(xué)習(xí)參數(shù)比較與分析

圖3　對(duì)比學(xué)習(xí)中參數(shù)大小的影響

3.7　模型深度的影響

圖4　模型深度的影響

3.8　效率分析

為分析模型的效率，本文研究了時(shí)間復(fù)雜度和空間復(fù)雜度對(duì)所提模型性能的影響。

表4顯示了CHT模型與基線模型在Tmall數(shù)據(jù)集上訓(xùn)練30輪后得到平均每輪的訓(xùn)練時(shí)間。先進(jìn)的模型S2-DHCN的訓(xùn)練時(shí)間比其他方法高，大約為4倍，這表明與普通圖模型相比，沿著超圖傳播信息較耗時(shí)；但CHT模型可以保持良好的效率。由上述推理，CHT模型利用圖節(jié)點(diǎn)自適應(yīng)策略動(dòng)態(tài)地調(diào)整來(lái)自圖的結(jié)構(gòu)和節(jié)點(diǎn)特征的信息，降低了模型的計(jì)算量，從而降低了鄰域采樣過(guò)程的時(shí)間復(fù)雜度。

此外，選擇來(lái)自RecSys 2015挑戰(zhàn)賽中Yoochoose數(shù)據(jù)集的數(shù)據(jù)信息，它包含了用戶在在線零售平臺(tái)6個(gè)月內(nèi)的點(diǎn)擊信息和購(gòu)買行為。在Yoochoose1/64數(shù)據(jù)集上做進(jìn)一步實(shí)驗(yàn)以獲取不同模型的參數(shù)量、模型大小和運(yùn)行時(shí)占用內(nèi)存。從表5可見，模型參數(shù)量與模型大小和占用內(nèi)存相關(guān)，說(shuō)明模型的空間復(fù)雜度與參數(shù)量有關(guān)。綜合看，CHT模型在包含大量會(huì)話和項(xiàng)目的真實(shí)會(huì)話推薦場(chǎng)景中具有較大優(yōu)勢(shì)。

表4不同模型在Tmall數(shù)據(jù)集上的平均訓(xùn)練時(shí)間 單位：s

Tab.4　Average training time of different models on Tmall dataset unit：s

表5模型參數(shù)量分析

Tab.5　Parameter number analysis of models

4 結(jié)語(yǔ)

為解決會(huì)話推薦存在的問(wèn)題，本文提出了一種新的基于對(duì)比超圖轉(zhuǎn)換器的會(huì)話推薦模型。該模型不僅通過(guò)超圖轉(zhuǎn)換器提高了基于圖的會(huì)話推薦對(duì)噪聲擾動(dòng)的魯棒性，還通過(guò)全局會(huì)話表示和局部會(huì)話表示設(shè)計(jì)了輔助任務(wù)以產(chǎn)生自監(jiān)督信號(hào)進(jìn)行對(duì)比學(xué)習(xí)，增強(qiáng)了模型對(duì)會(huì)話數(shù)據(jù)提取的能力，有效緩解了數(shù)據(jù)稀疏性對(duì)推薦性能的影響。CHT模型主要考慮推薦準(zhǔn)確度，較少關(guān)注推薦效率。下一步我們將從輕量化的角度，將知識(shí)蒸餾技術(shù)［20］融入CHT模型以實(shí)現(xiàn)高效的推薦性能，從而提升它推薦的實(shí)時(shí)效率。

[1] WANG S， CAO L， WANG Y， et al. A survey on session-based recommender systems［J］. ACM Computing Surveys， 2022， 54（7）： No.154.

[2] 黨偉超，姚志宇，白尚旺，等. 基于圖模型和注意力模型的會(huì)話推薦方法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（11）：3610-3616.（DANG W C， YAO Z Y， BAI S W， et al. Session recommendation method based on graph model and attention model ［J］. Journal of Computer Applications， 2022，42（11）： 3610-3616.）

[3] 南寧，楊程屹，武志昊. 基于多圖神經(jīng)網(wǎng)絡(luò)的會(huì)話感知推薦模型［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（2）：330-336.（NAN N， YANG C Y， WU Z H. Multi-graph neural network-based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）：330-336.）

[4] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295.

[5] FENG S， LI X， ZENG Y， et al. Personalized ranking metric embedding for next new POI recommendation［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2069-2075.

[6] MOBASHER B， DAI H， LUO T， et al. Using sequential and non-sequential patterns in predictive Web usage mining tasks［C］// Proceedings of the 2002 IEEE International Conference on Data Mining. Piscataway： IEEE， 2002： 669-672.

[7] ZHAN Z， ZHONG L， LIN J， et al. Sequence-aware similarity learning for next-item recommendation［J］. The Journal of Supercomputing， 2021， 77（7）： 7509-7534.

[8] HIDASI B， KARATZOGLOU A. Recurrent neural networks with top-gains for session-based recommendations［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 843-852.

[9] LI J， REN P， CHEN Z， et al. Neural attentive session-based recommendation［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428.

[10] LIU Q， ZENG Y， MOKHOSI R， et al. STAMP： short-term attention/memory priority model for session-based recommendation［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1831-1839.

[11] WU S， TANG Y， ZHU Y， et al. Session-based recommendation with graph neural networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 346-353.

[12] QIU R， LI J， HUANG Z， et al. Rethinking the item order in session-based recommendation with graph neural networks［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019： 579-588.

[13] FENG Y， YOU H， ZHANG Z， et al. Hypergraph neural networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

[14] YADATI N， NIMISHAKAVI M， YADAV P， et al. HyperGCN： a new method for training graph convolutional networks on hypergraphs ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 1511-1522.

[15] XIA X， YIN H， YU J， et al. Self-supervised hypergraph convolutional networks for session-based recommendation［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 4503-4511.

[16] ZHOU K， WANG H， ZHAO W X， et al. S3-Rec： self-supervised learning for sequential recommendation with mutual information maximization［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 1893-1902.

[17] HWANG D， PARK J， KWON S， et al. Self-supervised auxiliary learning with meta-paths for heterogeneous graphs［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2020： 10294-10305.

[18] WU J， WANG X， FENG F， et al. Self-supervised graph learning for recommendation［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 726-735.

[19] ZANGERLE E， PICHL M， GASSLER W， et al. #nowplaying music dataset： extracting listening behavior from Twitter［C］// Proceedings of the 1st International Workshop on Internet-Scale Multimedia Management. New York： ACM， 2014： 21-26.

[20] WU X， HE R， HU Y， et al. Learning an evolutionary embedding via massive knowledge distillation［J］. International Journal of Computer Vision， 2020， 128（8/9）： 2089-2106.

Contrastive hypergraph transformer for session-based recommendation

DANG Weichao， CHENG Bingyang*， GAO Gaimei， LIU Chunxia

（，，030024，）

A Contrastive Hypergraph Transformer for session-based recommendation （CHT） model was proposed to address the problems of noise interference and sample sparsity in the session-based recommendation itself. Firstly， the session sequence was modeled as a hypergraph. Secondly， the global context information and local context information of items were constructed by the hypergraph transformer. Finally， the Item-Level （I-L） encoder and Session-Level （S-L） encoder were used on global relationship learning to capture different levels of item embeddings， the information fusion module was used to fuse item embedding and reverse position embedding， and the global session representation was obtained by the soft attention module while the local session representation was generated with the help of the weight line graph convolutional network on local relationship learning. In addition， a contrastive learning paradigm was introduced to maximize the mutual information between the global and local session representations to improve the recommendation performance. Experimental results on several real datasets show that the recommendation performance of CHT model is better than that of the current mainstream models. Compared with the suboptimal model S2-DHCN （Self-Supervised Hypergraph Convolutional Networks）， the proposed model has the P@20 of 35.61% and MRR@20 of 17.11% on Tmall dataset， which are improved by 13.34% and 13.69% respectively； the P@20 reached 54.07% and MRR@20 reached 18.59% on Diginetica dataset， which are improved by 0.76% and 0.43% respectively； verifying the effectiveness of the proposed model.

session-based recommendation; hypergraph transformer; contrastive learning; attention mechanism

This work is partially supported by Doctoral Research Start-up Fund of Taiyuan University of Science and Technology （20202063）， Graduate Education Innovation Project of Taiyuan University of Science and Technology （SY2022063）.

DANG Weichao， born in 1974， Ph. D.， associate professor. His research interests include intelligent computing， software reliability.

CHENG Bingyang， born in 1996， M. S. candidate. His research interests include recommendation system.

GAO Gaimei， born in 1978， Ph. D.， associate professor. Her research interests include network security， cryptography.

LIU Chunxia， born in 1977， M. S.， associate professor. Her research interests include software engineering， database.

TP391.4

A

1001-9081（2023）12-3683-06

10.11772/j.issn.1001-9081.2022111654

2022?11?04；

2023?05?26；

2023?05?29。

太原科技大學(xué)博士科研啟動(dòng)基金資助項(xiàng)目（20202063）；太原科技大學(xué)研究生教育創(chuàng)新項(xiàng)目（SY2022063）。

黨偉超（1974—），男，山西運(yùn)城人，副教授，博士，CCF會(huì)員，主要研究方向：智能計(jì)算、軟件可靠性；程炳陽(yáng)（1996—），男，河南商丘人，碩士研究生，主要研究方向：推薦系統(tǒng)；高改梅（1978—），女，山西呂梁人，副教授，博士，CCF會(huì)員，主要研究方向：網(wǎng)絡(luò)安全、密碼學(xué)；劉春霞（1977—），女，山西大同人，副教授，碩士，CCF會(huì)員，主要研究方向：軟件工程、數(shù)據(jù)庫(kù)。