韓敬爭，郭 峰

（聊城大學山東省光通信科學與技術(shù)重點實驗室，聊城 252000）

0 引言

隨著技術(shù)的快速發(fā)展，數(shù)據(jù)量也與日俱增，人們在海量數(shù)據(jù)面前越來越無助。為了解決信息過載的問題，人們提出了一種推薦系統(tǒng)算法（recommendation system，RS）［1-4］。RS 通過用戶的歷史行為、用戶的興趣偏好或用戶的人口統(tǒng)計特征發(fā)送推薦算法，然后使用推薦算法生成用戶可能感興趣的項目列表。下一個購物籃推薦［5-7］是基于用戶隱性反饋行為（如點擊或購買等）的推薦系統(tǒng)的典型應(yīng)用，旨在推薦用戶想要購買的下一個產(chǎn)品。

關(guān)于如何根據(jù)用戶的偏好進行有針對性的推薦，已經(jīng)有很多嘗試，例如基于馬爾可夫鏈（MC）的作品［8-11］，通過學習項目的轉(zhuǎn)換圖對用戶的行為進行建模，然后預(yù)測用戶的下一步行動?；谶f歸神經(jīng)網(wǎng)絡(luò)（RNN）的方法［7,12-13］從項目級視圖對籃子進行編碼，以輕松捕獲全局信息。還有基于注意力機制［14-16］和圖神經(jīng)網(wǎng)絡(luò)（GNN）［17-19］的方案。然而，這些方案大多側(cè)重于購物籃中物品之間的相關(guān)性信息，而忽略了購物籃之間的重疊關(guān)系。我們相信，這種關(guān)系代表了用戶更全面和持久的興趣，有助于幫助用戶找到他們喜歡的物品。此外，由于候選商品的豐富，用戶的興趣通常是多樣化的。固定大小的嵌入向量［3,20-21］只能表達單個用戶的興趣，但不能表達不同用戶的興趣。這限制了推薦模型的表達能力。

本文提出了一種基于籃子中項目的多樣性表示的圖注意力神經(jīng)網(wǎng)絡(luò)，我們稱之為GATBR。所提出的項目多樣性表示的關(guān)注模塊旨在通過考慮給定項目的歷史行為的相關(guān)性來自適應(yīng)地激活用戶的興趣。靈感來自HGATBR［22］，一種基于超級邊緣的圖形注意力籃推薦模型，它在Yoochoose 和TaFeng數(shù)據(jù)集中表現(xiàn)良好。然而，HGAT-BR 不考慮給定物品的歷史行為相關(guān)性，因此無法激發(fā)與目標物品相關(guān)的特定用戶的興趣。為了解決這個問題，在網(wǎng)絡(luò)中添加了多樣性關(guān)注模塊，該模塊旨在將特定項目的歷史行為相關(guān)性嵌入籃子特征中，以改進籃子的表示。在以Recall@10 和Recall@20 為評估標準的實驗中，該模型顯示出比現(xiàn)有基線方案更好的性能。

1 算法

本節(jié)給出了對相關(guān)問題的定義以及文本中使用的符號的含義，詳細描述所提出的GATBR模型。

1.1 問題定義和符號

項目集（即一個籃子）由Bi={I1,I2,…,Im}表示，Ii是單個項目，m表示籃子中的項目數(shù)?；@子序列由S={B1,B2,…,Bn}表示，n表示籃子的數(shù)量。每個籃子嵌入為兩個圖：項目級圖G=(IB,EB)和籃子級圖GH=(BS,εS)。G是從項目視圖中學習的籃子表示，即從項目之間的相關(guān)性中學習的?；@子中的項目I∈IB被視為G的節(jié)點，項目之間的關(guān)系被視為邊e∈EB。為了合并項目之間的高階關(guān)系，首先連接與中心項目相關(guān)的項目，然后使用GNN 聚合來自其鄰居的項目消息。GH是從籃級別的角度學習的表示，為了實現(xiàn)這一目標，將籃表示為超圖中的超邊，超邊的重疊關(guān)系［23］表示籃子之間的相關(guān)性。

1.2 模型中的注意力機制

注意力機制是一種嘗試性算法，試圖選擇性地關(guān)注感興趣的事物，而忽略網(wǎng)絡(luò)中的其他對象。使用GATv2［24］來集成項目的高階關(guān)系，在GATv2 中，每個節(jié)點都可以關(guān)注任何其他節(jié)點，這解決了標準GATConv［25］層的靜態(tài)關(guān)注問題。例如，HGAT-BR 中的GAT在學習項目和籃子的動態(tài)表示方面明顯不足。注意機制是一種在給定附加查詢向量的情況下計算一組輸入關(guān)鍵向量的分布的機制。如果注意函數(shù)在一個鍵上的權(quán)重始終與任何其他鍵相同，并且不受查詢條件的影響，則注意函數(shù)是靜態(tài)的。然而，靜態(tài)注意力函數(shù)非常有限，因為每個得分函數(shù)f∈F(?d× ?d→?)具有始終被選擇的鍵，而不管查詢操作如何，也就是說，這些函數(shù)無法通過不同鍵的不同查詢操作獲得相應(yīng)的相關(guān)性。動態(tài)注意機制可以用來解決這個問題，策略是通過查詢操作i來選擇每個鍵值φ(i)，即將f(qi,kφ(i))轉(zhuǎn)換為{f(qi,kj|j∈n)}，其中qi是查詢向量，kj是關(guān)鍵向量。然后使用GATv2 獨立研究物品和籃子的嵌入。

本工作使用的項目多樣性關(guān)注機制通過局部關(guān)注模塊計算單個籃子中的所有項目，并將權(quán)重矩陣參數(shù)化的共享線性變換應(yīng)用于每個項目目標對，以進一步提高模型的推薦能力。

1.3 模型的詳細描述

模型的總體框架如圖1所示，GNN 層通過聚合中心節(jié)點的鄰居的消息來更新每個節(jié)點，該層的輸入是一組節(jié)點表示∈?d|i∈IB和一組邊e∈eB，處理后輸出一組新的節(jié)點表示當相同的參數(shù)函數(shù)fθ應(yīng)用于具有給定鄰居Ni={j∈IB|(i,j∈EB)}的節(jié)點時，它可以由以下公式表示：

圖1 GATBR模型示意圖

打分函數(shù)S:?d× ?d→?，計算每個邊緣的關(guān)注度得分，表示項目的鄰居的重要性：

其中a∈?d是注意力網(wǎng)絡(luò)的權(quán)值向量，W1∈?d'×d是通過學習獲得的權(quán)重矩陣，‖表示矢量連接操作，LeakyReLU［26］是激活函數(shù)。這些注意力得分被softmax 函數(shù)歸一化，注意力函數(shù)定義為

之后，Gatv2 根據(jù)歸一化關(guān)注系數(shù)計算相鄰節(jié)點的變換特征的加權(quán)平均值，作為更新節(jié)點的表示：

其中σ=是個非線性激活函數(shù)。不同的項目對籃子的重要性不同，因此應(yīng)用非線性函數(shù)來學習其嵌入，其中q∈?d和是項目特征向量的權(quán)重矩陣：

Bdiversity∈?d表示用戶對每個籃子中不同項目的興趣，定義如下：

之后，將局部和全局嵌入與不同對象的嵌入聯(lián)系起來，通過線性變換生成會話嵌入：是籃子的最終嵌入表示（模型圖的左側(cè)部分）。

式中Wε∈?d×3d將三個向量映射到嵌入空間R，

為了模擬籃子之間的相關(guān)性，籃子被表示為一組項目GH=(BS,εS)，每個籃子Bi∈Bs被視為連接兩組項的超邊，如果兩個超邊共享至少一個公共項，則它們在超圖中連接。直觀地說，它們分享的評論項目越多，兩個籃子就越相似。通過利用超邊在建模多個項目中的固有優(yōu)勢，可以建?；@子之間的相關(guān)性，并進一步使用它們來改進推薦建議：

同樣地，GATv2 還用于直接學習籃子的超邊表示。該層的輸入是一組節(jié)點表示和εb，處理后，層輸出一組新的節(jié)點表示并且相同的參數(shù)函數(shù)被應(yīng)用于給定其鄰居Ni=(j∈Bs|(i,j)∈Es)的每個節(jié)點，消息更新過程可以總結(jié)如下：

評分函數(shù)和注意力函數(shù)GATv2 分別與公式（2）和（3）相同。類似地，GATv2 根據(jù)歸一化注意力系數(shù)計算相鄰節(jié)點的變換特征的加權(quán)平均值（隨后是非線性），作為新的籃子表示：

最后，對從項目特征空間學習到的項目級籃子表示和從超圖特征空間學習的籃子級籃子表示進行平均，以獲得最終的籃子表示：

每個候選項目I的得分通過將其嵌入乘以目標籃子來計算：

然后用softmax 歸一化Xi并計算每個項目I的推薦概率：

對于每個籃子，其損失函數(shù)L(·)定義為預(yù)測值與真實值yi的交叉熵：

其中N為訓練示例的數(shù)量，隨時間反向傳播算法BPTT 來最小化式（15）來學習L(·)中的參數(shù)。交叉熵描述了實際輸出概率和預(yù)期輸出概率之間的距離，即交叉熵越小，兩個概率分布越近。

2 實驗

實驗中使用的數(shù)據(jù)集是兩個來自真實世界的數(shù)據(jù)集，前者包括用戶在6 個月內(nèi)購買物品的事件，后者包括中國雜貨店在3 個月內(nèi)的交易數(shù)據(jù)。為了進行比較，本實驗中使用了與文獻［27］相同的設(shè)置：過濾長度小于2 的籃子，并過濾出現(xiàn)次數(shù)小于5 的項目，然后選擇上述預(yù)處理操作后的部分數(shù)據(jù)作為本工作的數(shù)據(jù)集：1/64 和1/4，兩個數(shù)據(jù)集都將最后0.4 天的籃子設(shè)置為測試集。

用Recall@K和NDCG@K作為實驗的評估標準，前者表示所有測試籃中前K個項目的概率，這意味著Recall@K評估了模型在回憶出現(xiàn)在前K個位置的項目的能力，定義如下：

NDCG@K是一種基于排名的度量，它考慮了列表中推薦項目的順序。所有測量值在所有預(yù)測的下一組項目中計算，并通過以下公式正式給出：

式中I(·)是指示符函數(shù)，Nk是表示給定R(u)的NDCG@K的最大值的常數(shù)。

3 結(jié)論與分析

對GATBR 和現(xiàn)有基線方案進行了廣泛的實驗比較，結(jié)果如表1所示。

表1 GATBR和其他基線在兩個數(shù)據(jù)集上的表現(xiàn)

續(xù)表1

從表1可以看出，與其他基線模型（包括HGAT-BR）相比，GATBR 在三個數(shù)據(jù)集上表現(xiàn)最佳。實驗證明了對象多樣性注意網(wǎng)絡(luò)的優(yōu)越性。它還表明，基于籃子的方案CLEA［28］、DNNTSP［29］和GATBR 的性能優(yōu)于基于會話的方法，如DHCN［30］、FGNN［31］和SR-HGNN［32］，這反映了籃子之間相關(guān)性的重要性。此外還進行了實驗，以不同的方式組合兩種籃子表示：GATBR 直接將兩者相加，另外兩種方法是GATBR-Contact 和GATBR-Mean。實驗分別以Recall@K和NDCG@K作為評價標準，結(jié)果如圖2所示。

從圖2可以看出，直接相加（GATBR）在所有數(shù)據(jù)集上表現(xiàn)最佳，這驗證了結(jié)合項目多樣性所表達的注意力表達用戶興趣的必要性。GATBR-Contact 的表現(xiàn)最差，因為通過完全連接的層將兩個籃子表示映射到同一嵌入維度的接觸操作破壞了學習的籃子表示，并且由于需要學習更多的參數(shù)，結(jié)果顯然更差。GATBRMean的表現(xiàn)不如GATBR，這可以通過用戶興趣的多樣性來解釋，這進一步強調(diào)了使用項目多樣性的注意力機制來捕捉用戶的多樣性興趣的重要性。

圖2 項目級和籃子級的不同連接方式Recall@20（a）和NDCG@20（b）為評估標準的結(jié)果

此外，還設(shè)計了實驗來驗證不同超參數(shù)設(shè)置對模型的影響。以模型在數(shù)據(jù)集上的性能為例。圖3顯示了1～5 層范圍內(nèi)的GATv 層數(shù)和｛1/2/4/8/16｝范圍內(nèi)的磁頭數(shù)量的實驗結(jié)果。

圖3 Yoochoose1/64上GATv2不同層和頭數(shù)的不同性能

圖3結(jié)果表明，用八個頭堆疊兩個GAT 層的效果最好。較小的模型顯示出較差的實驗結(jié)果，因為它們的能力太低，無法表示項目轉(zhuǎn)換模式的復(fù)雜性。大模型顯示的結(jié)果趨勢表明，太大的模型很難訓練，過度擬合對最終性能有害，導致結(jié)果不佳。

最后，在數(shù)據(jù)集Yoochoose1/64 上設(shè)計了實驗，并與HGAT-BR模型進行了性能比較，結(jié)果如圖4所示。

圖4 Yochoose1/4數(shù)據(jù)集上與HGAT-BR的比較

從實驗結(jié)果可以看到GATBR 的優(yōu)勢，這主要歸功于其網(wǎng)絡(luò)中的GATv2。在HGAT-BR 中，GAT用于學習物品和籃子的表示，但HGAT-BR中的靜態(tài)注意力功能在學習動態(tài)表示方面受到限制。GATv2 中使用的動態(tài)注意函數(shù)可以對不同的鍵值和具有不同相關(guān)性的不同查詢進行建模。此外，GATBR 中增加了對項目多樣性感興趣的表達（如公式（7）所示）。通過進一步考慮項目的多樣性來對用戶偏好建模，并考慮不同項目的多樣，以激活不同用戶的興趣，改進了推薦模型的表達能力。

4 結(jié)語

本工作提出了新的物品多樣性表示注意力圖神經(jīng)網(wǎng)絡(luò)模型用于購物籃推薦。通過結(jié)合超圖建模和物品多樣性表示注意模塊，所提出的GATBR 聯(lián)合考慮給定特定目標項目的用戶興趣以及購物籃內(nèi)和購物籃之間的復(fù)雜項目轉(zhuǎn)換。在兩個真實世界的數(shù)據(jù)集上進行了廣泛的實驗，實驗結(jié)果表明GATBR 性能優(yōu)于幾種最先進的下一個購物籃推薦方法。