王晨星，吳 云+，雒曉輝

(1.貴州大學(xué) 公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550025；2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽(yáng) 550025)

0 引 言

序列推薦系統(tǒng)(sequence recommendation system，SRS)[1]已成為推薦系統(tǒng)領(lǐng)域的研究熱點(diǎn)?；趥鹘y(tǒng)的推薦模型，如KGNCF[2](knowledge graph enhanced neural collaborative filtering)和UILCF[3](user identity lda collaborative filtering)，這些模型關(guān)注用戶和項(xiàng)目之間的靜態(tài)聯(lián)系，忽略了用戶興趣的衰減以及偏好的動(dòng)態(tài)變化?；贛arkov鏈的序列推薦模型，如RF-MC[5](factorizing Markov chains)，可以學(xué)習(xí)順序模式，但存在一定的缺陷：一方面該模型只能捕獲點(diǎn)級(jí)別的依賴，而忽略了前幾個(gè)用戶行為作為一個(gè)整體對(duì)下一時(shí)刻行為產(chǎn)生的影響。另一方面該模型沒(méi)有考慮用戶在較長(zhǎng)時(shí)間域內(nèi)的興趣對(duì)推薦結(jié)果產(chǎn)生的影響?；谏疃葘W(xué)習(xí)的推薦模型如GRU4Rec[5](gate recurrent unit4 recommendation)，該模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行序列推薦。然而隨著序列長(zhǎng)度的增加導(dǎo)致模型無(wú)法記憶過(guò)長(zhǎng)的序列。此外，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦模型缺乏對(duì)局部關(guān)聯(lián)關(guān)系進(jìn)行深層挖掘，這將導(dǎo)致一些重要的行為關(guān)系的損失。基于注意力機(jī)制[6，7]的推薦模型如NARM[8](neural attentive recommendation machine)，該模型忽略了歷史交互項(xiàng)之間的局部交互關(guān)系以及用戶歷史點(diǎn)擊序列對(duì)目標(biāo)物品的影響。

為了解決以上模型存在的問(wèn)題，我們提出了一個(gè)基于用戶行為的長(zhǎng)短期序列推薦模型(long and short term sequence recommendation model based on user behavior，UBLSR)。本文主要的貢獻(xiàn)如下：①設(shè)計(jì)了一種多路空洞卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以挖掘序列中的局部和全局行為關(guān)系，從而提高推薦精度。②利用自注意力網(wǎng)絡(luò)建模用戶短期興趣在序列內(nèi)的動(dòng)態(tài)轉(zhuǎn)移，同時(shí)考慮目標(biāo)候選物品對(duì)推薦的影響。③設(shè)計(jì)一個(gè)基于鄰居用戶行為的長(zhǎng)期興趣建模方案，同時(shí)融入注意力機(jī)制，動(dòng)態(tài)調(diào)整每個(gè)用戶對(duì)最終排名的貢獻(xiàn)置信度，減少無(wú)用特征的干擾。

1 相關(guān)工作

1.1 基于RNN序列推薦

大量的RNN(recurrent neural network)被用于序列推薦[9，10]。例如GRU4Rec模型，該模型受到循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的限制，假設(shè)任何相鄰的用戶點(diǎn)擊行為都一定存在依賴關(guān)系，缺乏對(duì)噪聲用戶行為的有效鑒別，因此可能學(xué)習(xí)到錯(cuò)誤的依賴關(guān)系。這種限制使得個(gè)性化序列推薦表現(xiàn)欠佳，因?yàn)樵谛蛄型扑]問(wèn)題中，并不是所有相鄰的操作都有依賴關(guān)系。除此之外GRU4Rec模型無(wú)差別地對(duì)待所有交互行為，忽略了當(dāng)前行為中用戶的主要意圖，導(dǎo)致推薦準(zhǔn)確性不高。循環(huán)神經(jīng)網(wǎng)絡(luò)通過(guò)串行的運(yùn)算方式來(lái)學(xué)習(xí)序列中的時(shí)序關(guān)系，因此阻礙了模型的并行化，從而降低模型的計(jì)算速度。

1.2 基于CNN序列推薦

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)不假設(shè)用戶有很強(qiáng)的前后時(shí)序關(guān)系，并且可以學(xué)習(xí)特定區(qū)域內(nèi)的局部特征和不同區(qū)域之間特征的關(guān)系。以往模型重點(diǎn)利用卷積網(wǎng)絡(luò)來(lái)挖掘輔助信息如圖像信息、文本信息，而我們的工作著眼于利用卷積捕獲訪問(wèn)過(guò)的項(xiàng)目的序列信息。Tang等[11]提出了Caser(convolution al sequence embedding recommendation)模型，該模型使用CNN一維水平卷積和垂直卷積在一定程度上解決了以往模型在捕獲點(diǎn)級(jí)、聯(lián)合級(jí)順序模式的缺陷，但該模型的水平卷積和垂直卷積都是單組的，掃描到的特征缺乏表示能力。且該模型只適用于淺層網(wǎng)絡(luò)結(jié)構(gòu)，在建模遠(yuǎn)程依賴關(guān)系或注入大規(guī)模數(shù)據(jù)流時(shí)將出現(xiàn)推薦性能下降的問(wèn)題。而本文設(shè)計(jì)的多路空洞卷積網(wǎng)絡(luò)經(jīng)過(guò)不同卷積路徑得到的特征圖之間的耦合性較低，關(guān)注的主要特征不同，可以得到互為補(bǔ)充的特征圖，以更完整地表示序列信息，在大規(guī)模數(shù)據(jù)下表現(xiàn)突出。

1.3 基于注意力機(jī)制的推薦

Yu等[12]提出AFM(attentional factorization machines)模型，該模型通過(guò)引入注意力機(jī)制，來(lái)判斷不同特征之間交互的重要性。然而該模型忽略了用戶點(diǎn)擊順序信息的重要性，通常會(huì)隨著物品和用戶興趣的動(dòng)態(tài)變化而失敗。Li等提出NARM模型在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上借助注意力機(jī)制對(duì)序列行為中用戶的主要意圖進(jìn)行建模。具體的：NARM包含編碼器-解碼器結(jié)構(gòu)。在編碼器中利用門控循環(huán)單元對(duì)序列特征進(jìn)行編碼，同時(shí)借助注意力機(jī)制挖掘用戶在當(dāng)前序列中的主要意圖，將得到的用戶主要意圖和序列特征聯(lián)合送入解碼器中計(jì)算物品的最終得分。然而該模型忽略了用戶點(diǎn)擊序列背后潛在歷史興趣跟目標(biāo)物品之間的關(guān)聯(lián)。

2 本文方法

2.1 問(wèn)題定義

2.2 模型描述

本文提出了一個(gè)基于用戶行為的長(zhǎng)短期序列推薦模型UBLSR。模型結(jié)構(gòu)如圖1所示，該模型主要包括序列信息挖掘模塊(sequence information mining module，SIMM)、用戶短期興趣建模模塊(user short term iterest module，USTIM)、用戶長(zhǎng)期興趣增強(qiáng)模塊(user long term interest enhancement module，ULIEM)和輸出推薦模塊(output recommendation module，ORM)。

圖1 基于用戶行為的長(zhǎng)短期序列推薦模型(UBLSR)

首先將目標(biāo)物品項(xiàng)和用戶歷史行為的原始特征送入嵌入層轉(zhuǎn)換為嵌入向量，然后將嵌入向量輸入序列信息挖掘模塊，利用多路空洞卷積網(wǎng)絡(luò)來(lái)挖掘深層用戶行為信息；接著將得到用行為信息按長(zhǎng)度劃分分別送入用戶短期興趣建模模塊和用戶長(zhǎng)期興趣增強(qiáng)模塊中；在用戶短期興趣建模模塊中，利用自注意力網(wǎng)絡(luò)[13]對(duì)歷史序列和目標(biāo)物品的動(dòng)態(tài)交互進(jìn)行建模；在用戶長(zhǎng)期興趣增強(qiáng)模塊中，利用基于鄰居用戶的注意力機(jī)制建模用戶長(zhǎng)期興趣偏好；最終將用戶短期興趣建模模塊和長(zhǎng)期興趣增強(qiáng)模塊的結(jié)果聯(lián)合送入輸出推薦模塊，預(yù)測(cè)下一時(shí)刻的用戶行為。

2.3 序列信息挖掘模塊

將用戶歷史序列和物品的嵌入向量輸入到神經(jīng)網(wǎng)絡(luò)中來(lái)捕獲時(shí)序特征。模塊結(jié)構(gòu)如圖2所示，包含聯(lián)合卷積層、垂直卷積層、連接層。聯(lián)合卷積層包含膨脹率為1的空洞卷積層1和膨脹率為2的空洞卷積層2。

圖2 序列信息挖掘模塊(SIMM)

接下來(lái)分別介紹網(wǎng)絡(luò)的各個(gè)部分：

(1)第一層左側(cè)是聯(lián)合卷積層：本層設(shè)計(jì)了一種多路空洞卷積網(wǎng)絡(luò)(multi-channel dilated convolution network，MDCN)對(duì)序列信息進(jìn)行局部感知，實(shí)現(xiàn)聯(lián)合級(jí)別序列關(guān)系的挖掘。

針對(duì)傳統(tǒng)ResNet[14]網(wǎng)絡(luò)在采樣和池化過(guò)程中的信息丟失問(wèn)題，我們使用空洞卷積[15]代替普通卷積，相比傳統(tǒng)CNN，空洞卷積具有較寬的感受視野和較短距離的梯度傳播可以在保持卷積核參數(shù)大小不變的同時(shí)，增大感受野，從而挖掘到點(diǎn)擊序列下更長(zhǎng)距離的序列信息。聯(lián)合卷積層共兩層，在網(wǎng)絡(luò)的第一層和第二層分別用膨脹率為1、2的空洞卷積代替普通卷積。

針對(duì)傳統(tǒng)ResNet網(wǎng)絡(luò)在單通路結(jié)構(gòu)下挖掘表現(xiàn)力不足的問(wèn)題，我們將網(wǎng)絡(luò)擴(kuò)展成多通路結(jié)構(gòu)，每層通路條數(shù)C設(shè)置為8。這種結(jié)構(gòu)使得模型在不增加參數(shù)復(fù)雜度的前提下學(xué)習(xí)到更廣泛的序列信息，同時(shí)增加模型的可擴(kuò)展能力。模型主要參數(shù)見表1。

表1 多通路空洞殘差網(wǎng)絡(luò)主要參數(shù)

本文采用殘差結(jié)構(gòu)優(yōu)化信息傳遞路徑，目的是為防止訓(xùn)練過(guò)程中的梯度消失。同時(shí)參考了Inception[16]的split-transform-merge(分支-改變-合并)思想。

(2)與聯(lián)合卷積層并列的結(jié)構(gòu)是垂直卷積層：垂直卷積核的橫向?qū)挾饶J(rèn)為1，對(duì)歷史交互序列進(jìn)行垂直卷積運(yùn)算，來(lái)挖掘點(diǎn)級(jí)別的序列關(guān)系。

(3)第二層是連接層：將聯(lián)合卷積層和垂直卷積層的輸出向量拼接，聯(lián)合輸入到一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)層，以獲得更多抽象的表示信息，序列信息挖掘模塊的輸出公式為

(1)

式中：σ(x) 表示sigmoid函數(shù)，W和b表示要學(xué)習(xí)的參數(shù)，E1表示聯(lián)合卷積層的輸出，E2表示垂直卷積層的輸出，O表示序列信息挖掘模塊的輸出。

2.4 用戶短期興趣建模模塊

用戶歷史點(diǎn)擊的順序信息可以很好地反映一段時(shí)間內(nèi)用戶興趣的動(dòng)態(tài)變化。首先給序列中每個(gè)歷史交互的向量表示加上位置編碼，然后利用自注意力網(wǎng)絡(luò)來(lái)建模用戶短期興趣在序列內(nèi)的復(fù)雜動(dòng)態(tài)轉(zhuǎn)移，這樣可以很好地弱化順序關(guān)系同時(shí)提升推薦效果。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示：本文的自注意力網(wǎng)絡(luò)的查詢向量Query的輸入為目標(biāo)物品嵌入向量，關(guān)鍵字向量Key、值向量Value的值均為經(jīng)序列信息挖掘模塊處理后的得到的用戶行為信息嵌入向量，短序列層在掃描歷史交互序列信息的同時(shí)，將目標(biāo)商品和歷史行為序列的關(guān)系納入衡量范圍。

圖3 用戶短期興趣建模模塊(USTIM)

(2)

(3)

(4)

(5)

2.5 用戶長(zhǎng)期興趣增強(qiáng)模塊

我們用記憶網(wǎng)絡(luò)[17]來(lái)表示基于鄰域的組件，以捕獲用戶和項(xiàng)目之間的高階復(fù)雜關(guān)系，提出了一個(gè)用戶長(zhǎng)期興趣增強(qiáng)模塊，這一層的核心是記憶網(wǎng)絡(luò)和注意力機(jī)制的結(jié)合。外部記憶允許編碼豐富的特征表征，而注意力機(jī)制從交互社群中推斷相關(guān)物品的特定貢獻(xiàn)。記憶組件允許讀寫操作對(duì)內(nèi)存中復(fù)雜的用戶和項(xiàng)目關(guān)系進(jìn)行編碼。設(shè)計(jì)一個(gè)考慮鄰居用戶的用戶長(zhǎng)期偏好表示方案。在以上基礎(chǔ)上，借助注意力機(jī)制對(duì)具有相似偏好的特定用戶子集給予更高的權(quán)重，形成一個(gè)集體鄰域摘要。

用戶記憶組件：由用戶記憶矩陣S、歷史交物品記憶矩陣I組成，每個(gè)用戶u的記憶矩陣su∈S內(nèi)部存儲(chǔ)了特定的用戶隱含信息，每個(gè)歷史交互項(xiàng)目k的記憶矩陣ik∈I內(nèi)部存儲(chǔ)了特定項(xiàng)目的隱含信息。我們?cè)O(shè)計(jì)一個(gè)用戶偏好向量puk， 其中每個(gè)維度pukv是目標(biāo)用戶u和與u具有相似歷史交互記錄k的鄰居用戶v之間的相似度

(6)

式中：?v∈N(k)， 其中N(k) 表示為物品k提供隱式反饋的所有用戶(鄰居)的集合。

基于鄰居用戶的注意力機(jī)制：傳統(tǒng)的鄰居選擇算法在初始化階段需要指定用戶的個(gè)數(shù)，而在實(shí)際場(chǎng)景中，每個(gè)用戶的社群鄰居個(gè)數(shù)是變化的，因此我們利用注意力機(jī)制對(duì)相似性更高的鄰居用戶施加更大的權(quán)重。通過(guò)注意力機(jī)制學(xué)習(xí)用戶鄰域的自適應(yīng)非線性加權(quán)，并融合鄰居用戶的外部記憶矩陣來(lái)構(gòu)建最終的鄰域表示

(7)

(8)

其中，在經(jīng)典的記憶網(wǎng)絡(luò)中，用戶v的嵌入向量cv表示外部記憶。通過(guò)加權(quán)求和的方式可以得到用戶在相關(guān)鄰域中的長(zhǎng)期用戶興趣信息。用戶u最終的長(zhǎng)期興趣表示Zuk如下

Zuk=W1yuk+W2(su⊙ik)+b

(9)

式中：⊙是元素乘積，W1、W2和b是我們要學(xué)習(xí)的參數(shù)。

2.6 輸出預(yù)測(cè)模塊

我們?cè)O(shè)計(jì)的UBLSR模型同時(shí)對(duì)用戶的短期興趣和長(zhǎng)期興趣進(jìn)行建模，該模型最終將短期興趣建模模塊和長(zhǎng)期興趣增強(qiáng)模塊的輸出向量整合，如式(10)所示

(10)

其中輸出層的權(quán)重矩陣用W∈R|I|×2d表示，輸出層的偏置項(xiàng)用b表示。最終將拼接好的結(jié)果送入sigmoid函數(shù)進(jìn)行預(yù)測(cè)，結(jié)果概率如下所示

(11)

式中：σ(x) 表示sigmoid函數(shù)。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

所有實(shí)驗(yàn)均在Intel Core(TM)i5-4690 CPU @ 3.5 GHz和16 G內(nèi)存Ubuntu系統(tǒng)中完成。本文模型基于Tensorflow 2.0編寫，其中用戶和物品的向量維度設(shè)置范圍如下 {20，30，50，100}， 學(xué)習(xí)率的探索范圍如下 {1，10-1…10-4}， 馬爾可夫階數(shù)來(lái)自 {1，…，9} 批次大小為 512，dropout率為0.5。

3.2 數(shù)據(jù)集

本文在MovieLens(ML)、Gowalla數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，來(lái)驗(yàn)證本文設(shè)計(jì)的模型效果。

MovieLens：一個(gè)廣泛用于評(píng)估協(xié)作過(guò)濾算法的基準(zhǔn)數(shù)據(jù)集。在實(shí)驗(yàn)中使用Movielens-1M(ML-1M)版本。

Gowalla：一個(gè)基于位置的社會(huì)交流網(wǎng)站，用戶通過(guò)簽到來(lái)分享他們的位置，并貼有時(shí)間戳的標(biāo)簽。我們遵循與Caser相同的預(yù)處理過(guò)程：我們將評(píng)審或評(píng)級(jí)的存在視為隱式反饋(即用戶與項(xiàng)目交互)，用戶交互的時(shí)序性由時(shí)間戳標(biāo)定，并對(duì)ML-1M和Gowalla分別丟棄少于5和15個(gè)操作的用戶和項(xiàng)目。訓(xùn)練和驗(yàn)證取每個(gè)用戶序列中前80%的行為，評(píng)估模型性能的測(cè)試集取其余20%的行為。

3.3 評(píng)價(jià)指標(biāo)

我們報(bào)告了所有用戶的這些值的平均值。N∈{1，5，10}。 其中，當(dāng)中的第N項(xiàng)為R，Recall(N)=1 時(shí)，平均精度(MAP)為所有用戶的AP平均值，平均精度(AP)的定義如下

(12)

(13)

(14)

3.4 實(shí)驗(yàn)對(duì)比基準(zhǔn)模型介紹

(1)KGNCF[2]：利用圖神經(jīng)網(wǎng)絡(luò)技術(shù)挖掘知識(shí)圖譜中復(fù)雜的用戶關(guān)系，同時(shí)利用神經(jīng)網(wǎng)絡(luò)和矩陣分解兩者結(jié)合的方式進(jìn)行非時(shí)序推薦。

(2)UILCF[3]：利用LDA主題模型緩解傳統(tǒng)協(xié)同過(guò)濾推薦中的冷啟動(dòng)問(wèn)題，同時(shí)利用海明距離建立相似用戶評(píng)價(jià)指標(biāo)以提高推薦效果。

(3)RF-MC[4]：利用隨機(jī)森林對(duì)用戶興趣標(biāo)簽進(jìn)行分類以解決個(gè)性化推薦過(guò)程中的冷啟動(dòng)問(wèn)題，同時(shí)利用一階馬爾可夫鏈進(jìn)行序列推薦。

(4)GRU4Rec[5]：利用RNN來(lái)建模順序依賴關(guān)系，同時(shí)借助用戶歷史點(diǎn)擊行為對(duì)下一時(shí)刻行為進(jìn)行推薦預(yù)測(cè)。

(5)Caser[12]：利用CNN一維水平卷積和垂直卷積挖掘點(diǎn)級(jí)、聯(lián)合級(jí)順序依賴關(guān)系，是一種先進(jìn)的短期序列推薦模型。

(6)NARM[8]：利用兩個(gè)GRU分別學(xué)習(xí)用戶行為序列的全局和局部信息，并將注意力機(jī)制與GRU模型結(jié)合進(jìn)行用戶短期興趣建模。

3.5 結(jié)果分析與比較

3.5.1 實(shí)驗(yàn)結(jié)果比較

對(duì)于每種方法，都尋找超參數(shù)的最優(yōu)設(shè)置。嵌入層的維度設(shè)置范圍如下 {20，30，50，100}， 學(xué)習(xí)率的探索范圍如下 {1，10-1…10-4}。 對(duì)于Caser和GRU4Rec，馬爾可夫階數(shù)來(lái)自 {1、…、9}。 對(duì)于Caser模型，水平過(guò)濾器的高度范圍來(lái)自 {4，8，16，32 }， 目標(biāo)數(shù)物品數(shù)來(lái)自 {1，2，3}， 激活函數(shù)來(lái)自 {sigmod，tanh，Relu}。 以上基準(zhǔn)模型和本文模型在評(píng)價(jià)指標(biāo)上的對(duì)比結(jié)果見表2。

江西六國(guó)擁有“施大壯”“貴化”“群星”“田園豐”等四大品牌近80種規(guī)格的產(chǎn)品，產(chǎn)能達(dá)到80余萬(wàn)噸，2012年以來(lái)，先后興建了年產(chǎn)10萬(wàn)噸工業(yè)級(jí)磷酸一銨和年產(chǎn)4萬(wàn)噸硫酸鉀復(fù)合肥裝置，是業(yè)內(nèi)規(guī)格品種最齊全的復(fù)合肥生產(chǎn)企業(yè)。

表2 模型在兩個(gè)數(shù)據(jù)集上的性能比較

通過(guò)對(duì)數(shù)據(jù)進(jìn)行分析得到如下結(jié)論：

(1)在MovieLens數(shù)據(jù)集上，本文設(shè)計(jì)的UBLSR模型相對(duì)對(duì)比模型中表現(xiàn)最好的NARM模型，MAP提高了5.5%；precision最大提高了17.22%；recall最大提高了40.9%；在Gowalla數(shù)據(jù)集上，本文設(shè)計(jì)的UBLSR模型相對(duì)對(duì)比模型中表現(xiàn)最好的NARM模型，MAP提高了4.3%；precision最大提高了20.37%；recall最大提高了6.1%。該結(jié)果表明本文設(shè)計(jì)的UBLSR模型可以有效提升模型的推薦精度。

(2)本文設(shè)計(jì)的UBLSR在推薦過(guò)程中將時(shí)間序列信息納入到特征考慮范圍，相比非時(shí)序推薦模型KGNCF、UILCF表現(xiàn)出更優(yōu)秀的性能，結(jié)果表明用戶點(diǎn)擊選擇的順序信息至關(guān)重要，用戶歷史交互的順序信息可以更好地反映用戶在一段時(shí)間內(nèi)興趣的動(dòng)態(tài)變化。

(3)本文提出的UBLSR模型在MovieLens數(shù)據(jù)集上的MAP值相比于RF-MC提升了58.2%；在Gowalla數(shù)據(jù)集上的MAP值相比于RF-MC提升了86.5%。原因如下：UBLSR模型在序列推薦的過(guò)程中兼顧考慮了序列中出現(xiàn)的單個(gè)物品與多個(gè)物品分別對(duì)用戶對(duì)下一物品的喜好程度的影響，從而挖掘序列模式下更復(fù)雜的關(guān)系，而RF-MC模型僅對(duì)一階馬爾可夫鏈進(jìn)行學(xué)習(xí)。

(4)本文提出的UBLSR模型在MovieLens數(shù)據(jù)集上的MAP值相比Caser模型提升了26.2%，在Gowalla數(shù)據(jù)集上的MAP值相比Caser提升了10.1%。因?yàn)镃aser無(wú)區(qū)別地對(duì)待所有歷史交互物品，而UBLSR在底層模型的基礎(chǔ)上添加注意力機(jī)制，區(qū)別對(duì)待歷史交互行為。

(5)本文提出的UBLSR模型在MovieLens數(shù)據(jù)集上的MAP值相比GRU4Rec和NARM模型分別提升了32.1%、5.5%；在Gowalla數(shù)據(jù)集上的MAP值相比GRU4Rec和NARM分別提升了76.2%、4.3%。原因如下：GRU4Rec算法僅使用循環(huán)神經(jīng)網(wǎng)絡(luò)生成序列向量。循環(huán)神經(jīng)網(wǎng)絡(luò)在每次迭代中選取局部最優(yōu)解，致使模型無(wú)法挖掘序列中全局信息。NARM 模型在循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上融合了注意力機(jī)制，然而交互過(guò)程中的局部信息仍然通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)迭代生成，易受到用戶短期偏好波動(dòng)的影響，無(wú)法充分捕捉更穩(wěn)定的長(zhǎng)期偏好。而UBLSR通過(guò)自注意力網(wǎng)絡(luò)建模局部動(dòng)態(tài)偏好，同時(shí)考慮了目標(biāo)物品對(duì)注意力機(jī)制得分的影響，除此之外UBLSR借助長(zhǎng)期興趣增強(qiáng)模塊感知用戶長(zhǎng)期偏好，使得學(xué)習(xí)到的用戶行為信息更加豐富，從而提升推薦效果。

3.5.2 探究向量維度對(duì)實(shí)驗(yàn)的影響

圖4 在Movielens-1M上探究向量維度對(duì)MAP的影響

圖5 在Gowalla上探究向量維度對(duì)MAP的影響

3.5.3 探究歷史交互序列長(zhǎng)度對(duì)實(shí)驗(yàn)影響

保持其它最優(yōu)超參數(shù)不變的情況下，改變歷史交互長(zhǎng)度，觀測(cè)MAP值的變化，此時(shí)MAP衡量了模型從高階信息中挖掘潛在信息的能力。歷史交互長(zhǎng)度對(duì)推薦效果的影響如圖6和圖7所示：在相同序列長(zhǎng)度下相比對(duì)比模型，UBLSR提取信息的能力更強(qiáng)。更長(zhǎng)的歷史交互序列可以提供更多交互信息，然而當(dāng)長(zhǎng)度超過(guò)5時(shí)，模型推薦性能反而開始下降。這是合理的，因?yàn)樵缙诘臍v史行為和當(dāng)前時(shí)刻的用戶行為相關(guān)性較小，可能引入額外的信息和更多的噪聲。除此之外，歷史序列長(zhǎng)度越大，序列中包含的用戶無(wú)意圖行為越多，用戶意圖越發(fā)散，導(dǎo)致物品在注意力機(jī)制計(jì)算過(guò)程中分配的權(quán)重趨于平均。最終導(dǎo)致模型難以挖掘用戶的主要意圖，推薦性能隨之下降。

圖6 在Movielens-1M上探究歷史交互序列長(zhǎng)度對(duì)MAP的影響

圖7 在Gowalla上探究歷史交互序列長(zhǎng)度對(duì)MAP的影響

3.5.4 模型方法的消融實(shí)驗(yàn)

為驗(yàn)證本文提出的每個(gè)模塊的有效性，保持所有超參數(shù)在最佳設(shè)置下進(jìn)行對(duì)比驗(yàn)證。對(duì)于x∈{ u、v、w}，X-x表示啟用了組件x的UBLSR模型。u為序列信息挖掘模塊，v為用戶短期興趣建模模塊，w為用戶長(zhǎng)期興趣增強(qiáng)模塊，Base表示未組裝列信息挖掘模塊、用戶短期興趣建模模塊和用戶長(zhǎng)期興趣增強(qiáng)模塊的基礎(chǔ)推薦模型。例如，X-uv表示組裝序列信息挖掘模塊和用戶短期興趣建模模塊的推薦模型。各個(gè)模型在數(shù)據(jù)集MovieLens-1M上的MAP指標(biāo)的表現(xiàn)見表3。

表3 組件的有效性分析結(jié)果

通過(guò)結(jié)果得出：

(1)使用了序列信息挖掘模塊的推薦模型在MovieLens-1M數(shù)據(jù)集的MAP指標(biāo)上對(duì)比Base模型最大提升了4.9%，在Gowalla數(shù)據(jù)集上提升了3.1%。本文設(shè)計(jì)的多通路空洞殘差網(wǎng)絡(luò)經(jīng)過(guò)不同卷積路徑得到的特征圖之間的耦合性較低，關(guān)注的主要特征不同，可以得到互為補(bǔ)充的特征圖，以更完整表示歷史序列特征，得到豐富的特征語(yǔ)義表達(dá)。由實(shí)驗(yàn)可以得出本文提出的序列信息挖掘模塊可以解決以往模型在捕獲用戶歷史行為交互過(guò)程中表征能力不足的缺陷問(wèn)題，從而提升序列推薦的性能。

(2)使用了用戶短期興趣建模模塊的推薦模型在MovieLens-1M數(shù)據(jù)集的MAP指標(biāo)上對(duì)比Base模型最大提升了5.2%，在Gowalla數(shù)據(jù)集上提升了3.5%。本文設(shè)計(jì)的短期興趣建模模塊可以建模用戶點(diǎn)擊序列下更深層短期興趣，設(shè)計(jì)的自注意力層不但有效建模用戶短期歷史興趣，而且考慮了目標(biāo)候選物品的和歷史行為的交互，由實(shí)驗(yàn)可以得到本文提出的自注意力，可以解決傳統(tǒng)模型建模用戶歷史興趣序列無(wú)法有效關(guān)聯(lián)目標(biāo)候選物品的問(wèn)題，從而提升序列推薦的性能。

(3)使用了用戶長(zhǎng)期興趣增強(qiáng)模塊的推薦模型在MovieLens-1M數(shù)據(jù)集的MAP指標(biāo)上對(duì)比Base模型最大提升了4.8%，在Gowalla數(shù)據(jù)集上提升了1.9%。本文設(shè)計(jì)的長(zhǎng)期興趣增強(qiáng)模塊可以利用所有對(duì)項(xiàng)目進(jìn)行了評(píng)級(jí)的用戶來(lái)獲得關(guān)于現(xiàn)有用戶和項(xiàng)目關(guān)系的額外見解。其次，借助神經(jīng)注意力機(jī)制根據(jù)特定項(xiàng)目調(diào)整每個(gè)用戶對(duì)最終排名的貢獻(xiàn)置信度，從而提升序列推薦的性能。

對(duì)比Base模型，本文設(shè)計(jì)的UBLSR在MAP指標(biāo)上最大提升了5.4%，驗(yàn)證UBLSR模型可以有效提升推薦效果。

4 結(jié)束語(yǔ)

為提升推薦系統(tǒng)的推薦精度，本文提出了一種基于用戶行為的長(zhǎng)短期序列推薦模型(UBLSR)。首先，設(shè)計(jì)了一種多路空洞卷積網(wǎng)絡(luò)，用來(lái)挖掘序列信息下的深層行為特征；接著，利用自注意力網(wǎng)絡(luò)建模用戶短期興趣在序列內(nèi)的復(fù)雜動(dòng)態(tài)轉(zhuǎn)移。然后，設(shè)計(jì)了一個(gè)考慮鄰居用戶行為的長(zhǎng)期興趣建模方案，同時(shí)融入注意力機(jī)制，動(dòng)態(tài)調(diào)整每個(gè)用戶對(duì)最終排名的貢獻(xiàn)置信度，減少無(wú)用特征的干擾。實(shí)驗(yàn)結(jié)果表明，UBLSR模型在推薦精度上比基準(zhǔn)模型有顯著的提升，驗(yàn)證了模型方法的有效性。此外，我們的模型也適用于其它相關(guān)的序列預(yù)測(cè)任務(wù)。