趙串串，游進國，2，李曉武

1(昆明理工大學 信息工程與自動化學院，昆明 650500) 2(云南省計算機應用重點實驗室，昆明 650500)

1 引 言

隨著萬維網(wǎng)的發(fā)展，人們的購買習慣逐漸從大街上的實體店轉(zhuǎn)向互聯(lián)網(wǎng)，例如淘寶、京東、亞馬遜等在線購物平臺.然而在線購物平臺存在著一個顯著的問題，項目的數(shù)量對用戶來說可能是巨大的，用戶難以尋找自身感興趣的項目.推薦系統(tǒng)的引入，能有效的解決信息過載問題.

如今，推薦系統(tǒng)在現(xiàn)實世界的業(yè)務中發(fā)揮著重要作用，預測用戶的下一次交互是實現(xiàn)個性化推薦的核心[1].在各種各樣的領(lǐng)域中，存在大量的歷史交互數(shù)據(jù)，例如點擊日志，購買歷史，瀏覽等，這些數(shù)據(jù)多年來實現(xiàn)了許多高效的推薦系統(tǒng).然而，大多數(shù)現(xiàn)有的推薦系統(tǒng)理論都面臨著各種問題[2]，例如傾向于重復推薦與用戶可能已經(jīng)購買的項目類似的項目[3].實際上，用戶可能更喜歡新穎且與已有的物品更相關(guān)的物品.

如圖1所示，用戶按照先后順序把 “牛奶，蘋果，香蕉，牛油果”加入購物車中，然后又把“面包”也加入了購物車.最后，用戶按照“牛奶，蘋果，香蕉，牛油果，面包”順序下單成功.如果是用現(xiàn)有的基于上下文的推薦方法，就會把前面加入的“牛奶，蘋果，香蕉，牛油果”四個項目當作是上下文，則用戶最后又加入購物車的“面包”看作是系統(tǒng)推薦的那個目標項目.如果是這樣的話，系統(tǒng)就會把用戶最近加入購物車的(蘋果，香蕉，牛油果)看的很重要，根據(jù)這三個項目，很可能推薦給用戶的項目是“蔬菜”類，如“綠色沙拉”.但是，最后的訂單顯示用戶把“面包”作為最后的選擇，因為選擇“面包”可能是取決于用戶加入購物車的第一個項目(牛奶).從這個情況來看，一個好的推薦系統(tǒng)就應該對那些與目標項目(面包)更相關(guān)的項目(牛奶)加以重視，而不應該過于關(guān)注最新添加的、不太相關(guān)的項目“蘋果，香蕉，牛油果”.

圖1 序列推薦示例

上述實例表明，部分之前購買的項目中存在對下一項推薦影響甚微的項目，因此建模歷史項目的不同相關(guān)性是至關(guān)重要的.然而，現(xiàn)有的推薦方法并沒有做到既考慮項目序列，又考慮每個項目對下一個項目的重要性，并不能充分挖掘項目序列和項目對于交互的下一個項目影響的重要性.例如，采用馬爾可夫鏈[4]來模擬用戶行為序列，它假設(shè)下一個動作僅以前一個動作(或前幾個動作)為條件，并已成功用于表征短程項目轉(zhuǎn)換以進行推薦.因此，推薦給用戶的項目列表僅僅只是利用了項目序列，并沒有發(fā)現(xiàn)項目序列中的項目彼此之間的影響.為了解決上述問題，本文基于自注意力機制提出一種序列感知深度網(wǎng)絡(SeqaDN)，并將自注意力機制與深度雙向循環(huán)神經(jīng)網(wǎng)絡結(jié)合到項目推薦中.由于自注意力機制的引入，所提出的模型能夠更多地關(guān)注更相關(guān)的項目，而更少關(guān)注不太相關(guān)的項目.因此，SeqaDN更有效，更健壯，可以預測具有較少約束的序列中的下一個項目.

2 相關(guān)工作

2.1 一般的推薦系統(tǒng)

推薦系統(tǒng)專注于基于歷史反饋對用戶和項目之間的兼容性建模.用戶反饋可以是顯式的(例如評分)或隱式的(例如點擊，購買，評論).由于解釋“未觀察到的”(例如，未購買的)數(shù)據(jù)的模糊性，對隱式反饋進行建?？赡芫哂刑魬?zhàn)性.

文獻[5]考慮到用戶之間都具有相互的影響力且擁有共同評分的用戶更相似，利用Cloud-model來計算用戶在評分上的相似性，根據(jù)相似性值得到與目標用戶相似的N個最近鄰，然后利用矩陣分解模型進行評分預測.但是文獻[5]未考慮到用戶之間的影響力不是永久的，其是具有時效性的，且評分矩陣也具有稀疏性，降低了推薦效果.基于矩陣分解的方法[6]將從當前項目到下一項目的轉(zhuǎn)移概率矩陣分解為潛在因子.然而，由于現(xiàn)實世界中的冪律分布數(shù)據(jù)，矩陣分解很容易受到稀疏性問題的困擾.此外，另一項工作是基于項目相似性模型，并沒有明確地為每個用戶建模潛在因素(例如FISM[7]).以上方法學習項目到項目的相似性矩陣，并通過測量用戶之前與之交互的項目的相似性來估計用戶對項目的偏好.

2.2 序列推薦

為了對用戶的個體和序列信息進行聯(lián)合建模，傳統(tǒng)的推薦方法引入了馬爾可夫鏈.文獻[4]結(jié)合因子分解方法模擬用戶一般的偏好，結(jié)合馬爾可夫鏈以挖掘用戶序列模式.基于文獻[4]，研究人員使用了不同的方法來提取這兩種不同的用戶偏好.文獻[8]使用度量嵌入將項目投射到低維歐氏空間中的點上，用于播放列表預測和連續(xù)位置推薦.文獻[9]利用詞嵌入從項目-項目的共現(xiàn)中提取信息，提高矩陣分解性能.除了基于馬爾可夫鏈的方法，另一項工作采用循環(huán)神經(jīng)網(wǎng)絡來模擬用戶交互的項目序列[10-12].例如，GRU4Rec[9]使用門控循環(huán)單元來模擬基于會話的點擊序列推薦.文獻[12]中，馮永等人提出了一種MN-HDRM推薦模型，作者首先是通過RNN學習出了用戶在某一個短時期內(nèi)的興趣變化，同時利用FNN來學習目標用戶長時期內(nèi)的穩(wěn)定興趣，最后融合兩種網(wǎng)絡構(gòu)建了一種長短興趣多神經(jīng)網(wǎng)絡混合動態(tài)推薦模型，并取得了相對優(yōu)越的性能.

由于不同項目的權(quán)重是固定的，好的推薦方法應當有效地加權(quán)上下文中的項目，即更多地關(guān)注那些相關(guān)項目.這種注意區(qū)別非常重要，特別是對于長期交互，這些交互通常包含許多與下一個選擇無關(guān)的項目，現(xiàn)有方法在捕獲高級用戶-項目交互方面的能力有限.

2.3 基于Attention機制的推薦

研究者已經(jīng)證明了注意機制可以在各種任務中起到高效的作用，如圖像字幕和機器翻譯等.Attention機制的主要思想：根據(jù)序列而輸出的每個結(jié)果都依賴于模型對輸入序列中與實際結(jié)果“相關(guān)”部分的關(guān)注，而且基于注意力的方法通常更易于理解.

注意機制已經(jīng)被應用到了推薦系統(tǒng)，例如，Attentional Factorization Machines(AFM)[13]了解了每個特征交互對于內(nèi)容感知推薦的重要性.最近，純粹基于注意力的Seq2Seq方法Transfomer[14]在機器翻譯任務上實現(xiàn)了較好的性能和效率，這些任務以前一直由基于RNN/CNN的方法主導.Transformer模型在很大程度上依賴于Self-Attention模塊來捕獲句子中的復雜結(jié)構(gòu)，并檢索相關(guān)單詞(在源語言中)以生成下一個單詞(在目標語言中).受Transformer的啟發(fā)，本文尋求基于Self-Attention方法來構(gòu)建一種序列感知的下一項推薦模型.

3 序列感知深度網(wǎng)絡

本文提出的一種序列感知深度網(wǎng)絡(SeqaDN)，分別從項目嵌入、序列感知自注意力神經(jīng)網(wǎng)絡和基于深度雙向循環(huán)神經(jīng)網(wǎng)絡(Dbi-LSTM)的用戶偏好學習展開.

3.1 SeqaDN框架

SeqaDN的框架如圖2所示，SeqaDN將用戶實際交互的下一個項目和其點擊的項目序列作為輸入.對于每個項目，使用Item2vec[15]來處理并生成項目的嵌入向量.Item2vec是自然語言處理領(lǐng)域中的Word2vec的擴展，允許靈活地將項目本身的ID作為輸入并捕獲項目之間的相似性.然后使用自注意力神經(jīng)網(wǎng)絡學習歷史項目對下一個項目的不同影響權(quán)重，最后使用深度神經(jīng)網(wǎng)絡學習用戶的偏好，生成偏好向量.

圖2 SeqaDN框架的圖示

3.2 項目嵌入

Item2vec是Skip-gram與負抽樣的重要擴展之一，用于為基于項目的協(xié)同過濾推薦產(chǎn)生項目嵌入.類比于詞向量模型，本文將每個項目看作是一個單詞，用戶已經(jīng)交互的項目序列看作是一個句子，擁有共同上下文的項目嵌入離得更近.

給定所有用戶交互的項目集H=(U1,U2,U3，…，Um)，其中Ui表示用戶i交互的項目序列Ui={I1,I2,I3,…，In}，項目嵌入的目的是為每個項目生成低維的項目向量.本文采用Item2vec為項目生成嵌入向量.

給定一個用戶交互序列集合，Skip-gram的目標是最大化以下目標函數(shù)：

(1)

其中，L是交互序列長度，p(Ij|Ii)為softmax函數(shù)：

(2)

其中，σ(x)是一個常用的Sigmoid激活函數(shù)，N是正樣本中負樣本的個數(shù).

3.3 序列感知自注意力神經(jīng)網(wǎng)絡

在順序推薦系統(tǒng)中，長期偏好對應于用戶的一般品味.由于用戶的長期項目集通常隨時間變化，因此學習用戶長期項目對下一個項目的不同影響權(quán)重是有必要的.

注意力定義如下：

(3)

自注意力是注意力機制的一個特例，并已成功應用于各種任務.其通過將單個序列與自身匹配來細化表示.與基本注意力不同，自注意力可以不管序列中項目之間的距離如何，也可保持上下文序列信息并捕獲序列中元素之間的關(guān)系.為了滿足上述要求，本文使用自注意機制來計算給定用戶的長期項目集中每個項目的重要性.

在本文的上下文中，Q=K=V，且用戶u的歷史交互記錄表示為：

其中，矩陣每一行表示項目嵌入得到的d維項目，矩陣的行數(shù)n表示用戶u的歷史交互記錄長度，本文中用戶u的查詢，鍵和值在時間步t處等于U′i.

本文通過使用共享參數(shù)的非線性變換將查詢和鍵映射到同一空間.

Q′=ReLU(VjMQ)

(4)

K′=ReLU(VjMK)

(5)

(6)

本文保持V等于U′i不變，即：V′=U′i.因此，注意力模塊的最終加權(quán)輸出為：

Au=SuV′

(7)

3.4 基于深度雙向循環(huán)神經(jīng)網(wǎng)絡的用戶偏好學習

深度循環(huán)神經(jīng)網(wǎng)絡在NLP領(lǐng)域內(nèi)性能表現(xiàn)良好，在NLP領(lǐng)域用的是深層門限循環(huán)網(wǎng)絡，由于循環(huán)神經(jīng)網(wǎng)絡中的LSTM本身就是一種處理序列預測問題性能表現(xiàn)很好的模型，所以本文利用深度雙向LSTM學習用戶的偏好，并做出推薦.

一個好的推薦系統(tǒng)就要考慮到用戶穩(wěn)定的歷史偏好信息，RNN是一個可以循環(huán)學習的網(wǎng)絡，可以高效的學習用戶的偏好.受到文獻[16,17]的啟發(fā)，本文采用改進的深度雙向LSTM(即Dbi-LSTM)，使得模型能夠更好的利用前向和后向的上下文長期表示，以及深度循環(huán)神經(jīng)網(wǎng)絡可以更好地抽象表示用戶的特征.

如圖3所示是本文中所提出的偏好學習模型，一個具有兩個隱藏層的網(wǎng)絡Dbi-LSTM.該網(wǎng)絡結(jié)構(gòu)中，前一個時間步會產(chǎn)生一組參數(shù)，并把這組參數(shù)傳遞給在其后一個時間步(在同一個Bi-LSTM層中)的中間神經(jīng)元，與此同時，中間神經(jīng)元需要在時間步接收來自前一層Bi-LSTM隱藏層的兩組相關(guān)參數(shù)；在模型中每一個隱藏層的輸入序列從兩個方向開始：從左到右、從右到左.

本文使用的Dbi-LSTM結(jié)構(gòu)的關(guān)系式是通過將文獻[17]中的前向傳播和后向傳播關(guān)系增加了層次的表示，如式(8)、式(9)，其中在同一時間步t時，第i-1層Bi-LSTM的每個輸出作為第i層每個中間神經(jīng)元的輸入.在訓練模型過程中的每個時間步，通過連接所有輸入?yún)?shù)在隱藏層傳播過程中產(chǎn)生的結(jié)果作為最后隱藏層的輸出P(式(10)).

(8)

(9)

(10)

圖3 基于Dbi-LSTM的用戶偏好學習模型

Au矩陣中的每一行表示項目的最終嵌入得到的n維向量.

將項目的最終嵌入Au作為該模型的輸入，在模型訓練過程中，本文中使用均方誤差(Mean-Square Error，MSE)對模型進行訓練，如式(11)所示，并使用Adagrad優(yōu)化器對模型進行學習優(yōu)化，使得模型能夠很好學習每個用戶的偏好，幫助本方法更好地理解和表示用戶的長時期穩(wěn)定偏好.

(11)

4 實驗分析

4.1 實驗環(huán)境及數(shù)據(jù)集

本實驗環(huán)境：操作系統(tǒng)為Windows 10，編程語言為Python 3.6，深度學習框架為TensorFlow1.2.0.

本文使用來自電影領(lǐng)域MovieLens的兩個數(shù)據(jù)集，即1M1和HetRec2011-MovieLens-2k2.MovieLens-1M是電影推薦中廣泛使用的基準數(shù)據(jù)集，它包含MovieLens網(wǎng)站上71567位用戶對10681部電影的大約100萬個顯式評分(范圍從1到5)，數(shù)據(jù)集中所選擇的用戶都是至少包含對20部電影進行評分的用戶以及評分數(shù)據(jù)集中包含著用戶交互的時間戳，數(shù)據(jù)集的稀疏度為4.46%.HetRec 2011是一系列用戶喜好的數(shù)據(jù)，其中HetRec2011-MovieLens-2k(ML-HetRec)包含2113位用戶對10197部電影855598個顯式評分，數(shù)據(jù)集的稀疏度為4.01%.

根據(jù)推薦系統(tǒng)領(lǐng)域普通的數(shù)據(jù)劃分方式，將數(shù)據(jù)集化分為訓練集和測試集兩個部分，隨機地選取90%的數(shù)據(jù)用作訓練集來完成整個算法模型的訓練，利用剩余10%的數(shù)據(jù)作為測試集來衡量模型的實際性能.在訓練模型的時候，本文將訓練集中用戶評分小于3的項目從交互序列中過濾，使得模型性能更優(yōu)，更加貼切用戶的偏好.

4.2 對比方法

為了驗證本方法的有效性，本文選取了三種非序列推薦方法和兩種序列推薦方法進行最對比.

·POP.此方法根據(jù)項目在系統(tǒng)中的受歡迎程度對項目進行排名，并向用戶推薦最受歡迎的項目.

·BPRMF[18].Bayesian Personalized Ranking Matrix Factorization，是一種從隱式反饋中學習個性化排名的經(jīng)典方法.其使用貝葉斯方法中的成對排序損失，利用隱式反饋優(yōu)化潛在因子模型.

·MC[4].描述了一種序列推薦方法，其將基于相似性的方法與馬爾可夫鏈融合.

·TransRec[19].該模型應用了將嵌入轉(zhuǎn)換為序列推薦的思想.它將用戶視為關(guān)系向量，并假設(shè)下一個項目由用戶最近交互的項目加上用戶關(guān)系向量確定.

·DBi-LSTM[20].該方法是僅僅基于循環(huán)神經(jīng)網(wǎng)絡進行序列推薦的方法，并使用雙向LSTM作為模型，更好地學習用戶的長期偏好.

4.3 評估標準

本文采用了三種評估指標，包括Hit@k，MRR@k，Recall@k來衡量所提出的方法的實際效用，本文將這兩個的排名列表截斷k均為50.

命中率(Hit Rate，Hit)是基于召回的度量，測量了推薦的準確性，能直觀地衡量測試目標項目是否存在于列表的前k項中.Hit的定義為:

(12)

其中，GT表示測試集合中所有項目，NumberofHit@k表示用戶的推薦列表中的項目與所有測試集中所有項目的交集.

1https://grouplens.org/datasets/movielens/1m/

2http://ir.ii.uam.es/hetrec2011

平均倒數(shù)排名(Mean Reciprocal Rank，MRR)，目標用戶實際交互的項目序列的下一個項目在推薦列表中倒數(shù)排名的平均值，如果高于k，則等級設(shè)置為零.MRR的定義為:

(13)

其中，|Q|是測試集中用戶實際交互的項目個數(shù)，rankx是用戶實際交互的項目在推薦列表的第x個位置.

Recall@k：本文中它是主要的評估指標，定義為目標用戶實際交互序列的下一個項目出現(xiàn)在Top-k推薦列表中，即所有測試案例中Top-k項中具有所需項目的案例的比例.

4.4 實驗結(jié)果與分析

通過在真實數(shù)據(jù)集上進行實驗證明了本文所提出的模型具有一定的實際意義，本文將本方法與其他方法在兩個MovieLens數(shù)據(jù)集上的實驗結(jié)果進行了對比，實驗結(jié)果如表1所示：

整體的模型性能：表1列出了兩種推薦任務的不同方法的結(jié)果，可以觀察到：

1)在非序列推薦方法中，BPRMF在兩個數(shù)據(jù)集上性能表現(xiàn)良好，但在ML-HetRec數(shù)據(jù)集上的性能略差一些，因為這個數(shù)據(jù)集相對于ML-1M較為稀疏.總的來說，BPRMF整體性能是優(yōu)于POP的，因為POP僅僅是利用了所有用戶對項目的顯式反饋的流行度進行推薦的，而顯式反饋(如評分)存在較多的噪音數(shù)據(jù)，相反隱式反饋更能體現(xiàn)出用戶對項目的喜好程度，BPRMF則是使用了貝葉斯方法中的成對排序損失，利用隱式反饋優(yōu)化潛在因子模型來學習用戶的偏好.

2)在序列推薦方法中，經(jīng)典的基于馬爾可夫鏈的模型(MC)在相對密集和稀疏數(shù)據(jù)上實現(xiàn)良好的性能.另一方面，TransRec似乎在兩個數(shù)據(jù)集上與MC相比表現(xiàn)不佳.TransRec的一個重要假設(shè)是用戶的下一個項目僅受其最新動作的影響.這種假設(shè)可能適用于稀疏數(shù)據(jù)，因為交互在時間上是非常離散的，但是當用戶經(jīng)常與系統(tǒng)交互時可能不成立.TransRec通過引入用戶特定關(guān)系向量作為中介來在一定程度上克服了這個缺點.

3)最后，將本文提出的模型SeqaDN與以上對比方法進行比較.很明顯，SeqaDN比這些方法更好，而且同樣使用循環(huán)神經(jīng)網(wǎng)絡做序列推薦，但是，從表中可以看出:SeqaDN模型的整體性能比模型DBi-LSTM更優(yōu).SeqaDN具有項目序列和RNN的優(yōu)點：項目序列可以捕獲序列效應和用戶的一般興趣，而RNN則更能夠準確表示順序依賴性.同時，本文還添加了Self-Attention，其能夠?qū)W習出每個項目對目標項目的不同影響權(quán)重，更加符合用戶的興趣偏好.我們的實驗表明這三個方面對于改進序列推薦很重要.SeqaDN相對于所有基線的另一個潛在好處是推薦結(jié)果更加準確.

表1 在所有數(shù)據(jù)集上的命中率和MRR方面的性能比較

Table 1 Performance comparison of hit rate and MRR across all data sets

數(shù)據(jù)集評估標準POPBPRMFMCTransRecDBi-LSTMSeqaDNML-1MHit@500.14400.23780.34190.33580.32350.3719MRR@500.02310.03680.06540.05610.06700.0962ML-HetRecHit@500.10650.14620.19230.19120.26150.2654MRR@500.01770.02150.03590.03370.04020.0404

嵌入維度的影響：如圖4所示，顯示了在兩個數(shù)據(jù)集上的Recall@50，同時保持其他超參數(shù)不變.從圖4(a)中可以觀察到：1)對于不同的數(shù)據(jù)集有不同的最佳嵌入維度，不同的推薦結(jié)果，因為數(shù)據(jù)集的稀疏度不一樣；2)嵌入維度越大，推薦性能并沒有提高，反而有所下降，可以看出較大的嵌入維度不一定會得到更好的模型性能，因為嵌入維度過大會導致過擬合現(xiàn)象.從圖4(b)中可以觀察到：在兩個數(shù)據(jù)集上，SeqaDN的運行時間隨著嵌入維度的增加而增加，這是由于輸入SeqaDN模型的維度越高，需要訓練的參數(shù)就越多，計算量就隨之變大了，參數(shù)更新、模型尋優(yōu)等都將耗費時間越長.

序列長度L的影響：如圖5(a)所示，顯示了在兩個數(shù)據(jù)集上序列長度L的影響.可以觀察到適當長度L對數(shù)據(jù)集的密度是有所依賴的，在相對密集的ML-1M數(shù)據(jù)集上，將L設(shè)置為更大的值對性能是有利的，但是，在相對較為稀疏的ML-HetRec數(shù)據(jù)集上L應該設(shè)置為比ML-1M更小的值是合理的.因為增加L將會導致訓練樣本減少，模型訓練不佳.值得注意的是，Self-Attention能夠處理遠距離位置直接的依賴關(guān)系，理論上允許在非常冗長的序列上進行學習.如圖5(b)所示，不管是在哪個數(shù)據(jù)集上的實驗，模型訓練時間與序列長度成正比，這是由于深度學習是一個參數(shù)優(yōu)化，模型尋優(yōu)的過程，隨著模型輸入的序列長度的增加，模型需要訓練的數(shù)據(jù)就越多，模型需要優(yōu)化的參數(shù)也隨著變多，時間也就隨之增加.

通過實驗分析，SeqaDN模型訓練出的推薦列表的點擊率和平均倒數(shù)排名高于基線，驗證了在做序列推薦時，序列上下文嵌入和注意力加權(quán)所有上下文項目的重要性.

5 結(jié) 論

為了有效地推薦項目序列上下文中用戶可能交互的下一個項目，本文提出了一種序列感知深度網(wǎng)絡(SeqaDN)，將自注意力機制與深度雙向循環(huán)神經(jīng)網(wǎng)絡結(jié)合到項目推薦中.SeqaDN是一種基于內(nèi)容的推薦框架.其把用戶已經(jīng)交互的項目序列通過Item2vec進行上下文嵌入學習，這種上下文嵌入使得擁有共同用戶的項目離得更近，并將自注意力機制加入到深度雙向循環(huán)神經(jīng)網(wǎng)絡中區(qū)別學習每個項目對預測項目的不同影響權(quán)重，進而學習到用戶的歷史偏好向量.對現(xiàn)實世界交易數(shù)據(jù)的實證評估表明，SeqaDN在解決現(xiàn)有技術(shù)方法的差距方面具有顯著的優(yōu)勢.在下一步工作中，本文將合并用戶和項目方面信息以克服稀疏性問題.