曾義夫 牟其林 周 樂 藍(lán) 天 劉 嶠

1(電子科技大學(xué)信息與軟件工程學(xué)院 成都 610054) 2(提升政府治理能力大數(shù)據(jù)應(yīng)用技術(shù)國家工程實(shí)驗(yàn)室(中電科大數(shù)據(jù)研究院有限公司) 貴陽 550022) 3(中電科大數(shù)據(jù)研究院有限公司 貴陽 550022)(ifz@std.uestc.edu.cn)

基于會話的推薦系統(tǒng)(session-based recom-mender systems， SRS)是推薦系統(tǒng)領(lǐng)域的一個(gè)重要研究分支，因其在電子商務(wù)中的實(shí)用性而受到廣泛關(guān)注［1].SRS研究的基本問題是如何利用用戶會話日志中記錄的歷史行為(如瀏覽、購買等點(diǎn)擊行為)來預(yù)測用戶下一次將要點(diǎn)擊的物品.因此，SRS問題也被稱為點(diǎn)擊預(yù)測(next-click prediction)問題［2].

與傳統(tǒng)推薦系統(tǒng)相比，SRS問題的困難性主要體現(xiàn)在：1)SRS中的用戶通常是匿名的，僅通過當(dāng)前會話很難獲得足夠的上下文信息對用戶興趣進(jìn)行建模；2)SRS數(shù)據(jù)僅包含用戶瀏覽點(diǎn)擊行為，不包含用戶對物品的主觀意見(如評分)，因此只能通過該數(shù)據(jù)對用戶興趣進(jìn)行間接推測.簡言之，SRS需要根據(jù)有限的點(diǎn)擊行為序列所反映出的用戶隱含興趣，預(yù)測用戶的真實(shí)興趣并做出針對性推薦［2].

當(dāng)前性能表現(xiàn)較好的SRS模型多為基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks, RNNs)的深度學(xué)習(xí)模型，其共性在于對用戶點(diǎn)擊物品(item)采用實(shí)值向量進(jìn)行表達(dá)(稱為embeddings)，并且采用隨機(jī)值對embeddings向量進(jìn)行初始化，通過對用戶點(diǎn)擊序列進(jìn)行學(xué)習(xí)，迭代更新得到物品的向量表達(dá)［2-5].

本文認(rèn)為這種基于會話子序列學(xué)習(xí)得到物品表達(dá)，并依據(jù)子序列編碼進(jìn)行預(yù)測的方式會導(dǎo)致模型的注意力局限于會話中的已點(diǎn)擊物品，傾向于推薦與已點(diǎn)擊物品類似的物品，難以捕獲用戶瀏覽行為中隱含的興趣變化.例如用戶在瀏覽手機(jī)產(chǎn)品時(shí)可能注意力會自然地遷移到附件產(chǎn)品如耳機(jī)、手機(jī)殼，充電寶等，這種情況稱為興趣漂移［6].

為解決該問題，本文提出一種基于協(xié)同過濾思想的SRS算法模型，稱為基于圖表示學(xué)習(xí)的會話感知模型(graph embedding based session perception, GESP).該模型首先基于訓(xùn)練數(shù)據(jù)構(gòu)造一個(gè)全局的物品依賴關(guān)系圖(item dependency graph, IDG)，用于描述用戶會話中物品的點(diǎn)擊先后順序.然后，利用本文提出的圖表示學(xué)習(xí)算法(graph embedding learning algorithm, GELA)對IDG進(jìn)行學(xué)習(xí)，得到推薦系統(tǒng)中所有物品的向量表達(dá).最后，再利用預(yù)訓(xùn)練得到的物品表達(dá)，采用雙向LSTM(bidirectional long short-term memory， BiLSTM)構(gòu)建一個(gè)混合記憶網(wǎng)絡(luò)模型，實(shí)現(xiàn)對用戶點(diǎn)擊行為的預(yù)測.由于GESP模型在訓(xùn)練最后的預(yù)測模型時(shí)不對預(yù)訓(xùn)練得到的物品向量表達(dá)進(jìn)行更新，為區(qū)別于相關(guān)工作，我們將其稱為固定表達(dá)模型.

本文的主要貢獻(xiàn)有3個(gè)方面:

1) 提出將一種基于協(xié)同過濾思想的固定物品表達(dá)用于SRS任務(wù)，為推薦模型提供物品之間復(fù)雜的關(guān)聯(lián)信息與被點(diǎn)擊的規(guī)律信息，提高推薦模型的預(yù)測能力，緩解會話中的興趣漂移問題；

2) 提出了一個(gè)從全局角度表示用戶會話中物品點(diǎn)擊先后順序的物品依賴關(guān)系圖IDG，同時(shí)提出一種圖表示學(xué)習(xí)算法GELA從IDG中學(xué)習(xí)圖中的結(jié)構(gòu)化信息，獲得物品的固定向量表達(dá)；

3) 提出了一種基于圖表示學(xué)習(xí)的會話感知推薦模型GESP.除了將物品固定表達(dá)作為輸入之外，GESP模型與相關(guān)工作的主要區(qū)別在于利用BiLSTM進(jìn)行特征抽象，可以使模型從不同角度觀察用戶瀏覽行為并進(jìn)行學(xué)習(xí)，更好地捕獲用戶會話中的興趣變化.在2個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，GESP模型在準(zhǔn)確性、泛化性和多樣性方面均優(yōu)于相關(guān)工作.

1 相關(guān)工作

1.1 基于會話的推薦系統(tǒng)

SRS是推薦系統(tǒng)領(lǐng)域的近期研究熱點(diǎn)之一，其目標(biāo)是根據(jù)歷史會話記錄中的潛在信息(如用戶的點(diǎn)擊瀏覽記錄)預(yù)測用戶下一次點(diǎn)擊.

傳統(tǒng)的推薦系統(tǒng)模型，如矩陣分解模型(matrix factorization, MF)［7]和Markov鏈模型(Markov chains, MC)［8]，并不能很好地應(yīng)用于SRS任務(wù)中，分別是因?yàn)橛脩?物品矩陣中用戶評分的缺失和無法有效建模序列中的上下文信息(一階依賴問題).受MF和MC的啟發(fā)，一些研究人員提出結(jié)合二者優(yōu)勢的混合模型［9-10]，如Markov鏈個(gè)性化分解模型(factorization personalized Markov chains, FPMC)，通過分解底層MC上的轉(zhuǎn)移矩陣來建模用戶的順序?yàn)g覽行為，提供個(gè)性化推薦.

隨著深度學(xué)習(xí)模型近年來在各領(lǐng)域不斷取得的進(jìn)展，SRS領(lǐng)域也提出利用深度學(xué)習(xí)的方法預(yù)測用戶的下一次點(diǎn)擊［11].Hidasi等人［5]使用帶有門控循環(huán)單元的深度循環(huán)神經(jīng)網(wǎng)絡(luò)(GRU4Rec)，利用歷史點(diǎn)擊記錄來建模會話數(shù)據(jù).GRU4Rec在SRS任務(wù)中預(yù)測下一次點(diǎn)擊時(shí)會通過RNN的結(jié)構(gòu)來綜合考慮用戶的歷史行為.在GRU4Rec的研究基礎(chǔ)上，Quadrana等人［12]在SRS任務(wù)中結(jié)合用戶畫像使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行個(gè)性化推薦.Li等人［4]提出一種物品注意力機(jī)制(item-level attention mecha-nism)來明確考慮會話中每個(gè)物品的重要程度，結(jié)合編碼器-解碼器(encoder-decoder)架構(gòu)，來捕獲用戶在會話中的主要目的.Liu等人［2]提出了基于注意力/記憶機(jī)制的模型，該模型同時(shí)考慮了用戶的長、短期興趣，并在推薦時(shí)增強(qiáng)了短期興趣對推薦結(jié)果的影響.此外，一些研究將重點(diǎn)放在了物品間的關(guān)聯(lián)性上.Hu等人［3]提出一種淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過計(jì)算上下文物品之間的相對距離來捕獲其間的關(guān)聯(lián)性.本文與這些工作主要區(qū)別在于，本文采用圖表示學(xué)習(xí)的方法學(xué)習(xí)物品的向量表達(dá)，并將其作為預(yù)測模型的“固定”輸入，利用BiLSTM從不同角度對用戶瀏覽行為進(jìn)行特征提取，同時(shí)考慮用戶的長短期興趣以緩解興趣漂移帶來的影響，最終在不犧牲預(yù)測準(zhǔn)確性的前提下，為用戶提供多樣且新穎的選項(xiàng).

1.2 圖表示學(xué)習(xí)

近期，表示學(xué)習(xí)在知識庫中的應(yīng)用受到了各領(lǐng)域研究人員的關(guān)注，如推薦系統(tǒng)［7]、知識圖譜［13]、復(fù)雜網(wǎng)絡(luò)［14]和生物信息學(xué)［15]等.表示學(xué)習(xí)是學(xué)習(xí)使用各種大型真實(shí)網(wǎng)絡(luò)進(jìn)行預(yù)測的基本步驟［16-17].與圖表示學(xué)習(xí)有關(guān)的模型可以根據(jù)他們的合成方式分為非線性模型和線性模型.評分函數(shù)中包含用于特征提取的非線性激活函數(shù)的ER-MLP［13]，NTN［18]，ConvE［19]等模型稱為非線性模型，反之，RESCALL［20]，TransE［21]，DistMult［22]，HoIE［23]，ComplEx［24]等模型則被稱為線性模型［25].

近期研究工作表明基于圖的向量表達(dá)已經(jīng)被使用于一些推薦任務(wù)中.如Wang等人［26]提出了一種新聞推薦模型，利用知識圖譜中的實(shí)體向量表達(dá)提供有區(qū)分度的互補(bǔ)信息.并在進(jìn)一步的研究中，將知識圖譜作為推薦系統(tǒng)的輔助信息源［27].然而，當(dāng)前利用物品表達(dá)的相關(guān)SRS工作通常使用獨(dú)熱(one-hot)編碼，或者在深度學(xué)習(xí)結(jié)構(gòu)中添加表示層，通過隨機(jī)初始向量表達(dá)來表示物品［2-5].對此，Li等人［28]提出異議，認(rèn)為對于具有海量物品數(shù)據(jù)的大型電子商務(wù)平臺而言，上述方法會增加時(shí)間復(fù)雜度，使其失去性能優(yōu)勢［5].為此，本文提出從圖表示學(xué)習(xí)的角度解決SRS中下一次點(diǎn)擊預(yù)測問題，并提出利用固定物品表達(dá)作為輸入構(gòu)建SRS模型.

2 基于圖表示學(xué)習(xí)的會話感知模型

2.1 符號系統(tǒng)描述

符號約定.用集合S={s1,s2,…,s|S|}表示SRS中所有的會話數(shù)據(jù)，每個(gè)會話si對應(yīng)一個(gè)順序點(diǎn)擊的物品序列，即si=〈v1,v2,…,vNi〉，Ni表示會話si的長度，vj表示在會話si中用戶第j次點(diǎn)擊的物品，另外利用物品字典(item dictionary, ID)V={v1,v2,…,v|V|}表示在會話集合S中出現(xiàn)的所有物品集合，有vj∈V.

2.2 物品依賴圖(IDG)

本文中，IDG表示為G=(V,E)，其中V表示物品字典，E表示物品間有向邊的集合.在本模型中，物品vi和vj之間的邊∈E表示一種關(guān)聯(lián)關(guān)系，這種關(guān)系來源于會話中物品的順序依賴結(jié)構(gòu).如，對于任意給定的會話si=〈v1,v2,…,vNi〉，可以提取出Ni-1條邊：，，…，，每條邊代表會話si中一個(gè)關(guān)聯(lián)關(guān)系.

IDG結(jié)構(gòu)展示出物品vi∈V在歷史會話記錄中的順序依賴關(guān)系，可以用于相關(guān)物品的協(xié)同過濾.

2.3 基于圖的表示學(xué)習(xí)算法

圖表示學(xué)習(xí)在圖信息挖掘任務(wù)中十分重要［29]，常用來作為機(jī)器學(xué)習(xí)前的特征工程，由這個(gè)過程得到的表示向量的質(zhì)量在極大程度上決定了算法最終的實(shí)驗(yàn)結(jié)果性能［16]，因此受到學(xué)術(shù)界的廣泛關(guān)注［17].

score(vi,vj,vk)=(vi+vj)·vk.

(1)

Fig.1 The graph embedding learning algorithm圖1 基于圖的表示學(xué)習(xí)算法

(2)

2.4 會話感知模型

近期研究表明，用戶的長期興趣和短期興趣在SRS任務(wù)中均具有重要意義［31]，STAMP［2]模型通過結(jié)合這2種興趣記憶提高了對用戶的下一次點(diǎn)擊的預(yù)測準(zhǔn)確性.受STAMP模型啟發(fā)，本文提出的GESP模型也包含2種類型的記憶，如圖2所示.

(3)

短期記憶mT基于雙向LSTM隱狀態(tài)構(gòu)建.LSTM可以捕捉長距離依賴關(guān)系，但在序列過長的情況下，LSTM的隱狀態(tài)會聚焦在輸入序列較尾端的部分.為解決這個(gè)問題，本文選用BiLSTM獲取用戶的短期興趣.在時(shí)刻t，前向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)定義：

i=σ(Wixt+Uiht-1)，

(4)

f=σ(Wfxt+Ufht-1)，

(5)

o=σ(Woxt+Uoht-1)，

(6)

g=tanh(Wgxt+Ught-1)，

(7)

ct=f⊙ct-1+i⊙g，

(8)

ht=o⊙tanh(ct)，

(9)

Fig.2 Schematic illustration of the GESP model圖2 GESP模型示意圖

mT=ht⊕h1，

(10)

其中,⊕表示連接操作，ht表示用戶的當(dāng)前瀏覽興趣，h1表示用戶的初始瀏覽興趣，二者結(jié)合，可以更客觀地表示用戶近期的實(shí)際興趣，提高系統(tǒng)對用戶興趣漂移的敏感度.為了區(qū)別于先前定義的長期記憶mL，本文稱mT為表示用戶短期興趣的短期記憶.

長期記憶負(fù)責(zé)捕獲用戶的長期興趣，而短期記憶負(fù)責(zé)捕獲用戶的短期興趣，本文將二者結(jié)合在一起形成一個(gè)新的記憶向量cS：

cS=mT⊕mL.

(11)

(12)

算法1.基于圖表示學(xué)習(xí)的會話感知推薦算法.

輸入：訓(xùn)練集S={s1,s2,…,s|S|}，si={v1,v2,…,vNi}，vj∈V、向量維度d、batch1、batch2、學(xué)習(xí)率η、學(xué)習(xí)率衰減速率λ.

① 初始化S←S-si(?i,Ni

vj(?j,Count(vj)

② loop

③Sbatch1←Sample(S,batch1)；

④ foreach ∈Sbatch1do

⑤ foreachvk∈Vdo

⑥qk←scorevk=(vi+vj)·vk；

⑦ end foreach

⑧p←one-hot(V)；

人生百年，歡嫛能幾？當(dāng)其百昌，外鑠牢愁，中沍冥心，孤運(yùn)往而不復(fù)。瓊樓夜冷，錦瑟春啼，結(jié)想所生，神光離合。作者、述者，各有會心?；蜀疯b其忠誠，圣人知其怨悱。辭取復(fù)意，何假蹄筌？莼農(nóng)微旨，或在斯乎？[注](民國)王蘊(yùn)章：《燃脂馀韻》，王英志主編《清代閨秀詩話叢刊》，第621-622頁。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與預(yù)處理

為驗(yàn)證基于圖表示學(xué)習(xí)的會話感知推薦模型的有效性，本文在Yoochoose和Tmall等2組公開數(shù)據(jù)集上進(jìn)行了評估實(shí)驗(yàn).

Yoochoose數(shù)據(jù)集來自RecSys’15挑戰(zhàn)賽，其數(shù)據(jù)包含yoochoose.com電子商務(wù)網(wǎng)站連續(xù)6個(gè)月的匿名用戶會話日志.Tmall數(shù)據(jù)集來自IJCAI’15競賽，其數(shù)據(jù)包含tmall.com在線購物網(wǎng)站連續(xù)6個(gè)月的脫敏用戶會話日志.2個(gè)數(shù)據(jù)集均沒有預(yù)先分為訓(xùn)練集和測試集.

本文參照其他相關(guān)工作對數(shù)據(jù)進(jìn)行了預(yù)處理.在Yoochoose數(shù)據(jù)集上，首先將用戶會話日志中最后一天的數(shù)據(jù)作為測試集，余下數(shù)據(jù)作為訓(xùn)練集.過濾僅包含1次點(diǎn)擊的會話以及在訓(xùn)練集和測試集中出現(xiàn)總次數(shù)少于5次的物品，然后過濾僅出現(xiàn)在測試集中的物品.在Tmall數(shù)據(jù)集上，針對購買記錄，首先過濾少于3次會話的用戶記錄以及僅包含一次點(diǎn)擊的會話數(shù)據(jù)，然后隨機(jī)選擇數(shù)據(jù)集中最后1個(gè)月內(nèi)20%的會話作為測試集，余下數(shù)據(jù)作為訓(xùn)練集.經(jīng)過預(yù)處理，Yoochoose數(shù)據(jù)集包含7 966 257個(gè)會話，31 637 239次點(diǎn)擊，37 483個(gè)物品，Tmall數(shù)據(jù)集包含200 289個(gè)會話，600 289次點(diǎn)擊，52 206個(gè)物品.

根據(jù)Tan等人［32]的工作，本文在模型訓(xùn)練之前，對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了數(shù)據(jù)擴(kuò)充.例如對于給定輸入會話si=〈v1,v2,…,vNi〉，生成子序列〈(［v1],v2),(［v1,v2],v3),…,(［v1,v2,…,vNi-1],vNi)〉，將每個(gè)子序列中括號內(nèi)的物品作為輸入數(shù)據(jù)，而剩余一項(xiàng)(即該會話下一次點(diǎn)擊的實(shí)際結(jié)果)作為標(biāo)簽數(shù)據(jù).由于Yoochoose數(shù)據(jù)量過大，現(xiàn)有研究表明使用該數(shù)據(jù)集較后部分的數(shù)據(jù)可以獲得更好的預(yù)測結(jié)果［32]，因此，本文只取訓(xùn)練數(shù)據(jù)的最后1/64作為模型的實(shí)際訓(xùn)練集，并稱之為Yoochoose 1/64.2個(gè)數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)數(shù)據(jù)如表1所示：

Table 1 Statistics of the Experiment Datasets表1 實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)信息

實(shí)驗(yàn)開始前，為驗(yàn)證固定表達(dá)模型的合理性，本文首先將單個(gè)會話中按瀏覽順序依次取出的相鄰2項(xiàng)物品定義為物品對(item-pair)，然后在2個(gè)公開數(shù)據(jù)集上按物品對出現(xiàn)的次數(shù)對其進(jìn)行分類，分別統(tǒng)計(jì)在總點(diǎn)擊量中物品對出現(xiàn)次數(shù)的分布，以及在所有會話中包含該類物品對會話的分布情況，如圖3所示.結(jié)果表明，物品對出現(xiàn)次數(shù)的分布與含有該類物品對會話的分布高度相關(guān)，且具有某種規(guī)律性，此外，2種分布均顯示出與隨機(jī)分布的明顯偏差.因此，在本文構(gòu)建的IDG上根據(jù)物品對來對這種規(guī)律性進(jìn)行建模，學(xué)習(xí)固定的物品向量表達(dá)，這比隨機(jī)初始化embeddings向量產(chǎn)生的結(jié)果更有說服力.

Fig.3 Item-pair distribution and session distribution圖3 物品項(xiàng)對分布以及會話分布

3.2 對比模型

為評估GESP模型的性能，將在上述2個(gè)數(shù)據(jù)集上與相關(guān)工作中提及的8種模型進(jìn)行對比.

1) POP.最簡單的SRS算法模型，始終根據(jù)訓(xùn)練集中物品的出現(xiàn)頻率排名進(jìn)行推薦.

2) FPMC.文獻(xiàn)［9]提出將MF和MC的相結(jié)合的模型，該模型為每個(gè)用戶生成單獨(dú)的轉(zhuǎn)移概率矩陣，生成轉(zhuǎn)移矩陣立方體.利用張量分解中的標(biāo)準(zhǔn)分解(canonical decomposition, CD)方法，分解該立方體.此后，引入貝葉斯個(gè)性排名(Bayesian personalized ranking, BPR)來優(yōu)化模型參數(shù)，使推薦結(jié)果更為準(zhǔn)確.為了使其適用于SRS，本文在計(jì)算其推薦分?jǐn)?shù)時(shí)不考慮原模型中用戶的潛在表示.

3) SWIWO-I.文獻(xiàn)［3]提出的一個(gè)淺層神經(jīng)網(wǎng)絡(luò)模型，該模型將會話中的物品以獨(dú)熱向量的形式，作為高維數(shù)據(jù)輸入到編碼層，生成低維向量，獲得會話上下文表達(dá)，用以生成多樣化的推薦結(jié)果.

4) GRU4Rec.文獻(xiàn)［5]提出的GRU模型，該模型將會話進(jìn)行拼接，利用小批量的并行計(jì)算，提高訓(xùn)練效率.并根據(jù)物品“熱門程度”進(jìn)行采樣，對采樣結(jié)果劃分正負(fù)樣本，采用基于排名的損失函數(shù).

5) HRNN Init.文獻(xiàn)［12]提出的基于GRU4Rec的分層模型，該模型引入了一個(gè)額外的GRU層來跟蹤用戶在整個(gè)會話中的興趣演變過程.

6) HRNN All.HRNN模型的另一個(gè)變體［12]，具有更復(fù)雜的結(jié)構(gòu)，其中附加的GRU層用于在模型初始化時(shí)生成用戶的向量表示并在會話之間傳遞信息.

7) NARM.文獻(xiàn)［4]提出的在RNN中加入了注意力機(jī)制的模型，該模型利用注意力機(jī)制從隱狀態(tài)捕捉用戶的意圖，并結(jié)合用戶瀏覽時(shí)的順序行為信息生成最終興趣表達(dá)來進(jìn)行推薦物品選擇.

8) STAMP.文獻(xiàn)［2]提出的短期記憶/注意力優(yōu)先的模型.該模型引入記憶力與注意力機(jī)制同時(shí)考慮用戶長/短期興趣，并通過提高短期興趣的重要性來緩解興趣漂移對推薦模型的影響.

其中，對于SWIWO-I，GRU4Rec，HRNN，NARM，STAMP，本文使用了原論文發(fā)布的代碼，在缺少相關(guān)結(jié)果的數(shù)據(jù)集上進(jìn)行參數(shù)調(diào)優(yōu)獲得最終的實(shí)驗(yàn)結(jié)果，對于POP和FPMC模型，引用了相關(guān)論文中發(fā)布的結(jié)果.

3.3 評價(jià)指標(biāo)

在評測模型性能時(shí)，本文采用Recall@K和MRR@K評價(jià)指標(biāo).

Recall@K用于衡量會話推薦系統(tǒng)預(yù)測準(zhǔn)確性的指標(biāo)，表示推薦結(jié)果排名列表中排在前K個(gè)推薦物品中有正確答案數(shù)量占所有測試數(shù)的比例，該算法定義：

(13)

其中,N表示測試集中的樣本數(shù)量，nhit表示前K個(gè)推薦物品有該樣本正確答案的樣本數(shù).

MRR@K指平均倒數(shù)排名(mean reciprocal ranks， MRR)，表示如果某樣本推薦結(jié)果vt的排名大于或等于K，則將其MRR@K值設(shè)置為0，否則將保持該排名值，并用于平均計(jì)算：

(14)

MRR@K分?jǐn)?shù)的值的范圍被限制在［0,1]區(qū)間內(nèi)，其值越大，表明推薦的命中率越高.

本文在評價(jià)模型結(jié)果時(shí)取用K=10和K=20，因?yàn)樵赟RS的實(shí)際應(yīng)用中，多數(shù)用戶僅關(guān)注出現(xiàn)在第一頁的推薦結(jié)果.

3.4 超參數(shù)

本文GESP模型的超參數(shù)通過網(wǎng)格參數(shù)尋優(yōu)法進(jìn)行選擇，其參數(shù)選擇范圍設(shè)定：學(xué)習(xí)率η∈{0.001,0.005,0.01,0.1,1}、學(xué)習(xí)率衰減速率λ∈{0.75,0.8,0.85,0.9,0.95,1.0}、物品向量表示維度d∈{50,100,200,300}.根據(jù)隨機(jī)選擇的測試集進(jìn)行網(wǎng)格尋優(yōu)，取Recall@20指標(biāo)最優(yōu)時(shí)的參數(shù)組合d=100,η=0.005,λ=1.0作為本文實(shí)驗(yàn)參數(shù).訓(xùn)練批量設(shè)為512，Adam算法迭代次數(shù)設(shè)置為50輪.所有權(quán)重矩陣均采用服從N(0,0.052)的正態(tài)分布的隨機(jī)數(shù)初始化.

3.5 點(diǎn)擊預(yù)測

表2記錄了GESP模型和其他對比模型的實(shí)驗(yàn)結(jié)果：

Table 2 Next-Click Prediction on Yoochoose and Tmall表2 Yoochoose和Tmall數(shù)據(jù)集上點(diǎn)擊預(yù)測實(shí)驗(yàn)結(jié)果

%

Note: Best results are in bold.

通過實(shí)驗(yàn)結(jié)果分析可以得出3方面認(rèn)識：

1) 本文提出的GESP模型在Recall@20的測度上始終優(yōu)于最先進(jìn)的模型NARM和STAMP，與NARM模型相比，GESP模型在2個(gè)數(shù)據(jù)集上的準(zhǔn)確率分別提高了1.05%，3.20%，與STAMP模型相比，分別提高了0.63%，7.93%.GESP模型的MRR@20得分在Tmall數(shù)據(jù)集上排名第1，在Yoochoose 1/64數(shù)據(jù)集上排名第2，與最優(yōu)模型結(jié)果相近.本文認(rèn)為準(zhǔn)確率提升的結(jié)果源于GESP模型的2個(gè)特點(diǎn)：①它綜合考慮了用戶的短期興趣和長期興趣，這有助于緩解用戶興趣漂移的問題.已有研究可以證明這種長/短期記憶機(jī)制的有效性［2].此外，本文的實(shí)驗(yàn)結(jié)果為研究SRS中用戶的行為模式提供了新的發(fā)現(xiàn)，例如基于圖生成的物品固定表達(dá)有助于構(gòu)建長期記憶，使用BiLSTM網(wǎng)絡(luò)有助于對短期記憶建模，本文將在3.6節(jié)和3.7節(jié)深入討論這2個(gè)問題.②它從IDG學(xué)習(xí)物品向量的固定表達(dá)，這有助于GESP模型更好地從全局角度捕獲用戶瀏覽時(shí)的興趣變化規(guī)律.相較之下，傳統(tǒng)的采用隨機(jī)初始化物品向量表達(dá)的方法會忽視掉物品之間重要的隱式關(guān)聯(lián)信息.

2) 基于RNN的深度學(xué)習(xí)模型在測試集中均有較好表現(xiàn)，這表明在對序列會話建模時(shí)，RNN對捕捉會話序列中用戶的瀏覽模式起著重要作用.進(jìn)一步對比發(fā)現(xiàn)，GESP模型、NARM模型、STAMP模型的表現(xiàn)明顯優(yōu)于GRU4Rec模型和HRNN模型(即HRNN All和HRNN Init)，由此推論，結(jié)合用戶長/短期興趣可能是提高SRS模型推薦準(zhǔn)確性的必要條件.

3) 當(dāng)采用不同的數(shù)據(jù)集評估時(shí)，我們發(fā)現(xiàn)FPMC的性能極不穩(wěn)定，其評估結(jié)果在Tmall數(shù)據(jù)集上的表現(xiàn)特別差.考慮到Tmall數(shù)據(jù)集具有明顯的稀疏性問題(平均而言，Tmall數(shù)據(jù)集中每個(gè)會話只包含2.99次點(diǎn)擊)，這個(gè)結(jié)果表明矩陣分解方法對數(shù)據(jù)的稀疏度非常敏感.相比之下，SWIWO-I模型在2個(gè)數(shù)據(jù)集上的表現(xiàn)都較為穩(wěn)定，這進(jìn)一步表明神經(jīng)網(wǎng)絡(luò)解決方案比矩陣分解方法更適合解決基于會話的推薦問題，而基于記憶力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型在一定程度上可以提升這種優(yōu)勢(如GESP和STAMP).

綜上，2個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明GESP模型在SRS中的有效性.為驗(yàn)證模型各組成部分的有效性，本文設(shè)計(jì)了進(jìn)一步的實(shí)驗(yàn).

3.6 圖表示學(xué)習(xí)的必要性

如引言所述，本文的主要貢獻(xiàn)在于提出了一種基于IDG的固定物品表達(dá)，并以此為基礎(chǔ)來進(jìn)行推薦.現(xiàn)通過2個(gè)方面驗(yàn)證利用圖表示學(xué)習(xí)方式生成固定物品表達(dá)的必要性：1)使用固定物品表達(dá)是否可以提高模型的穩(wěn)定性；2)使用固定物品表達(dá)是否可以提高模型的準(zhǔn)確率.

在SRS任務(wù)中，由于用戶和物品數(shù)量眾多，歷史會話數(shù)據(jù)常過于龐大，使用全部數(shù)據(jù)進(jìn)行模型訓(xùn)練會使訓(xùn)練時(shí)間無法滿足在線推薦服務(wù)的需求.因此從有限的數(shù)據(jù)子集中訓(xùn)練出一個(gè)性能較好的預(yù)測模型具有重要實(shí)際意義.本文利用固定物品表達(dá)作為GESP模型輸入的初衷源于IDG的結(jié)構(gòu)可以反映物品之間復(fù)雜的關(guān)聯(lián)信息，使用這種表達(dá)的GESP模型比使用隨機(jī)初始化embedding的其他模型可以獲得更穩(wěn)定的表現(xiàn).為驗(yàn)證這一猜想，本文將訓(xùn)練集隨機(jī)劃分為10個(gè)子集，分別對GESP模型、STAMP模型、NARM模型進(jìn)行10輪實(shí)驗(yàn)，每輪實(shí)驗(yàn)增加一個(gè)子集來擴(kuò)充訓(xùn)練集.使用相同的測試集進(jìn)行評測，結(jié)果如圖4所示:

Fig.4 Performance on different proportion of training data圖4 訓(xùn)練集增量實(shí)驗(yàn)效果

圖4顯示了3種模型在增量實(shí)驗(yàn)中的結(jié)果，在Yoochoose和Tmall數(shù)據(jù)集上，GESP模型的預(yù)測準(zhǔn)確性始終優(yōu)于另外2個(gè)當(dāng)前性能最好的模型，而且隨著訓(xùn)練數(shù)據(jù)量的增加，GESP模型在保證了準(zhǔn)確性的情況下具有更高的穩(wěn)定性(折線圖的波動(dòng)性相對更小).結(jié)果表明：利用圖表示學(xué)習(xí)從IDG中得到的固定物品表達(dá)，使GESP模型性能更優(yōu)，且對數(shù)據(jù)稀疏性的敏感度降低，因此GESP更適用于實(shí)際SRS任務(wù).

為進(jìn)一步驗(yàn)證由圖表示學(xué)習(xí)得到的物品表達(dá)的適用性，本文新增了一個(gè)基線模型GESP-G進(jìn)行對比實(shí)驗(yàn)，與GESP不同的是，GESP-G采用隨機(jī)初始化的方式生成物品表達(dá)，且在模型訓(xùn)練過程中通過反向傳播進(jìn)行更新，實(shí)驗(yàn)結(jié)果如表3所示.實(shí)驗(yàn)數(shù)據(jù)表明，基于IDG構(gòu)建的物品表達(dá)在GESP模型中具有重要作用，在不采用這種機(jī)制的情況下，模型的性能顯著下降，尤其是在處理高度稀疏數(shù)據(jù)時(shí)(如Tmall數(shù)據(jù)集).

Table 3 The Impact of the Graph-Based Item Embeddings表3 圖表示學(xué)習(xí)的影響 %

Note: Best results are in bold.

3.7 對用戶興趣建模的有效性

本文所提出的混合記憶網(wǎng)絡(luò)模型利用了一種基于BiLSTM隱狀態(tài)構(gòu)建的長/短期興趣建模機(jī)制，為驗(yàn)證本文所提出的用戶興趣模型各部分的有效性，在相同的條件設(shè)計(jì)了1組對比實(shí)驗(yàn)，結(jié)果如表4所示.其中，1)GESP是本文提出的標(biāo)準(zhǔn)模型；2)GESP-C是GESP的變體，無短期記憶mT；3)GESP-M是GESP的變體，無長期記憶mL.

由表4可知，GESP在2個(gè)數(shù)據(jù)集上的Recall@20和MRR@20得分，以及在更嚴(yán)苛條件下的Recall@10和MRR@10得分均優(yōu)于其他2個(gè)變體.與此同時(shí)，GESP-M的性能整體優(yōu)于GESP-C.

Table 4 The Impact of General/Temporal User Interests表4 用戶長短期興趣的影響 %

由表4可以得出2個(gè)結(jié)論：

1) 短期記憶mT和長期記憶mL所攜帶的信息在預(yù)測下一次點(diǎn)擊時(shí)是互補(bǔ)的，這驗(yàn)證了GESP使用的長/短期記憶組合機(jī)制的有效性.

2) 短期記憶mT所攜帶的短期興趣可能比長期記憶mL所攜帶的長期興趣更重要.

為了進(jìn)一步研究這2種興趣(長期興趣、短期興趣)的作用，本文分別計(jì)算了這3個(gè)模型在不同長度會話(基于Yoochoose 1/64數(shù)據(jù)集)上的表現(xiàn)，結(jié)果如圖5所示.分析數(shù)據(jù)可以看到GESP-M的性能與GESP接近，但GESP-C的性能明顯弱于其他2個(gè)模型.并且隨著會話長度的增加，GESP-C模型的準(zhǔn)確性顯著下降.這種差異表明了長會話中存在的用戶興趣漂移問題對SRS的影響，并顯示出考慮用戶短期興趣的必要性;通過對GESP和GESP-M性能的比較，說明了同時(shí)考慮用戶的長短期興趣有助于進(jìn)一步緩解用戶的興趣漂移問題;GESP模型也受會話長度的影響，隨著會話長度的增加，其預(yù)測準(zhǔn)確率也會隨之降低，這表明本模型的短期興趣建模機(jī)制仍有改進(jìn)的空間.

Fig.5 Evaluation results calculated separately with regard to different session length on Yoochoose 1/64圖5 Yoochoose 1/64上不同會話長度的評測結(jié)果

3.8 推薦結(jié)果多樣性和新穎性分析

除了推薦準(zhǔn)確性之外，多樣性和新穎性也是SRS中重要的評估指標(biāo).推薦多樣且新穎的內(nèi)容，可以提高SRS的用戶體驗(yàn)，緩解由于模型過擬合(過度關(guān)注當(dāng)前會話瀏覽內(nèi)容)帶來的問題［33-34].本文通過引入IDG，利用一種基于協(xié)同過濾思想的圖表示學(xué)習(xí)算法構(gòu)造物品的固定表達(dá)，從全局角度捕獲物品之間的復(fù)雜關(guān)聯(lián)，可有效緩解上述問題.本文設(shè)計(jì)了一組對比實(shí)驗(yàn)，比較不同模型推薦結(jié)果的多樣性和新穎性.

盡管多數(shù)研究人員都認(rèn)為在構(gòu)建SRS模型時(shí)應(yīng)將多樣性與新穎性考慮在內(nèi)，但目前學(xué)術(shù)界關(guān)于多樣性與新穎性的衡量方法還沒有達(dá)成共識［33].根據(jù)之前的研究［3]，本文列出DIV@K和MCAN@K指標(biāo)作為參考.

DIV@K得分是指在含有N個(gè)測試樣本的推薦結(jié)果中，任意2組推薦結(jié)果(Ri,Rj)之間的平均非重疊比率(每組推薦結(jié)果由推薦得分排名前K的物品組成).該指標(biāo)常被用于衡量推薦內(nèi)容的多樣性［3,35]，其定義：

(15)

其中，i≠j，N表示測試樣本的數(shù)量，因此所有可能組合的數(shù)量為N(N-1)/2.

(16)

F1@K得分是召回率和精確率的調(diào)和平均值.本實(shí)驗(yàn)中引入的F1@K得分定義與F1得分類似，在評估推薦結(jié)果的多樣性時(shí)，精確率由DIV@K替換，在評估推薦結(jié)果的新穎性時(shí)，精確率由MCAN@K替換.因此，相應(yīng)的F1@K得分可以綜合考慮推薦結(jié)果的準(zhǔn)確性和多樣性及新穎性：

(17)

(18)

當(dāng)K=10時(shí)，GESP與另外5個(gè)對比模型在Tmall數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖6所示，經(jīng)過分析可以得出3個(gè)結(jié)論：1)本文提出的GESP模型與其他2個(gè)性能最優(yōu)的NARM模型和STAMP模型表現(xiàn)不相上下，但在F1@10分?jǐn)?shù)方面，GESP模型、NARM模型、STAMP模型都優(yōu)于GRU4Rec模型、SWIWO-I模型、HRNN模型，這意味著后者的推薦結(jié)果雖然具有多樣性和新穎性但是犧牲了推薦準(zhǔn)確性.2)除GRU4Rec模型外，其余模型的DIV@K分?jǐn)?shù)都在90%以上；所有模型的MCAN@K分?jǐn)?shù)都在80%以上，分析認(rèn)為由于Tmall數(shù)據(jù)集的數(shù)據(jù)稀疏性導(dǎo)致了結(jié)果略有失真.3)值得注意的是，HRNN這種致力于個(gè)性化推薦的模型，其實(shí)驗(yàn)結(jié)果比GESP模型和STAMP模型等基于長短期記憶的模型稍差，但始終優(yōu)于GRU4Rec模型.這表明一方面長短期記憶機(jī)制能有效緩解用戶興趣漂移，帶來推薦準(zhǔn)確性的提升；在另一方面，用戶的歷史會話信息是生成多樣且新穎的推薦結(jié)果的重要補(bǔ)充信息源.

Fig.6 Diversity and novelty of different models on Tmall圖6 不同模型在Tmall數(shù)據(jù)集上的多樣性和新穎性

3.9 與其他圖表示學(xué)習(xí)算法的比較

本文進(jìn)一步通過與其他圖表示學(xué)習(xí)算法(包括TransE［21]，DistMult［22]，ComplEx［24]，ConvE［19])進(jìn)行比較來驗(yàn)證GELA的有效性.實(shí)驗(yàn)思路是分別使用不同的圖表示學(xué)習(xí)算法學(xué)習(xí)物品的向量表達(dá)，然后使用學(xué)到的物品向量表達(dá)作為GELA的輸入在測試集上進(jìn)行推薦實(shí)驗(yàn)，即根據(jù)模型的輸出得分得到推薦結(jié)果，實(shí)驗(yàn)結(jié)果如表5所示：

Table 5 Recall@20 of Different Graph Embedding Methods表5 不同圖表示學(xué)習(xí)方法的Recall@20得分 %

從表5可以看出，GELA模型始終優(yōu)于其他模型，在處理極稀疏的Tmall數(shù)據(jù)集時(shí)，這種優(yōu)勢更加明顯.這表明本文所提出的算法能更加有效的學(xué)習(xí)物品向量表達(dá).此外，除了推薦的準(zhǔn)確率，模型的運(yùn)行時(shí)間也是衡量性能的重要指標(biāo).因此，本文將GELA模型與其他圖形嵌入方法在計(jì)算效率方面進(jìn)行比較，使用相同100維的初始向量和GPU環(huán)境.得到各個(gè)模型在Yoochoose 1/64數(shù)據(jù)集上訓(xùn)練迭代一次的時(shí)間開銷如表6所示:

Table 6Time Cost of Training Different Graph Embedding Methods表6 Yoochoose 1/64上訓(xùn)練不同圖模型的時(shí)間開銷

s

從表6可以發(fā)現(xiàn)，除了TransE模型之外，本文提出的GELA模型計(jì)算成本顯著低于其他圖表示學(xué)習(xí)方法，且TransE模型需近1 000次訓(xùn)練迭代得到最好結(jié)果，而GELA模型設(shè)計(jì)簡單,只需要30次迭代.以上實(shí)驗(yàn)結(jié)果證明GELA模型適用在大規(guī)模的IDG上進(jìn)行物品的表示學(xué)習(xí).

3.10 依賴圖采樣跳數(shù)的影響

關(guān)于GELA算法中跳數(shù)的選擇問題.如2.3節(jié)所述，本文選用2跳路徑進(jìn)行模型訓(xùn)練.對于給定的物品點(diǎn)擊序列，建模假設(shè)可以理解為“如果用戶按順序點(diǎn)擊了一對物品(vi,vj)，那么他下一步將點(diǎn)擊什么？”,“答案是vk”.不同的隨機(jī)采樣策略代表不同的建模假設(shè)，會導(dǎo)致對生成的物品向量有不同的解釋.本文通過改變跳數(shù)的大小進(jìn)行實(shí)驗(yàn)，以選擇合適的GELA采樣跳數(shù)，結(jié)果圖7所示：

Fig.7 The results of GESP by employing different hops embeddings on Yoochoose 1/64圖7 Yoochoose 1/64上使用不同跳數(shù)生成的embedding的GESP模型性能

從圖7可以看出，GESP在跳數(shù)為2時(shí)性能最佳，增加跳數(shù)長度將導(dǎo)致性能下降.這是因?yàn)楫?dāng)采樣路徑變長時(shí)，用戶的瀏覽興趣會隨著時(shí)間的推移而不斷改變.根據(jù)這一實(shí)驗(yàn)結(jié)果，本文采用2跳路徑進(jìn)行物品向量表達(dá)的學(xué)習(xí).

4 結(jié)束語

本文首次提出一種利用協(xié)同過濾思想的基于圖表示學(xué)習(xí)的會話感知模型(GESP)用于基于會話的推薦系統(tǒng)任務(wù).該模型基于用戶會話日志構(gòu)造一個(gè)全局物品依賴關(guān)系圖，利用圖表示學(xué)習(xí)算法學(xué)習(xí)物品固定向量表達(dá)，以此為輸入，采用雙向LSTM構(gòu)建一個(gè)混合記憶網(wǎng)絡(luò)模型，實(shí)現(xiàn)對用戶點(diǎn)擊行為的預(yù)測.采用固定的物品向量表達(dá)作為輸入，在不犧牲預(yù)測準(zhǔn)確性的前提下，利用物品依賴圖中的結(jié)構(gòu)信息，同時(shí)考慮用戶長短期興趣，緩解用戶的興趣漂移問題，生成多樣且新穎的推薦結(jié)果.本文為基于圖表示學(xué)習(xí)的會話推薦研究提供了新的建模思路和解決方案，同時(shí)也為后續(xù)研究留下了一些值得思考的問題，如在Yoochoose 1/64數(shù)據(jù)上，STAMP模型在MRR@K得分方面略優(yōu)于GESP和NARM，這表明在構(gòu)建SRS模型時(shí)需要對注意力機(jī)制進(jìn)行進(jìn)一步研究.

總體來說，本文實(shí)驗(yàn)結(jié)果表明，在預(yù)測準(zhǔn)確性方面，GESP模型優(yōu)于其他相關(guān)先進(jìn)模型，在長會話和稀疏數(shù)據(jù)集上也具有更穩(wěn)定的表現(xiàn).此外，與其他模型相比，本文提出的模型可以有效緩解用戶的興趣漂移對預(yù)測結(jié)果帶來的影響，能夠在不犧牲預(yù)測準(zhǔn)確性的情況下，提供更加多樣新穎的推薦結(jié)果.