李 挺 金福生 李榮華 王國(guó)仁 段煥中 路彥雄

1（北京理工大學(xué)計(jì)算機(jī)學(xué)院 北京 100081）

2（騰訊科技（北京）有限公司 北京 100080）

（litingbit@163.com）

社交網(wǎng)絡(luò)平臺(tái)的繁榮為社會(huì)的生產(chǎn)生活提供了相當(dāng)程度的便利，極大地改變了人們的生活方式和行為方式.如今，互聯(lián)網(wǎng)上的大多數(shù)創(chuàng)作都是由平臺(tái)上的用戶發(fā)布和消費(fèi)的，一個(gè)更高效、更個(gè)性化的推薦算法可以更能理解用戶的意圖，幫助用戶在平臺(tái)上找到感興趣的內(nèi)容，縮短內(nèi)容生產(chǎn)者和消費(fèi)者之間的距離，提高平臺(tái)的用戶粘性[1].得益于用戶數(shù)據(jù)量的迅速增長(zhǎng)，通過平臺(tái)內(nèi)的畫像研究可以發(fā)現(xiàn)，偏好相似的用戶更有可能形成一個(gè)相互關(guān)聯(lián)的圈層，即根據(jù)特定條件或方法聚集得到的用戶群體，并在圈層中傾向分享彼此的交互，從而形成自發(fā)的協(xié)同過濾推薦.這是微博和推特等公共社交網(wǎng)絡(luò)平臺(tái)中的常見現(xiàn)象.基于這樣的社會(huì)學(xué)發(fā)現(xiàn)[2]，在實(shí)踐中，不僅要考慮用戶的偏好，還要關(guān)注他們的“朋友”，即存在社交關(guān)系的用戶的交互數(shù)據(jù)，以改善推薦的效果.

現(xiàn)有的根據(jù)關(guān)系數(shù)據(jù)進(jìn)行協(xié)同過濾的思路隨著圖神經(jīng)網(wǎng)絡(luò)理論的發(fā)展得到了深入研究，基于普通圖的堆疊方法在一定程度上可以捕獲多跳的社交關(guān)系[3]，相關(guān)的研究已經(jīng)得到了一些優(yōu)秀的結(jié)果.但在實(shí)際場(chǎng)景中，社交關(guān)系與用戶興趣分布的不相關(guān)性給用戶表征的學(xué)習(xí)帶入噪聲，同時(shí)用戶和項(xiàng)目的交互非常復(fù)雜，用戶之間也存在著更高階的復(fù)雜關(guān)系信息，這種信息無法依靠簡(jiǎn)單成對(duì)關(guān)系建模.圖卷積網(wǎng)絡(luò)層的過度堆疊容易導(dǎo)致中間層表征的過度平滑[4]，從而在稀疏場(chǎng)景下的用戶建模、用戶相似性發(fā)現(xiàn)與挖掘方面能力較弱.也有些工作提出使用超圖對(duì)用戶之間、用戶與項(xiàng)目之間的關(guān)系進(jìn)行高維建模，但異質(zhì)超圖神經(jīng)網(wǎng)絡(luò)（hypergraph neural network,HGNN）多選擇將用戶和項(xiàng)目等多種不同屬性的節(jié)點(diǎn)統(tǒng)一到同一個(gè)圖中進(jìn)行模式挖掘[5-8]，其中的復(fù)雜結(jié)構(gòu)增加了超圖卷積操作的復(fù)雜度，并降低了模型的訓(xùn)練效率.另一方面，由于平臺(tái)內(nèi)容的快速增長(zhǎng)和用戶對(duì)平臺(tái)的使用習(xí)慣不同，以騰訊微信“搜一搜”等內(nèi)容平臺(tái)為代表的應(yīng)用產(chǎn)生了極大的用戶活躍度和高度稀疏的生態(tài)數(shù)據(jù)分布.上述高度稀疏場(chǎng)景與傳統(tǒng)場(chǎng)景有所不同，用戶頻繁交互形成的交互對(duì)象集合的重疊度極低（即交互呈現(xiàn)“孤島”型分布），這提高了從交互拓?fù)渲型诰蛴脩襞d趣關(guān)聯(lián)性的難度，對(duì)生態(tài)內(nèi)的推薦算法提出了挑戰(zhàn)，即如何完成高度稀疏數(shù)據(jù)場(chǎng)景下的個(gè)性化推薦任務(wù)并保證推薦效果和用戶表示的可解釋性.在場(chǎng)景中，面對(duì)根據(jù)用戶所屬群體的畫像進(jìn)行內(nèi)容推薦的圈層內(nèi)容推薦任務(wù)，單純依靠拓?fù)潢P(guān)系進(jìn)行圖學(xué)習(xí)的現(xiàn)有模型很難達(dá)到令人滿意的效果，且這些模型輸出的用戶與項(xiàng)目表征在可解釋性上存在短板，難以勝任群體行為模式挖掘的相關(guān)任務(wù).

出于解決高度稀疏數(shù)據(jù)場(chǎng)景下的圈層內(nèi)容推薦和提高用戶表征可解釋性的任務(wù)考慮，針對(duì)圈層內(nèi)容推薦任務(wù)，本文提出了一個(gè)新的輕量同質(zhì)超圖神經(jīng)網(wǎng)絡(luò)（lightweight homogeneous hypergraph neural network,Light-HGNN）模型，模型以項(xiàng)目為核心來構(gòu)建連接用戶節(jié)點(diǎn)的超邊，從而構(gòu)造用戶節(jié)點(diǎn)同質(zhì)超圖來直接建模用戶拓?fù)潢P(guān)系，降低了模型復(fù)雜性并縮小了參數(shù)規(guī)模，提升了訓(xùn)練的效率.如圖1 所示，模型忽略用戶間的關(guān)系，并根據(jù)用戶的交互歷史數(shù)據(jù)提取蘊(yùn)含在項(xiàng)目中的用戶的興趣信息，并結(jié)合超圖拓?fù)潢P(guān)系和項(xiàng)目?jī)?nèi)容表示進(jìn)行編碼、輸出用戶在表示空間的表征，改善了表示的可解釋性.

Fig.1 ?llustration of transferring interactions into circles of users圖1 用戶交互轉(zhuǎn)化為用戶圈的示意圖

本文模型通過用戶交互數(shù)據(jù)至超圖的轉(zhuǎn)化、卷積生成用戶表征序列、用戶表征計(jì)算與過濾來實(shí)現(xiàn)用戶表示的編碼.模型首先將用戶-項(xiàng)目交互數(shù)據(jù)轉(zhuǎn)化為只含用戶節(jié)點(diǎn)的同質(zhì)超圖，并計(jì)算得到用戶表征解耦序列初始值，隨后根據(jù)超圖拉普拉斯過濾矩陣進(jìn)行信息傳播與序列值的迭代生成，通過不使用激活層的卷積方法簡(jiǎn)化模型結(jié)構(gòu)，并根據(jù)提出的均值差跳躍知識(shí)（jump knowledge，JK）注意力機(jī)制為每個(gè)序列值生成權(quán)重矩陣.最終，通過對(duì)解耦序列的加權(quán)求和、過濾完成對(duì)用戶表示的編碼.在訓(xùn)練階段，本文模型通過計(jì)算采樣的貝葉斯個(gè)性化排名[9]損失來優(yōu)化參數(shù)，通過相關(guān)測(cè)試指標(biāo)的結(jié)果來確定、比較模型的效果.

本文的主要貢獻(xiàn)有4 點(diǎn)：

1）提出了一種將傳統(tǒng)的用戶-項(xiàng)目二元關(guān)系轉(zhuǎn)化為同質(zhì)超圖的新方法來對(duì)用戶數(shù)據(jù)進(jìn)行建模.方法根據(jù)用戶表征的聚類來迭代地構(gòu)建同質(zhì)超圖，從而生成用戶表征序列，使構(gòu)建的模型更加輕量、復(fù)雜性更低.

2）提出了根據(jù)交互對(duì)象的內(nèi)容表示構(gòu)建用戶的表征的方法，從而提高表征的可解釋性.

3）設(shè)計(jì)了新的更輕量的均值差JK 注意力機(jī)制來生成用戶表征序列對(duì)應(yīng)的權(quán)重矩陣序列，并根據(jù)這一注意力機(jī)制完成高度稀疏數(shù)據(jù)條件下的圈層內(nèi)容推薦任務(wù)中的編碼任務(wù).

4）在真實(shí)數(shù)據(jù)集上進(jìn)行了模型對(duì)比實(shí)驗(yàn)，證明了模型相對(duì)更好的效果.

1 相關(guān)工作

本節(jié)主要從超圖神經(jīng)網(wǎng)絡(luò)、個(gè)性化推薦以及協(xié)同過濾的相關(guān)方法與模型3 個(gè)方面回顧相關(guān)領(lǐng)域的研究現(xiàn)狀.

1.1 超圖神經(jīng)網(wǎng)絡(luò)

超圖中的超邊可以同時(shí)連接多個(gè)節(jié)點(diǎn)，比圖結(jié)構(gòu)中的普通成對(duì)關(guān)系的表達(dá)能力更強(qiáng)，具備了對(duì)數(shù)據(jù)的高維屬性進(jìn)行建模的能力.此外，圖和超圖之間結(jié)構(gòu)的相似性使得圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的現(xiàn)有方法更容易通過一些自適應(yīng)調(diào)整后在超圖上應(yīng)用.

一些現(xiàn)有的工作已經(jīng)證明了將圖領(lǐng)域方法應(yīng)用到超圖領(lǐng)域的可行性與有效性.Feng 等人[10]在2019 年發(fā)表超圖神經(jīng)網(wǎng)絡(luò)研究論文，在超圖中實(shí)現(xiàn)了類似圖卷積網(wǎng)絡(luò)[11]（graph convolutional network，GCN）的操作方法.Zhang 等人[12]發(fā)表了模型Hyper-SAGNN，這個(gè)模型具有靈活處理多種形式超圖的能力.在后續(xù)的研究中，許多超圖神經(jīng)網(wǎng)絡(luò)模型都開始借鑒其他網(wǎng)絡(luò)模型中使用的機(jī)制，如Bai 等人[13]在研究中提出的超圖卷積注意力機(jī)制，Hu 等人[14]使用拉普拉斯平滑過濾器替代冗余的權(quán)重矩陣進(jìn)行嵌入表示的迭代等.這種嘗試在各自針對(duì)的任務(wù)中表現(xiàn)出極好的適應(yīng)性.

1.2 個(gè)性化推薦

個(gè)性化推薦的效果部分依賴于模型通過用戶偏好挖掘得到的表示的質(zhì)量.最初的嘗試主要集中在分析用戶的查詢、點(diǎn)擊和參與主題等記錄的工作上來提取用戶的偏好，并得到用戶淺層興趣和深層興趣的合適表示.Teevan 等人[15]以及Dou 等人[16]分別在各自的工作中提出了衡量文檔得分的方法，即分析用戶歷史操作中的點(diǎn)擊來衡量文檔的點(diǎn)擊率.在主題的研究領(lǐng)域，手動(dòng)設(shè)計(jì)特征的巨大研究成本促使相關(guān)研究探索自動(dòng)學(xué)習(xí)文檔中涉及的主題表示的方法，根據(jù)相關(guān)分析[17]，許多使用排序?qū)W習(xí)方法處理組合特征的方法的效果比傳統(tǒng)方法表現(xiàn)得更好.

隨著推薦系統(tǒng)中數(shù)據(jù)量的快速增長(zhǎng)，圖與關(guān)系數(shù)據(jù)已經(jīng)成為當(dāng)前實(shí)踐中數(shù)據(jù)源的重要組成.深度學(xué)習(xí)的發(fā)展啟發(fā)了許多研究者在圖表示學(xué)習(xí)任務(wù)中采用神經(jīng)網(wǎng)絡(luò)方法并取得了顯著成效.Wang 等人[18]提出的神經(jīng)圖協(xié)同過濾（neural graph collaborative filtering，NGCF）是較為經(jīng)典的編碼模型之一，可以在圖結(jié)構(gòu)中學(xué)習(xí)嵌入表示，顯式地將協(xié)同過濾信號(hào)放入到嵌入過程中.He 等人[19]完成對(duì)NGCF 模型結(jié)構(gòu)解析的工作后提出了LightGCN 模型，通過簡(jiǎn)化卷積層的設(shè)計(jì)來提高其對(duì)推薦任務(wù)的適用性，得到了優(yōu)于NGCF的結(jié)果.同時(shí)，基于對(duì)用戶社交關(guān)系的研究也有些令人印象深刻的成果.Wang 等人[3]提出了順序組推薦問題，并設(shè)計(jì)通過“組”這種結(jié)構(gòu)來綜合學(xué)習(xí)長(zhǎng)短期用戶表示.Zhou 等人[1]提出通過朋友關(guān)系網(wǎng)和相似搜索行為構(gòu)建朋友圈，來解決用戶搜索歷史不足的問題.

隨著研究的深入，部分研究關(guān)注到了圖模型表達(dá)能力的局限，將關(guān)注點(diǎn)延伸至超圖.Ai 等人[20]提出的模型通過在不同用戶和商品的知識(shí)以及靜態(tài)和動(dòng)態(tài)的關(guān)系的聯(lián)合建模來構(gòu)建知識(shí)圖譜.Liu 等人[21]利用從用戶-查詢-商品中學(xué)習(xí)的邏輯結(jié)構(gòu)表示和在邏輯路徑上的不同實(shí)體之間的協(xié)作信號(hào)來改進(jìn)個(gè)性化商品搜索.Xia 等人[6]提出了一種雙通道超圖卷積網(wǎng)絡(luò)，將會(huì)話數(shù)據(jù)建模為超圖，并將自監(jiān)督學(xué)習(xí)融入到網(wǎng)絡(luò)訓(xùn)練中.Yu 等人[2]通過研究超圖結(jié)構(gòu)上的用戶間和用戶與項(xiàng)目間的拓?fù)潢P(guān)系構(gòu)建了自監(jiān)督多通道卷積網(wǎng)絡(luò).后續(xù)研究中Wu 等人[7]將自監(jiān)督對(duì)比學(xué)習(xí)任務(wù)和推薦系統(tǒng)的監(jiān)督學(xué)習(xí)任務(wù)相結(jié)合，提出了一種應(yīng)用于用戶-物品二分圖推薦系統(tǒng)的圖自監(jiān)督學(xué)習(xí)框架.

但在很多情況下，社會(huì)關(guān)系的復(fù)雜性意味著社交關(guān)系與興趣分布不一定正相關(guān).推薦算法研究的另一個(gè)有效方向是進(jìn)行元路徑，即交替的實(shí)體和關(guān)系序列的研究.有些方法遵循這種思路研究了不同任務(wù)場(chǎng)景下異質(zhì)圖的元路徑模式以挖掘用戶潛在的搜索意圖，這些工作有助于提高推薦結(jié)果的可解釋性.Hu 等人[22]提出基于相關(guān)任務(wù)上下文的元路徑的方法，通過使用協(xié)作注意力機(jī)制來生成基于特定交互的推薦結(jié)果.但元路徑模式的設(shè)計(jì)需要大量的經(jīng)驗(yàn)，且任務(wù)間多不能通用，如何控制元路徑的長(zhǎng)度來平衡推薦效果和計(jì)算資源成本也是制約效果的瓶頸.

1.3 協(xié)同過濾算法

在不同研究思路的協(xié)同過濾算法中，基于模型的協(xié)同過濾算法通過已知的用戶和項(xiàng)目之間的交互來形成模型，以便推薦系統(tǒng)能夠識(shí)別具有更高復(fù)雜度的模式，并在用戶表示的幫助下獲得推薦.在該研究思路上有聚類方法[23]、貝葉斯網(wǎng)絡(luò)[24]、關(guān)聯(lián)算法[25]以及奇異值分解（SVD）[26]等方法.在這些方法中，矩陣分解（MF）[27]將所有用戶和物品投影到一個(gè)共享的潛在因子空間，并根據(jù)表示的內(nèi)積計(jì)算結(jié)果進(jìn)行預(yù)測(cè).算法因其性能和高擴(kuò)展性曾被認(rèn)為是最有效的協(xié)同過濾方法之一.此外還有Rendle 等人[9]提出的使用成對(duì)log-sigmoid 函數(shù)進(jìn)行優(yōu)化的貝葉斯個(gè)性化排名（Bayesian personalized ranking,BPR）也是較為經(jīng)典的算法框架；He 等人[28]提出了Neural MF，使用多層感知機(jī)來學(xué)習(xí)交互.

當(dāng)前也有很多研究的注意力集中在用戶和項(xiàng)目進(jìn)行交互所生成的圖結(jié)構(gòu)中.一些工作已經(jīng)產(chǎn)生了很好的結(jié)果，例如SimRank[29]，當(dāng)被相似的對(duì)象引用時(shí)，將2 個(gè)項(xiàng)目視為相似的對(duì).同時(shí)其他方法如?temRank[30]和 BiRank[31]則是受到標(biāo)簽傳播機(jī)制的啟發(fā).圖卷積層的引入為協(xié)同過濾任務(wù)創(chuàng)造了另一個(gè)可行的路線.GCMC[32]將其應(yīng)用于用戶和項(xiàng)目之間的交互模型.而在另一些模型中，PinSage[33]參考了GraphSAGE[34]的思路，將卷積層結(jié)構(gòu)嵌入到商業(yè)推薦系統(tǒng)中.而Ji 等人[8]提出的DHCF 模型嘗試使用基于高階連通性的跳躍超圖卷積（jump hypergraph convolution,JHConv）方法將用戶和項(xiàng)目表征進(jìn)行同步優(yōu)化，對(duì)許多現(xiàn)有研究都具有啟發(fā)性.

2 方法介紹

本節(jié)將深入地介紹Light-HGNN 模型的結(jié)構(gòu)，并基于細(xì)節(jié)具體解釋如何構(gòu)建模型、優(yōu)化模型并將模型應(yīng)用到圈層內(nèi)容推薦任務(wù)中.

圖2 總體展示了Light-HGNN 的結(jié)構(gòu).模型第1步根據(jù)用戶和項(xiàng)目的關(guān)聯(lián)關(guān)系將原始交互數(shù)據(jù)轉(zhuǎn)化為超圖，并結(jié)合項(xiàng)目表示矩陣完成對(duì)用戶表示和用戶表示序列的初始化.在第2 步生成用戶表示序列的過程中，模型通過“用戶聚類、同類用戶交互擴(kuò)展、構(gòu)建超圖、超圖卷積”的方式迭代地生成用戶表示序列，每一個(gè)輪次的超圖都是根據(jù)上一個(gè)輪次生成.第3 步，整個(gè)序列經(jīng)過注意力機(jī)制生成對(duì)應(yīng)的權(quán)重序列.在第4 步對(duì)解耦序列加權(quán)求和、過濾得到最終的用戶表示矩陣.在整個(gè)流程中，模型根據(jù)用戶的聚類進(jìn)行基于用戶表示相似性的交互擴(kuò)展，并使用超圖卷積方法加強(qiáng)被相同項(xiàng)目連接的用戶間的信息流動(dòng).這樣將屬于相同圈層用戶的交互內(nèi)容進(jìn)行“共享”，來達(dá)到挖掘用戶的顯式與隱式偏好、進(jìn)行協(xié)同過濾的目的.

Fig.2 ?llustration of Light-HGNN圖2 Light-HGNN 示意圖

2.1 定 義

定義1.圈層.圈層指根據(jù)某些條件或方法聚集起來的用戶群體或用戶集合.用戶可以同時(shí)屬于根據(jù)不同劃分確定的不同圈層來進(jìn)行不同任務(wù).

定義2.朋友圈與興趣圈.朋友圈指根據(jù)用戶之間的社交關(guān)系（圖3 中實(shí)線關(guān)系，如微信中的好友關(guān)系、微博等社交網(wǎng)絡(luò)的關(guān)注關(guān)系等）構(gòu)成的同質(zhì)圖結(jié)構(gòu)，圖可以不是完全圖或連通圖.興趣圈是根據(jù)用戶在興趣表征空間中的分布情況構(gòu)成的節(jié)點(diǎn)聚類（圖3中圈），在每一個(gè)聚類中，用戶的興趣表示具有一定的相似性.如圖3 所示.

Fig.3 ?llustration of friend circle and interest circle圖3 朋友圈與興趣圈示意圖

定義3.圈層內(nèi)容推薦.圈層內(nèi)容推薦任務(wù)屬于個(gè)性化推薦任務(wù)，在圈層內(nèi)容推薦任務(wù)中，模型只學(xué)習(xí)用戶交互的項(xiàng)目的內(nèi)容數(shù)據(jù)，不考慮用戶間關(guān)系，輸出帶有圈層性的用戶表征，即興趣表示相似的用戶在空間中聚集.同時(shí)，模型需要根據(jù)用戶的數(shù)據(jù)輸出用戶的表示，對(duì)于給定的候選項(xiàng)序列，模型需要根據(jù)用戶的表示和候選項(xiàng)的表示來計(jì)算候選項(xiàng)的分?jǐn)?shù)，該分?jǐn)?shù)在某種程度上預(yù)測(cè)了用戶對(duì)項(xiàng)目的興趣程度，或與用戶可能和項(xiàng)目發(fā)生交互的概率正相關(guān)，從而根據(jù)分?jǐn)?shù)對(duì)候選項(xiàng)進(jìn)行排序并生成推薦.

圈層內(nèi)容推薦任務(wù)可以用公式化語(yǔ)言進(jìn)一步描述.對(duì)給定項(xiàng)目表征矩陣E和給定交互數(shù)據(jù)集Dataset，其中交互指用戶和項(xiàng)目有交互，例如，用戶閱讀某文檔是一次交互.Dataset的定義如式（1）所示.

其中Setuser，Setitem表示用戶集合與項(xiàng)目集合，模型M應(yīng)輸出用戶集合的表示矩陣U，并根據(jù)用戶u的表示和給定候選項(xiàng)集D={Di| 0＜i≤n}對(duì)應(yīng)輸出候選項(xiàng)集的評(píng)分集P={Pi| 0＜i≤n}，其中Pi=M（u,Di）.

定義4.超圖.一般地，一個(gè)超圖可以被定義為G=（V,ξ,X,W），其中V為節(jié)點(diǎn)集，ξ為超邊集，X∈ R|V|×F為節(jié)點(diǎn)表示矩陣，F(xiàn)為節(jié)點(diǎn)表征向量的維度，W為超邊的權(quán)重矩陣.超圖中的節(jié)點(diǎn)與超邊的連接情況可以用關(guān)聯(lián)矩陣H來描述，一般來說，每個(gè)位置為0 或1，如式（2）所示.

其中vu∈ed表示超邊d連接節(jié)點(diǎn)u.根據(jù)超圖關(guān)聯(lián)矩陣，可以進(jìn)一步計(jì)算節(jié)點(diǎn)和超邊的度矩陣.

2.2 超圖建模與表征序列生成

2.2.1 超圖建模

1）交互數(shù)據(jù)轉(zhuǎn)化為超圖.最終的用戶表示是由用戶表征序列根據(jù)對(duì)應(yīng)權(quán)重加權(quán)求和并過濾得到的，而用戶表征序列是由初始值通過迭代超圖建模后計(jì)算得來的.如式（1）所示的原始交互數(shù)據(jù)集Dataset中的數(shù)據(jù)，可對(duì)應(yīng)地構(gòu)建用戶和項(xiàng)目的關(guān)聯(lián)矩陣Hori.其具體步驟為：將矩陣初始化為|Setuser|×|Setitem|維度的零矩陣，對(duì)任意交互記錄（u,d），對(duì)Hori對(duì)應(yīng)位置賦值使Hori對(duì)應(yīng)位置的值為1.此時(shí)可以得到原始交互數(shù)據(jù)轉(zhuǎn)化來的關(guān)聯(lián)矩陣.如果將每一個(gè)項(xiàng)目視作超邊的核心，即以項(xiàng)目作為超邊連接所有與之發(fā)生交互的用戶，則可以將原始數(shù)據(jù)轉(zhuǎn)化為一個(gè)超圖，如圖4所示，用戶和項(xiàng)目的交互數(shù)據(jù)經(jīng)處理對(duì)應(yīng)構(gòu)成了同質(zhì)超圖.以用戶A,C,D與項(xiàng)目a發(fā)生的交互為例，在超圖中的用戶A,C,D將被項(xiàng)目a轉(zhuǎn)化得到超邊連接.原始數(shù)據(jù)轉(zhuǎn)化得到的超圖視作原始超圖，Hori是它的關(guān)聯(lián)矩陣.

Fig.4 ?llustration of transferring interactions data into hypergraph圖4 交互數(shù)據(jù)轉(zhuǎn)化超圖示意圖

2）用戶表征序列初始化.獲得超圖關(guān)聯(lián)矩陣Hori后，可以根據(jù)交互情況計(jì)算此時(shí)用戶表征矩陣.用戶u初始表示向量可以由交互項(xiàng)目的表示向量Ed相加得到.對(duì)用戶u的初始表示向量，如式（3）所示.

其中Ed表示項(xiàng)目d的表示向量.項(xiàng)目的向量表示可以來自上游任務(wù)，對(duì)于文檔、視頻等內(nèi)容可以是關(guān)鍵詞的多熱或獨(dú)熱向量，亦或采集標(biāo)題后使用自然語(yǔ)言處理模型輸出，如詞向量相加，Sentence2Vec 或TF?DF 以及其他廣泛接受的語(yǔ)料庫(kù).

對(duì)整個(gè)用戶集和項(xiàng)目集，可以進(jìn)行矩陣尺度的計(jì)算，如式（4）所示.

其中E表示項(xiàng)目表征矩陣，則用戶表征序列可以初始化為series={X（0）}.從上述內(nèi)容中可以得出，本文提出的模型以用戶“交互”的對(duì)象的表示為基礎(chǔ)進(jìn)行用戶編碼，從而將用戶與項(xiàng)目映射至相同的表征空間.這里的“交互”包含實(shí)際發(fā)生的交互以及擴(kuò)展得到的可能交互.

2.2.2 表征序列生成

得到初始化的用戶表征序列后，可以根據(jù)表示序列預(yù)設(shè)長(zhǎng)度K和當(dāng)前最新的用戶表示進(jìn)行超圖建模從而迭代地生成完整用戶表示序列.其具體做法是：首先對(duì)上一輪的用戶的表示X（i-1）（1 ≤i≤K-1）中的向量進(jìn)行聚類，并根據(jù)聚類標(biāo)簽進(jìn)行用戶劃分.隨后，在每個(gè)用戶劃分內(nèi)部，對(duì)任意成對(duì)的用戶進(jìn)行交互擴(kuò)展，即對(duì)每個(gè)用戶對(duì)，在保留自身交互記錄的同時(shí)，將自己的交互記錄“分享”給對(duì)方，作為對(duì)方的擴(kuò)展交互記錄.由于擴(kuò)展的記錄并非是用戶的實(shí)際交互，所以在生成交互數(shù)據(jù)時(shí)需要記錄的是形如（用戶u，項(xiàng)目d，置信度c）的三元組，其中置信度為擴(kuò)展時(shí)2 個(gè)用戶表示之間的相似度，采用2 個(gè)用戶表示的余弦值并只取值在{0,1}（負(fù)值取0，原始交互數(shù)據(jù)中的置信度默認(rèn)為1）.為了減少可能帶入的噪音，可以在擴(kuò)展時(shí)設(shè)置相似度閾值gate來減少低相似度的擴(kuò)展，擴(kuò)展示意如圖5 所示，以A和B構(gòu)成的聚類為例，其中（A,b）與（B,a）的交互記錄是根據(jù)2 個(gè)用戶的表征相似性交互擴(kuò)展得到的.經(jīng)過這樣的處理就可以將式（1）中所示的原始交互數(shù)據(jù)Dataset進(jìn)行擴(kuò)展，得到式（5）.

Fig.5 ?llustration of extension of interactions圖5 交互擴(kuò)展示意圖

關(guān)聯(lián)矩陣的生成和初始值生成類似，此時(shí)將置信度賦值到對(duì)應(yīng)位置.對(duì)任意交互記錄（u,d,c），將H（i-1）對(duì)應(yīng)位置賦值使得=c.獲取上一輪的經(jīng)擴(kuò)展后的超圖鄰接矩陣H（i-1），則可以根據(jù)它計(jì)算節(jié)點(diǎn)度矩陣和超邊度矩陣對(duì)上一輪的矩陣表示進(jìn)行卷積后可以得到

其中 γ為取值在[0,1]的超參數(shù)，W可以設(shè)為相對(duì)應(yīng)維度的單位矩陣.γ在式（6）中起到了限制信息流入規(guī)模的作用.通過不使用激活層的卷積方法可以對(duì)表示矩陣進(jìn)行快速迭代，實(shí)現(xiàn)模型結(jié)構(gòu)的簡(jiǎn)化與輕量化.

根據(jù)文獻(xiàn)[14]可以對(duì)式（6）進(jìn)行化簡(jiǎn)，得到

其中I是單位矩陣.取超圖拉普拉斯過濾矩陣

則卷積表達(dá)式經(jīng)過化簡(jiǎn)，可得

通過以上過程可以擴(kuò)充用戶表示序列series，直至series的長(zhǎng)度達(dá)到設(shè)定長(zhǎng)度K.由于每一輪的鄰接矩陣是變化的，從而每一輪的超圖也是在動(dòng)態(tài)變化的.算法1 描述了序列生成的全部過程.

算法1.用戶表征序列的動(dòng)態(tài)生成.

2.3 注意力機(jī)制下的用戶表征輸出

得到用戶表征序列后的工作是將用戶表征序列進(jìn)行加權(quán)求和并過濾，最終得到輸出的表征.這個(gè)過程可以用式（10）表述為

其中Wi表示序列中的X（i）的對(duì)應(yīng)權(quán)重，MLP2表示模型中使用的第2 多層感知機(jī)，是一個(gè)由多組線性層堆疊生成的網(wǎng)絡(luò)層.表示序列對(duì)應(yīng)的權(quán)重Wi是根據(jù)注意力機(jī)制決定的.

JK 注意力機(jī)制[35]的目的是在更大尺度上為每個(gè)節(jié)點(diǎn)構(gòu)建擴(kuò)展特征，從而對(duì)序列值對(duì)應(yīng)的權(quán)重學(xué)習(xí)起作用.模型構(gòu)建的均值差跳躍知識(shí)（average difference jump knowledge,AD-JK）注意力機(jī)制希望在構(gòu)建更廣特征域的同時(shí)，提升各節(jié)點(diǎn)注意力信息的差異性，使序列中每個(gè)值感知其與序列均值的矢量距離.具體做法是將每一個(gè)值與整個(gè)序列均值的差值作為該值的額外信息輸入至第1 多層感知機(jī)，并作為用戶表征序列中每個(gè)值的特征擴(kuò)展.從用戶維度來看，擴(kuò)展后的用戶表示輸入至權(quán)重激活層，并得到權(quán)重向量的輸出.在獲得了全部權(quán)重向量的基礎(chǔ)上，對(duì)所有權(quán)重向量進(jìn)行Softmax 處理，獲得最終的權(quán)重向量序列.

通過注意力機(jī)制可以從用戶的維度輸出權(quán)重向量；在表示矩陣上進(jìn)行操作時(shí)，可以得到表示矩陣對(duì)應(yīng)的權(quán)重矩陣；通過加權(quán)和的過濾，得到最終的向量表征矩陣.

2.4 候選項(xiàng)評(píng)分與排序

在完成編碼步驟后，可以根據(jù)用戶的表示與候選項(xiàng)的表示來計(jì)算用戶對(duì)候選項(xiàng)的評(píng)分.本文所述方法采用內(nèi)積操作，以2 個(gè)向量的內(nèi)積結(jié)果作為評(píng)分輸出.這要求最終輸出的用戶表示和項(xiàng)目表示具有相同的維度，而本文方法將用戶和項(xiàng)目映射至相同的表征空間，很好地滿足了這個(gè)要求.對(duì)任意用戶u和項(xiàng)目d，且u∈Setuser，d∈Setitem，u對(duì)d的評(píng)分可以計(jì)算為

其中Xfeature,u表示從用戶表征矩陣中抽取u的表示向量，Ed表示從項(xiàng)目表征矩陣中抽取d的表示向量.則對(duì)任意用戶u和候選項(xiàng)集D，且滿足相關(guān)條件u∈Setuser，D?Setitem，u對(duì)D的評(píng)分向量可以計(jì)算為

其中ED表示根據(jù)候選項(xiàng)集中項(xiàng)目抽取的候選項(xiàng)表示矩陣.

2.5 模型訓(xùn)練與參數(shù)優(yōu)化

在訓(xùn)練階段，模型在訓(xùn)練集上進(jìn)行多個(gè)輪次的隨機(jī)采樣生成訓(xùn)練集，在每個(gè)輪次上計(jì)算貝葉斯個(gè)性化排名[9]損失（BPR loss）并根據(jù)損失函數(shù)優(yōu)化模型中的參數(shù).

具體地，首先在訓(xùn)練集上進(jìn)行隨機(jī)采樣.在采樣階段需要根據(jù)用戶的交互記錄以[用戶，正例，負(fù)例]的方式進(jìn)行測(cè)試用例采集，其中正例為在訓(xùn)練集上與用戶發(fā)生了交互的項(xiàng)目，負(fù)例為在訓(xùn)練集上未與用戶發(fā)生交互的項(xiàng)目.結(jié)合數(shù)據(jù)集的規(guī)模進(jìn)行上述方式的采集后，可以在訓(xùn)練集上進(jìn)行模型損失的計(jì)算，即

其中Sample表示采樣訓(xùn)練集，pos 和neg 表示一個(gè)測(cè)試用例里的正例和負(fù)例，Θ表示模型中所有多層感知機(jī)的網(wǎng)絡(luò)層的參數(shù)，λ控制參數(shù)的L2 正則化的強(qiáng)度.在模型訓(xùn)練階段采用Adam 優(yōu)化器，并以mini-batch的方式對(duì)模型進(jìn)行訓(xùn)練.

2.6 模型分析

1）可解釋性分析.用戶表征的可解釋性依賴于項(xiàng)目表征的可解釋性.在構(gòu)建用戶表征序列時(shí)，模型根據(jù)用戶的交互數(shù)據(jù)進(jìn)行初始化.而在進(jìn)行交互擴(kuò)展時(shí)，用戶將“看到”同一聚類中的其他用戶的交互，根據(jù)擴(kuò)展得到的交互構(gòu)建同質(zhì)超圖，并根據(jù)卷積結(jié)果構(gòu)建新的聚類.通過這樣的方法，將用戶和項(xiàng)目映射到相同的表征空間.而項(xiàng)目的表征空間可以有多種方法確定可解釋性，如項(xiàng)目標(biāo)簽的獨(dú)熱或多熱向量，或word2vec 等其他自然語(yǔ)言處理模型輸出的詞向量模型.結(jié)合項(xiàng)目表示向量和交互記錄，用戶表征向量可以被理解為表示了“某個(gè)內(nèi)容領(lǐng)域有多大興趣”的用戶，可解釋性得到了加強(qiáng).

目前主要的圖與超圖模型多采用拓?fù)潢P(guān)系學(xué)習(xí)用戶和項(xiàng)目的向量表示，將用戶和項(xiàng)目表征作為模型參數(shù)，將維度作為模型的超參數(shù)，以此在訓(xùn)練中進(jìn)行表征的優(yōu)化，使表征分布符合用戶的拓?fù)涮卣?在高度稀疏數(shù)據(jù)場(chǎng)景下用戶不具備鮮明拓?fù)涮卣鲿r(shí)，模型往往達(dá)不到滿意的效果.

2）輕量化分析.本文提出的模型中主要的網(wǎng)絡(luò)層來自注意力機(jī)制和過濾層的第1 與第2 多層感知機(jī).模型的用戶表征序列生成部分采用了不使用網(wǎng)絡(luò)層與激活函數(shù)的卷積方法，如式（6）～（9）所示，從而幫助實(shí)現(xiàn)用戶表征矩陣的快速迭代.在式（11）～（13）所示的均值差JK 注意力機(jī)制中，第1 多層感知機(jī)的輸入維度比原始JK 注意力機(jī)制要小，能夠降低模型網(wǎng)絡(luò)層的復(fù)雜度與整體的訓(xùn)練成本.同時(shí)，對(duì)比將用戶和項(xiàng)目表征作為模型參數(shù)的方法，在面對(duì)大規(guī)模數(shù)據(jù)集時(shí)，模型需要更新優(yōu)化的參數(shù)規(guī)模要小得多.有關(guān)輕量化分析將在實(shí)驗(yàn)部分通過模型訓(xùn)練效率和網(wǎng)絡(luò)參數(shù)規(guī)模對(duì)比進(jìn)行驗(yàn)證.

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將對(duì)實(shí)驗(yàn)階段使用的數(shù)據(jù)集以及實(shí)驗(yàn)結(jié)果部分進(jìn)行分析討論.在說明使用數(shù)據(jù)集時(shí)，將詳細(xì)討論數(shù)據(jù)集的特點(diǎn)以及其給模型帶來的挑戰(zhàn)；實(shí)驗(yàn)結(jié)果與分析的討論部分將介紹實(shí)驗(yàn)評(píng)價(jià)指標(biāo)、基準(zhǔn)模型、實(shí)驗(yàn)環(huán)境、超參設(shè)置以及實(shí)驗(yàn)結(jié)果的分析等5 個(gè)方面的內(nèi)容.

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的數(shù)據(jù)集是來自騰訊微信的非公開數(shù)據(jù)集（Wechat-Set）.微信是國(guó)內(nèi)使用最廣泛的社交平臺(tái)應(yīng)用之一，整合了公眾日常生活中應(yīng)用的眾多入口，每天產(chǎn)生海量的用戶數(shù)據(jù).使用的微信數(shù)據(jù)集主要是針對(duì)用戶在生態(tài)內(nèi)容搜索引擎“搜一搜”內(nèi)發(fā)出的搜索請(qǐng)求和點(diǎn)擊閱讀的文檔的記錄，通過數(shù)據(jù)搜集生成了時(shí)間跨度大約1 個(gè)月的查詢記錄，涉及101 852個(gè)匿名處理的用戶和27 982 299 個(gè)請(qǐng)求關(guān)鍵字與點(diǎn)擊閱讀的文檔標(biāo)題，并經(jīng)過清洗形成這個(gè)高度稀疏的數(shù)據(jù)集.表1 展示了選取的非公開數(shù)據(jù)集和常用公開數(shù)據(jù)集的參數(shù)對(duì)比.其中的Wechat-Set Sample 數(shù)據(jù)集是從Wechat-Set 交互記錄中隨機(jī)采樣得到的子集，涉及2 026 個(gè)用戶在1 212 934 個(gè)文檔上產(chǎn)生的1 672 129個(gè)交互記錄.數(shù)據(jù)集中，將用戶閱讀了某文檔作為一次交互.

Table 1 Details and Comparison of Parameters of Experimental Datasets表1 實(shí)驗(yàn)數(shù)據(jù)集參數(shù)詳情與對(duì)比

從表1 可知，相較于經(jīng)典的公開數(shù)據(jù)集，騰訊數(shù)據(jù)集具有非常高的交互稀疏度（交互記錄/（項(xiàng)目×用戶））和比密度（項(xiàng)目/用戶）.這反映了微信生態(tài)內(nèi)數(shù)據(jù)的高度稀疏以及項(xiàng)目數(shù)遠(yuǎn)大于用戶數(shù)的特點(diǎn)，也對(duì)生態(tài)內(nèi)的推薦算法提出了挑戰(zhàn)，即如何完成高度稀疏數(shù)據(jù)場(chǎng)景下的推薦任務(wù)并保證輸出的效果和學(xué)習(xí)得到的用戶表示的可解釋性.本文方法在這方面的性能與效果將在實(shí)驗(yàn)階段進(jìn)行更加詳細(xì)的說明.

3.2 評(píng)價(jià)指標(biāo)與基準(zhǔn)模型

實(shí)驗(yàn)主要在測(cè)試集上計(jì)算3 個(gè)基礎(chǔ)的評(píng)價(jià)指標(biāo)來確定本文模型和基準(zhǔn)模型的效果對(duì)比.采用的評(píng)價(jià)指標(biāo)為精準(zhǔn)度（Precision@TOPK）、召回率（Recall@TOPK）和F1 分?jǐn)?shù)（F1-Score）.

精準(zhǔn)度和召回率在推薦領(lǐng)域?qū)儆谳^為重要的基礎(chǔ)概念.精準(zhǔn)度指檢索出的相關(guān)項(xiàng)目數(shù)與檢索出的項(xiàng)目總數(shù)的比值，衡量的是方法的查準(zhǔn)率；而召回率指檢索出的相關(guān)項(xiàng)目數(shù)與相關(guān)項(xiàng)目總數(shù)的比值，衡量的是方法的查全率.具體地，精準(zhǔn)度和召回率計(jì)算為

而F值為精準(zhǔn)度和召回率的調(diào)和平均值，較為常用的F1 值的計(jì)算方法為

從而可以在一定程度上客觀地衡量模型的效果.

在基準(zhǔn)模型的選取上，本文在實(shí)驗(yàn)階段主要選取了MF，NGCF，LightGCN 這3 個(gè)方法，通過模型最終的評(píng)價(jià)指標(biāo)計(jì)算結(jié)果來比較模型在選定的數(shù)據(jù)集上的表現(xiàn).

1）MF[27]（矩陣分解）.矩陣分解是較早時(shí)期主流的推薦算法，將隱向量的概念加入?yún)f(xié)同過濾算法中的共現(xiàn)矩陣，從而使模型處理稀疏矩陣的能力得到加強(qiáng).該算法期望為每一個(gè)用戶和項(xiàng)目構(gòu)成一個(gè)隱向量，將用戶和項(xiàng)目定位到相同的表征空間上使距離相近的用戶具有相似的興趣特點(diǎn).

2）NGCF[18].NGCF 模型研究認(rèn)為早期矩陣分解等方法中隱藏在用戶和項(xiàng)目間的信息難以在編碼的過程中表示，編碼可能難以捕獲協(xié)同過濾效果.NGCF 可以在圖結(jié)構(gòu)中學(xué)習(xí)表示，顯示地將協(xié)同過濾信號(hào)放入編碼過程并表達(dá)高維特征.但是，模型的節(jié)點(diǎn)更新較復(fù)雜，且容易在小規(guī)模數(shù)據(jù)上出現(xiàn)過擬合問題.

3）LightGCN[19].LightGCN 簡(jiǎn)化了圖卷積層的設(shè)計(jì)，只包含了用于協(xié)同過濾的鄰域聚合組件.在用戶和項(xiàng)目的交互圖上，模型通過線性傳播用戶和項(xiàng)目的表示來進(jìn)行表示學(xué)習(xí)，并根據(jù)所有聚積層上得到的嵌入表示輸出最終的嵌入生成，模型更簡(jiǎn)潔且容易實(shí)現(xiàn)和訓(xùn)練.

3.3 實(shí)驗(yàn)環(huán)境與基本參數(shù)

基準(zhǔn)模型與本文模型均在相同的實(shí)驗(yàn)環(huán)境下進(jìn)行實(shí)驗(yàn).

基本的硬件與軟件參數(shù)如表2 所示.在基準(zhǔn)模型與本文模型的相關(guān)參數(shù)方面，學(xué)習(xí)率統(tǒng)一為0.001，正則化系數(shù)為0.000 1，卷積層數(shù)、表征序列長(zhǎng)度均為5；在內(nèi)存允許的要求下，表示向量維度為100，所有中間層維度為128，Light-HGNN 中的多層感知機(jī)層數(shù)為2；Light-HGNN 的 γ＝0.1，聚類數(shù)默認(rèn)為12，擴(kuò)展閾值將默認(rèn)為0.9.

Table 2 Experimental Parameters of Software and Hardware表2 實(shí)驗(yàn)軟硬件參數(shù)

在測(cè)試中，每個(gè)用戶取頭部20 個(gè)項(xiàng)目來進(jìn)行相關(guān)指標(biāo)計(jì)算，所有模型的訓(xùn)練輪次設(shè)定為300，在訓(xùn)練過程中每10 個(gè)輪次進(jìn)行1 次模型測(cè)試獲取指標(biāo)數(shù)據(jù)點(diǎn)，生成相關(guān)指標(biāo)的曲線.

3.4 實(shí)驗(yàn)結(jié)果與分析

1）模型結(jié)果分析.模型的評(píng)價(jià)指標(biāo)計(jì)算結(jié)果如表3 所示.其中Light-HGNN（JK）表示采用了原始JK注意力機(jī)制的模型，Light-HGNN（AD-JK）表示采用了均值差JK 注意力機(jī)制的模型.對(duì)表3 中的結(jié)果分析可知，優(yōu)化了輸入規(guī)模的更加精簡(jiǎn)的均值差JK 注意力機(jī)制與原JK 注意力機(jī)制得到了更好的模型效果，而本文模型的效果，不論在原始JK 注意力機(jī)制還是在改進(jìn)的均值差JK 注意力機(jī)制下，效果都要好于基準(zhǔn)模型.

Table 3 Calculation and Comparison of Evaluation Indicators of Models表3 模型評(píng)價(jià)指標(biāo)計(jì)算與對(duì)比 ‰

造成本文模型與基準(zhǔn)模型的效果差異的原因可能是數(shù)據(jù)的高度稀疏特征.如前所述，騰訊微信的數(shù)據(jù)集擁有相對(duì)更低的交互密度和相對(duì)更高的比密度.這導(dǎo)致數(shù)據(jù)集中的很多項(xiàng)目的交互用戶很少甚至是唯一的，與此同時(shí)，對(duì)用戶群體而言，同時(shí)存在多個(gè)用戶與1 個(gè)項(xiàng)目交互的情況也是極少的.這使得依靠用戶與項(xiàng)目的拓?fù)潢P(guān)系很難挖掘出獨(dú)特的結(jié)構(gòu)特征，且很多項(xiàng)目節(jié)點(diǎn)的表征很難在迭代中進(jìn)行更新，此時(shí)將用戶表征和項(xiàng)目表征同時(shí)作為參數(shù)進(jìn)行優(yōu)化時(shí)會(huì)帶來較大的不確定性.本文模型結(jié)合了超圖與源數(shù)據(jù)中的拓?fù)潢P(guān)系并以內(nèi)容為導(dǎo)向、以項(xiàng)目表征來學(xué)習(xí)用戶的表示，能夠使用戶的表示更好地反映用戶的興趣分布，從而提高模型的效果.

圖6 和圖7 展示了各模型在實(shí)驗(yàn)數(shù)據(jù)集上取得的相關(guān)指標(biāo)的變化曲線.Light-HGNN 在各項(xiàng)指標(biāo)上要優(yōu)于其他基準(zhǔn)模型，在精準(zhǔn)度指標(biāo)上的優(yōu)勢(shì)更加明顯.除前文所述的相關(guān)分析，在模型的結(jié)構(gòu)設(shè)計(jì)上，根據(jù)用戶聚類進(jìn)行交互擴(kuò)展并卷積的做法能使用戶直接“感受”到更多的感興趣的項(xiàng)目；相較于Light-GCN 對(duì)表征序列直接求平均的方法，加入的注意力機(jī)制能夠更好地挖掘隱藏在用戶表征序列中的用戶特征，并對(duì)輸出進(jìn)行適應(yīng)性調(diào)整，從而提高模型的效果.

Fig.6 Variation curve of precision and recall圖6 精準(zhǔn)度和召回率變化曲線

Fig.7 Variation curve of F1 value圖7 F1 值變化曲線

2）模型輕量化分析.表4 展示了相同軟/硬件條件下的模型訓(xùn)練時(shí)間與參數(shù)規(guī)模對(duì)比來對(duì)模型進(jìn)行輕量化分析.從表4 中可以看出，Light-HGNN 的輪次訓(xùn)練平均時(shí)長(zhǎng)要遠(yuǎn)小于Light-GCN 和NGCF.這2 個(gè)模型將用戶和項(xiàng)目的表征作為參數(shù)進(jìn)行優(yōu)化，而Light-HGNN 的模型設(shè)計(jì)主要優(yōu)化模型的第1、第2多層感知機(jī)和權(quán)重激活層的參數(shù).因此，根據(jù)數(shù)據(jù)集內(nèi)的項(xiàng)目數(shù)和用戶數(shù)，Light-GCN 和NGCF 將產(chǎn)生海量需要更新的參數(shù)，參數(shù)規(guī)模遠(yuǎn)大于Light-HGNN 的參數(shù)規(guī)模.每輪訓(xùn)練時(shí)間的比較也證明了本文模型的輕量化特點(diǎn).

Table 4 Comparison of Training Time and Optimized Scale of Parameters表4 模型訓(xùn)練時(shí)間與參數(shù)優(yōu)化規(guī)模對(duì)比

4 結(jié)論

本文針對(duì)微信“搜一搜”的圈層內(nèi)容推薦任務(wù)提出了一個(gè)新的輕量同質(zhì)超圖神經(jīng)網(wǎng)絡(luò)模型.模型采用同質(zhì)超圖對(duì)用戶數(shù)據(jù)進(jìn)行建模，簡(jiǎn)化了模型設(shè)計(jì)、降低了復(fù)雜度、提高了表征的可解釋性.在序列值的迭代生成過程中，根據(jù)提出的均值差JK 注意力機(jī)制為每個(gè)序列值生成權(quán)重矩陣，對(duì)序列進(jìn)行加權(quán)求和，過濾后得到用戶表示，通過用戶表示和項(xiàng)目表示的內(nèi)積得到用戶評(píng)分，實(shí)現(xiàn)了高度稀疏數(shù)據(jù)條件下的圈層內(nèi)容推薦任務(wù).在真實(shí)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了模型更優(yōu)的效果.在后續(xù)研究中，將繼續(xù)探索更有效的注意力機(jī)制來進(jìn)一步提升模型的效果，并對(duì)存在時(shí)序?qū)傩缘慕换?shù)據(jù)的建模進(jìn)行研究.

作者貢獻(xiàn)聲明：李挺撰寫論文，設(shè)計(jì)實(shí)驗(yàn)及測(cè)試系統(tǒng)；金福生負(fù)責(zé)理論和研究框架設(shè)計(jì)指導(dǎo)及論文撰寫；李榮華指導(dǎo)論文撰寫；王國(guó)仁負(fù)責(zé)理論指導(dǎo)；段煥中和路彥雄負(fù)責(zé)實(shí)驗(yàn)指導(dǎo).