趙學健，李豪，唐浩天

基于用戶興趣概念格約簡的推薦評分預(yù)測算法

趙學健1*，李豪2，唐浩天2

（1.郵政大數(shù)據(jù)技術(shù)與應(yīng)用工程中心（南京郵電大學），南京 210003； 2.南京郵電大學 現(xiàn)代郵政學院，南京 210003）（ ? 通信作者電子郵箱zhaoxj@njupt.edu.cn）

數(shù)據(jù)稀疏性制約了推薦系統(tǒng)的性能，而合理填充評分矩陣中的缺失值可以有效提升預(yù)測的準確性。因此，提出一種基于用戶興趣概念格約簡的推薦評分預(yù)測（RRP-CLR）算法。該算法包含近鄰選擇和評分預(yù)測兩個模塊，分別負責生成精簡最近鄰集合和實現(xiàn)評分預(yù)測及推薦。近鄰選擇模塊將用戶評分矩陣轉(zhuǎn)化為二進制矩陣后作為用戶興趣形式背景，提出了形式背景約簡規(guī)則和概念格冗余概念刪除規(guī)則，以提高生成精簡最近鄰的效率；在評分預(yù)測模塊利用新提出的用戶相似度計算方法，消除用戶主觀因素造成的評分差異對相似度計算的影響，而且當兩個用戶共同評分項目數(shù)小于特定閾值時，適當縮放相似度，使用戶間的相似度與真實情況更吻合。實驗結(jié)果表明，與使用皮爾遜相關(guān)系數(shù)的基于用戶的協(xié)同過濾推薦算法（PC-UCF）及基于用戶興趣概念格的推薦評分預(yù)測方法（RRP-UICL）相比，RRP-CLR算法的平均絕對誤差（MAE）和均方根誤差（RMSE）更小，具有更好的評分預(yù)測準確率和穩(wěn)定性。

推薦系統(tǒng)；評分預(yù)測；概念格；稀疏性；精簡最近鄰

0 引言

移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的普及引發(fā)了數(shù)據(jù)生成方式的變革，催生了大數(shù)據(jù)時代的來臨。用戶面臨海量的數(shù)據(jù)，如何高效進行檢索分析，獲取對自己有價值的信息成為難題，這種現(xiàn)象被稱為信息過載［1］。推薦系統(tǒng)作為解決信息過載問題的主要技術(shù)之一，近年來受到了學術(shù)界和工業(yè)界的廣泛關(guān)注［2-3］。目前推薦系統(tǒng)中最常用的方法是協(xié)同過濾（Collaborative Filtering， CF）推薦算法。協(xié)同過濾推薦算法的主要思想是根據(jù)用戶的歷史行為數(shù)據(jù)，比如用戶對項目的評分數(shù)據(jù)，分析用戶與項目之間的關(guān)系，并依此給出相應(yīng)的推薦［4-5］。

然而在實際應(yīng)用中，由于評分數(shù)據(jù)集維度規(guī)模較大，數(shù)據(jù)的稀疏程度較高，導致傳統(tǒng)的協(xié)同過濾推薦算法的推薦準確性較低［6］，數(shù)據(jù)稀疏性成為制約推薦系統(tǒng)應(yīng)用的瓶頸。為解決這一問題，研究人員進行了大量研究。研究表明，對評分矩陣中的缺失值進行有效的預(yù)測填充，有助于提升推薦算法的準確性［7］。

本文提出一種基于用戶興趣概念格約簡的推薦評分預(yù)測（Recommendation Rating Prediction based on Concept Lattice Reduction， RRP-CLR）算法。RRP-CLR算法包含近鄰選擇和評分預(yù)測兩個模塊，分別負責生成精簡最近鄰集合和實現(xiàn)評分預(yù)測及推薦。本文主要工作包括：

1）基于概念格及其約簡理論，實現(xiàn)對目標用戶的近鄰用戶的有效精簡，生成精簡最近鄰，提高評分預(yù)測的準確率。首先，將用戶評分矩陣轉(zhuǎn)化為二進制矩陣并作為用戶興趣形式背景，提出形式背景約簡規(guī)則，提高概念格構(gòu)建效率；其次，提出概念格冗余概念刪除規(guī)則，提高生成目標用戶精簡最近鄰的有效性。

2）提出新的用戶相似度計算方法，消除用戶主觀因素造成的評分差異對相似度計算的影響，在兩個用戶共同評分項目數(shù)小于特定閾值時，適當縮放相似度，使用戶間的相似度與真實情況更加吻合。

3）通過實驗驗證了RRP-CLR算法評分預(yù)測的準確性。

1 相關(guān)工作

為有效填充評分矩陣中的缺失值，研究人員開展了一系列探索性研究。相關(guān)研究成果可歸納為以下4類：

1）基于協(xié)同過濾思想進行評分預(yù)測。文獻［8］中融合了基于用戶和項目的協(xié)同過濾思想，利用相似用戶或相似項目的評分信息進行評分預(yù)測，有效緩解了數(shù)據(jù)稀疏性問題。文獻［9］中融合社交網(wǎng)絡(luò)信息和用戶評分信息，基于項目協(xié)同過濾框架，選擇性地對評分矩陣中的缺失值進行評分預(yù)測，解決評分矩陣數(shù)據(jù)稀疏性問題。

2）基于信任關(guān)系及信任傳遞機制進行評分預(yù)測。文獻［10］中融合專家信任度和用戶興趣相似度進行評分預(yù)測，以降低數(shù)據(jù)的稀疏性。文獻［11］中指出將社會信任納入矩陣分解方法可以明顯提高評分預(yù)測的準確性，首先通過推薦系統(tǒng)中用戶之間的Hellinger距離，從用戶對項目的評分中提取社會關(guān)系；然后將預(yù)測的信任分數(shù)納入社會矩陣分解模型實現(xiàn)評分預(yù)測。文獻［12］中提出了一個簡單、可擴展的文本驅(qū)動潛在因素模型，通過捕獲評論語義、用戶偏好和產(chǎn)品特征的語義，將文本分解為特定的低維表示，利用普通用戶/產(chǎn)品評級之間的差異作為補充信息校準參數(shù)估計，準確進行評分預(yù)測，解決冷啟動和數(shù)據(jù)稀疏問題。文獻［13］中提出了一種新的隱式信任推薦方法，通過挖掘和利用推薦系統(tǒng)中的用戶隱式信息生成項目預(yù)測評分。具體來說，首先通過信任網(wǎng)絡(luò)中的用戶信任擴散特征獲取用戶信任鄰居集；接著，利用從用戶信任鄰居集中挖掘出的信任等級計算用戶之間的信任相似度；最后，使用過濾的信任等級和用戶信任相似性，通過信任加權(quán)方法得到預(yù)測結(jié)果。文獻［14］中提出了一種改進的協(xié)同過濾推薦算法，該算法考慮到傳統(tǒng)評分相似度計算過分依賴常用評分項目，引入了Bhattacharyya相似度計算方法和信任傳遞機制，計算用戶之間的間接信任值，綜合用戶相似度和用戶信任度，采用信任權(quán)重法生成評分預(yù)測結(jié)果。

3）基于深度學習模型進行評分預(yù)測。文獻［15］中研究了用戶因素和項目特征的真實性質(zhì)之間的非線性復雜關(guān)系對評分預(yù)測的影響，提出了一種新的深度前饋網(wǎng)絡(luò)學習相關(guān)因素及其復雜關(guān)系，在不使用任何人口統(tǒng)計信息的情況下自動構(gòu)建用戶配置文件和項目特征，然后使用這些構(gòu)建的特征預(yù)測項目對用戶的可接受程度，產(chǎn)生更好的評級預(yù)測。文獻［16］中提出了一種基于評論、產(chǎn)品類別和用戶共同購買信息的神經(jīng)網(wǎng)絡(luò)聯(lián)合學習模型，用于評級預(yù)測推薦。該模型的評論提取模塊從評論中學習用戶和產(chǎn)品信息，異構(gòu)信息網(wǎng)絡(luò)提取模塊則提取給定目標用戶-產(chǎn)品對的關(guān)聯(lián)特征，連接兩部分數(shù)據(jù)即可實現(xiàn)評分預(yù)測。文獻［17］中指出現(xiàn)有的基于用戶的協(xié)同過濾（User-based CF， UCF）推薦算法往往關(guān)注如何查找最近的概念鄰居以及如何基于預(yù)測生成推薦，忽略了如何聚合鄰居的評分以預(yù)測未評分項目的評分，并為此提出了一種基于個人不對稱響應(yīng)的建議聚合算法。該算法首先使用線性回歸方法了解每個用戶對來自鄰居的負面/正面建議的響應(yīng)，然后使用梯度下降算法對用戶的模型參數(shù)進行優(yōu)化，從而實現(xiàn)更加準確的評分預(yù)測。文獻［18］中提出一個異構(gòu)融合推薦模型，用于從評論文本中提取細粒度的產(chǎn)品屬性和用戶行為信息，并將用戶學習到的潛在因素和項目連接起來，在圖上執(zhí)行空間卷積，提升推薦評分的預(yù)測精度和推薦準確率。為了深入挖掘用戶行為的潛在規(guī)律，文獻［19］中提出了基于空間維度和距離測量的方差模型以及基于空間維度和距離測量的皮爾森相關(guān)系數(shù)模型，這兩個模型通過計算項目和用戶在每個特征維度中的距離來獲得項目和用戶的交互特征，分別利用方差和皮爾遜相關(guān)系數(shù)評估用戶對每個特征維度的關(guān)注程度，從而進一步獲得交互特征的權(quán)重向量，并采用專門設(shè)計的多層全連接神經(jīng)網(wǎng)絡(luò)進行評級預(yù)測。

2 算法理論基礎(chǔ)

2.1　概念格

概念格來源于形式概念分析（Formal Concept Analysis，F(xiàn)CA）理論，是形式概念分析理論中的核心數(shù)據(jù)分析工具，它本質(zhì)上描述了對象（樣本）與屬性（特征）之間的關(guān)聯(lián)。形式概念分析包括形式背景和形式概念兩部分核心內(nèi)容。

2.2　概念格約簡理論

3 基于概念格的推薦評分預(yù)測算法

本文基于概念格及其約簡理論提出一種用戶評分預(yù)測及推薦算法RRP-CLR，包含近鄰選擇和評分預(yù)測兩個模塊。近鄰選擇模塊主要負責將評分矩陣轉(zhuǎn)化為二進制矩陣，并通過用戶興趣概念格構(gòu)造及約簡實現(xiàn)目標用戶廣義最近鄰的篩選，從而得到精簡最近鄰；評分預(yù)測模塊主要負責計算用戶之間的相似度，并完成目標用戶對項目的評分預(yù)測，實現(xiàn)Top-推薦。

3.1　近鄰選擇模塊

表1　用戶評分矩陣

表2　二進制矩陣

圖1　概念格

圖2　精簡概念格

3.2　評分預(yù)測模塊

綜上所述，用戶相似度計算方法如下所示：

完成用戶之間相似度計算后，可根據(jù)式（4）計算目標用戶對項目的預(yù)測評分：

評分預(yù)測完成后便可從所有項目中為目標用戶選擇評分最高的個項目進行TOP-推薦。

4 實驗與結(jié)果分析

本文使用MovieLens數(shù)據(jù)集（https：//grouplens.org/datasets/movielens/）對RRP-CLR算法的性能進行驗證，該數(shù)據(jù)集包含了943名不同用戶對1 682部電影的10萬個評分。評分1～5表示用戶對電影的喜愛程度，從1到5表示偏愛程度逐漸增大。原始MovieLens數(shù)據(jù)集中的可用評分數(shù)量過多，密度偏大，而RRP-CLR算法主要用于解決數(shù)據(jù)稀疏情況下的評分預(yù)測問題，因此本文在實驗過程中對MovieLens數(shù)據(jù)集中現(xiàn)有評分進行隨機清除；將數(shù)據(jù)集ML-1稀疏度設(shè)置為98%，保留可用評分31 726條；數(shù)據(jù)集ML-2稀疏度設(shè)置為99%，保留可用評分15 889條。

4.1　評價指標

本文主要采用平均絕對誤差（Mean Absolute Error， MAE）和均方根誤差（Root Mean Squared Error， RMSE）評價RRP-CLR算法的性能，并與文獻［20］提出的基于用戶興趣概念格的推薦評分預(yù)測方法（Recommendation Rating Prediction method based on User Interest Concept Lattice， RRP-UICL）及使用皮爾遜相關(guān)系數(shù)的UCF推薦算法（UCF recommendation algorithm based on Pearson Coefficient， PC?UCF）［20］進行對比分析。

RMSE也稱之為標準誤差，是均方誤差的算術(shù)平方根。引入RMSE與引入標準差的原因是完全一致的，但均方誤差的量綱與數(shù)據(jù)量綱不同，不能直觀反映離散程度，故在均方誤差上開平方根，得到RMSE。在本方法中，RMSE表示所有預(yù)測用戶評分和實際用戶評分偏差平方和的均值的平方根。該指標也可以反映預(yù)測的精度，RMSE值越小，預(yù)測的精度越高；反之，RMSE值越大，預(yù)測的精度越低。與MAE指標不同的是，RMSE先對偏差作了一次平方，因此如果誤差的離散度高，RMSE就會被加倍放大。因此，RMSE指標不僅可以反映預(yù)測的精度，同時可以反映預(yù)測的離散度。均方根誤差RMSE的計算方法如式（6）所示：

4.2　實驗結(jié)果

由圖3可以看出，在數(shù)據(jù)集稀疏度、推薦項目數(shù)相同時，本文RRP-CLR算法的MAE比PC-UCF、RRP-UICL的MAE值更小。在數(shù)據(jù)集稀疏度為98%時，RRP-CLR、RRP-UICL和PC-UCF算法的MAE平均值分別為0.40、0.46和0.75。RRP-CLR算法的MAE相較于RRP-UICL及PC-UCF分別降低13.04%和46.7%。此外，三種算法在ML-1數(shù)據(jù)集中的MAE值均小于在ML-2數(shù)據(jù)集中的MAE值，表明數(shù)據(jù)集的稀疏度對算法的MAE具有顯著影響，數(shù)據(jù)集稀疏度變大時，MAE相應(yīng)增大。數(shù)據(jù)集稀疏度由98%增大到99%時，RRP-CLR算法對應(yīng)的MAE平均增加8.07%，小于RRP-UICL的11.97%和PC-UCF的39.36%，表明RRP-CLR算法在數(shù)據(jù)集稀疏度較高的情況下優(yōu)勢更大?？傊?，在稀疏場景下，RRP-CLR算法基于概念格及其約簡理論，實現(xiàn)了對目標用戶的近鄰用戶的有效精簡，生成精簡最近鄰，相較于PC-UCF及RRP-UICL具有更高的預(yù)測精度。

圖3　MAE對比分析

由圖4可以看出，在數(shù)據(jù)集稀疏度為98%時，RRP-CLR、RRP-UICL和PC-UCF算法的RMSE值分別為0.61、0.76和0.99。當數(shù)據(jù)集稀疏度由98%增大到99%時，RRP-CLR算法對應(yīng)的RMSE平均增加13.89%，小于RRP-UICL的21.05%和PC-UCF的39.93%，表明RRP-CLR算法在數(shù)據(jù)集稀疏度較高的情況下預(yù)測結(jié)果穩(wěn)定性愈發(fā)突出?？傊?，與MAE指標類似，在數(shù)據(jù)集稀疏度、推薦項目數(shù)相同時，RRP-CLR算法的RMSE值比PC-UCF、RRP-UICL的RMSE值也更小，且稀疏度越高，優(yōu)勢越明顯，表明RRP-CLR算法不僅具有更好的預(yù)測精度，而且預(yù)測的離散度更小，即預(yù)測結(jié)果的穩(wěn)定性更高。

圖4　RMSE對比分析

5 結(jié)語

針對數(shù)據(jù)稀疏性導致的推薦算法準確率下降問題，提出一種基于概念格的評分預(yù)測填充算法。該算法將用戶評分矩陣轉(zhuǎn)化為二進制矩陣，并將該矩陣視為用戶興趣形式背景，提出了形式背景約簡規(guī)則及概念格冗余概念刪除規(guī)則，提高了概念格構(gòu)建效率及生成目標用戶精簡最近鄰的有效性。此外，該算法采用了新的用戶相似度計算方法，消除了用戶主觀因素帶來的評分差異對相似度計算的影響，并在兩個用戶共同評分項目數(shù)小于特定閾值時，對相似度進行適當?shù)目s放，使用戶間的相似度與真實情況更吻合。實驗結(jié)果表明，本文 算法在數(shù)據(jù)集具有明顯稀疏性時具有更好的預(yù)測準確度和穩(wěn)定性。

[1] 劉華鋒，景麗萍，于劍. 融合社交信息的矩陣分解推薦方法研究綜述［J］. 軟件學報， 2018， 29（2）：340-362.（LIU H F， JING L P， YU J. Survey of matrix factorization based recommendation methods by integrating social information［J］. Journal of Software， 2018， 29（2）： 340-362.）

[2] LIU L， DU X， ZHU L， et al. Learning discrete hashing towards efficient fashion recommendation［J］. Data Science and Engineering， 2018， 3（4）：307-322.

[3] GAO D， TONG Y， SHE J， et al. Top-team recommendation and its variants in spatial crowdsourcing［J］. Data Science and Engineering， 2017， 2（2）： 136-150.

[4] WANG C D， DENG Z H， LAI J H， et al. Serendipitous recommendation in e-commerce using innovator-based collaborative filtering［J］. IEEE Transactions on Cybernetics， 2019， 49（7）： 2678-2692.

[5] SRIVASTAVA R， PALSHIKAR G K， CHAURASIA S， et al. What’s next？ A recommendation system for industrial training［J］. Data Science and Engineering， 2018， 3（3）： 232-247.

[6] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： a survey of the state-of-the-art and possible extensions［J］. IEEE Transactions on Knowledge and Data Engineering， 2005， 17（6）： 734-749.

[7] BREESE J S， HECKERMAN D， KADIE C. Empirical analysis of predictive algorithms for collaborative filtering［C］// Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1998： 43-52.

[8] WANG J， DE VRIES A P， REINDERS M J T. Unifying user-based and item-based collaborative filtering approaches by similarity fusion［C］// Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2006： 501-508.

[9] 郭蘭杰，梁吉業(yè)，趙興旺. 融合社交網(wǎng)絡(luò)信息的協(xié)同過濾推薦算法［J］. 模式識別與人工智能， 2016， 29（3）：281-288.（GUO L J， LIANG J Y， ZHAO X W. Collaborative filtering recommendation algorithm incorporating social network information［J］. Pattern Recognition and Artificial Intelligence， 2016， 29（3）： 281-288.）

[10] 張俊，劉滿，彭維平，等. 融合興趣和評分的協(xié)同過濾推薦算法［J］. 小型微型計算機系統(tǒng)， 2017， 38（2）：357-362.（ZHANG J， LIU M， PENG W P， et al. Collaborative filtering recommendation algorithm based on fusion interest and score［J］. Journal of Chinese Computer Systems， 2017， 38（2）：357-362.）

[11] TAHERI S M， MAHYAR H， FIROUZI M， et al. Extracting implicit social relation for social recommendation techniques in user rating prediction［C］// Proceedings of the 26th International Conference on World Wide Web Companion. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2017： 1343-1351.

[12] SONG K， GAO W， SHI F， et al. Recommendation vs sentiment analysis： a text-driven latent factor model for rating prediction with cold-start awareness［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 2744-2750.

[13] LI Y， LIU J， REN J， et al. A novel implicit trust recommendation approach for rating prediction［J］. IEEE Access， 2020， 8：98305-98315.

[14] CHEN H， SUN H， CHENG M， et al. A recommendation approach for rating prediction based on user interest and trust value［J］. Computational Intelligence and Neuroscience， 2021， 2021： No.6677920.

[15] PURKAYSTHA B， DATTA T， ISLAM M S， et al. Rating prediction for recommendation： constructing user profiles and item characteristics using backpropagation［J］. Applied Soft Computing， 2019， 75：310-322.

[16] TANG J， ZHANG X， ZHANG M， et al. A neural joint model for rating prediction recommendation［J］. Journal of Computational Methods in Sciences and Engineering， 2020， 20（4）：1127-1142.

[17] JI S， YANG W， GUO S， et al. Asymmetric response aggregation heuristics for rating prediction and recommendation［J］. Applied Intelligence， 2020， 50（5）： 1416-1436.

[18] YANG Z， ZHANG M. TextOG： a recommendation model for rating prediction based on heterogeneous fusion of review data［J］. IEEE Access， 2020， 8： 159566-159573.

[19] ZHOU D， HAO S， ZHANG H， et al. Novel SDDM rating prediction models for recommendation systems［J］. IEEE Access， 2021， 9： 101197-101206.

[20] 朵琳，楊丙. 一種基于用戶興趣概念格的推薦評分預(yù)測方法［J］. 小型微型計算機系統(tǒng)， 2020， 41（10）： 2104-2108.（DUO L， YANG B. Recommendation rating prediction based on user interest concept lattice［J］. Journal of Chinese Computer Systems， 2020， 41（10）： 2104-2108.）

Recommendation rating prediction algorithm based on user interest concept lattice reduction

ZHAO Xuejian1*， LI Hao2， TANG Haotian2

（1（），210003，；2，，210003，）

The performance of the recommendation systems is restricted by data sparsity， and the accuracy of prediction can be effectively improved by reasonably filling the missing values in the rating matrix. Therefore， a new algorithm named Recommendation Rating Prediction based on Concept Lattice Reduction （RRP-CLR） was proposed. RRP-CLR algorithm was composed of nearest neighbor selection module and rating prediction module， which were respectively responsible for generating reduced nearest neighbor set and realizing rating prediction and recommendation. In the nearest neighbor selection module， the user rating matrix was transformed into a binary matrix， which was regarded as the user interest formal background. Then the formal background reduction rules and concept lattice redundancy concept deletion rules were proposed to improve the efficiency of generating reduced nearest neighbors. In the rating prediction module， a new user similarity calculation method was proposed to eliminate the impact of rating deviations caused by user’s subjective factors on similarity calculation. When the number of common rating items of two users was less than a specific threshold， the similarity was scaled appropriately to make the similarity between users more consistent with the real situation. Experimental results show that compared with PC?UCF （User-based Collaborative Filtering recommendation algorithm based on Pearson Coefficient） and RRP-UICL （Recommendation Rating Prediction method based on User Interest Concept Lattice）， RRP-CLR algorithm has smaller Mean Absolute Error （MAE） and Root Mean Squared Error （RMSE）， and better rating prediction accuracy and stability.

recommendation system; rating prediction; concept lattice; sparsity; reduced nearest neighbor

1001-9081（2023）11-3340-06

10.11772/j.issn.1001-9081.2022121839

2022?12?07；

2023?01?18；

國家自然科學基金資助項目（61672299）； 中國博士后科學基金資助項目（2018M640509）。

趙學健（1982—），男，山東臨沂人，副教授，博士，主要研究方向：數(shù)據(jù)挖掘、無線傳感器網(wǎng)絡(luò)； 李豪（1999—），男，江蘇揚州人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘； 唐浩天（2001—），男，四川阿壩人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘。

TP391

A

2023?02?01。

This work is partially supported by National Natural Science Foundation of China （61672299）， China Postdoctoral Science Foundation （2018M640509）.

ZHAO Xuejian， born in 1982， Ph. D.， associate professor. His research interests include data mining， wireless sensor network.

LI Hao， born in 1999， M. S. candidate. His research interests include data mining.

TANG Haotian， born in 2001， M. S. candidate. His research interests include data mining.