王茂華 郝云力 柏春松

摘要：針對傳統(tǒng)相似度忽略用戶局部偏好、用戶評分差異和非共同評分項等因素的影響，提出了一種基于損失因子和數(shù)據(jù)集劃分的協(xié)同過濾推薦算法.算法根據(jù)用戶對項目的偏好度來劃分數(shù)據(jù)集，并提出用兩個修正因子來改進傳統(tǒng)的相似度.在MovieLens數(shù)據(jù)集上將所提算法和Pearson算法、參考文獻[1]中的算法進行比較，實驗結(jié)果表明，基于損失因子和數(shù)據(jù)集劃分的協(xié)同過濾推薦算法更明顯地降低了MAE值.

關(guān)鍵詞：協(xié)同過濾;損失因子;劃分數(shù)據(jù)集;Pearson

中圖分類號：TP391? 文獻標(biāo)識碼：A? 文章編號：1673-260X（2019）01-0051-03

網(wǎng)絡(luò)信息的爆炸式增長使得用戶越來越難以搜索到自己需要的信息.而推薦技術(shù)可以根據(jù)用戶的需求、歷史行為等數(shù)據(jù)，從大量的網(wǎng)絡(luò)信息中為目標(biāo)用戶推薦感興趣的信息，因此得到了廣泛的應(yīng)用[1].

在眾多的推薦算法中，基于協(xié)同過濾的算法是目前應(yīng)用最廣的推薦算法[2-5].針對傳統(tǒng)的協(xié)同過濾算法的推薦準(zhǔn)確度較低這一難題，國內(nèi)外的學(xué)者提出了眾多的改進算法.李容等通過分析用戶共同評分項和用戶平均分的影響，用兩個修正因子來改進傳統(tǒng)相似度.張宏等[6]將用戶評分時間和商品流行度引入相似度計算中.鄭潔等[7]將用戶評分的活躍度和項目評價結(jié)果對平均值的偏差引入相似度的計算.何佶星等[8]提出以基于歐氏距離的KNN算法確定領(lǐng)域，以流行度閾值來劃分數(shù)據(jù)集.

從以上算法的實驗結(jié)果可以看出，推薦質(zhì)量得到了不同程度的提升，但是推薦算法的推薦準(zhǔn)確度仍然不能達到令人滿意結(jié)果.本文通過分析皮爾遜算法存在的問題，提出了一種基于損失因子和劃分數(shù)據(jù)集的推薦算法.首先根據(jù)用戶偏好劃分數(shù)據(jù)集，同時引入了損失因子和用戶共同評分項以改進算法的相似度.本文算法使用Movielens數(shù)據(jù)集進行試驗驗證，結(jié)果表明，本文算法能夠有效地降低預(yù)測誤差，提高了推薦準(zhǔn)確度.

1 傳統(tǒng)相似度算法存在的問題

1.1 忽略用戶局部偏好的影響

傳統(tǒng)相似度算法主要是計算用戶的整體相似度，但是用戶可能僅僅只有共同的偏好或厭惡.如表1所列的用戶評分矩陣，利用皮爾遜相似度算法可得u1和u2的相似度為1，但是直觀上來看，u1的偏好是I1和I2，而u2的偏好是I3和I6，兩者的偏好并不相同.同時可以看到，u1和u2都不喜歡I4和I5.用戶u1和u3雖然相似度為1，但是他們僅有共同的偏好，厭惡的項目并不相同.u1討厭的是I4和I5，而u3討厭的是I3和I6.傳統(tǒng)的皮爾遜推薦算法忽略了用戶局部偏好的影響，降低了推薦的準(zhǔn)確度.

1.2 忽略用戶評分差異

傳統(tǒng)的皮爾遜相似度計算只考慮兩個用戶評分向量的線性相關(guān)性，而忽略了每個維度上的數(shù)值差異，即用戶的評分標(biāo)準(zhǔn)不一樣，這會導(dǎo)致針對每個項目的具體評分出現(xiàn)這樣一種情況[1]：如表1所示，根據(jù)皮爾遜相似度計算方法可得用戶u4和u5的相似度為1，但是直觀上看，用戶u4對I6以外的所有項目都不喜歡，而用戶u5對所有的項目都喜歡.

1.3 忽略了非共同評分項數(shù)值的影響

目前，用戶的相似度普遍根據(jù)用戶的共同評分項進行計算.隨著行業(yè)的發(fā)展，用戶數(shù)和項目數(shù)呈指數(shù)級增長，然而用戶評分的項目數(shù)變化很小，這導(dǎo)致用戶評分矩陣變的極度稀疏.用戶共同評分過的項目極少，大量的非共同評分項在評價中沒有起到任何作用，不利于預(yù)測用戶的偏好.以往的論文[1]已經(jīng)證明共同評分項占用比對相似度有影響，但是沒有考慮非共同評分項的實際數(shù)值所帶來的差異.

3 實驗結(jié)果分析

本文采用MovieLens數(shù)據(jù)集中最小數(shù)據(jù)集進行測試.該數(shù)據(jù)集包含943名用戶對1682部電影的10萬條評分，評分范圍為1到5，每個用戶至少評論過20部電影.本文采用平均絕對誤差（MAE）來計算預(yù)測誤差.

測試時，鄰居數(shù)量分別選取5、10、20、25、30、35、40、45、50，100，利用數(shù)據(jù)集u1.base進行訓(xùn)練，利用u1.test進行測試.測試算法分別為Pearson、本文算法（簡記為Proposed）、參考文獻[1]的算法（簡記為LI）進行比較，本文在三種算法下所得評分預(yù)測的MAE值如表4所示，對比圖如圖1所示：

在實驗中，當(dāng)鄰域集數(shù)量為5時候，閾值？姿=15時，MAE值取得最小值，其他鄰域集時？姿=1時MAE值最小.當(dāng)鄰域集的數(shù)量超過100時，MAE值處于穩(wěn)定狀態(tài).

從實驗結(jié)果可以看出，在不同的鄰域集下，采用本文算法的MAE相對于前兩種算法都有明顯的下降，這說明本文算法確實在推薦質(zhì)量上有了一定的提高.

4 結(jié)束語

本文通過分析傳統(tǒng)的皮爾遜相似度算法忽略用戶局部偏好、用戶評分差異和非共同評分項等方面的不足，提出了根據(jù)用戶對項目的偏好情況劃分數(shù)據(jù)集的思路，并引入損失因子和共同評分因子以修正相似度.實驗結(jié)果表明，該方法能夠有效地降低MAE值，提高了推薦效果.后續(xù)可以考慮結(jié)合流行度劃分數(shù)據(jù)集對算法進行進一步的改進.

參考文獻：

〔1〕李容，李明奇，郭文強.基于改進相似度的協(xié)同過濾算法研究[J].計算機科學(xué)，2016，43（12）：206-208.

〔2〕Symeonidis P， Nanopoulos A， Papadopouls A， et al. Collaborative filtering based on user trends [J]. Advances in Data Analysis， 2006 4425： 375-382.

〔3〕Adomavicius G， Tuzhilin A. Toward the next generation of recommender systems： a survey of the state-of-the-art and possible extensions [J]. IEEE Trans on Knowledge and Data Engineering， 2005 17 （6）： 734-749.

〔4〕Zhang Kai， Feng Zhiyong， Chen Shichan， et al. A framework for passengers demand prediction and recommendation [C]// Proc of IEEE International Conference on Services Computing. 2016： 340-347.

〔5〕Resnick P， Iacovou N， Suchak M， et al. GroupLens： an open architecture for collaborative filtering of net news [C]// Proc of ACM Conference on Computer Supported Cooperative Work. 1994： 175-186.

〔6〕張宏，王慧.基于用戶評分和共同評分項的協(xié)同過濾算法的研究[J].計算機應(yīng)用研究，2018，36（1）.

〔7〕鄭潔，錢育蓉，楊興耀，等.基于信任和項目偏好的協(xié)同過濾算法[J].計算機應(yīng)用，2016，26（10）：2784-2788.

〔8〕何佶星，陳汶濱，牟斌皓.流行度劃分平均偏好權(quán)重的協(xié)同過濾個性化推薦算法[J].計算機科學(xué)，2018，45（6A）.