郝 衛(wèi)， 魏 赟

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院， 上海200093）

0 引 言

近年來(lái)隨著信息技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)量呈指數(shù)型增長(zhǎng)，給我們生活方式帶來(lái)便利的同時(shí)也明顯的帶來(lái)了信息過(guò)載問(wèn)題［1］。 在巨大的數(shù)據(jù)量和復(fù)雜的信息面前，用戶如何得到自身感興趣或自身需要的信息成了當(dāng)前研究的熱點(diǎn)問(wèn)題，具有代表性的解決方案包括搜索引擎和推薦系統(tǒng)的研究［2－3］。 相比于搜索引擎只能被動(dòng)的為用戶提供篩選和過(guò)濾的功能，推薦系統(tǒng)可以主動(dòng)的為更多的用戶服務(wù)千人千面的需求。 當(dāng)前推薦系統(tǒng)已經(jīng)運(yùn)用在電子商務(wù)，新聞媒體等領(lǐng)域。 具有代表性的應(yīng)用包括淘寶、京東等電子商務(wù)平臺(tái)；今日頭條、趣頭條等新聞媒體；Netfli、YouTube 等視頻軟件。

2012 年谷歌正式將知識(shí)圖譜應(yīng)用于應(yīng)用谷歌搜索中，用來(lái)提高搜索引擎展示答案的質(zhì)量和用戶查詢的效率。 知識(shí)圖譜的概念最早可以引申到上個(gè)世紀(jì)五十年代提出的語(yǔ)義網(wǎng)絡(luò)［4］，區(qū)別在于知識(shí)圖譜側(cè)重于實(shí)體間關(guān)系的描述，語(yǔ)義網(wǎng)絡(luò)側(cè)重于本體與本體間關(guān)系的描述。 知識(shí)圖譜包含了大量的實(shí)體間關(guān)聯(lián)關(guān)系，可以融合多種數(shù)據(jù)源和大量的數(shù)據(jù)來(lái)豐富物品／項(xiàng)目的語(yǔ)義信息，在眾多的場(chǎng)景中都可以與推薦系統(tǒng)相結(jié)合，包括電影推薦，購(gòu)物推薦等等。通過(guò)將知識(shí)圖譜與推薦系統(tǒng)相結(jié)合，可以有效的提高推薦結(jié)果的準(zhǔn)確性、可解釋性等評(píng)估指標(biāo)。

一種基于表示學(xué)習(xí)的推薦算法，以此來(lái)提高推薦算法的推薦效果：通過(guò)知識(shí)圖譜表示學(xué)習(xí)方法計(jì)算不同電影之間的語(yǔ)義相似度，使用加權(quán)型混合方法中的線性模型方法與改進(jìn)后的協(xié)同過(guò)濾［5］計(jì)算出的電影相似度結(jié)果進(jìn)行融合，得到最終的推薦結(jié)果，推薦給用戶。

1 理論介紹

1.1 協(xié)同過(guò)濾推薦算法

目前協(xié)同過(guò)濾算法廣泛地運(yùn)用在電子商務(wù)，新聞媒體，視頻軟件等領(lǐng)域。 協(xié)同過(guò)濾算法主要包括基于用戶，基于物品和基于模型三種類型。 基于用戶的協(xié)同過(guò)濾算法是利用相似統(tǒng)計(jì)的方法找到具有相似愛(ài)好的用戶，再將這些用戶感興趣的物品／項(xiàng)目推薦給目標(biāo)用戶；基于物品的協(xié)同過(guò)濾算法是通過(guò)計(jì)算物品／項(xiàng)目間的相似度，并結(jié)合用戶的歷史行為，生成推薦列表，將結(jié)果推薦給用戶；基于模型的協(xié)同過(guò)濾算法是采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，對(duì)物品的評(píng)分矩陣樣本集訓(xùn)練學(xué)習(xí)，建立合適的推薦模型，生成推薦列表，將結(jié)果推薦給用戶。

1.2 知識(shí)圖譜

知識(shí)圖譜是結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)，通過(guò)將關(guān)鍵詞映射到語(yǔ)義知識(shí)庫(kù)，準(zhǔn)確的匹配到庫(kù)中的實(shí)體，從而將用戶需要的答案反饋給用戶。 通常用實(shí)體來(lái)表示人，公司，概念等現(xiàn)實(shí)中的實(shí)體，用關(guān)系來(lái)描述實(shí)體間的聯(lián)系。 三元組基本形式是“實(shí)體（entity）－關(guān)系（relation）－實(shí)體（entity）” 或“實(shí)體（entity）－屬性（attribute）－屬性值（value）”，通過(guò)這樣的三元組可以表示庫(kù)中各實(shí)體間的關(guān)系和實(shí)體的的屬性。 通過(guò)多個(gè)三元組之間的關(guān)聯(lián)關(guān)系，可以生成特定領(lǐng)域內(nèi)的知識(shí)圖譜，知識(shí)圖譜可以更加直接形象的描述實(shí)體之間的關(guān)聯(lián)關(guān)系，當(dāng)兩個(gè)實(shí)體在知識(shí)圖譜中很相似，就意味著二者在語(yǔ)義上十分接近，就可以判定二者是近鄰。

1.3 知識(shí)圖譜在推薦系統(tǒng)中應(yīng)用介紹

隨著知識(shí)圖譜研究的興起，依靠知識(shí)圖譜較強(qiáng)的可解釋性以及語(yǔ)義相似度計(jì)算，一些學(xué)者試著將知識(shí)圖譜與協(xié)同過(guò)濾算法進(jìn)行融合，以此來(lái)提高推薦系統(tǒng)的準(zhǔn)確性等參數(shù)：Dodwad 提出基于本體的層次結(jié)構(gòu)對(duì)概念進(jìn)行加權(quán)的應(yīng)用方法，可以將用戶的偏好分析的粒度劃分的更細(xì)，使得結(jié)果更加的精準(zhǔn)；Noia 通過(guò)利用基于開(kāi)放鏈接數(shù)據(jù)語(yǔ)義豐富的特點(diǎn)，效的提高電影推薦的準(zhǔn)確率；László 提出把電影數(shù)據(jù)集與用戶信息嵌入到同一個(gè)向量空間內(nèi)，計(jì)算電影與用戶之間的空間距離，使得電影推薦的結(jié)果更準(zhǔn)確，解釋性更高。

目前常用的通過(guò)知識(shí)圖譜中的表示學(xué)習(xí)方法，利用知識(shí)圖譜將三元組嵌入低維空間進(jìn)行向量化，可以進(jìn)行實(shí)體間語(yǔ)義相似度計(jì)算。 表示學(xué)習(xí)實(shí)現(xiàn)了實(shí)體和關(guān)系的分布式表示，可以顯著提高計(jì)算效率，有效的緩解數(shù)據(jù)稀疏性等。 目前表示學(xué)習(xí)主要運(yùn)用在語(yǔ)義相似度計(jì)算，知識(shí)圖譜補(bǔ)全，關(guān)系抽取和自動(dòng)問(wèn)答等方面［6］。

目前知識(shí)圖譜表示學(xué)習(xí)實(shí)現(xiàn)方法較多，考慮到構(gòu)建的電影知識(shí)圖譜電影數(shù)量眾多并且評(píng)分矩陣具有一定的稀疏性，所以選擇了翻譯模型［7］作為本算法的實(shí)現(xiàn)方法。

2 基于知識(shí)圖譜表示學(xué)習(xí)的推薦算法

2.1 基于TransH 算法的知識(shí)圖譜表示學(xué)習(xí)

運(yùn)用較為廣泛的翻譯模型主要包括TransE，TransH，TransR 等模型；最為基礎(chǔ)的TransE 算法使用（h，r，t） 來(lái)表示知識(shí)圖譜的三元組，h 表示頭實(shí)體，r 表示關(guān)系，t 表示尾實(shí)體。 通過(guò)TransE 模型計(jì)算出實(shí)體間的語(yǔ)義信息，與協(xié)同過(guò)濾算法融合后進(jìn)行推薦，混合推薦效果得到了一定的提升，如圖1 所示。

TransE 算法的缺陷在于不能很好的解決一對(duì)多，多對(duì)一，多對(duì)多關(guān)系建模的難題。 本文選用的TransH 算法可以很好的解決上述問(wèn)題。 與TransE不同的是，TransH 引入了兩個(gè)新的定義：超平面和關(guān)系向量，對(duì)于超平面W，可以用法向量Wr來(lái)表示，用dr來(lái)表示h⊥、t⊥的間距。。 關(guān)系向量h⊥是h 向量在超平面上的投影，t⊥是t 向量在超平面上的投影。 通過(guò)此操作可以在保證復(fù)雜度與TransE 算法相近的前提下，

保留復(fù)雜的關(guān)系映射屬性，如圖2 所示。

圖1 TransE 模型Fig.1 TransE model

圖2 TransH 模型Fig.2 TransH model

為了滿足任一實(shí)體在不同的關(guān)系中的意義不同，與此同時(shí)不同實(shí)體在相同關(guān)系中的意義相同，三元組需要滿足h⊥＋dr＝t⊥。 對(duì)于超平面W，可以用法向量Wr來(lái)表示可以得到頭實(shí)體和尾實(shí)體映射到超平面的公式（1）和公式（2）：

TransH 模型訓(xùn)練的核心思想是采用最大間距。

2.2 TransH－CF 混合過(guò)濾推薦算法

結(jié)合知識(shí)圖譜和協(xié)同過(guò)濾算法的各自的優(yōu)勢(shì)，本文提出一種基于知識(shí)圖譜表示學(xué)習(xí)的協(xié)同過(guò)濾算法：通過(guò)分析處理已經(jīng)成熟的數(shù)據(jù)集，得到用戶對(duì)電影的評(píng)分矩陣，利用協(xié)同過(guò)濾算法計(jì)算出電影的相似度；將構(gòu)建電影知識(shí)圖譜中的電影實(shí)體嵌入到低維空間中進(jìn)行向量化，計(jì)算電影實(shí)體之間的語(yǔ)義相似度，最后將二者計(jì)算出的相似度融合，生成最終的推薦列表推薦給用戶。 考慮到電影領(lǐng)域內(nèi)影片的數(shù)量遠(yuǎn)遠(yuǎn)小于用戶數(shù)量，且具有更好的解釋性，所以選擇基于物品的協(xié)同過(guò)濾算法進(jìn)行算法實(shí)現(xiàn)。

本文提出的TransH－CF 算法流程如圖3 所示。

圖3 TransH－CF 算法流程圖Fig.3 TransH－CF Algorithm Flow Chart

算法描述：

input：電影－用戶評(píng)分矩陣和電影知識(shí)圖譜

output：基于知識(shí)圖譜表示學(xué)習(xí)的推薦算法TransH－CF

（1）根據(jù)電影－用戶評(píng)分矩陣Rm×n， 通過(guò)協(xié)同過(guò)濾算法計(jì)算電影之間的相似度；

（2）將電影與電影知識(shí)圖譜中的實(shí)體一一對(duì)應(yīng)，得到實(shí)體對(duì)應(yīng)列表；

（3）通過(guò)TransH 模型計(jì)算電影之間的語(yǔ)義相似度；

（4）算法融合，選擇合適的兩種算法融合比例，并確定近鄰數(shù)K 的數(shù)值和嵌入的維度；

（5）生成推薦列表推薦，推薦給用戶。

2.3 基于知識(shí)圖譜的語(yǔ)義相似度計(jì)算

表示學(xué)習(xí)目的在于將語(yǔ)義信息表示為低維向量。 在低維向量空間中，兩個(gè)實(shí)體距離越近，說(shuō)明兩個(gè)實(shí)體的語(yǔ)義相似度越高。 本文采用較為常用歐式距離對(duì)于電影實(shí)體進(jìn)行相似度計(jì)算。 對(duì)于A，B 兩個(gè)實(shí)體向量，相似性度量公式（4）：

從公式（4）可以得出，當(dāng)計(jì)算結(jié)果數(shù)值越接近1，實(shí)體向量電影A 和電影B 越相似，在構(gòu)建出的電影知識(shí)圖譜中兩者語(yǔ)義相似度越高；當(dāng)數(shù)值越接近0，表示在構(gòu)建出的電影知識(shí)圖譜中兩者語(yǔ)義相似度越低。

2.4 改進(jìn)后的基于物品的協(xié)同過(guò)濾及其相似度計(jì)算

戶觀看完電影后，會(huì)根據(jù)自己的喜好對(duì)電影進(jìn)行打分評(píng)價(jià)，通過(guò)數(shù)據(jù)處理可以得到一個(gè)用戶－電影的評(píng)分?jǐn)?shù)據(jù)集，評(píng)分的高低代表用戶對(duì)于電影的喜好程度。 將用戶－電影的評(píng)分?jǐn)?shù)據(jù)集作為協(xié)同過(guò)濾算法的輸入，計(jì)算電影的相似度，根據(jù)得出的電影相似度生成電影推薦列表，推薦給用戶。

假設(shè)數(shù)據(jù)集中有n 個(gè)用戶I ＝（I1， I2，…In），共有m 部電影U ＝（U1，U2，…Um），用戶－電影的評(píng)分矩陣為Rm×n，評(píng)分矩陣Rm×n可以表示為：

評(píng)分矩陣中，每個(gè)R 代表某用戶對(duì)某部電影的喜好程度即評(píng)分。 例如：分?jǐn)?shù)Rij表示是用戶Ii對(duì)于電影Uj的評(píng)分，評(píng)分區(qū)間為［1，5］。 當(dāng)同一用戶對(duì)于不同電影評(píng)分相近時(shí)，則判定他們?yōu)榻彙?/p>

目前比較多用的相似度計(jì)算方法包括歐幾里得距離，皮爾遜相關(guān)系數(shù)，余弦相似度計(jì)算等。 由于評(píng)分矩陣的稀疏性，所以采用余弦相似度計(jì)算方法。余弦相似度計(jì)算方法是計(jì)算出兩個(gè)評(píng)分向量之間的夾角余弦值，計(jì)算公式（5）：

余弦值的范圍為［0，1］，計(jì)算出的余弦值越接近0 時(shí)，表明評(píng)分差異越大；計(jì)算出的余弦值越接近1 時(shí)，表明評(píng)分差異越小。

傳統(tǒng)的協(xié)同過(guò)濾算法通過(guò)比較用戶共同評(píng)分過(guò)的電影，根據(jù)電影的評(píng)分差值進(jìn)行相似度計(jì)算。 這種相似度計(jì)算模型沒(méi)有考慮到電影的熱門(mén)程度對(duì)相似度的影響，某些熱門(mén)電影無(wú)法體現(xiàn)或者較少地體現(xiàn)用戶的個(gè)性和潛在的興趣愛(ài)好，也就無(wú)法表現(xiàn)出用戶間的強(qiáng)相似性，這時(shí)應(yīng)該弱化它們對(duì)相似度計(jì)算的影響。 所以有研究人員推出了物品的熱門(mén)程度計(jì)算公式（6）：

其中，p fc是為電影c 的熱門(mén)因子，代表電影c 熱門(mén)程度對(duì)相似度的貢獻(xiàn)；α 參數(shù)稱之為平衡參數(shù)，其取值范圍為α＞0，表示電影的熱門(mén)程度對(duì)熱門(mén)因子的影響因數(shù)。fc是電影的熱門(mén)程度，計(jì)算公式（7）：

其中mc代表對(duì)電影進(jìn)行評(píng)分的用戶數(shù)量， M 代表用戶總數(shù)量。

改進(jìn)后的余弦相似度計(jì)算公式（8）：

可見(jiàn)，當(dāng)電影熱門(mén)程度越高時(shí)， p fc越小，對(duì)于相似度計(jì)算的影響越小；反之當(dāng)電影越冷門(mén)，p fc越大，相似度則會(huì)得到加強(qiáng)。

2.5 相似度融合

目前在推薦系統(tǒng)中使用較多的相似度融合方法包括加權(quán)型混合推薦中的線性模型，回歸模型（ Logistic Regression）， GBDT （ Gradient Boosted Decision Trees）等方法，本文使用加權(quán)型混合的線性模型方法。 通過(guò)設(shè)置參數(shù)，將兩種算法進(jìn)行混合，在數(shù)據(jù)集上反復(fù)測(cè)試，最終得到最合適的參數(shù)值，使得推薦結(jié)果最為準(zhǔn)確。 計(jì)算公式如式（9）所示：

其中，sinC 為經(jīng)過(guò)算法混合后的最終電影相似度，sinC 為基于物品的協(xié)同過(guò)濾計(jì)算出的電影相似度，sinsem(A，B) 為基于知識(shí)圖譜表示學(xué)習(xí)計(jì)算出的語(yǔ)義相似度。 α 為比例參數(shù)，代表基于物品的協(xié)同過(guò)濾算法計(jì)算出的電影相似度在融合算法計(jì)算出的電影相似度占比，α 的范圍設(shè)定為［0，1］。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用Amazon 的電影評(píng)分?jǐn)?shù)據(jù)集，數(shù)據(jù)集記錄了用戶對(duì)電影的評(píng)價(jià)，評(píng)分范圍從1 分到5 分， 1 代表用戶對(duì)于電影喜好程度最低，5 代表用戶對(duì)于電影喜好程度最高。 使用metadata 將數(shù)據(jù)集中電影的編號(hào)與該電影所在知識(shí)圖譜中的實(shí)體一一對(duì)應(yīng)。 本文選用了Freebase 中的電影本體作為本實(shí)驗(yàn)的知識(shí)圖譜數(shù)據(jù)集，版本號(hào)為2012－11－9。 數(shù)據(jù)集中包括了導(dǎo)演，演員等本體對(duì)象。 用實(shí)體的名稱來(lái)代替數(shù)據(jù)集中電影的id，提取出所需要的電影實(shí)體和電影實(shí)體之間的關(guān)系。 最終得到共計(jì)20 個(gè)知識(shí)圖譜的語(yǔ)義關(guān)系。 對(duì)于數(shù)據(jù)集采用了字符串規(guī)則匹配的方法進(jìn)行數(shù)據(jù)清理，使得Amazon 評(píng)分?jǐn)?shù)據(jù)和Freebase 數(shù)據(jù)集可以更好地匹配。

3.2 實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)

評(píng)估推薦系統(tǒng)的指標(biāo)包括準(zhǔn)確率（precision），F(xiàn)值（F － measure），召回率（recall）。 準(zhǔn)確率體現(xiàn)了推薦給用戶喜歡的電影占總推薦電影數(shù)量的比例，召回率體現(xiàn)了推薦的電影占用戶喜歡電影的比例，F(xiàn) 值是二者的調(diào)和平均值，能夠更加合理的評(píng)估推薦算法。

3.3 算法結(jié)果分析

3.3.1 兩種算法混合比例以及嵌入維度的確定

本文使用加權(quán)型混合方法中的線性模型方法與協(xié)同過(guò)濾的推薦算法進(jìn)行融合，在實(shí)驗(yàn)中首先確定融合比例，比例不同，電影推薦的效果也有所不同。本實(shí)驗(yàn)中Top－K 近鄰數(shù)K 選取100，表示學(xué)習(xí)嵌入維度選取200。 兩種推薦算法混合的比例從0 ∶10到10 ∶0 分別取整數(shù)值進(jìn)行計(jì)算。 圖為實(shí)驗(yàn)結(jié)果中的準(zhǔn)確率、召回率和F 值的曲線。 每組實(shí)驗(yàn)同數(shù)據(jù)同時(shí)測(cè)10 次，得出的結(jié)果取平均值，結(jié)果如圖4－5 所示。

圖4 K＝100 時(shí)的準(zhǔn)確率和F 值Fig 4 Precision and F－measure at K＝100

圖5 K＝100 時(shí)的召回率Fig.5 Recall at K＝100

從實(shí)驗(yàn)結(jié)果分析得到：在一定范圍內(nèi)準(zhǔn)確率、召回率和F 值隨著協(xié)同過(guò)濾算法的占比增加而增加，超過(guò)了準(zhǔn)確率、召回率和F 值會(huì)逐漸下降，效果較差。 對(duì)于本實(shí)驗(yàn)結(jié)果，采取表示學(xué)習(xí)和協(xié)同過(guò)濾算法融合比例為5 ∶5。

表示學(xué)習(xí)方法選擇嵌入的維度不同也會(huì)影響最終推薦結(jié)果的評(píng)估。 本實(shí)驗(yàn)選取100，200，300，400，500 這5 個(gè)維度進(jìn)行試驗(yàn)，分別比較不同維度下的召回率、準(zhǔn)確率和F 值。 每組實(shí)驗(yàn)相同數(shù)據(jù)測(cè)試10 次，實(shí)驗(yàn)結(jié)果如6－圖7 所示。

圖6 不同維度的準(zhǔn)確率和F 值Fig.6 Precision and F－measurein different dimension

圖7 不同維度的召回率Fig.7 ecall in different dimension

從實(shí)驗(yàn)結(jié)果分析得到：當(dāng)嵌入維度為200 時(shí)，得到的三個(gè)評(píng)價(jià)指標(biāo)最優(yōu)，因此表示學(xué)習(xí)嵌入維度選定為200。

3.3.2 算法結(jié)果對(duì)比

本文將提出的TransH－CF 算法與知識(shí)圖譜表示學(xué)習(xí)與協(xié)同過(guò)濾融合的TransE－CF 算法，改進(jìn)后的協(xié)同過(guò)濾算法：Cosine－CF 算法、Adjust Cosine－CF算法、Pearson－CF 算法進(jìn)行比較。 在對(duì)比實(shí)驗(yàn)中，選擇的四組近鄰數(shù)分別為60，80，100，120。 每組實(shí)驗(yàn)做10 次后取均值。 結(jié)果如圖8～圖10 所示：

圖8 不同近鄰數(shù)的準(zhǔn)確率Fig.8 Precision in different K

圖9 不同近鄰數(shù)的召回率Fig.9 Recall in different K

圖10 不同近鄰數(shù)的F 值Fig.10 F－measure in different K

從實(shí)驗(yàn)結(jié)果分析得到：當(dāng)選取嵌入維度為200，近鄰數(shù)為60 到120 之間時(shí)，TransH－CF 算法在準(zhǔn)確率、召回率和F 值3 個(gè)評(píng)估參數(shù)均為最優(yōu)。

4 結(jié)束語(yǔ)

本文提出了融合表示學(xué)習(xí)方法和改進(jìn)后的協(xié)同過(guò)濾算法TransH－CF：通過(guò)表示學(xué)習(xí)方法計(jì)算電影的語(yǔ)義相似度，與改進(jìn)后的協(xié)同過(guò)濾算法計(jì)算出的電影相似度混合，得出最終的推薦結(jié)果，表示學(xué)習(xí)模型使用了TransH 模型。 實(shí)驗(yàn)數(shù)據(jù)表明TransH－CF算法可以有效的提高電影推薦的準(zhǔn)確率、召回率以及F 值等指標(biāo)，TransH 算法與協(xié)同過(guò)濾混合推薦的結(jié)果也要優(yōu)于TransE 與協(xié)同過(guò)濾混合推薦的結(jié)果。利用實(shí)體的語(yǔ)義信息增強(qiáng)了推薦結(jié)果的可解釋性。下一步將嘗試將知識(shí)圖譜運(yùn)用到用戶畫(huà)像構(gòu)建中，與協(xié)同過(guò)濾的結(jié)果進(jìn)行混合推薦，進(jìn)一步的優(yōu)化推薦結(jié)果。