李淑芝，余樂陶，鄧小鴻，李志軍

1.江西理工大學(xué) 信息工程學(xué)院，江西 贛州341000

2.江西理工大學(xué) 應(yīng)用科學(xué)學(xué)院，江西 贛州341000

1 引言

隨著電子商務(wù)的快速發(fā)展，關(guān)于產(chǎn)品和服務(wù)的信息過載無處不在。在淘寶、亞馬遜等在線購(gòu)物平臺(tái)上，不斷有大量的產(chǎn)品和服務(wù)來滿足潛在的多樣化需求。與此同時(shí)，對(duì)于購(gòu)物者來說，在線應(yīng)用商店中有成千上萬的應(yīng)用可供用戶下載和使用，因此從中檢索到滿意的產(chǎn)品和服務(wù)是非常耗時(shí)的。如何更好地推廣產(chǎn)品，并減少用戶花費(fèi)在檢索上的時(shí)間，得到一個(gè)性能良好的推薦系統(tǒng)是當(dāng)前亟待解決的問題[1-2]。

一般情況下使用歷史數(shù)據(jù)中用戶對(duì)項(xiàng)目的評(píng)分信息來進(jìn)行推薦，如協(xié)同過濾技術(shù)[3-5]，但其具有一些缺陷，如評(píng)分信息稀疏、推薦項(xiàng)目單一等。因此，研究人員提出了一系列使用比歷史評(píng)分?jǐn)?shù)據(jù)更多的數(shù)據(jù)來進(jìn)行推薦，如基于內(nèi)容的技術(shù)[6]、基于知識(shí)的技術(shù)[7-8]和基于社交網(wǎng)絡(luò)的技術(shù)[9]，這些技術(shù)都使用了其他附加信息，如隱式反饋信息、實(shí)體的屬性和關(guān)系、社交網(wǎng)絡(luò)數(shù)據(jù)、標(biāo)簽及多元信息[10]等，使用附加信息可以降低數(shù)據(jù)稀疏性，但也會(huì)導(dǎo)致計(jì)算量大，算法變復(fù)雜。而且隨著用戶或項(xiàng)目規(guī)模的急劇擴(kuò)大，數(shù)據(jù)變得越來越稀疏[11]。數(shù)據(jù)稀疏給推薦算法帶來的困難主要有以下3 點(diǎn)：（1）傳統(tǒng)的協(xié)同過濾算法無法進(jìn)行精確推薦，且用戶-項(xiàng)目矩陣為稀疏矩陣[12]；（2）用戶-項(xiàng)目矩陣零元素較多，機(jī)器學(xué)習(xí)中參數(shù)更新計(jì)算量較大；（3）推薦系統(tǒng)僅為用戶推薦經(jīng)常出現(xiàn)在用戶的評(píng)分列表中受歡迎的項(xiàng)目，因此不會(huì)推薦新的項(xiàng)目。針對(duì)以上問題，許多研究者從不同角度對(duì)推薦模型進(jìn)行了相應(yīng)的改進(jìn)和完善。Covington等人[13]提出深度協(xié)同過濾模型，首先利用深度候選視頻生成模型檢索出候選集，然后利用深度排序模型對(duì)候選視頻排序，模型根據(jù)用戶歷史活動(dòng)、上下文以及人口學(xué)信息，利用多層全連接神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶特征向量，但是該模型使用了許多附加信息，導(dǎo)致計(jì)算量大且精度較低。與文獻(xiàn)[13]類似，Zanotti等人[14]利用神經(jīng)網(wǎng)絡(luò)語言模型CBOW和Skip-gram[15]學(xué)習(xí)電影多個(gè)來源的特征，發(fā)現(xiàn)隱含的語義關(guān)系，提取用戶和物品更豐富的分布式特征表示，并根據(jù)學(xué)習(xí)的用戶（物品）特征使用傳統(tǒng)的基于用戶（物品）近鄰的協(xié)同過濾進(jìn)行評(píng)分預(yù)測(cè)，但未考慮項(xiàng)目冷啟動(dòng)問題。為處理冷啟動(dòng)問題，Wang 等人[16]提出了一種通用的協(xié)同深度學(xué)習(xí)模型，通過降噪自動(dòng)編碼器[17]從用戶評(píng)論中學(xué)習(xí)物品的深度特征表示，同時(shí)利用協(xié)同主題回歸[18]將學(xué)習(xí)的物品語義特征與標(biāo)準(zhǔn)的概率矩陣分解模型相結(jié)合進(jìn)行預(yù)測(cè)。類似的，Wei 等人[19]將物品內(nèi)容信息用詞袋模型轉(zhuǎn)換成向量表示，然后使用堆棧降噪自動(dòng)編碼器學(xué)習(xí)內(nèi)容特征，最后融合兼顧時(shí)間信息的矩陣分解模型timeSVD++[20]進(jìn)行評(píng)分預(yù)測(cè)，但都沒有解決參數(shù)過多、訓(xùn)練過程復(fù)雜、模型訓(xùn)練時(shí)間較長(zhǎng)的問題。于是，Zhang 等人[21]提出了一種將協(xié)同過濾推薦算法與深度學(xué)習(xí)技術(shù)相結(jié)合的模型，該模型采用基于二次多項(xiàng)式回歸模型的特征表示方法，對(duì)傳統(tǒng)的矩陣分解算法進(jìn)行改進(jìn)，使其能更準(zhǔn)確地獲得潛在特征。然后，將這些潛在特征作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，作為模型的第二部分，用來預(yù)測(cè)評(píng)分。但是文獻(xiàn)[21]并沒有平衡受歡迎項(xiàng)目和不受歡迎項(xiàng)目的新穎性，導(dǎo)致該模型一直推薦流行的項(xiàng)目。

為解決上述方法存在的推薦精度低及推薦項(xiàng)目單一性的問題，本文提出了一種基于Skip-gram 項(xiàng)目嵌入和加權(quán)損失函數(shù)的深度神經(jīng)網(wǎng)絡(luò)的推薦模型DSM，首先采用3 層ReLU 層來對(duì)輸出向量進(jìn)行回歸，在沒有使用其他附加信息的前提下提高了推薦精度；其次，將Skip-gram 項(xiàng)目嵌入加入到推薦模型中，每個(gè)項(xiàng)目表示為一個(gè)稠密的向量，解決了計(jì)算量大的問題，并且采用加權(quán)損失函數(shù)，平衡了歷史評(píng)分?jǐn)?shù)據(jù)集中項(xiàng)目的受歡迎程度，保證了推薦項(xiàng)目的新穎性；最后，在APP數(shù)據(jù)集和Last.fm數(shù)據(jù)集上的對(duì)DSM模型進(jìn)行驗(yàn)證。

2 算法描述

2.1 問題描述

2.2 模型的架構(gòu)

DSM模型的基本思想是將推薦問題看作預(yù)測(cè)回歸問題，利用用戶的歷史項(xiàng)目評(píng)分列表，對(duì)用戶將來喜歡的項(xiàng)目進(jìn)行回歸分析。模型的結(jié)構(gòu)如圖1所示，模型的輸入是用戶的歷史評(píng)分項(xiàng)目列表，輸出是用戶的首選項(xiàng)目。

圖1 DSM模型的體系結(jié)構(gòu)

參考文獻(xiàn)[13]中隱層深度效果的對(duì)比，擁有3 層ReLU 層（寬分別為1 024、512、256）的模型能夠得到最優(yōu)的結(jié)果，并且計(jì)算量也不會(huì)太大。此基礎(chǔ)上再增加一個(gè)ReLU層可提高模型的命中率，但隨之時(shí)間復(fù)雜度將會(huì)增加，總體來說對(duì)模型沒有太大的影響。使用ReLU層作為隱藏層的原因是它可以調(diào)整線性單元，且該激活函數(shù)不會(huì)在淺梯度上飽和。因此，本文采用包含3 層ReLU 層的結(jié)構(gòu)來構(gòu)造深度神經(jīng)網(wǎng)絡(luò)模型，其第一層是輸入層Lin，用于向量的輸入；第二層到第四層是3 個(gè)ReLU 層（L2到L4），學(xué)習(xí)從輸入向量到輸出向量的映射關(guān)系；第五層是輸出層Lout，利用回歸分析預(yù)測(cè)用戶首選項(xiàng)目。

2.3 Skip-gram項(xiàng)目嵌入

項(xiàng)目嵌入最早由Barken 等人2016 年在文獻(xiàn)[22]中提出，其主要思想是假設(shè)在一個(gè)靜態(tài)的環(huán)境，將用戶的項(xiàng)目列表視為文本中的一個(gè)單詞，其中所有的項(xiàng)目都由用戶在相同的上下文中進(jìn)行評(píng)分，不考慮用戶對(duì)項(xiàng)目進(jìn)行評(píng)分的順序和時(shí)間，雖然這樣會(huì)丟失項(xiàng)目的空間和時(shí)間信息，但仍然可以產(chǎn)生比傳統(tǒng)方法更好的性能，因此，本文將項(xiàng)目嵌入引入到深度神經(jīng)網(wǎng)絡(luò)中。考慮到用戶對(duì)項(xiàng)目評(píng)分的隨機(jī)性以及偏好程度的不同，用戶對(duì)項(xiàng)目評(píng)分是任意順序的，對(duì)此為了更好地對(duì)項(xiàng)目進(jìn)行描述，本文模型按字母順序?qū)τ脩繇?xiàng)目列表中的項(xiàng)目進(jìn)行排序。項(xiàng)目嵌入是將高維稀疏的原始數(shù)據(jù)表示為更密集的低維向量，假設(shè)一共有m個(gè)唯一且不重復(fù)的項(xiàng)目，使用One-hot 進(jìn)行編碼之后得到的向量表示為?m，該向量每個(gè)維度的值是0 或者1（?m=[0，0，0，1，…，0]），但此時(shí)得到的向量維度等于項(xiàng)目數(shù)m，并且非常稀疏。通過項(xiàng)目嵌入方法將項(xiàng)目嵌入到一個(gè)低維空間?n(n?m)，再構(gòu)造一個(gè)從?m到?n的線性映射，每一個(gè)?m的矩陣M都定義了?m到?n的一個(gè)線性映射。嵌入向量的維度數(shù)一般是項(xiàng)目總數(shù)的4次方根，即n= m4 ，大大降低了維度，因此可以減少計(jì)算量，得到的密集向量用v(i,j)表示。

本文采用Skip-gram 模型[15]進(jìn)行項(xiàng)目嵌入，按照字母順序?qū)γ總€(gè)用戶的項(xiàng)目進(jìn)行排序，使用當(dāng)前詞作為輸入，經(jīng)過連續(xù)映射層到Log-linear分類器，來預(yù)測(cè)指定窗口內(nèi)位于該詞前后的詞。增加窗口的大小可以改善學(xué)習(xí)到的詞向量的質(zhì)量，但是也增加了計(jì)算復(fù)雜度。由于離得最遠(yuǎn)的詞通常與當(dāng)前詞的關(guān)系要遠(yuǎn)遠(yuǎn)小于離得近的，所以給那些離得較遠(yuǎn)的詞較小的權(quán)重，使得它們被采樣到的概率要小。通過訓(xùn)練復(fù)雜度可確定窗口的大小，訓(xùn)練復(fù)雜度的公式為Q=C×(D+Dlb(V))，其中C為詞的最大距離，D為詞向量維度，V表示單詞的大小。根據(jù)訓(xùn)練復(fù)雜度公式進(jìn)行實(shí)驗(yàn)，以訓(xùn)練時(shí)間量化復(fù)雜度，實(shí)驗(yàn)結(jié)果如圖2 所示，發(fā)現(xiàn)具有23 個(gè)最大距離項(xiàng)目性能最好，故本文使用項(xiàng)目ij預(yù)測(cè)其23 個(gè)最大距離項(xiàng)目。這些項(xiàng)目都是連續(xù)的向量，映射可以看作是含有一層隱藏單元的神經(jīng)網(wǎng)絡(luò)，用于項(xiàng)目嵌入的Skip-gram模型如圖3所示。

圖2 訓(xùn)練時(shí)間與最大距離數(shù)的關(guān)系

圖3 Skip-gram模型

Skip-gram 模型訓(xùn)練的目標(biāo)是調(diào)整項(xiàng)目向量，這些向量用于預(yù)測(cè)用戶評(píng)分歷史中的相似項(xiàng)目。給定一個(gè)訓(xùn)練項(xiàng)目的序列，Skip-gram采用最大似然估計(jì)，模型中涉及的訓(xùn)練實(shí)例越多，模型的精度越高，但是計(jì)算量也就越大。Skip-gram 模型使用SOFTMAX 函數(shù)定義，由于項(xiàng)目集數(shù)目可能很大，可采用負(fù)采樣計(jì)算，如公式（1）所示，對(duì)于每個(gè)，通過Unigram 分布得到k個(gè)負(fù)樣本。 是項(xiàng)目的輸出詞向量項(xiàng)，in是k個(gè)負(fù)樣本的其中一個(gè)樣本，對(duì)于大的數(shù)據(jù)集，k取值為2～5，而對(duì)于小數(shù)據(jù)集，k一般取值5～20。

項(xiàng)目嵌入處理后，每個(gè)項(xiàng)目由一個(gè)長(zhǎng)度為e密集的數(shù)值向量表示，其中參數(shù)e是用于表示Skip-gram 模型中一個(gè)項(xiàng)目的特征數(shù)。

2.4 加權(quán)損失函數(shù)及網(wǎng)絡(luò)訓(xùn)練

圖4 APP數(shù)據(jù)集項(xiàng)目的權(quán)重

圖5 Last.fm-1k數(shù)據(jù)集項(xiàng)目的權(quán)重

算法1DSM模型的訓(xùn)練算法

2.整個(gè)數(shù)據(jù)集中隨機(jī)抽樣用戶U()PE的百分比，按統(tǒng)一分布從每個(gè)用戶的排名歷史I(uk)中提取Q 個(gè)項(xiàng)目；

3.使用Q 個(gè)項(xiàng)目和項(xiàng)目嵌入中的每一項(xiàng)組成in-out對(duì)

4.前向傳播：

（2）對(duì)于所有用戶使用公式（3）計(jì)算當(dāng)前迭代的損失函數(shù)Losssum；

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

在實(shí)驗(yàn)中，本文使用以下兩個(gè)數(shù)據(jù)集來評(píng)估DSM模型的性能。第一個(gè)數(shù)據(jù)集是TalkingData 提供的移動(dòng)應(yīng)用程序安裝數(shù)據(jù)集APP dataset[25]。APP 數(shù)據(jù)集經(jīng)過預(yù)處理，本文實(shí)際實(shí)驗(yàn)的數(shù)據(jù)集包含221 個(gè)應(yīng)用程序，177 名用戶，即歷史評(píng)分矩陣的用戶數(shù) ||U 為177，項(xiàng)目數(shù) ||I 為221，大多數(shù)用戶經(jīng)常在移動(dòng)設(shè)備上使用21 到30 個(gè)應(yīng)用程序。另一個(gè)數(shù)據(jù)集是Last.fm-1k 數(shù)據(jù)集，經(jīng)過預(yù)處理，本文實(shí)際實(shí)驗(yàn)的數(shù)據(jù)集包含983 個(gè)用戶和148 725 首歌曲作為音樂推薦，即歷史評(píng)分矩陣R||U×||I的用戶數(shù)為983，項(xiàng)目數(shù)為148 725。圖4和圖5是使用公式（4）中線性插值函數(shù)對(duì)應(yīng)用程序及歌曲分配權(quán)重，所有的權(quán)重都在0.5到0.6范圍之間。

3.2 實(shí)驗(yàn)的設(shè)置

本文使用以下模型作為基準(zhǔn)方法進(jìn)行比較，分別為基于項(xiàng)目的協(xié)同過濾方法（Item-CF）[3]、RBM[26]、NADE[27]、Deep Belief Network（DBN）[28]以及基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的矩陣分解模型（MF by NM）[29]。Skip-gram 模型使用了DeepLearning4J開源平臺(tái)來實(shí)現(xiàn)，從而構(gòu)建了DSM模型。

本文所述方法的參數(shù)如表1所示。對(duì)于所有方法，其參數(shù)都是通過反復(fù)試驗(yàn)來調(diào)整的。對(duì)于Item-CF，APP數(shù)據(jù)集中參數(shù)設(shè)置為100，Last.fm數(shù)據(jù)集設(shè)置為1 000；對(duì)于RBM方法，APP數(shù)據(jù)集參數(shù) ||L 設(shè)置為150，Last.fm數(shù)據(jù)集設(shè)置為2 000；對(duì)于NADE方法，本文設(shè)置了與RBM方法相同的參數(shù)；對(duì)于MF by NM，APP數(shù)據(jù)集中參數(shù)c 設(shè)置為50，Last.fm數(shù)據(jù)集中設(shè)置為1 500；對(duì)于DSM 模型，本文將L2設(shè)為4e，L3設(shè)為3e，L4設(shè)為2e 是實(shí)驗(yàn)中需要調(diào)優(yōu)的參數(shù)），因?yàn)樵谕扑]Youtube 視頻也是這樣設(shè)置的[13]，在所有被研究的具有不同數(shù)量的隱藏層和單元的體系結(jié)構(gòu)中，該設(shè)置的性能最好；本文對(duì)DBN 訓(xùn)練中不同的RBM 層數(shù)進(jìn)行了評(píng)估，發(fā)現(xiàn)當(dāng)RBM 層數(shù)設(shè)為5 層時(shí)，對(duì)于每層隱藏單元數(shù)，APP 數(shù)據(jù)集設(shè)為150，Last.fm數(shù)據(jù)集設(shè)為2 000，所采用的DBN結(jié)構(gòu)在推薦下達(dá)到了最佳性能。Srivastava 等人[26]指出在深度神經(jīng)網(wǎng)絡(luò)中添加更多的層并不是最好的，添加層數(shù)過多會(huì)導(dǎo)致嚴(yán)重的過擬合，即在DSM模型和DBN中添加更多的層和神經(jīng)元單元并不能提高推薦性能。

表1 實(shí)驗(yàn)中比較方法的參數(shù)

每個(gè)推薦方法在實(shí)驗(yàn)中還涉及另外兩個(gè)參數(shù)來檢驗(yàn)其性能。第一個(gè)參數(shù)是所考慮的推薦項(xiàng)目Q的數(shù)量，第二個(gè)參數(shù)是訓(xùn)練數(shù)據(jù)占所有數(shù)據(jù)樣本的百分比PE。因此，本文在實(shí)驗(yàn)中相應(yīng)地設(shè)置了兩種方案：第一種方案是將PE設(shè)置為0.95，使用95%的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，其余5%的數(shù)據(jù)集作為測(cè)試數(shù)據(jù)。根據(jù)數(shù)據(jù)集中項(xiàng)目數(shù)量的大小，APP數(shù)據(jù)集中用戶APP數(shù)量最小為10，推薦項(xiàng)目Q的數(shù)量依次設(shè)置為1、2、4、6、8；Last.fm數(shù)據(jù)集中用戶歌曲數(shù)量最小為100首，推薦項(xiàng)目Q的數(shù)量設(shè)置為10、20、50、70 和90。第二種方案是預(yù)先定義推薦項(xiàng)目Q的數(shù)量，將訓(xùn)練數(shù)據(jù)的PE從0.75 調(diào)整為0.95，以0.05 為區(qū)間，對(duì)于APP 數(shù)據(jù)集，由于DSM 模型在第一個(gè)方案中產(chǎn)生了最好的性能（參見第3.3.2 小節(jié)），故本文將推薦項(xiàng)目Q設(shè)置為4，同樣的，在Last.fm數(shù)據(jù)集中本文將推薦項(xiàng)目Q的數(shù)量更改為20 個(gè)（參見3.3.3小節(jié)）。

本文采用MAP（Mean Average Precision，平均精度）方法和多樣性方法對(duì)模型的性能和其他方法進(jìn)行評(píng)估。當(dāng)查詢有多個(gè)相關(guān)對(duì)象時(shí)，MAP 提供了信息檢索質(zhì)量的單圖度量，本文將用戶輸入向量中的項(xiàng)目作為查詢，將用戶輸出向量中的項(xiàng)目作為查詢的相關(guān)對(duì)象，通過公式（7）計(jì)算出，它是第k個(gè)用戶的平均精度值，j是排名，Q是推薦項(xiàng)目的數(shù)目，表示了排名j的對(duì)象是否是uk喜歡的項(xiàng)目。公式（8）中定義的為給定截?cái)嗯琶鹙處的精度。一組Q個(gè)測(cè)試數(shù)據(jù)樣本的MAP值就是測(cè)試集中所有樣本平均精度的平均值，MAP值越大，推薦性能越好。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 調(diào)優(yōu)參數(shù)e

DSM 模型中項(xiàng)目嵌入的特征數(shù)e是推薦性能的一個(gè)決定性參數(shù)。如果參數(shù)e設(shè)置得很小，會(huì)導(dǎo)致項(xiàng)目嵌入到一個(gè)壓縮空間中，導(dǎo)致深度學(xué)習(xí)中項(xiàng)目表示的信息丟失。如果參數(shù)e設(shè)置得很大，則會(huì)導(dǎo)致學(xué)習(xí)特征空間非常稀疏，導(dǎo)致計(jì)算量很大，并且性能沒有任何提高。在實(shí)驗(yàn)前期準(zhǔn)備階段，本文通過反復(fù)試驗(yàn)對(duì)參數(shù)e進(jìn)行了調(diào)優(yōu)，得出在APP 數(shù)據(jù)集和Last.fm-1k 數(shù)據(jù)集中，隨著e的增大，MAP的性能逐漸增加，多樣性性能逐漸下降，直到e設(shè)置為100 時(shí)MAP 性能保持穩(wěn)定，e設(shè)置為300時(shí)多樣性性能保持穩(wěn)定。因此在接下來的實(shí)驗(yàn)中，對(duì)于項(xiàng)目嵌入e的特征數(shù)，本文將APP數(shù)據(jù)集中設(shè)置為100，Last.fm數(shù)據(jù)集設(shè)置為300。

3.3.2 第一種方案的結(jié)果

圖6、7 是3.2 節(jié)中設(shè)計(jì)的第一個(gè)方案的實(shí)驗(yàn)結(jié)果。當(dāng)PE值增加時(shí)，所有方法的MAP 測(cè)量精度也在穩(wěn)步增加，而所有比較方法的多樣性所測(cè)量的新穎性也在逐漸減小。表2、3中的數(shù)據(jù)為調(diào)整百分比PE時(shí)得到的標(biāo)準(zhǔn)差。

圖6、表2可以看出在APP數(shù)據(jù)集中Pro-Ave方法在精度上比其他方法提高了10%～20%左右，Ran-Max 方法在新穎性方面比其他方法提高了3%～10%左右，因此從本文提出的模型派生的方法的性能均優(yōu)于其他方法。

圖7、表3 的Last.fm數(shù)據(jù)集的數(shù)據(jù)可以看出類似的實(shí)驗(yàn)結(jié)果。對(duì)于這兩個(gè)數(shù)據(jù)集，無論是準(zhǔn)確性還是新穎性，PE值設(shè)為0.90時(shí)，所有方法的性能都趨于穩(wěn)定。

圖6 APP數(shù)據(jù)集中各類模型的MAP值、Diversity值（1）

圖7 Last.fm數(shù)據(jù)集中各類模型的MAP值、Diversity值（1）

表2 模型在APP數(shù)據(jù)集上的標(biāo)準(zhǔn)差（1）

表3 模型在Last.fm數(shù)據(jù)集上的標(biāo)準(zhǔn)差（1）

當(dāng)增加更多的數(shù)據(jù)來訓(xùn)練這些方法時(shí)，由于用戶之間的關(guān)系、項(xiàng)目之間的關(guān)系和用戶、項(xiàng)目之間的關(guān)系被更加細(xì)致地描述，因此它們的性能得到了提高。例如，Item-CF方法的性能取決于項(xiàng)目在歷史數(shù)據(jù)中的相似性度量，而DSM 模型的性能很大程度上取決于項(xiàng)目在嵌入空間中的相對(duì)位置。但是，當(dāng)PE大于0.90 時(shí)，所有方法的性能都是穩(wěn)定的，這可以解釋為當(dāng)使用足夠的數(shù)據(jù)來訓(xùn)練方法時(shí)，過多的數(shù)據(jù)會(huì)導(dǎo)致過度擬合而抵消了增加更多訓(xùn)練數(shù)據(jù)所帶來的積極影響。

在推薦準(zhǔn)確度方面，對(duì)于所有PE值，DSM 模型的性能都優(yōu)于其他方法。該模型通過深度學(xué)習(xí)用戶的歷史評(píng)分項(xiàng)目，更準(zhǔn)確地描述用戶的偏好，并且可以將傳統(tǒng)的Item-CF用于學(xué)習(xí)用戶和項(xiàng)目之間的顯式關(guān)系。然而，在深度學(xué)習(xí)方面，它可以用來學(xué)習(xí)用戶和項(xiàng)目之間的內(nèi)在關(guān)系。其中采用5 層深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)項(xiàng)目之間的內(nèi)在關(guān)系，即通過輸入向的神經(jīng)網(wǎng)絡(luò)來組合表示輸出向量。此外，從實(shí)驗(yàn)可以看出Pro-Ave 方法的性能優(yōu)于Pro-Max 方法，而Ran-Ave 方法的性能優(yōu)于Ran-Max 方法。Covington 等人[13]也驗(yàn)證了平均池化方法在生成推薦深度學(xué)習(xí)的輸入向量方面優(yōu)于最大池化方法。池化使得特征參數(shù)減少，其中平均池化對(duì)領(lǐng)域內(nèi)特征參數(shù)求平均，保留了更多的項(xiàng)目之間的內(nèi)在關(guān)系，而最大池化只是提取特征中的最大值，會(huì)使估計(jì)值方差增大，并且丟失許多信息，因此在輸入向量方面平均池化優(yōu)于最大池化。

在推薦新穎性方面，可以看出DSM 模型推薦的項(xiàng)目比其他方法推薦的項(xiàng)目更加多樣化。Item-CF生成的項(xiàng)目之間是相似的，因?yàn)榻o定項(xiàng)目的相鄰項(xiàng)目比非相鄰項(xiàng)目相似性更高。此外，對(duì)于給定的項(xiàng)目，受歡迎的項(xiàng)目通常比鄰近項(xiàng)目列表中不受歡迎的項(xiàng)目出現(xiàn)得更頻繁。因此，在其他方法的推薦列表有大量的受歡迎的項(xiàng)目，導(dǎo)致了推薦的項(xiàng)目新穎性較低。然而，使用公式（4）所述的加權(quán)損失函數(shù)，那些不受歡迎的項(xiàng)目也被給予了與那些受歡迎項(xiàng)目近似的權(quán)重。雖然不太受歡迎的項(xiàng)目的權(quán)重相對(duì)小于比受歡迎的項(xiàng)目的權(quán)重，而不受歡迎的項(xiàng)目的數(shù)量遠(yuǎn)遠(yuǎn)大于受歡迎的物品的數(shù)量，因此，不受歡迎的項(xiàng)目的權(quán)重的總和要大于流行的項(xiàng)目權(quán)重，在該模型中不受歡迎的項(xiàng)目比其他方法更有可能被推薦。

3.3.3 第二種方案的結(jié)果

圖8、9 是設(shè)計(jì)的第二種方案的實(shí)驗(yàn)結(jié)果（本文3.2節(jié)介紹）。從圖中可以看出，在精確度上，在APP 數(shù)據(jù)集上所有方法的性能都比Last.fm-1k數(shù)據(jù)集好，然而在新穎性方面是相反的情況。在圖8中，本文對(duì)APP數(shù)據(jù)集的Q值從1 到8 進(jìn)行遞增；在圖9 中，Q值從10 變化到90。表4、5 中的數(shù)據(jù)為調(diào)整推薦項(xiàng)目Q的數(shù)量時(shí)得到的標(biāo)準(zhǔn)差。

當(dāng)推薦的準(zhǔn)確性提高時(shí)，推薦的新穎性就會(huì)降低，因?yàn)榇藭r(shí)推薦的項(xiàng)目與輸出向量的正確項(xiàng)目更加相似。本質(zhì)上，項(xiàng)目的相似性是根據(jù)它們?cè)谟脩粼u(píng)分列表中之間的聯(lián)系來定義的，更精確的推薦意味著在相同的列表中推薦更多的項(xiàng)目，這也會(huì)導(dǎo)致新穎性的降低。

當(dāng)推薦項(xiàng)目Q的數(shù)量設(shè)置很小的時(shí)候，正確項(xiàng)目被列為最重要的項(xiàng)目的可能性更小。但是當(dāng)推薦項(xiàng)目Q的數(shù)量變大時(shí)，所有方法都會(huì)推薦不相關(guān)和相關(guān)的項(xiàng)目，導(dǎo)致準(zhǔn)確性降低。從圖8、9 可以看出當(dāng)APP 數(shù)據(jù)集的Q設(shè)為4，Last.fm-1k 數(shù)據(jù)集的Q設(shè)為20 時(shí)，所有方法的精度達(dá)到其最大值。在精度上，Pro-Ave 方法比其他方法有更好的性能，而在新穎性上，Ran-Max 方法比其他方法有更好的性能。所以在準(zhǔn)確性和新穎性方面，從DSM 模型派生出來的方法比其他方法產(chǎn)生了更好的性能。從Ran-Max 方法得到的實(shí)驗(yàn)結(jié)果可以看出，可以使用隨機(jī)抽樣和最大池化來保證深度學(xué)習(xí)推薦的新穎性。因此，本文使用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)項(xiàng)目的內(nèi)在關(guān)系，可確保項(xiàng)目關(guān)系可以在網(wǎng)絡(luò)中被“記住”從而提高推薦精度，使用加權(quán)損失函數(shù)可確保用戶的歷史評(píng)分中項(xiàng)目可以頻繁被推薦，從而改進(jìn)推薦的多樣性。

圖8 APP數(shù)據(jù)集中各類模型的MAP值、Diversity值（2）

表4 模型在APP數(shù)據(jù)集上的標(biāo)準(zhǔn)差（2）

表5 模型在Last.fm數(shù)據(jù)集上的標(biāo)準(zhǔn)差（2）

3.4 DSM模型的復(fù)雜度

4 總結(jié)與展望

針對(duì)傳統(tǒng)的協(xié)同過濾算法中存在數(shù)據(jù)稀疏性問題，本文提出了一種新穎的模型DSM：首先，對(duì)于每一個(gè)項(xiàng)目，都使用一個(gè)密集的數(shù)字向量來表示；然后，提出一種深度神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)用戶對(duì)項(xiàng)目的偏好，并采用加權(quán)損失函數(shù)與線性插值函數(shù)相結(jié)合的方法來平衡推薦的準(zhǔn)確性和新穎性；最后，使用平均池化和最大池化將用戶的歷史項(xiàng)目聚合到深度神經(jīng)網(wǎng)絡(luò)的輸入向量中，采用隨機(jī)抽樣和分布抽樣相結(jié)合作為樣本項(xiàng)目的輸出向量來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在APP和Last.fm數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明，DSM 模型在準(zhǔn)確性和新穎性方面優(yōu)于現(xiàn)有的模型。未來的工作考慮將項(xiàng)目嵌入以及預(yù)測(cè)進(jìn)行整合，形成一個(gè)端到端的遞歸神經(jīng)網(wǎng)絡(luò)，即本文的問題可表述為短序列推薦問題，并在DSM 模型中建立一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)來解決有關(guān)時(shí)間序列的問題，進(jìn)一步提高其性能。