何 麗 王京豪

(北方工業(yè)大學(xué)信息學(xué)院 北京 100144)

News recommendation

0 引 言

隨著互聯(lián)網(wǎng)的發(fā)展,各類信息如新聞信息成倍的增長(zhǎng),面對(duì)海量數(shù)據(jù),如何幫助用戶快速得到個(gè)性化的、有價(jià)值的新聞顯得十分重要?；诖?個(gè)性化新聞推薦系統(tǒng)應(yīng)運(yùn)而生。

個(gè)性化推薦的方法主要分為三大類：基于協(xié)同過濾的推薦[1-2]、基于內(nèi)容的推薦[3-4]和混合推薦方法[5-6]。其中,以基于協(xié)同過濾的推薦應(yīng)用最為廣泛。針對(duì)新聞推薦,學(xué)習(xí)用戶和新聞的表示主要依靠歷史行為數(shù)據(jù),但是在很多情況下,這些數(shù)據(jù)是很難獲取或者十分稀疏的。比如,一篇新發(fā)布的新聞,瀏覽過的用戶很少,采用協(xié)同過濾方法就會(huì)存在嚴(yán)重的冷啟動(dòng)、數(shù)據(jù)稀疏等問題,同時(shí)新聞中含有的大量文本內(nèi)容也沒有被很好地利用,因此新聞推薦通常采用基于內(nèi)容的推薦方法。

目前,許多基于內(nèi)容的深度學(xué)習(xí)新聞推薦方法被提出[7-8],其核心思路是通過一個(gè)用戶編碼器和新聞編碼器來(lái)獲得用戶和新聞的表示來(lái)實(shí)現(xiàn)推薦。如何學(xué)習(xí)準(zhǔn)確的用戶表示對(duì)于新聞推薦系統(tǒng)來(lái)說(shuō)是一個(gè)關(guān)鍵問題。Wang等[7]利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)新聞表示,然后基于候選新聞與瀏覽新聞的相似性從用戶瀏覽的新聞中學(xué)習(xí)用戶表示,但該方法不能體現(xiàn)用戶的短期興趣;Okura等[8]利用GRU網(wǎng)絡(luò)從其瀏覽的新聞中學(xué)習(xí)用戶表示,然而該方法很難捕捉到長(zhǎng)期的新聞瀏覽歷史的全部記錄;An等[9]提出一種能夠較好地結(jié)合用戶長(zhǎng)期愛好和短期興趣的方法,但僅僅從新聞標(biāo)題中學(xué)習(xí)新聞表征,這樣的表示學(xué)習(xí)是不夠充分的。

新聞數(shù)據(jù)通常包含不同類型的信息,比如主題類別、標(biāo)題和摘要等特征,它們對(duì)于學(xué)習(xí)新聞的表示都是很有幫助的。包含多種信息類別的新聞數(shù)據(jù)如表1所示。

表1 新聞數(shù)據(jù)樣例

新聞的主題類別對(duì)于學(xué)習(xí)新聞表征來(lái)說(shuō)是具有很大信息量的。如果一個(gè)用戶瀏覽過該新聞,那么他極有可能對(duì)其他體育類或者籃球NBA類的消息很感興趣;此外,從標(biāo)題中可以得到,這是一條關(guān)于兩支球隊(duì)競(jìng)爭(zhēng)的新聞,摘要中則能得到更詳細(xì)的信息,因此,融合這些不同類別的信息可以改善新聞推薦中的新聞特征表示和用戶表示。

因此,本文提出一種使用多視角學(xué)習(xí)的方法來(lái)改進(jìn)新聞編碼器,即利用不同類型的新聞信息來(lái)學(xué)習(xí)新聞的特征表示,并將其融合到結(jié)合用戶長(zhǎng)期和短期興趣表示的用戶編碼器中,以此來(lái)提升新聞推薦的結(jié)果。在新聞編碼器中,采用計(jì)算機(jī)視覺領(lǐng)域常見的多視角學(xué)習(xí)的方法并結(jié)合注意力機(jī)制,將主題類別、標(biāo)題和摘要作為不同的新聞視角來(lái)學(xué)習(xí)統(tǒng)一的新聞表示,由于不同類別的信息可能具有不同的信息量,因此加入注意力機(jī)制;用戶編碼器采用結(jié)合用戶長(zhǎng)期愛好的短期興趣學(xué)習(xí)用戶表示的方法[9],使用GRU網(wǎng)絡(luò)從用戶最近點(diǎn)擊過的新聞的表示中學(xué)習(xí)用戶的短期興趣,從用戶ID的嵌入中學(xué)習(xí)用戶的長(zhǎng)期愛好,并利用用戶的長(zhǎng)期愛好初始化GRU網(wǎng)絡(luò)的隱藏狀態(tài)。通過在真實(shí)新聞數(shù)據(jù)集上的大量實(shí)驗(yàn),證明了本文的方法能夠有效地提高新聞推薦的準(zhǔn)確率等指標(biāo)。

1 相關(guān)工作

個(gè)性化新聞推薦是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)重要任務(wù),其有著廣泛的應(yīng)用[10]。對(duì)于新聞推薦來(lái)說(shuō),學(xué)習(xí)到準(zhǔn)確的新聞表示和用戶表示是十分重要的。現(xiàn)有的一些傳統(tǒng)方法,采用人工特征工程來(lái)進(jìn)行新聞和用戶的表示學(xué)習(xí)。例如,Son等[11]的方法建議從維基百科頁(yè)面中提取主題和位置特征作為新聞表示。Liu等[12]使用貝葉斯模型生成的話題類別和興趣特征作為新聞表示。這些方法都依賴于人工工程,需要很大的工作量,并且無(wú)法學(xué)習(xí)到新聞中的上下文和詞序,對(duì)于學(xué)習(xí)新聞和用戶表示的效果不是很理想。

近年來(lái)采用深度學(xué)習(xí)方法的新聞推薦逐漸增多,如上文引言中提到的[7-8],它們的方法學(xué)習(xí)用戶表示通常為每個(gè)用戶學(xué)習(xí)單一的表示向量,無(wú)法區(qū)分長(zhǎng)期愛好和短期興趣,An等[9]提出的LSTUR模型能夠較好地結(jié)合用戶長(zhǎng)期愛好和短期興趣的方法,但其只從新聞標(biāo)題中學(xué)習(xí)新聞表示,這樣學(xué)習(xí)新聞的特征表示是不充分的。由于新聞數(shù)據(jù)除了標(biāo)題之外還有主題類別、摘要等信息,為了能夠?qū)⑺鼈冏鳛榻y(tǒng)一的學(xué)習(xí)表示,本文方法參考計(jì)算機(jī)視覺領(lǐng)域常用的多視角學(xué)習(xí)方法[13],將不同的類別信息結(jié)合起來(lái),學(xué)習(xí)新聞表示并改進(jìn)用戶表示。在真實(shí)新聞數(shù)據(jù)集上的大量實(shí)驗(yàn)表明,本文方法與現(xiàn)有流行的方法相比,能夠更好地學(xué)習(xí)新聞和用戶的表示,提高了新聞推薦的準(zhǔn)確率。

2 方法設(shè)計(jì)

本文提出的基于長(zhǎng)短期用戶表示和多視角學(xué)習(xí)模型主要分為新聞編碼器和用戶編碼器,其整體框架如圖1所示。

圖1 模型總體框架

2.1 新聞編碼器

新聞編碼器用來(lái)從不同類別的信息(主題類別、副類別、標(biāo)題、摘要)中學(xué)習(xí)新聞的統(tǒng)一表示。同一新聞中不同的詞可能具有不同的信息量,比如表1中“championship”就要比“fans”更重要,所以采用注意力機(jī)制學(xué)習(xí)不同單詞的重要性。此外,不同類別的信息具有不同的特點(diǎn),比如主題類別和副類別就是一個(gè)單詞的標(biāo)簽,標(biāo)題則短而簡(jiǎn)潔,摘要較為詳細(xì),基于此對(duì)不同類別的信息要用不同的方法進(jìn)行處理。本文利用注意力機(jī)制和基于多視角學(xué)習(xí)的方法將每一種信息作為新聞的一個(gè)視角來(lái)學(xué)習(xí)新聞的統(tǒng)一表示,新聞編碼器整體模型如圖2所示,四種不同的信息對(duì)應(yīng)模型中的四個(gè)部分。

2.1.1主題類別編碼器

新聞編碼器中的第一部分組件是主題類別編碼器,用于從新聞的分類中學(xué)習(xí)到新聞表示。在許多新聞網(wǎng)站上,都會(huì)對(duì)新聞進(jìn)行類別標(biāo)記,比如“體育”“軍事”等,這些是可以獲得用戶興趣的重要信息。一個(gè)經(jīng)常瀏覽“軍事”類新聞的用戶對(duì)這方面肯定是感興趣的,因此從新聞的主題類別中學(xué)習(xí)信息。主題類別編碼器的輸入是類別vc的ID,其首先經(jīng)過一個(gè)類別嵌入層,將類別的離散ID轉(zhuǎn)化為低緯度的全連接表示,用bc表示;之后,將其再經(jīng)過一個(gè)全連接層用來(lái)學(xué)習(xí)主題類別的隱性表示,輸出ec表示如下：

ec=ReLU(Pc×bc+pc)

(1)

式中：Pc、pc均是全連接層的參數(shù),ReLU是非線性激活函數(shù)。

2.1.2副類別編碼器

第二部分組件是新聞的副類別編碼器,它與主題類別編碼器類似,可以從新聞被標(biāo)記的副類別信息中學(xué)習(xí)新聞特征,并能夠更進(jìn)一步地縮小用戶的興趣范圍。比如喜歡主題類別為“體育”的用戶,最經(jīng)常瀏覽的新聞副類別是“籃球_NBA”,那么向其推薦足球類的體育新聞可能就不是用戶想要的了。由于主題類別和副類別通常都是一個(gè)單詞來(lái)表示,因此采用的編碼器方法也類似,輸入副類別vsc的ID,經(jīng)歷與主題類別編碼器相似的操作得到最終輸出esc,其公式表示如下：

esc=ReLU(Psc×bsc+psc)

(2)

式中：Psc、psc均是全連接層的參數(shù)。

2.1.3標(biāo)題編碼器

(3)

(4)

式中：Pt、pt均是訓(xùn)練參數(shù);qt是注意力向量。

最終,通過三層的標(biāo)題編碼器,得到了新聞標(biāo)題的最終表示et,公式如下：

(5)

2.1.4摘要編碼器

最終,通過三層的摘要編碼器,得到新聞?wù)淖罱K表示ea,公式如下：

(6)

2.1.5注意力機(jī)制

通過新聞編碼器的四個(gè)組件,得到從不同信息中學(xué)習(xí)的新聞表示,將它們簡(jiǎn)單地相加作為新聞編碼器的最終表示不是最理想的結(jié)果,因?yàn)樾侣劦牟煌悇e的信息具有的信息量可能是不同的。例如,表1中舉例的新聞標(biāo)題“LA rivalry takes on new meaning for fans as Lakers, Clippers in hunt for NBA championship”描述了NBA球隊(duì)湖人和快船的爭(zhēng)冠競(jìng)爭(zhēng),含有的信息是較為豐富的,但例如“The Absolute Best One-piece Bathing Suits of 2019”這樣的新聞標(biāo)題含有的信息就較為模糊了,對(duì)于這條新聞來(lái)說(shuō)摘要和主題類別的權(quán)重就要占比高一些?；诖?采用注意力機(jī)制模擬不同類型的新聞信息的信息量,以便于更好地學(xué)習(xí)新聞表示。將新聞的主題類別、副類別、標(biāo)題和摘要的注意力權(quán)重分別表示為αc、αsc、αt、αa,以主題類別的計(jì)算公式為例,公式如下：

(7)

式中：Ot、ot是訓(xùn)練參數(shù)、qe是注意力向量,使用類似的方法,可以求得副類別、標(biāo)題和摘要的注意力權(quán)重αsc、αt、αa。

最終,利用求得的注意力權(quán)重,新聞編碼器所學(xué)習(xí)的新聞表示的輸出表示為：

e=αcec+αscesc+αtet+αaea

(8)

2.2 用戶編碼器

用戶編碼器的作用是從用戶瀏覽過的新聞中學(xué)習(xí)到用戶表示,這對(duì)于提高新聞推薦的準(zhǔn)確度來(lái)說(shuō)至關(guān)重要。由于新聞是具有高度時(shí)效性的,用戶的興趣也是隨著時(shí)間在改變的,無(wú)論是只從用戶瀏覽的整段歷史還是最近的歷史來(lái)學(xué)習(xí)用戶表示都是不夠充分的,比如一名用戶可能從很早開始就瀏覽“體育”類的新聞,推薦給他體育類新聞效果很好,但他最近瀏覽“軍事”類新聞的次數(shù)非常多,這時(shí)就不能只專注于推薦用戶的長(zhǎng)期興趣體育類新聞,對(duì)于新聞推薦來(lái)說(shuō)能夠同時(shí)學(xué)習(xí)用戶長(zhǎng)期愛好和短期興趣表示的方法取得的效果較好[9]。本文通過融合了基于注意力機(jī)制的多視角學(xué)習(xí)方法改進(jìn)新聞編碼器來(lái)更好地學(xué)習(xí)新聞表示,用戶編碼器的模型如圖3所示。

圖3 用戶編碼器模型

用戶的表示分為長(zhǎng)期和短期的,學(xué)習(xí)長(zhǎng)期用戶表示的方法為通過用戶ID的嵌入,用u表示用戶的id,Wu為用戶id的嵌入,長(zhǎng)期用戶表示就為ue=Wu[u]。之后,從用戶最近瀏覽過的新聞中學(xué)習(xí)用戶的短期表示,應(yīng)用門控遞歸網(wǎng)絡(luò)(GRU)來(lái)獲取新聞閱讀順序[8],將用戶的長(zhǎng)期表示作為GRU網(wǎng)絡(luò)隱藏層的初始狀態(tài)[9],用戶瀏覽過的新聞按順序表示為ni,k表示用戶瀏覽過的新聞總量,將這些新聞按順序通過新聞編碼器后得到對(duì)應(yīng)的新聞表示ei,由于改進(jìn)了新聞編碼器,因此得到的新聞表示ei是更為準(zhǔn)確的,這能夠幫助用戶編碼器更好地學(xué)習(xí)用戶的短期表示,用戶短期表示的計(jì)算公式如下：

ri=σ(Wr[hi-1,ei])

zi=σ(Wz[hi-1,ei])

gi=tanh(Wg[ri⊙hi-1,ei])

hi=zi⊙hi+(1-zi)⊙gi])

(9)

式中：σ為sigmoid函數(shù);W為GRU網(wǎng)絡(luò)的參數(shù);⊙表示同或運(yùn)算。最終,最后一個(gè)GRU網(wǎng)絡(luò)的隱藏狀態(tài)就是結(jié)合了長(zhǎng)短期的用戶表示u=hk。

2.3 模型訓(xùn)練

本文使用點(diǎn)生產(chǎn)方法來(lái)計(jì)算新聞點(diǎn)擊概率得分,這種方法被證明不論是時(shí)間效率還是性能都很好[8]。將用戶表示為u,候選新聞表示為ex,用戶點(diǎn)擊候選新聞的預(yù)測(cè)評(píng)分s就表示為s(u,nX)=uTeX。采用負(fù)采樣技術(shù)進(jìn)行模型訓(xùn)練的效果較好[16],本文也使用這種方法進(jìn)行模型訓(xùn)練。用戶瀏覽過的新聞視為正樣本y+,對(duì)于每一個(gè)正樣本都隨機(jī)抽取同一印象中未被該用戶點(diǎn)擊的k條新聞作為負(fù)樣本y-,使模型聯(lián)合預(yù)測(cè)正樣本和負(fù)樣本的點(diǎn)擊概率得分s,這樣新聞?lì)A(yù)測(cè)問題就轉(zhuǎn)化為分類問題,使用softmax函數(shù)標(biāo)準(zhǔn)化這些點(diǎn)擊概率來(lái)計(jì)算正樣本的點(diǎn)擊概率,公式如下：

(10)

由于不是所有用戶都有長(zhǎng)期表示,比如沒有長(zhǎng)期瀏覽歷史的新用戶,所以在訓(xùn)練時(shí)以一定的概率p隨機(jī)屏蔽用戶的長(zhǎng)期表示可以更好地提高模型性能[9],并且達(dá)到更接近于真實(shí)環(huán)境的目的,因此用戶的長(zhǎng)期表示可以改為：

ue=M×Wu[u],M～B(1,1-p)

(11)

式中：M為服從B(1,1-p)的伯努利分布。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證改進(jìn)后的方法是否能夠提高新聞推薦的效果,本文設(shè)計(jì)了一系列對(duì)比實(shí)驗(yàn)。首先對(duì)實(shí)驗(yàn)設(shè)置進(jìn)行說(shuō)明,然后探究改進(jìn)后的模型與其他方法的效果對(duì)比,最后驗(yàn)證融合了多視角學(xué)習(xí)方法改進(jìn)新聞編碼器的有效性。

3.1 實(shí)驗(yàn)設(shè)置

3.1.1數(shù)據(jù)集

為了驗(yàn)證新聞推薦的效果提升,本實(shí)驗(yàn)使用真實(shí)世界的新聞數(shù)據(jù)集MIND數(shù)據(jù)集[17],這是微軟公司從微軟新聞網(wǎng)站的匿名行為日志中收集的用于研究新聞推薦的大型數(shù)據(jù)集。為了提升驗(yàn)證效率,本文使用小規(guī)模的MIND數(shù)據(jù)集,數(shù)據(jù)集的詳細(xì)信息如表2和表3所示。

表2 用戶行為數(shù)據(jù)集

表3 新聞數(shù)據(jù)集

其中,用戶行為數(shù)據(jù)集的每條數(shù)據(jù)包括用戶行為ID、用戶ID、行為的時(shí)間、用戶的瀏覽歷史和用戶對(duì)新聞的行為,用戶對(duì)新聞的行為指的是用戶在此次用戶行為時(shí)間時(shí)展示給他的新聞他是否點(diǎn)擊過,點(diǎn)擊過的標(biāo)記為1,否則為0。新聞數(shù)據(jù)集的每條新聞包括新聞ID、主題分類、副分類、標(biāo)題、摘要、正文鏈接、標(biāo)題的實(shí)體信息和摘要的實(shí)體信息,這些實(shí)體信息是標(biāo)題和摘要中的一些單詞實(shí)體的類別、維基百科ID和置信度等等,便于進(jìn)行詞嵌入等操作。

3.1.2評(píng)價(jià)指標(biāo)與參數(shù)設(shè)置

本文使用預(yù)訓(xùn)練的Glove嵌入法初始化詞嵌入[18],參數(shù)設(shè)置如下：用于標(biāo)題和摘要的詞嵌入維度設(shè)置為300,主題類別和副類別嵌入維度設(shè)置為100,CNN網(wǎng)絡(luò)過濾器設(shè)置為425,窗口大小設(shè)置為3,dropout設(shè)置為0.2,設(shè)置Adam優(yōu)化模型[19],學(xué)習(xí)率設(shè)置為0.01,batchsize設(shè)置為64,每個(gè)正樣本的負(fù)樣本數(shù)設(shè)置為4,GRU單元設(shè)置為400,Attention queries設(shè)置為200。

本文采用的實(shí)驗(yàn)評(píng)價(jià)指標(biāo)是與主流方法相同的AUC(計(jì)算ROC曲線下的面積)、MRR(平均倒數(shù)秩)和nDCG(歸一化折損累計(jì)增益)。算法給用戶推薦一個(gè)新聞列表,用戶實(shí)際點(diǎn)擊的新聞越靠前,則表明推薦準(zhǔn)確度越高,推薦效果越好,上述指標(biāo)的數(shù)值也會(huì)越大。

3.2 與其他方法對(duì)比實(shí)驗(yàn)及結(jié)果分析

本文將提出的方法與其他幾種作為基線的主流方法進(jìn)行對(duì)比,以此來(lái)驗(yàn)證改進(jìn)后的方法能夠提升推薦效果。

(1) LibFM[20]：將矩陣分解法應(yīng)用于推薦系統(tǒng)中,從瀏覽的新聞標(biāo)題中提取的TF-IDF特征和主題類別、副類別歸一化計(jì)數(shù)獲取用戶特征,之后再與新聞特征連接作為推薦總輸入。

(2) DeepFM[21]：結(jié)合了因子分解機(jī)(FM)和深層神經(jīng)網(wǎng)絡(luò),與LibFM特性相同。

(3) CNN[22]：利用卷積神經(jīng)網(wǎng)絡(luò)和最大化池相結(jié)合,從最顯著的特征中獲取新聞表示。

(4) DKN[7]：結(jié)合了知識(shí)圖譜中的信息,包含了卷積神經(jīng)網(wǎng)絡(luò)和用戶瀏覽新聞歷史注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)。

(5) NPA[23]：使用個(gè)性化注意力機(jī)制,用卷積神經(jīng)網(wǎng)絡(luò)從新聞標(biāo)題中學(xué)習(xí)新聞表示,根據(jù)用戶點(diǎn)擊歷史學(xué)習(xí)用戶表示并使用單詞級(jí)和新聞級(jí)的個(gè)性化注意力機(jī)制捕捉不同用戶的信息。

(6) NRMS[24]：提出了一種多頭部自我注意力機(jī)制的方法從新聞和用戶瀏覽歷史中學(xué)習(xí)新聞表示和用戶表示。

(7) LSTUR[9]：一種結(jié)合了用戶長(zhǎng)期和短期表示的新聞推薦方法,利用卷積神經(jīng)網(wǎng)絡(luò)從新聞的標(biāo)題中學(xué)習(xí)新聞表示,從用戶信息中學(xué)習(xí)長(zhǎng)期表示,利用GRU網(wǎng)絡(luò)從最近瀏覽的新聞中學(xué)習(xí)短期表示。

雖然以上提到的方法論文中所使用的數(shù)據(jù)集與本文不同,但其所用的新聞數(shù)據(jù)中的新聞標(biāo)題、分類和用戶行為數(shù)據(jù)中的用戶點(diǎn)擊新聞歷史等,MIND數(shù)據(jù)集都包括。故通過對(duì)以上這些論文中提到的方法進(jìn)行復(fù)現(xiàn),使用本文方法相同的數(shù)據(jù)集和同樣的評(píng)價(jià)指標(biāo)得到的推薦結(jié)果展示在表4中。

表4 不同方法的新聞推薦結(jié)果

推薦結(jié)果表明,首先CNN、DKN等使用了神經(jīng)網(wǎng)絡(luò)的推薦方法比LibFM、DeepFM這樣的采用傳統(tǒng)矩陣分解方法的推薦效果要好,體現(xiàn)出采用神經(jīng)網(wǎng)絡(luò)能夠比傳統(tǒng)的矩陣分解更好地從數(shù)據(jù)中學(xué)習(xí)到新聞表示和用戶表示;其次,采用結(jié)合用戶長(zhǎng)期和短期表示的LSTUR方法的推薦效果比其他只學(xué)習(xí)一種用戶表示的方法的推薦效果要更好,這說(shuō)明融合多視角學(xué)習(xí)的方法能夠更好地獲得用戶表示,并應(yīng)用于新聞推薦中。

最后,從表4中可以看出本文改進(jìn)的方法比其他的基線方法的效果更好,說(shuō)明如果只從新聞標(biāo)題中學(xué)習(xí)新聞表示是不夠充分的,并不能提供最好的推薦效果。本文的方法從新聞的主題類別、副類別、標(biāo)題和摘要中聯(lián)合學(xué)習(xí),應(yīng)用注意力機(jī)制選出最重要的信息,以此獲得更具信息量的新聞表示,并將之應(yīng)用到基于長(zhǎng)短期用戶表示的方法中進(jìn)一步改善推薦的效果。

3.3 驗(yàn)證改進(jìn)新聞表示有效性的實(shí)驗(yàn)

首先,采用消融實(shí)驗(yàn)的方法進(jìn)行了幾個(gè)對(duì)比實(shí)驗(yàn)驗(yàn)證加入不同類型的信息對(duì)提高學(xué)習(xí)新聞表示效果的有效性,對(duì)比實(shí)驗(yàn)的結(jié)果如圖4所示。

圖4 使用不同類型信息的對(duì)比實(shí)驗(yàn)圖

可以看出,使用單一類型的學(xué)習(xí)新聞表示方法,摘要和標(biāo)題的效果要比主題類別和副類別要好,因?yàn)檎蜆?biāo)題中含有的信息量較為豐富,能夠更為細(xì)致準(zhǔn)確地反映出用戶的閱讀興趣;而摘要的信息量又比標(biāo)題更豐富,因此在只使用單一類型信息中用摘要學(xué)習(xí)新聞表示的效果是最好的。但不論是哪一類信息,都能夠提供一定的信息量來(lái)學(xué)習(xí)新聞表示,因此把四種類型的信息結(jié)合起來(lái)才可以取得最好的實(shí)驗(yàn)結(jié)果。

之后,繼續(xù)采用消融實(shí)驗(yàn)的方法驗(yàn)證新聞編碼器中兩個(gè)注意力機(jī)制網(wǎng)絡(luò)的有效性,實(shí)驗(yàn)的結(jié)果如圖5所示。

本文在新聞編碼器中使用了兩種注意力機(jī)制,一種是從新聞標(biāo)題和摘要信息中獲取新聞表示時(shí),使用詞級(jí)注意力網(wǎng)絡(luò)來(lái)獲取標(biāo)題和摘要中的重要詞匯,另一種是將主題類別、副類別、標(biāo)題和摘要四類信息進(jìn)行聯(lián)合學(xué)習(xí)時(shí)用到的注意力機(jī)制。從圖5中可以看出,應(yīng)用聯(lián)合學(xué)習(xí)的注意力機(jī)制比應(yīng)用詞級(jí)注意力網(wǎng)絡(luò)的效果要好,其原因?yàn)椴煌侣劦乃念惒煌畔⒌呢S富程度不一樣,比如有的新聞標(biāo)題很模糊,而有的新聞標(biāo)題就已經(jīng)把新聞概括的很好。這兩種注意力機(jī)制都對(duì)更好地學(xué)習(xí)新聞表示有所幫助,因此將它們共同使用可以達(dá)到更好的效果。

最后,驗(yàn)證學(xué)習(xí)不同類型的用戶表示對(duì)推薦結(jié)果的影響,實(shí)驗(yàn)的結(jié)果如圖6所示。

圖6 不同類型用戶表示的對(duì)比實(shí)驗(yàn)

可以看出,不論是用戶的長(zhǎng)期表示還是短期表示都可以提高推薦結(jié)果,與此同時(shí),只使用短期用戶表示比只使用長(zhǎng)期用戶表示的結(jié)果更好,其原因?yàn)橛脩舻臑g覽歷史較少導(dǎo)致長(zhǎng)期用戶表示所包含的信息不夠豐富,最終實(shí)驗(yàn)結(jié)果也驗(yàn)證了結(jié)合長(zhǎng)短期用戶興趣來(lái)學(xué)習(xí)用戶表示的方法達(dá)到的推薦效果是較為理想的。

綜上所述,在MIND數(shù)據(jù)集上,使用基于用戶長(zhǎng)短期興趣的方法學(xué)習(xí)用戶表示,使用基于多視角學(xué)習(xí)的方法從不同類別的信息匯總學(xué)習(xí)新聞表示,相比于基線方法可以提升新聞推薦的AUC、MRR和nDCG指標(biāo)。

4 結(jié) 語(yǔ)

本文提出了一種融合多視角學(xué)習(xí)和長(zhǎng)短期用戶表示的新聞推薦方法,在結(jié)合用戶長(zhǎng)期表示和短期表示的同時(shí)從新聞的主題類別、副類別、標(biāo)題和摘要中聯(lián)合學(xué)習(xí)新聞表示。在新聞編碼器中使用基于注意力機(jī)制的多視角學(xué)習(xí)方法,將主題類別、副類別、標(biāo)題和摘要這四類新聞信息看作不同的視角,并應(yīng)用注意力機(jī)制獲取其中重要的信息類型和詞匯。用戶編碼器則使用的是基于長(zhǎng)短期用戶表示的方法,通過改進(jìn)的新聞編碼器學(xué)習(xí)到的新聞表示來(lái)提升獲取的短期用戶表示,并進(jìn)一步提升用戶編碼器效果。在真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn)表明,相比于其他基線方法,該方法可以有效提高新聞推薦的結(jié)果。