董露露, 馬 寧

(安徽開放大學(xué),安徽 合肥 230022)

0 引 言

互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展為用戶上網(wǎng)查閱各類信息提供了便利,同時(shí)也帶來不少問題,如 “信息過載”、“信息爆炸”等。若用戶自行在 “信息堆”中篩選出所需的信息,無疑是大海撈針,需要耗費(fèi)大量的時(shí)間和精力,不利于信息的快速查閱使用,至此,推薦系統(tǒng)應(yīng)運(yùn)而生[1-2]。推薦系統(tǒng)雖然能夠解決信息過載問題,但同時(shí)也面臨 “冷啟動”、“稀疏性”問題,導(dǎo)致推薦效果不佳。近30年來,深度學(xué)習(xí)不但在圖像處理、語音識別等領(lǐng)域上有了新的突破,在推薦系統(tǒng)中也取得了一定成效。如王俊淑等人(2018)在深度學(xué)習(xí)的基礎(chǔ)上,對推薦算法及其趨勢進(jìn)行了探討,并構(gòu)建一種更能滿足用戶偏好的模型[3],以此提高推薦系統(tǒng)性能。馮楚瀅等人(2019)針對推薦系統(tǒng)存在的數(shù)據(jù)稀疏問題,提出了協(xié)同深度學(xué)習(xí)推薦算法,并通過實(shí)驗(yàn)對比證明了協(xié)同深度學(xué)習(xí)推薦算法不僅能夠有效緩解數(shù)據(jù)稀疏問題,還可以提高推薦系統(tǒng)的推薦精度[4]?；谏鲜龇治?本文將在深度學(xué)習(xí)的基礎(chǔ)上,探尋出更為適用推薦系統(tǒng)的推薦方法,從整體上提高推薦效果。

1 相關(guān)原理概述

1.1 協(xié)同過濾推薦方法中的概率矩陣分解原理

雖然通過矩陣分解的方式可以解決新用戶存在評分記錄缺失的問題,但是面對評價(jià)較少的用戶其效用則不容樂觀。因此,借助貝葉斯法則,在矩陣分解的基礎(chǔ)上提出了概率矩陣分解方法,該方法在面對數(shù)據(jù)集失衡和稀疏問題時(shí),依然能夠給出行之有效的推薦。其原理是基于數(shù)據(jù)分布相關(guān)內(nèi)容對模型參數(shù)θ進(jìn)行修改,相應(yīng)的葉貝斯公式如式(1)所示。

式(1)中,實(shí)驗(yàn)用數(shù)據(jù)集由X 表示,超參數(shù)由α表示。

1.2 降噪自編碼器原理

在深度學(xué)習(xí)方法中,自編碼器雖然能夠?qū)斎霐?shù)據(jù)進(jìn)行復(fù)制,但是其特征卻無法得到有效保障[5]。若僅在輸入與輸出間的誤差做文章,以完成對模型的訓(xùn)練工作,那么會出現(xiàn)自編碼器的過擬合問題。為了避免這一問題的發(fā)生,可在輸入層中添加噪聲,即通過 “損壞”一部分輸入數(shù)據(jù)方式,生成降噪自編碼器。降噪自編碼器與自編碼器相同,均由一個(gè)輸入層、一個(gè)隱層以及一個(gè)輸出層組成,二者唯一的區(qū)別在于數(shù)據(jù)使用層面。對自編碼而言,其使用的是原始數(shù)據(jù),而對于降噪自編碼器而言,使用的是 “損壞”數(shù)據(jù)。輸入數(shù)據(jù)被 “損壞”后,進(jìn)行編碼解碼,獲取完好的原始數(shù)據(jù),如此可增強(qiáng)編碼器的魯棒性。

1.3 降噪自編碼器訓(xùn)練過程

與自編碼器相比,降噪自編碼器訓(xùn)練過程中還引入了一個(gè) “損壞”過程（ ） ,其含義為數(shù)據(jù)樣本x生成 “損壞”樣本x~ 的概率,結(jié)束該環(huán)節(jié)處理后,便能進(jìn)行編碼解碼工作,以獲取輸出結(jié)果。其訓(xùn)練過程如圖1所示。

圖1 降噪自編碼器訓(xùn)練過程

其重構(gòu)誤差函數(shù)可由式(3)進(jìn)行表達(dá)。

1.4 堆疊降噪自編碼器原理

堆疊降噪自編碼器主要由三個(gè)部分組成:第一,一個(gè)編碼器;第二,一個(gè)解碼器;第三,多個(gè)降噪自編碼器。其原理如圖2所示。

圖2 堆疊降噪自編碼器原理

堆疊降噪自編碼器利用多個(gè)降噪編碼器對數(shù)據(jù)進(jìn)行疊加訓(xùn)練,并依照層級順序進(jìn)行非監(jiān)督學(xué)習(xí),充分展現(xiàn)了降噪自編碼器的優(yōu)勢,降低了原始數(shù)據(jù)與輸出數(shù)據(jù)間的損失,增強(qiáng)了算法的推薦效果,使數(shù)據(jù)能夠進(jìn)行抽象化表達(dá),給出用戶偏好預(yù)測結(jié)果。

2 混合推薦方法

混合推薦方法之所以能夠?qū)ξ锲肪仃嚭陀脩艟仃囘M(jìn)行有效處理,是因其融合了堆疊降噪自編碼器和概率矩陣分解,能夠通過深度學(xué)習(xí)法實(shí)現(xiàn)物品特征的深層次挖掘,同時(shí)能夠彰顯出其原有的優(yōu)勢,如評分預(yù)測等,極大程度提高了推薦算法的魯棒性。

2.1 混合推薦方法結(jié)構(gòu)設(shè)計(jì)

混合推薦方法主要由堆疊降噪自編碼器和概率矩陣分解這兩部分組成,具體如圖3所示。

圖3 堆疊降噪自編碼器結(jié)構(gòu)

堆疊降噪自編碼器是由多個(gè)降噪自編碼器堆疊而成,其可在任意層中進(jìn)行非監(jiān)督學(xué)習(xí),實(shí)現(xiàn)對數(shù)據(jù)的抽象表達(dá),并在此基礎(chǔ)上對用戶喜愛物品程度進(jìn)行預(yù)測。同時(shí),還可將其應(yīng)用于其它場景,如評分預(yù)測、文本推薦等。堆疊降噪自編碼器首先會將數(shù)據(jù)傳輸?shù)狡渲械慕翟胱跃幋a器中,其次會利用編碼器將其轉(zhuǎn)運(yùn)至隱層,最后在隱層中實(shí)現(xiàn)編碼。在概率矩陣分解中,令Rm×n代表用戶-物品的評價(jià)矩陣,其中,用戶個(gè)數(shù)由n表示,物品個(gè)數(shù)由m表示。U和V分別代表用戶矩陣和物品矩陣,σ2代表方差,那么其表達(dá)式如式(4)所示。

此時(shí),令N μ,σ（ ） 代表高斯分布的概率密度函數(shù),Iij代表指示函數(shù),μ代表均值,假如物品j受到了用戶i的評價(jià),則用數(shù)字1表示其函數(shù)值,若未進(jìn)行評價(jià),那么其函數(shù)值則為0。若用戶矩陣U與物品矩陣V之間不存在任何關(guān)聯(lián)性,那么R,U,V的概率分布情況如式子5所示。

通過以上計(jì)算公式可獲得最終的預(yù)測評分。

2.2 混合推薦方法執(zhí)行流程

由前文分析可知,混合推薦方法主要由概率矩陣分解法和堆疊降噪自編碼器組成。這兩種方法相輔相成,既能發(fā)揮出原有的優(yōu)勢,如能挖掘出物品深層次特征、給出準(zhǔn)確的預(yù)測結(jié)果等,亦能解決冷啟動和數(shù)據(jù)稀疏這一不足。混合推薦方法訓(xùn)練流程如圖4所示。

圖4 混合推薦方法訓(xùn)練流程

由圖4可以看出,混合推薦方法的執(zhí)行過程主要由概率矩陣分解模型和堆疊降噪自編碼器共同完成。其執(zhí)行流程如下:首先,借助概率矩陣分解方法對評分矩陣R進(jìn)行轉(zhuǎn)換,使之變成物品特征矩陣V和用戶特征矩陣U;其次,將預(yù)處理結(jié)束后的數(shù)據(jù)傳輸至堆疊降噪自編碼器中,進(jìn)行編碼和訓(xùn)練,而后解碼獲取物品特征矩陣V;最后,對矩陣V與矩陣U做乘法運(yùn)算,運(yùn)算得到的結(jié)果即為用戶-物品評分矩陣R。此外,為了提高推薦精度,還可使用乘法將解碼得到的隱式特征矩陣V與用戶特征矩陣U做運(yùn)算,以獲取最終的預(yù)測結(jié)果。

2.3 混合推薦方法實(shí)現(xiàn)流程

在堆疊降噪自編碼器中,通過多個(gè)堆疊自編碼器的共同作用,第n層的輸出轉(zhuǎn)變?yōu)榈趎+1層輸出,而后按照順序訓(xùn)練網(wǎng)絡(luò)的每一層。初始輸入的重構(gòu)數(shù)據(jù)源自于最后一層的輸出x~ ,該層輸出亦可視為概率矩陣分解中的物品矩陣V,使之在矩陣中繼續(xù)進(jìn)行推薦。在概率矩陣分解中,通過對用戶數(shù)據(jù)的提煉可得到用戶特征矩陣,通過堆疊降噪自編碼器可獲取物品特征矩陣,而后對這兩個(gè)矩陣做乘法運(yùn)算,實(shí)現(xiàn)對用戶興趣偏好的預(yù)測,并給出最終的推薦結(jié)果?；旌贤扑]算法的推薦流程如圖5所示。

圖5 混合推薦算法推薦流程

由圖5可以看出:首先,自編碼器會對加噪數(shù)據(jù)進(jìn)行訓(xùn)練,經(jīng)過訓(xùn)練后的數(shù)據(jù)傳輸至堆疊自編碼器中進(jìn)行處理,使之解碼得到矩陣x~ 。其次,對用戶矩陣與物品矩陣進(jìn)行內(nèi)積處理,使之成為用戶-物品評分矩陣。接著,對該矩陣進(jìn)行處理,使之成為物品隱式特征矩陣。最后,在概率矩陣中對用戶特征矩陣與物品隱式特征矩陣進(jìn)行內(nèi)積處理,獲取評分矩陣,實(shí)現(xiàn)最終的評分預(yù)測。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與評價(jià)標(biāo)準(zhǔn)

使用的實(shí)驗(yàn)數(shù)據(jù)源自亞馬遜Aurora數(shù)據(jù)庫。在該數(shù)據(jù)集中,邊緣視為購買的產(chǎn)品,節(jié)點(diǎn)視為產(chǎn)品。通常,推薦系統(tǒng)主要存在兩種評判方式:第一種是對用戶實(shí)際評分與方法預(yù)測分?jǐn)?shù)相差的大小進(jìn)行評判;第二種是對評價(jià)預(yù)測的精準(zhǔn)程度進(jìn)行預(yù)測。經(jīng)考量,最終選擇第一種評判方式作為此次研究的評價(jià)標(biāo)準(zhǔn),即選擇均方根誤差(RMSE)作為此次試驗(yàn)的評價(jià)標(biāo)準(zhǔn),對預(yù)測分?jǐn)?shù)與真實(shí)分?jǐn)?shù)間的差值進(jìn)行評估。

式(6)中,數(shù)據(jù)集的評分?jǐn)?shù)目由S表示,真實(shí)評分與預(yù)測評分分別由ri與r~i表示。令用戶特征矩陣中均值μ=0,相關(guān)超參數(shù)隱因子維度k=300。

3.2 實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)混合推薦方法的可行性,利用Aurora數(shù)據(jù)庫收集了兩個(gè)大小不等的數(shù)據(jù)集,其相關(guān)信息如表1所示。

表1 大小不等的數(shù)據(jù)集信息

為了更好體現(xiàn)混合推薦方法的可行性,與概率矩陣分解、降噪自編碼器+概率矩陣分解這兩種方法進(jìn)行了比較分析,不同推薦算法的實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同推薦算法推薦結(jié)果

圖6中,橫坐標(biāo)的數(shù)據(jù)為原始數(shù)據(jù)與預(yù)測數(shù)據(jù)間差值的絕對值,縱坐標(biāo)所給出的數(shù)據(jù)意義為差值在所有數(shù)據(jù)中的占比。從數(shù)據(jù)占比來看,提出的混合推薦算法效果明顯優(yōu)于其他兩種推薦算法。從差值情況來看,提出的混合推薦算法占比最小。三種推薦算法之中,概率矩陣分解法不論是數(shù)據(jù)占比還是差值均處于末位。綜上可知,提出的混合推薦算法是可行的,擁有較高的預(yù)測精度。

4 結(jié) 語

綜上,首先對推薦方法的原理進(jìn)行了簡要概述,為后文的寫作奠定了理論基礎(chǔ)。其次,將堆疊降噪自編碼器與概率矩陣分解法相結(jié)合,提出一種混合推薦方法,并給出混合推薦算法的執(zhí)行過程和實(shí)現(xiàn)流程。最后,通過實(shí)驗(yàn)對比發(fā)現(xiàn),所提的混合推薦算法在數(shù)據(jù)占比和差值比較方面均優(yōu)于其他兩種傳統(tǒng)推薦算法,能夠提高推薦精度,證明了該算法的可行性和有效性。