王 璇 杜宇超 杜 軍 鄒 軍

(1.南京信息職業(yè)技術(shù)學(xué)院電子信息工程學(xué)院，江蘇 南京 210023；2.加州大學(xué)圣地亞哥分校電子與計算機工程系，圣地亞哥CA 92093；3.中興通訊股份有限公司，廣東 深圳 518057；4.清華大學(xué)電機工程與應(yīng)用電子技術(shù)系，北京 100084)

在如今的互聯(lián)網(wǎng)時代，電子商務(wù)市場迅速發(fā)展，出現(xiàn)了品種繁多的推薦系統(tǒng)，這與大量互聯(lián)網(wǎng)用戶對個性化信息日益增長的需求密不可分。許多電子商務(wù)企業(yè)抓住這個機會，在大數(shù)據(jù)分析的基礎(chǔ)上，再運用數(shù)學(xué)模型和相關(guān)高級算法，推出能夠預(yù)測用戶喜好的產(chǎn)品推薦系統(tǒng)，吸引了更多潛在客戶以實現(xiàn)盈利的目的[1]。例如，美國媒體服務(wù)公司NETFLIX已將其在線電影和電視節(jié)目流數(shù)據(jù)應(yīng)用到在線用戶平臺的推薦系統(tǒng)中，實現(xiàn)了可觀的播放量增長以及用戶會員比例上升[2]。本文基于機器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)，在MATLAB 環(huán)境中使用優(yōu)化算法來研究更加可靠的適用于NETFLIX 平臺的電影推薦系統(tǒng)。數(shù)據(jù)集中包含9000 部NETFLIX 電影的歷史評分，算法應(yīng)用了兩種核心方法——高效處理數(shù)據(jù)的“矩陣分解(Matrix Factorization，MF)模型”，以及用于訓(xùn)練目的的“隨機梯度下降(Stochastic Gradient Descent，SGD)算法”。研究最終結(jié)論為使用動態(tài)偏置的MF 模型，在數(shù)據(jù)集與特征數(shù)量遠小于一般市場所用的情況下，可將推薦系統(tǒng)的預(yù)測準(zhǔn)確度提高3.3%，從而為NETFLIX 客戶提供令人信服的個性化電影推薦。

1 算法與模型

1.1 稀疏數(shù)據(jù)結(jié)構(gòu)

一般情況下，所有用戶對電影的實際評分值由一個普通的U×M評分矩陣存放，U表示用戶數(shù)量，M表示電影數(shù)量。由于對電影進行評價的用戶數(shù)量有限，并且每位用戶可能只對有限的電影進行打分，因此該評分矩陣中的大多數(shù)評分值都是未知的，表1 是一個簡單的例子。所以從節(jié)約存儲空間的角度可以設(shè)計一個稀疏矩陣R來存儲實際電影評分，其中R中的每個值rum代表用戶u對電影m的評分等級(整數(shù)1～5 分)，而u和m是整數(shù)ID 號，代表特定的用戶和電影。稀疏結(jié)構(gòu)的優(yōu)點是可節(jié)省數(shù)據(jù)空間，具體來說，那些未知的評分值在稀疏舉矩陣中默認為零，所以不占用實際空間。這里的稀疏矩陣只需要3 列數(shù)據(jù):電影ID，用戶ID 和評分，如表2 所示。很明顯，正常矩陣中需要5×6＝30 個空間單位，而在稀疏矩陣中僅需要3×7＝21 個空間單位。當(dāng)影片和用戶數(shù)量足夠大時，這種存儲單位的節(jié)約量會更加顯著。

表1 一個普通評分矩陣的簡單例子

表2 一個稀疏矩陣的簡單例子

1.2 基礎(chǔ)矩陣分解模型

推薦系統(tǒng)中的數(shù)據(jù)預(yù)測方法通常有兩種——直接使用電影屬性和用戶偏好之間相關(guān)性的內(nèi)容過濾[3－4]，或者僅識別具有相似偏好用戶的協(xié)作過濾[5]。后一種方法是面向項目的，相比前一種基于內(nèi)容的方法更準(zhǔn)確[6]。因此，基于協(xié)作過濾的這一優(yōu)點，業(yè)內(nèi)已經(jīng)開發(fā)了用于分析“用戶－用戶”相似性的k最近鄰算法(k nearest neighbour，kNN)[6]和潛在因素模型[7]。kNN 實現(xiàn)簡單，但是數(shù)據(jù)庫中的稀疏性很高。另外，潛在因素模型通過復(fù)雜的代碼實現(xiàn)降低了稀疏性的負面影響，能夠更好地解決實際問題。

潛在因素模型通常使用一定量的特征因素(通常為20 個～100 個)代表用戶和電影。因素代表電影的實際特征或用戶喜歡的樣式類型。MF 模型是潛在因素模型的一種實現(xiàn)與應(yīng)用，它將預(yù)測的矩陣分解為兩個較小的因素矩陣，如圖1 所示。

圖1 矩陣分解圖示

U×M矩陣中的每個值代表用戶u(行)對電影m(列)的預(yù)測評分。將該矩陣分解為兩個維度分別為U×f和f×M因素矩陣P和Q，以簡化評級數(shù)據(jù)的存儲。f是潛在因素的數(shù)量，此處f＝2，例如因素f1與f2。具體地，它們可能代表“動作”、“喜劇”等特征。每個評分可以由從兩個因素矩陣中分別提取的兩個因素向量的乘積表示:

此處假設(shè)qm與pu都初始化為列向量。于是qm的轉(zhuǎn)置作為因素行向量表示電影m的特征分布(正或負值)，pu作為因素列向量記錄了用戶u的興趣分布(正或負值)。以下是一個簡單的示例，

公式(3)說明使用MF 的原因是有效降低了空間復(fù)雜性。

M×U是原始數(shù)據(jù)空間的大小；f?M，f?U；f×(M＋U)是應(yīng)用MF 后減小到的空間大小。

我們把以上模型稱為基礎(chǔ)MF 模型?；A(chǔ)MF 模型要求在顯式反饋條件下使用，該顯式反饋指的是用戶u在電影m上的實際評分，例如rum。如果沒有顯式反饋，則使用隱式反饋，是一種間接反映用戶偏好的方法，包括購買記錄、瀏覽歷史記錄或鼠標(biāo)移動等[8]。

1.3 隨機梯度下降算法

基于如上所述的MF 模型，使用隨機梯度下降[9]作為訓(xùn)練算法。為了減小預(yù)測誤差，在此方法中應(yīng)使用誤差方程eum。

分別求關(guān)于pu和qm的導(dǎo)數(shù)。根據(jù)導(dǎo)數(shù)結(jié)果的正或負值，添加或減少一個參數(shù)值以修改假定的。L和K均為常數(shù)，用于數(shù)據(jù)規(guī)范化，經(jīng)過預(yù)測試選取L＝0.001，K＝0.02。

值得注意的是，每個特征都應(yīng)被單獨訓(xùn)練。每次循環(huán)將在先前訓(xùn)練的所有特征找到最優(yōu)值后，生成這輪訓(xùn)練中特定特征的最優(yōu)值，以便能最大程度地減小誤差。一個完整的循環(huán)包括對固定數(shù)量的所有特征進行訓(xùn)練。

1.4 均方根誤差

基于稀疏矩陣的實際評分以及經(jīng)過SGD 算法訓(xùn)練后獲得的預(yù)測評分，有必要評估預(yù)測準(zhǔn)確度以實現(xiàn)優(yōu)化目的。最終的目標(biāo)是最大程度地減少預(yù)測誤差，從而提高預(yù)測的準(zhǔn)確度。使用均方根誤差(Root Mean Square Error，RMSE)作為評估標(biāo)準(zhǔn)。

式中，rum是實際評分值；是預(yù)測值；S是(u，m)的全集合；N是評分總個數(shù)。RMSE∈[0，1]，其中RMSE＝0 表示無誤差，RMSE 越接近1 表示準(zhǔn)確度越低。

Koren Y 和他的團隊獲得NETFLIX 獎第一名的解決方案添加了時間動態(tài)分析，并包含超過100 億個電影與用戶特征，最終得到的最小RMSE 為0.880[10]。與該團隊獲得此獎項時的市場產(chǎn)品相比，準(zhǔn)確度提高了10%。本研究的最終目標(biāo)是實現(xiàn)并繼續(xù)提高預(yù)測準(zhǔn)確度。

1.5 具有靜態(tài)偏置的MF 模型

為了對基礎(chǔ)MF 模型進行優(yōu)化，將考慮另外一個因素——偏置。如下列公式所示，μ表示所有電影的總平均評分，bm與bu分別表示對特定電影m以及固定用戶u的評分與平均水平之間的偏置。

M是已知實際評分的總數(shù)量；Nm是評價電影m的用戶數(shù)；Nu是用戶u評價的電影數(shù)量。式(8)～式(10)分別計算偏置μ、bm和bu。如公式(11)所示，是考慮了所有偏置值的預(yù)測值計算。由于μ、bm和bu偏置固定不變，所以稱為靜態(tài)偏置。

1.6 具有動態(tài)偏置的MF 模型

對于一個創(chuàng)新的SGD 算法，將偏置bm和bu首先初始化為0，與被訓(xùn)練的訓(xùn)練特征值同時進行動態(tài)訓(xùn)練，這樣在MF 模型中就形成了動態(tài)結(jié)構(gòu)。訓(xùn)練的核心思想仍然是梯度下降。

式中:m代表隨機電影，而u代表隨機用戶；L＝0.001，K＝0.02。最終，誤差eum和RMSE 的計算都應(yīng)考慮訓(xùn)練過程中的動態(tài)偏置值。

2 算法訓(xùn)練

本研究的數(shù)據(jù)集包括了2 649 429 位NETFLIX用戶，訓(xùn)練過程一共需經(jīng)過120 輪循環(huán)。每次全新獨立的訓(xùn)練過程都包含四個基本設(shè)置參數(shù)，分別是MF 模型的類型、用戶數(shù)量、電影數(shù)量和特征數(shù)量。MF 模型有三種不同的類型:基礎(chǔ)MF 模型、具有靜態(tài)偏置的模型(靜態(tài)MF 模型)和具有動態(tài)偏置的模型(動態(tài)MF 模型)。默認情況下特征數(shù)量為40[9]，并且所有用戶特征值和電影特征值即因素矩陣P和Q中的所有數(shù)據(jù)都統(tǒng)一初始化為0.1。

訓(xùn)練評估應(yīng)將數(shù)據(jù)集分為訓(xùn)練集(隨機選擇90%)和測試集(10%)。訓(xùn)練集用于算法的實現(xiàn)，得到可靠的MF 模型；測試集旨在檢查訓(xùn)練結(jié)果的真實準(zhǔn)確度，并檢驗算法與模型的可靠性。訓(xùn)練集和測試集都應(yīng)生成RMSE，訓(xùn)練集的RMSE 旨在證明SGD 的功能性，而測試集的RMSE 則用于評估其功能性的實際表現(xiàn)。每次循環(huán)訓(xùn)練或測試都應(yīng)該產(chǎn)生一個RMSE 值，在所有訓(xùn)練或測試結(jié)束之后，以循環(huán)次數(shù)為橫坐標(biāo)軸、RMSE 為縱坐標(biāo)軸繪制結(jié)果曲線圖。

2.1 訓(xùn)練步驟

根據(jù)前面算法和模型，設(shè)計對數(shù)據(jù)集的訓(xùn)練步驟如下:

(1)固定一個特征因素fn，n的初始值為1；

(2)基于特征因素fn；

(a)遍歷實際評分矩陣R中所有用戶對所有電影的實際評分值，每次遍歷得到第u位用戶對第m部電影的評分rum；

(b)對第u位用戶、第m部電影，根據(jù)公式(1)計算預(yù)測評分值；

(c)在中添加靜態(tài)偏向值——計算對應(yīng)電影m的偏向值bm，計算對應(yīng)用戶u的偏向值bu

(d)根據(jù)公式(4)得到誤差eum；

(e)應(yīng)用隨機梯度下降算法，根據(jù)式(5)、式(6)更新對應(yīng)電影m的特征向量qm、對應(yīng)用戶u的特征向量pu；

(f)使用新的特征值計算特征因素fn下第u位用戶對第m部電影的預(yù)測評分值rum；

(3)進入下一個特征因素fn＋1，重復(fù)(2)，直至計算出所有的特征因素下所有用戶對所有電影的預(yù)測評分值rum；

體育活動能夠增強運動者的體魄、舒緩運動者壓力以及促進運動者身心健康發(fā)展。由于體育活動是一個長期過程，因此，要提高體育運動的效果，就必須“從小開始”，即必須注重對小學(xué)生的體育行為與習(xí)慣的教育。近年來隨著新課標(biāo)的貫徹落實，小學(xué)體育學(xué)科教學(xué)得到了快速的發(fā)展。在新時代背景下進一步明確體育學(xué)科教學(xué)發(fā)展方向并進行實踐創(chuàng)新，是進一步推動小學(xué)體育學(xué)科教學(xué)發(fā)展的重要保障。

(4)總共重復(fù)(1)～(3)120 次進行循環(huán)預(yù)測計算。

2.2 訓(xùn)練準(zhǔn)確性

2.2.1 不同MF 模型的比較

表3 列出了三種不同類型MF 模型的基礎(chǔ)參數(shù)，電影數(shù)量是5 000，特征數(shù)量是40，由此訓(xùn)練出的訓(xùn)練集RMSE 變化趨勢如圖2 曲線所示。

表3 圖2 基礎(chǔ)參數(shù)設(shè)置

RMSE 越小意味著預(yù)測準(zhǔn)確度越高。根據(jù)圖2，具有被訓(xùn)練偏置的動態(tài)MF 模型由于RMSE 最小(0.816)表現(xiàn)最佳，與無偏置和靜態(tài)偏置模型相比分別提高了10.4%和6.42%。因為偏置的添加會讓電影受歡迎程度或用戶偏好程度明確體現(xiàn)在預(yù)測評分值中。而偏置經(jīng)過迭代動態(tài)訓(xùn)練，會更加突出這些個性化程度。

圖2 三種MF 模型的訓(xùn)練集RMSE

圖3 顯示了三種不同類型MF 模型分別針對訓(xùn)練集與測試集RMSE 值的變化趨勢對比，表4 則列出了圖3 中所有情況下的RMSE 終值。

圖3 訓(xùn)練集與測試集RMSEs

表4 不同模型設(shè)置下RMSE 的終值

根據(jù)表4 中數(shù)據(jù)進行如下計算，以對比不同MF模型對應(yīng)的RMSE 值即預(yù)測準(zhǔn)確度。

(2)動態(tài)模型訓(xùn)練集相比靜態(tài)模型訓(xùn)練集RMSE 值減少百分比:

(3)測試集相比訓(xùn)練集RMSE 值平均增加百分比:

(4)靜態(tài)模型測試集相比基礎(chǔ)模型測試集RMSE 值減少百分比:

(5)動態(tài)模型測試集相比靜態(tài)模型測試集RMSE 值減少百分比:

測試集的RMSE 平均比訓(xùn)練集的RMSE 大6.45%。這種準(zhǔn)確度的降低是正?，F(xiàn)象，同時表明該算法是可靠的，因為測試和訓(xùn)練集之間的準(zhǔn)確度差異小于10%，即6.45%<10%。此外表4 顯示，經(jīng)過訓(xùn)練的偏置與靜態(tài)偏置相比，靜態(tài)偏置與沒有偏置相比，分別將測試集的預(yù)測準(zhǔn)確度提高了3.74%和11.3%，證明了動態(tài)MF 模型能有效地提高推薦系統(tǒng)的預(yù)測準(zhǔn)確度。

2.2.2 動態(tài)MF 模型中不同特征數(shù)量的比較

表5 列出了訓(xùn)練動態(tài)MF 模型時不同特征數(shù)量的基礎(chǔ)參數(shù)設(shè)置，電影數(shù)量為5 000，特征數(shù)量為20、40、80、160。

表5 圖4 基礎(chǔ)參數(shù)設(shè)置

依據(jù)圖4 中4 種不同特征數(shù)量設(shè)置下的訓(xùn)練集RMSE 變化趨勢，表6 列出對應(yīng)的訓(xùn)練集與測試集的RMSE 終值。

圖4 不同特征數(shù)量的訓(xùn)練集RMSEs

表6 不同特征數(shù)量的訓(xùn)練集RMSE 終值

根據(jù)表6 中數(shù)據(jù)，相關(guān)RMSE 值比較如下:

(1)訓(xùn)練集中特征數(shù)量成倍增加時RMSE 值減少百分比:

(2)測試集中特征數(shù)量成倍增加時RMSE 值減少百分比:

不同特征數(shù)量對應(yīng)的訓(xùn)練集RMSE 值曲線見圖4。隨著特征數(shù)量的增加，RMSE 減小，這意味著更多特征可以更準(zhǔn)確地描述電影屬性和用戶興趣。但是，總結(jié)了詳細RMSE 值的表6 指出，在訓(xùn)練和測試中，特征增加只會稍微提高準(zhǔn)確度。經(jīng)過計算，翻倍的特征數(shù)量僅能夠使RMSE 減少最多1%，說明特征數(shù)量增多對預(yù)測準(zhǔn)度的提高影響細微。但可以觀察到，隨著翻倍次數(shù)增多，RMSE 減少百分比呈類指數(shù)性增長。所以，針對特征數(shù)量對預(yù)測準(zhǔn)確度的影響，只有設(shè)定大量特征數(shù)量供訓(xùn)練驗證，比如500 個～1 000 個特征，才有可能實現(xiàn)較顯著的準(zhǔn)確度提高。但實際上，復(fù)雜化的特征數(shù)量設(shè)置會大大增加執(zhí)行時間，從而降低了推薦系統(tǒng)的實用性。所以特征數(shù)量不需過大，通過試驗進行利弊權(quán)衡，找到合適的數(shù)值即可。

2.2.3 數(shù)據(jù)集中包含不同電影數(shù)量的比較

表7 列出了動態(tài)MF 模型訓(xùn)練時不同電影數(shù)量的基礎(chǔ)參數(shù)設(shè)置，電影的數(shù)量為1 000、2 000、5 000、9 000，特征數(shù)量固定為40。

表7 圖5 基礎(chǔ)參數(shù)設(shè)置

不同電影數(shù)量的訓(xùn)練集RMSE 變化曲線見圖5，圖中說明訓(xùn)練更多電影預(yù)測準(zhǔn)確度會更高。

表8 是依據(jù)圖5 的不同電影數(shù)量的訓(xùn)練集RMSE 列出的4 種不同電影數(shù)量的訓(xùn)練集及測試集RMSE 終值。

表8 不同電影數(shù)量的RMSE 終值

圖5 不同電影數(shù)量的訓(xùn)練集RMSE

根據(jù)表8，不同電影數(shù)量的RMSE 數(shù)據(jù)比較如下:

(1)訓(xùn)練集中電影數(shù)量從1 000 到5 000，每增加1 000 部時RMSE 值平均減少百分比:

訓(xùn)練集中電影數(shù)量從5 000 到9 000，每增加1 000 部時RMSE 值平均減少百分比:

(2)測試集中電影數(shù)量從1 000 到5 000，每增加1 000 部時RMSE 值平均減少百分比:

測試集中電影數(shù)量從5 000 到9 000，每增加1 000 部時RMSE 值平均減少百分比:

根據(jù)表8，在數(shù)據(jù)集中每增加1 000 部電影，訓(xùn)練和測試中RMSE 總體下降平均都只有約1%，而當(dāng)電影數(shù)量持續(xù)增大時，下降幅度甚至都小于0.1%。因此，累計增加的電影數(shù)量越多，盡管預(yù)測準(zhǔn)確度會有效提高，但增加幅度會逐次遞減，這與增加數(shù)量導(dǎo)致的運行內(nèi)存與時間增長相比，弊遠大于利。當(dāng)然，如果擁有高性能處理器的計算機，就能夠解決運行內(nèi)存的瓶頸，增加包含特征數(shù)量與電影數(shù)量等訓(xùn)練參數(shù)則可以有效提高推薦系統(tǒng)的準(zhǔn)確度。

此外，表中存在一個例外結(jié)果:將電影編號從1 000 增加至2 000 時，訓(xùn)練集的RMSE 增加而不是減少。這可能是由于，增加的1 000 部電影的所有特征值在訓(xùn)練過后仍然相同或仍為初始值而導(dǎo)致的。添加的1 000 部電影(第1 001 部到第2 000 部電影)可能都具有相似的特征屬性，而它們的真實特征值可能都遠大于或遠小于初始值0.1。因此，即使經(jīng)過一些訓(xùn)練，預(yù)測的特征值仍然與其真實值相差很遠，所以準(zhǔn)確度仍然很低，甚至低于電影數(shù)量更少的情況。更多的訓(xùn)練次數(shù)可能會解決這個問題。另外，新增的1 000 部電影可能都是新電影，幾乎沒有用戶提供實際的評分數(shù)據(jù)，所以他們無法在訓(xùn)練中體現(xiàn)他們的特征偏置。

值得一提的是，NETFLIX 獎獲勝者Y.Koren 團隊的推薦系統(tǒng)對比使用了多種方法，包括靜態(tài)偏置的MF 模型、隱式反饋模型以及多種時間動態(tài)模型，最終測試集得到的最優(yōu)RMSE 為0.880[10－12]。從表9 中可看出，其最優(yōu)RMSE 值對應(yīng)的參數(shù)設(shè)置包含上億級的特征數(shù)量，其使用的數(shù)據(jù)集包含了全部(1.8 萬)NETFLIX 電影。而本文最終選取的擁有最高推薦準(zhǔn)確度的數(shù)據(jù)集僅僅使用了40 個特征和9 000 部電影，該數(shù)據(jù)模型最終卻實現(xiàn)了將測試集的RMSE 降低到0.851。與獲獎?wù)呦啾?，預(yù)測準(zhǔn)確度提高了3.3%。

表9 不同推薦系統(tǒng)訓(xùn)練模型準(zhǔn)確度對比

總之，SGD 算法以及動態(tài)MF 模型可以在數(shù)據(jù)有限的條件下，為用戶提供更準(zhǔn)確的推薦。

2.3 特征分布

圖6(a)和(b)分別顯示了基于5 000 部電影和9 000 部電影在動態(tài)MF 模型、40 個特征設(shè)置下隨機選擇10 個電影的特征預(yù)測分布。包含更多電影的訓(xùn)練使得隨機選擇的電影在二維坐標(biāo)中分布在更準(zhǔn)確的特征位置。圖中，X軸表示“喜劇”特征值，兩部喜劇?Forbidden Zone?和?Blow Dry?在X軸上顯然為正。另一個特征值是“幻想主義”，其中驚悚片?Under Siege?在Y軸上出現(xiàn)在較大正值區(qū)域，而紀錄片?Dinosaur Planet? 和?Last of the Mississippi Jukes?則明顯在Y軸負值區(qū)域。以上表明，基于動態(tài)MF 模型的SGD 算法能比較準(zhǔn)確地預(yù)測各類型電影的具體特征。

圖6 特征分布

3 結(jié)論

本文基于NETFLIX 平臺9 000 部電影的用戶評分數(shù)據(jù)集，在MATLAB 環(huán)境中研究了一個可靠的電影推薦系統(tǒng)。此推薦系統(tǒng)有效預(yù)測計算了電影的觀眾評分，在數(shù)據(jù)集與特征數(shù)量遠遠小于一般市場所用的情況下，將預(yù)測準(zhǔn)確度提高了3.3%。動態(tài)MF 作為簡化的數(shù)據(jù)模型可以高效地處理數(shù)據(jù)。同時，基于具有動態(tài)偏置的MF 模型的SGD 訓(xùn)練算法設(shè)計可用于提高推薦系統(tǒng)的預(yù)測準(zhǔn)確度。此外，提高推薦準(zhǔn)確度的潛在方法是通過設(shè)置適當(dāng)數(shù)量的特征并擴大電影范圍。最終，每位用戶都可以獲得具有其個人最高預(yù)期評分、可靠的個性化電影推薦。