王屯屯

（四川大學計算機學院，成都 610065）

0 引言

隨著信息化的快速發(fā)展，我們已經(jīng)從信息匱乏時代轉化到了信息過載的階段，推薦系統(tǒng)是為信息提供方和信息消費者進行友好對接的一個有效方式。推薦系統(tǒng)幫助商家將自己的產(chǎn)品推銷給合適的用戶，同時也可以幫助用戶找到自己需要的商品。信息化的快速發(fā)展雖然給我們帶來了信息過載問題，但同時也為我們提供了大量的數(shù)據(jù)，這使得深度學習模型再次進入人們的視野。本文我們將利用深度學習模型為用戶進行商品推薦。

我們已經(jīng)熟知的、比較成熟的推薦算法有很多，例如基于協(xié)同過濾的推薦算法[1]、基于內(nèi)容的推薦算法[2]、基于模型的推薦算法[3]等，利用這些推薦算法都能夠給用戶推薦商品。但這些經(jīng)典的推薦算法在根據(jù)用戶歷史購買行為進行推薦時，無法考慮用戶購買商品的順序，也就是說，在一般情況下，用戶購買了一個奶粉，推薦系統(tǒng)認為用戶會同時奶粉和玩具，于是會為用戶推薦各種兒童玩具。然而實際情況是，該用戶可能幾年后才會購買玩具，現(xiàn)在沒有購買需求，不會購買推薦系統(tǒng)為其推薦的玩具商品，導致推薦系統(tǒng)準確率不高。

1 算法實現(xiàn)

假設某個用戶兩年前開始購買嬰幼兒奶粉，我們認為該用戶家庭中添加了一位寶寶。一年前開始購買適合一歲嬰兒穿的衣服，現(xiàn)在對其進行商品推薦。從用戶的歷史購物行為分析，發(fā)現(xiàn)該用戶家庭中的寶寶已經(jīng)兩歲了，我們需要為其推薦適合兩歲嬰兒的商品，例如衣服、奶粉、玩具等。傳統(tǒng)的推薦系統(tǒng)雖然也會為其推薦衣服和奶粉，但是我們提出的模型會更加準確地為其推薦適合兩歲嬰兒穿的衣服和奶粉；雖然其他推薦系統(tǒng)也會為用戶推薦玩具，但是我們的推薦算法會在合適的時間進行推薦。

本文提出的模型(LSTMBaseRec)，主要利用長短期記憶人工神經(jīng)網(wǎng)絡[4]（Long-Short Term Memory,LSTM）進行推薦。LSTM模型是一種改進的時間循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network,RNN），可以學習時間序列長短期依賴信息，由于神經(jīng)網(wǎng)絡包含時間記憶單元，比較適合于對時間序列中的間隔和延遲事件進行處理和預測。

LSTM提出四層門控制的概念，解決了長期依賴問題，分別為輸入門、忘記門、更新門和輸出門。如圖1所示。

輸入門主要包含兩部分，第一部分通過sigmoid函數(shù)決定需要輸入值，第二部分會通過tanh函數(shù)創(chuàng)建一個候選值向量并加入到狀態(tài)Ct中，計算公式如下：

圖1 LSTM四層門控制

忘記門會讀取上一層的輸入ht-1和當前時間點的輸入xt，輸出數(shù)值ft并賦值給當前神經(jīng)元的狀態(tài)Ct-1中，計算公式如下：

更新門主要用來對舊神經(jīng)元的狀態(tài)進行更新，將Ct-1改為 Ct，公式如下：

輸出門主要分為兩部分，首先利用sigmoid函數(shù)決定神經(jīng)元輸出哪個部分，接著通過tanh函數(shù)對當前狀態(tài)進行處理，并將其與第一步的輸出相乘。計算公式如下：

經(jīng)過上面的四個步驟，可以有效地對時序信息進行處理和預測。

本文采取準確性評價指標對模型進行評估，主要評價指標包括：平均準確率（MAP）和召回率（Recall）。其定義如下：

其中U表示系統(tǒng)中所有用戶的集合，hit(u)表示推薦列表中，用戶u購買的商品數(shù)量，H(u)表示用戶u購買的所有商品數(shù)量。

2 對比模型

基于物品的協(xié)同過濾算法（ItemCF）給用戶推薦與其之前喜歡的物品相似的物品，通過分析用戶的行為記錄計算物品之間的相似度，該算法認為物品A和物品B具有較高的相似性使用為兩者經(jīng)常同時出現(xiàn)在同一個用戶的購買列表中。

協(xié)同過濾算法存在很明顯的問題：數(shù)據(jù)稀疏性和冷啟動問題。針對該問題，可以使用物品的內(nèi)容信息解決這兩個問題。物品的內(nèi)容可以通過向量空間模型表示，該模型會把物品表示成一個關鍵詞向量?；谖锲穬?nèi)容的推薦算法（ContentBaseKNN），通過計算物品間的相似度，將與用戶歷史購買商品最相似的前K個商品推薦給用戶。

基于模型的推薦算法（ModelBaseRank），通過特征工程階段，提取盡可能多的特征對用戶和商品進行畫像描述，對于某個用戶，按照潛在購買概率對所有商品進行排序，將前K個商品推薦給用戶。

3 實驗

實驗數(shù)據(jù)來自于2017年京東大數(shù)據(jù)比賽公開的數(shù)據(jù)集中。該數(shù)據(jù)包括用戶3月至5月的行為動作歷史記錄。通過數(shù)據(jù)預處理以及特征工程后，對于每條訓練數(shù)據(jù)，均包含200個特征，如果當前用戶對購買了當前商品，將類別設置為1，否則設置為0。實驗采取離線實驗方法，將數(shù)據(jù)分為訓練集，測試集以及驗證集，訓練集用來對模型進行訓練，通過模型在測試集的性能來對模型的參數(shù)進行設置，最后將所有的對比模型在驗證集上運行，對其性能進行比較。在將數(shù)據(jù)代入模型前，對其進行Softmax歸一化操作。

基于Keras深度學習框架，搭建三層RNN神經(jīng)網(wǎng)絡模型，每一層的神經(jīng)網(wǎng)絡結構中均包含LSTM神經(jīng)元。輸入層的神經(jīng)元個數(shù)需要與特征數(shù)量保持一致，所以輸入層的神經(jīng)元為200個。輸出層只需要輸出類別信息，這里只有兩類，所以輸出層的輸出單元為2。需要重點考慮的是隱藏層的神經(jīng)元個數(shù)，這個可以通過實驗獲取。

設置每個神經(jīng)元的激活函數(shù)為常用的sigmoid函數(shù)，模型的誤差函數(shù)設置為均分誤差MSE。根據(jù)這個誤差函數(shù)，模型不斷地進行迭代，直到神經(jīng)元之間的連接權值保持不變或者基本不變。根據(jù)MAP定義公式和Recall定義公式，可以得到如下實驗對比結果如圖2、圖3所示。

由圖2和圖3可知，本文提出的基于LSTM的推薦算法能夠更加準確的為用戶進行商品推薦。用戶購買下一個商品與之前的購買行為有著非常緊密的聯(lián)系，但是其他三個模型沒有考慮到這一點。本文提出的模型，可以隱形地對用戶歷史購買行為進行時序建模，能夠更加準確地對用戶行為進行分析，因此具有較高的準確性。

圖2 模型的平均準確率

圖3 模型的召回率

4 結語

本文提出了基于LSTM的商品推薦模型，基于大數(shù)據(jù)比賽公開的數(shù)據(jù)集進行了實驗對比，根據(jù)MAP和Recall等準確性評價指標的實驗結果，證明了該模型能夠更好地對用戶進行商品推薦。該算法具備一定的擴展性，不僅可以用于在線商城的商品推薦，同樣適用于視頻網(wǎng)站的視頻推薦以及音樂網(wǎng)站的音樂推薦。

參考文獻：

[1]JB Schafer,F Dan,J.Collaborative Filtering Recommender Systems[J].Web,2007,22(1):291-324.

[2]江周峰,楊俊,鄂海紅.結合社會化標簽的基于內(nèi)容的推薦算法[J].威者軟件,2015(1):1-5.

[3]李鵬飛,吳為民.基于混合模型推薦算法的優(yōu)化[J].計算機科學,2014,41(2):68-71.

[4]K Greff,RK Srivastava,J Koutnik.LSTM:A Search Space Odyssey.IEEE Transactions on Neural Networks&Learning Systems,2017,28(10):2222-2232.