鄒雨菲　楊欣　胡陳陳

摘? 要：隨著用戶行為數(shù)據(jù)和商品數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，互聯(lián)網(wǎng)平臺(tái)面臨嚴(yán)重的信息過(guò)載問(wèn)題?？梢栽谕扑]算法中引入點(diǎn)擊率預(yù)測(cè)模型，有效提升用戶的購(gòu)物體驗(yàn)。將特征協(xié)同交互網(wǎng)絡(luò)（Co-Action Network， CAN）與深度興趣演化模型（Deep Interest Network， DIN）相融合，挖掘用戶與商品的深層次關(guān)系，模擬真實(shí)場(chǎng)景下用戶與商品的交互情況，得到商品點(diǎn)擊率預(yù)估模型CAN-DIN。在公開(kāi)數(shù)據(jù)集Amazon-beauty上的實(shí)驗(yàn)表明，與相關(guān)基模型相比，CAN-DIN算法的準(zhǔn)確率有一定的提升，可以應(yīng)用于電商推薦場(chǎng)景。

關(guān)鍵詞：特征交互；點(diǎn)擊率預(yù)估；深度神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.3? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）19-0145-06

Product Click-through Rate Prediction Based on Co-Action Network

ZOU Yufei， YANG Xin， HU Chenchen

（Lanzhou Jiaotong University， Lanzhou 730070，China）

Abstract： With the exponential growth of user behavior data and goods data， internet platforms are facing serious information overload issues. A click-through rate prediction model can be introduced into recommendation algorithms to effectively improve users' shopping experience. By integrating the Co-Action Network （CAN） with the Deep Interest Network （DIN）， explore the deep relationships between users and goods， simulate the interaction between users and goods in real scenarios， and obtain the goods click-through rate prediction model CAN-DIN. Experiments on the publicly available dataset Amazon-beauty have shown that the CAN-DIN algorithm has a certain improvement in accuracy compared to relevant base models and can be applied to E-commerce recommendation scenarios.

Keywords： feature interaction; click-through rate estimation; deep neural network

0? 引? 言

點(diǎn)擊率預(yù)測(cè)模型廣泛應(yīng)用于推薦系統(tǒng)中，為用戶推薦符合其興趣和需求的商品或服務(wù)。采用基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的算法，通過(guò)學(xué)習(xí)用戶歷史行為、偏好和隱式反饋數(shù)據(jù)，預(yù)測(cè)用戶對(duì)尚未看到商品或服務(wù)的興趣程度，并將推薦結(jié)果按照吸引用戶的程度大小進(jìn)行降序排列。通過(guò)對(duì)不同推薦結(jié)果進(jìn)行不同權(quán)重的排序，提高滿足用戶需求推薦結(jié)果的展示率，對(duì)于提升電商平臺(tái)的客戶滿意度和企業(yè)盈利能力具有重要意義。

點(diǎn)擊率預(yù)測(cè)模型的一個(gè)核心問(wèn)題是如何更好地學(xué)習(xí)用戶和表示商品[1]。推薦技術(shù)從遞歸神經(jīng)網(wǎng)絡(luò)[2]、注意力機(jī)制[3]發(fā)展到圖神經(jīng)網(wǎng)絡(luò)，這些技術(shù)通常根據(jù)用戶的歷史反饋為用戶推薦物品。

因式分解機(jī)（FM）[4]是淺層模型時(shí)代的代表性方法。在FM中，特征的交互被建模為特征潛在向量的內(nèi)積。FM在不同類型的相互作用下，使用相同的潛向量。DeepFM[5]不再需要手動(dòng)構(gòu)建笛卡爾積特征。PNN模型[6]提出一種Product Layer的思想，以捕捉特征的互動(dòng)以及鄰域間的互動(dòng)。DCN模型[7]中的Cross網(wǎng)絡(luò)是FM過(guò)程在高階特征組合的推廣，Cross部分在增強(qiáng)高階特征組合的同時(shí)減少了參數(shù)的個(gè)數(shù)，并省去了非線性激活函數(shù)。ONN模型[8]通過(guò)一些不同的操作來(lái)學(xué)習(xí)特征間互動(dòng)。盡管上述方法與普通DNN相比性能上有所提高，但每個(gè)ID的嵌入都承擔(dān)了表示學(xué)習(xí)和交互建模的責(zé)任。同時(shí)，它們之間的相互干擾可能損害各自的性能。

本文將特征協(xié)同交互網(wǎng)絡(luò)（Co-Action Network， CAN）[9]與深度興趣演化模型（Deep Interest Network， DIN）[10]相結(jié)合，得到融合特征協(xié)同網(wǎng)絡(luò)的深度興趣演化模型（CAN-DIN）。通過(guò)實(shí)驗(yàn)對(duì)比分析，找到最優(yōu)的模型和參數(shù)組合，實(shí)現(xiàn)了提升推薦準(zhǔn)確率的目的。

1? 算法概述與模型建立

1.1? 算法概述

1.1.1? DIN算法

DIN模型是推薦算法中的一種深度興趣網(wǎng)絡(luò)模型，它通過(guò)引入注意力機(jī)制來(lái)捕捉用戶對(duì)某個(gè)商品的歷史行為的興趣，并隨著候選商品的變化而變化，從而有效提升模型的表達(dá)能力。

1）輸入層。輸入x：K維高維稀疏二值型向量通常是由多個(gè)group特征拼接而成的。假設(shè)有M個(gè)group，每個(gè)group特征ti的維度為Ki，ti每個(gè)元素取值為0或1，i的個(gè)數(shù)大于等于1。

2）模型設(shè)計(jì)。相比于DNN，DIN引入了local activation unit，用以學(xué)習(xí)用戶興趣和當(dāng)前候選商品的關(guān)聯(lián)程度。在DNN中，假設(shè)ti有k個(gè)元素值為1，則需要將這k個(gè)元素對(duì)應(yīng)的k個(gè)embedding特征進(jìn)行pooling，使得不同樣本之間group拼接完的特征長(zhǎng)度是一致的，即：

其中，E（s）和Var（s）分別表示每個(gè)mini-batch中激活函數(shù)輸入的均值和方差。

1.1.2? CAN算法

特征協(xié)同交互網(wǎng)絡(luò)（Co-Action Network， CAN）是一種新的特征交互方法，主要是利用共現(xiàn)網(wǎng)絡(luò)來(lái)學(xué)習(xí)物品和用戶之間的特征關(guān)聯(lián)，并將其應(yīng)用于個(gè)性化推薦和CTR預(yù)測(cè)。

CAN通過(guò)采用協(xié)同作用單元（Co-Action Unit）和多階增強(qiáng)等技術(shù)，有效處理用戶和物品特征的拼接和互動(dòng)，提升模型的非線性擬合能力和表達(dá)能力。

1）架構(gòu)概述。用戶和目標(biāo)物品的特征U和M以兩種方式輸入CAN。在第一種方式下，它們使用的embedding編碼為稠密向量{E（u1），L，E（u1）}和{E（m1），L，E（mJ）}，進(jìn)一步拼接為eitem和euser。在第二種方式下，從U和M中選擇一個(gè)子集Ufeed和Minduction，使用co-action unit來(lái)建模特征交互 ，mj ∈ Minduction。CAN的計(jì)算式為：

其中， 表示矩陣乘法，σ表示激活函數(shù)，H表示具有向量輸入的共同作用單元。對(duì)于像用戶歷史行為? 這樣的順序特征，共同作用單元應(yīng)用于每個(gè)點(diǎn)擊行為，然后對(duì)序列進(jìn)行求和池化：

Pinduction從商品特征中獲取信息，而Pfeed從用戶特征中獲取信息，Pfeed也可作為micro-MLP的參數(shù)，反之亦然。

3）多階增強(qiáng)。上述特征是基于一階特征形成的，特征的交互可以通過(guò)高階來(lái)估計(jì)。雖然共同作用單元可以隱式地學(xué)習(xí)高階特征交互，但考慮到特征交互的稀疏性，學(xué)習(xí)過(guò)程可能會(huì)更加困難。為此，在模型中引入多階信息，以獲得多項(xiàng)式輸入。其通過(guò)將micro-MLP應(yīng)用于不同階數(shù)的Pfeed來(lái)實(shí)現(xiàn)：

其中，C表示階數(shù)。利用Tanh函數(shù)來(lái)避免高階項(xiàng)引起的數(shù)值問(wèn)題。多次元增強(qiáng)大大提升了模型的非線性擬合能力，并且不會(huì)帶來(lái)額外的計(jì)算和存儲(chǔ)成本。

4）多層次的獨(dú)立性。學(xué)習(xí)的獨(dú)立性是交互建模特征的主要特征之一。為了保證學(xué)習(xí)的獨(dú)立性，模型從不同方面提出了策略。第一，參數(shù)獨(dú)立。通過(guò)將表示學(xué)習(xí)和特征交互建模的更新分離開(kāi)來(lái)，使得參數(shù)獨(dú)立性是CAN的基礎(chǔ)。第二，組合獨(dú)立。隨著特征組合數(shù)量的增加，特征間的相互作用呈線性增長(zhǎng)。該方法使模型的表達(dá)能力呈指數(shù)級(jí)放大。特征交互的組合應(yīng)滿足：

1.2? 模型建立

CAN-DIN模型是將co-action模塊輸出的向量和DIN模塊輸出的向量以及其他特征通過(guò)embedding層，轉(zhuǎn)化為稠密向量的特征拼接，再通過(guò)3層MLP獲取目標(biāo)item的CTR預(yù)測(cè)值。對(duì)于Pinduction，使用兩層MLP，輸入/輸出維度設(shè)置為16/8和8/4，Pfeed的最高階數(shù)為3。模型參數(shù)以高斯分布（平均值為0，標(biāo)準(zhǔn)差為0.01）初始化。模型訓(xùn)練的優(yōu)化器為Adam，batch_size設(shè)置為128，初始學(xué)習(xí)率設(shè)置為0.002，每個(gè)epoch學(xué)習(xí)率折半。co-action模塊輸出的向量和其他特征通過(guò)embedding層轉(zhuǎn)得到的稠密向量進(jìn)行拼接后通過(guò)3層MLP獲取目標(biāo)item的CTR預(yù)測(cè)值。三層MLP的神經(jīng)元大小分別設(shè)置為200、80、1。模型訓(xùn)練過(guò)程中，使用Logloss計(jì)算損失，為避免梯度爆炸和梯度消失現(xiàn)象的發(fā)生，約束模型輸出y值的取值范圍設(shè)置為[1×10-10，1.0]。

2? 實(shí)驗(yàn)驗(yàn)證

2.1? 數(shù)據(jù)集

本文選用公開(kāi)數(shù)據(jù)集Amazon Review Data的Luxury Beauty子類（簡(jiǎn)稱Amazon-beauty）。當(dāng)一個(gè)用戶對(duì)某個(gè)物品進(jìn)行評(píng)價(jià)時(shí)，我們將其認(rèn)定為正樣本，并從當(dāng)前物品列表中隨機(jī)選擇一個(gè)其他商品作為負(fù)樣本，然后將它與當(dāng)前評(píng)價(jià)的正樣本一起寫(xiě)入文件中，并創(chuàng)建相應(yīng)的用戶行為序列。對(duì)于有兩次以上點(diǎn)擊行為的用戶，選擇其最后一次點(diǎn)擊存入測(cè)試集，其余存入訓(xùn)練集；對(duì)于只有一次點(diǎn)擊行為的用戶默認(rèn)存入訓(xùn)練集。將訓(xùn)練集內(nèi)數(shù)據(jù)按照9：1隨機(jī)劃分成模型訓(xùn)練集和驗(yàn)證集，并對(duì)訓(xùn)練集和驗(yàn)證集數(shù)據(jù)進(jìn)行隨機(jī)打散。將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集的數(shù)據(jù)量如表1所示。

深度神經(jīng)網(wǎng)絡(luò)模型在擬合高階復(fù)雜特征時(shí)有不錯(cuò)的表現(xiàn)。因此，深度學(xué)習(xí)模型的輸入數(shù)據(jù)不需要過(guò)于復(fù)雜。本文的研究重點(diǎn)是提取和挖掘用戶的歷史行為特征，從用戶行為歷史信息和物品特征等角度考慮，篩選部分缺失率相對(duì)較低的特征輸入模型。輸入數(shù)據(jù)各字段說(shuō)明如表2所示。

2.2? 評(píng)價(jià)指標(biāo)

本文選用AUC、ACC、Logloss三種常用評(píng)價(jià)標(biāo)準(zhǔn)對(duì)CTR排序模型進(jìn)行評(píng)估[11]。

分類準(zhǔn)確度是評(píng)價(jià)推薦算法在分類商品方面準(zhǔn)確度的重要指標(biāo)[12]，根據(jù)用戶對(duì)商品的喜好與否和商品是否被推薦，商品分類情況如表3所示。

AUC（Area Under the Curve）代表ROC（Receiver Operating Characteristic）曲線下的面積，表示預(yù)測(cè)的正樣本在負(fù)樣本之前的概率。AUC的值不受正負(fù)樣本比例的影響，能夠有效評(píng)價(jià)各種二分類任務(wù)的模型。AUC取值的范圍通常在0.5到1之間，AUC越高表示模型性能越好。AUC的計(jì)算式為：

（18）

其中， 表示正樣本預(yù)測(cè)概率大于負(fù)樣本預(yù)測(cè)概率的個(gè)數(shù)，positiveNum表示正樣本數(shù)，negativeNum表示負(fù)樣本數(shù)。

推薦結(jié)果的準(zhǔn)確率（Accuracy， ACC）表示模型預(yù)測(cè)準(zhǔn)確性的比例。ACC值越高，表示模型預(yù)測(cè)的準(zhǔn)確率越高，模型效果越好。ACC的計(jì)算式為：

（19）

其中，TP、FP、TN、FN的含義如表3所示。

對(duì)數(shù)似然損失Logloss（Log-likelihood Loss， Logloss）也被稱為交叉熵?fù)p失。Logloss反映了預(yù)測(cè)結(jié)果的平均偏差，體現(xiàn)模型的分類能力，通常用于評(píng)估分類器性能的優(yōu)劣。Logloss越低說(shuō)明模型性能越好。Logloss的計(jì)算式為：

（20）

其中，yj表示商品j的真實(shí)標(biāo)簽值， 表示商品j的預(yù)測(cè)值。

2.3? 實(shí)驗(yàn)結(jié)果分析

2.3.1? 與經(jīng)典模型對(duì)比實(shí)驗(yàn)

本實(shí)驗(yàn)的操作系統(tǒng)為Windows 11，編程語(yǔ)言為Python 3.7.16，深度學(xué)習(xí)框架為T(mén)ensorFlow-gpu 2.6，GPU加速庫(kù)為CUDA 11.8。

為評(píng)價(jià)模型在預(yù)測(cè)方面的準(zhǔn)確性，將融合特征交互的深度神經(jīng)網(wǎng)絡(luò)模型與現(xiàn)有效果較好的CTR預(yù)測(cè)模型（包括經(jīng)典的FM模型和DNN模型，以及DIN模型）進(jìn)行對(duì)比。

隨著訓(xùn)練迭代次數(shù)的增加，模型整體的損失函數(shù)值呈下降的趨勢(shì)，其中CAN-DNN、CAN-DIN模型的迭代效率明顯優(yōu)于其他模型，說(shuō)明CAN架構(gòu)可以根據(jù)特征交互突出有意義的組合特征，相比其他模型能夠更高效地學(xué)習(xí)高階交互特征，加速了模型的收斂。各模型在測(cè)試集上的表現(xiàn)如表4、圖1所示。

從表4中的結(jié)果可以看出，CAN-DNN和CAN-DIN的表現(xiàn)在各評(píng)價(jià)指標(biāo)上都優(yōu)于其他基模型。CAN-DNN的AUC值為0.855 7，ACC值為0.767 3，Logloss值為0.232 0。對(duì)比FM模型，CAN-DNN在AUC上提升了11.23%，在ACC上提升了9.85%；對(duì)比DNN模型，CAN-DNN在AUC上提升了3.15%，在ACC上提升了3.62%；

CAN-DIN的AUC值為0.863 6，ACC值為0.778 9，Logloss值為0.236 3。與熱門(mén)模型DIN相比，CAN-DIN的AUC提高了1.7%，準(zhǔn)確率提高了1.7%。以上結(jié)果說(shuō)明，融合有CAN框架的模型都取得了更高的AUC和更低的Logloss，說(shuō)明預(yù)測(cè)結(jié)果與實(shí)際值更為接近。

如圖1所示，對(duì)比不同模型的參數(shù)量和AUC值，可以看出融合有CAN的模型參數(shù)量和AUC值均顯著高于FM和DNN模型。其中，CAN-DNN模型和CAN-DIN模型的參數(shù)量沒(méi)有明顯差距，但相對(duì)于CAN-DNN模型，CAN-DIN模型的AUC值提升了0.92%，ACC值提升了1.51%。

從實(shí)驗(yàn)結(jié)果和模型結(jié)構(gòu)的角度來(lái)分析，CAN中的Co-Action Unit是DIN網(wǎng)絡(luò)中計(jì)算歷史用戶行為與目標(biāo)商品相似度的Activation Unit的升級(jí)。不同的是，DIN中的Activation Unit是對(duì)某歷史行為與目標(biāo)商品間的相關(guān)度建模，它需要再乘上原歷史行為，成為一個(gè)新的特征表達(dá)。而Co-Action Unit直接生成了歷史行為與目標(biāo)商品的交叉表達(dá)，不再需要建模歷史行為和目標(biāo)商品的相似度，減少了信息的折損。相比之下，基于特征協(xié)同交互網(wǎng)絡(luò)的商品點(diǎn)擊率模型能夠在更上游的位置處理特征交叉，以盡可能地保留原始特征。

2.3.2? 模型超參數(shù)優(yōu)化

為了優(yōu)化CAN-DIN模型的超參數(shù)，提高模型在實(shí)際應(yīng)用場(chǎng)景中的準(zhǔn)確性和可靠性。本文通過(guò)實(shí)驗(yàn)，對(duì)比不同超參數(shù)下的Logloss和AUC值，評(píng)判模型的性能，找到模型最優(yōu)的超參數(shù)組合。

實(shí)驗(yàn)結(jié)果如下：

1）Embedding維度。在表5中，當(dāng)Embedding向量的維度從8開(kāi)始增加時(shí)，模型的AUC值逐漸增大，這表明Embedding向量中蘊(yùn)含了更多的特征信息，從而使得模型能夠更好地學(xué)習(xí)到輸入數(shù)據(jù)的特征表示。但是，當(dāng)Embedding向量的維度增加到12之后，模型的AUC值逐漸下降，這是因?yàn)镋mbedding向量的表達(dá)能力也是十分有限的，維度增加到一定程度后就無(wú)法繼續(xù)提高模型的性能。這種情況也稱為維度災(zāi)難，當(dāng)Embedding向量的維度過(guò)高時(shí)，模型需要學(xué)習(xí)的參數(shù)數(shù)量會(huì)急劇增加，從而導(dǎo)致模型過(guò)于復(fù)雜，難以訓(xùn)練，并且容易過(guò)擬合。因此，通過(guò)本次實(shí)驗(yàn)，確定Embedding向量的最佳維度為12，此時(shí)模型性能最佳。

2）激活函數(shù)。在表6中，當(dāng)使用Tanh作為激活函數(shù)時(shí)，模型的預(yù)測(cè)效果明顯優(yōu)于使用Sigmoid和ReLU激活函數(shù)的預(yù)測(cè)效果。這是因?yàn)門(mén)anh函數(shù)在0附近的導(dǎo)數(shù)值更大，因此在輸入數(shù)據(jù)絕對(duì)值較小的區(qū)域，Tanh函數(shù)能夠更快地將輸入映射到輸出，從而加快了模型的收斂速度。與Sigmiod函數(shù)相比，Tanh函數(shù)的輸出范圍更廣，包含從-1—1區(qū)間，因此可以更好地保留輸入數(shù)據(jù)的范圍信息，減少了信息損失。與ReLU函數(shù)相比，Tanh函數(shù)在輸入數(shù)據(jù)為負(fù)數(shù)時(shí)能夠提供非零的輸出，這樣能夠更好地處理輸入數(shù)據(jù)中存在的負(fù)值信息，使模型具有更好的表達(dá)能力。

3）優(yōu)化器。在表7中，使用Adam優(yōu)化器時(shí)，模型的AUC最大，其次是Momentum和Adagrad。Adam優(yōu)化器是一種基于梯度的優(yōu)化器，借鑒了動(dòng)量和自適應(yīng)學(xué)習(xí)率的思想。在Adam優(yōu)化器中，動(dòng)量項(xiàng)可以幫助優(yōu)化器更快地逃離局部最優(yōu)解，自適應(yīng)學(xué)習(xí)率可以使優(yōu)化器在不同參數(shù)和數(shù)據(jù)的情況下自適應(yīng)地調(diào)整學(xué)習(xí)率，從而更好地控制參數(shù)更新的步長(zhǎng)。因此，Adam優(yōu)化器通常能夠更快地收斂，并在較短的時(shí)間內(nèi)達(dá)到較高的精度。Momentum和Adagrad優(yōu)化器也是常用的優(yōu)化器之一。但Momentum可能會(huì)引入振蕩，即當(dāng)優(yōu)化器在梯度方向上來(lái)回?cái)[動(dòng)時(shí)，參數(shù)更新的幅度可能會(huì)變得非常大，導(dǎo)致訓(xùn)練過(guò)程不夠穩(wěn)定。Adagrad在訓(xùn)練過(guò)程中，學(xué)習(xí)率會(huì)不斷衰減，并可能會(huì)逐漸趨于零。這意味著隨著訓(xùn)練的推進(jìn)，Adagrad優(yōu)化器可能會(huì)疏忽一些重要的參數(shù)變化信息，從而導(dǎo)致訓(xùn)練結(jié)果不佳。

4）學(xué)習(xí)率。如表8所示，隨著學(xué)習(xí)率的不斷減小，模型的預(yù)測(cè)效果越來(lái)越好，學(xué)習(xí)率為0.000 2時(shí)，達(dá)到峰值，當(dāng)學(xué)習(xí)率繼續(xù)減小時(shí)，模型的預(yù)測(cè)效果反而下降。這是因?yàn)槟Ｐ蛥?shù)更新的步長(zhǎng)變小，模型能夠更準(zhǔn)確地探索最優(yōu)值附近的區(qū)域。但學(xué)習(xí)率過(guò)小時(shí)，模型的參數(shù)更新步長(zhǎng)變得非常小，導(dǎo)致模型在最優(yōu)值附近振蕩，很難再進(jìn)一步優(yōu)化模型的性能。此時(shí)，模型可能會(huì)停滯在一個(gè)局部最優(yōu)解中，而無(wú)法找到全局最優(yōu)解。

通過(guò)以上實(shí)驗(yàn)，最終確定CAN-DIN模型的emdedding維度為12，激活函數(shù)為T(mén)anh，優(yōu)化器為Adam，學(xué)習(xí)率為0.000 2。最終，CAN-DIN在Amazon-beauty數(shù)據(jù)集上的AUC值為0.869 9，accuracy值為0.782 2。

3? 結(jié)? 論

綜上所述，融合特征交互的深度神經(jīng)網(wǎng)絡(luò)模型因其融合了Co-Action Unit結(jié)構(gòu)，將通過(guò)點(diǎn)積獲得的標(biāo)量交叉特征轉(zhuǎn)換為向量形式，同時(shí)通過(guò)確保參數(shù)獨(dú)立性避免了單特征嵌入訓(xùn)練對(duì)交叉特征性能的負(fù)面影響。使得其在原有結(jié)構(gòu)的基礎(chǔ)上將不同特征送入新設(shè)計(jì)的算子得到特征交互的表達(dá)向量，再額外送入全連接層中作為信息補(bǔ)充。因此在與其他模型的對(duì)比實(shí)驗(yàn)中，能夠擁有更快的收斂速度和更高的精度。此外，相比于與DNN的融合，將CAN與DIN融合能夠在保證參數(shù)量沒(méi)有明顯增加的情況下獲得更高的AUC值。實(shí)驗(yàn)結(jié)果表明，基于特征協(xié)同交互網(wǎng)絡(luò)的商品點(diǎn)擊率預(yù)測(cè)模型CAN-DIN能夠應(yīng)用在推薦算法中，可以有效提升推薦的準(zhǔn)確性。

參考文獻(xiàn)：

[1] HU L M，XU S Y，LI C，et al. Graph neural news recommendation with unsupervised preference disentanglement [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. [S.l.]：Association for Computational Linguistics，2020：4255-4264.

[2] OKURA S，TAGAMI Y，ONO S，et al. Embedding-based news recommendation for millions of users [C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. HalifaxNS：ACM，2017：1933-1942.

[3] ZHU Q N，ZHOU X F，SONG Z L，et al. Dan： Deep attention neural network for news recommendation [C]//Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]：Open Journal Systems，2019：5973-5980.

[4] RENDLE S. Factorization machines [C]//2010 IEEE International Conference on Data Mining. Sydney：IEEE，2010：995-1000.

[5] GUO H F，TANG R M，YE Y M，et al. DeepFM： a factorization-machine based neural network for CTR prediction [C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence. [S.l.]：AAAI Press，2017：1725-1731.

[6] QU Y R，CAI H，REN K，et al. Product-based neural networks for user response prediction [C]//2016 IEEE 16th International Conference on Data Mining （ICDM）.Barcelona：IEEE，2016：1149-1154.

[7] WANG R X，F(xiàn)U B，F(xiàn)U G，et al. Deep & cross network for ad click predictions [J/OL].arXiv：1708.05123v1.[2023-02-16].https：//arxiv.org/abs/1708.05123.

[8] YANG Y，XU B L，SHEN S F，et al. Operation-aware neural networks for user response prediction [J]. Neural Networks，2020，121：161-168.

[9] BIAN W J，WU K L，Ren L J，et al. CAN： feature co-action network for click-through rate prediction [C]//Proceedings of the fifteenth ACM international conference on Web Search and Data Mining. New York：ACM，2022：57-65.

[10] ZHOU G R，SONG C R，ZHU X Q，et al. Deep interest network for click-through rate prediction [R/OL].arXiv：1706.06978v3.[2023-02-06].https：//arxiv.org/abs/1706.06978v3.

[11] 陳一洲.基于注意力機(jī)制的用戶點(diǎn)擊率預(yù)測(cè)方法研究[D].上海：東華大學(xué)，2022.

[12] 朱彤.基于多種策略的商品推薦系統(tǒng)研究與實(shí)現(xiàn)[D].咸陽(yáng)：西北農(nóng)林科技大學(xué)，2022.

作者簡(jiǎn)介：鄒雨菲（1997—），女，漢族，湖北荊州人，碩士研究生在讀，研究方向：深度學(xué)習(xí)；楊欣（1997—），女，漢族，甘肅天水人，碩士研究生，研究方向：經(jīng)濟(jì)統(tǒng)計(jì)；胡陳陳（1997—），女，漢族，山東濟(jì)寧人，碩士研究生在讀，研究方向：機(jī)器學(xué)習(xí)。

收稿日期：2023-04-10