鄭佳碧，楊振國(guó)，劉文印,2

（1. 廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 廣東 廣州 510006；2. 鵬城實(shí)驗(yàn)室 網(wǎng)絡(luò)空間安全研究中心, 廣東 深圳 518066）

營(yíng)銷效果的量化評(píng)估是營(yíng)銷過(guò)程中的重要環(huán)節(jié)之一。準(zhǔn)確的量化評(píng)估能為后續(xù)營(yíng)銷方案優(yōu)化、營(yíng)銷費(fèi)用分配等方面提供重要參考依據(jù)，有助于提升企業(yè)的運(yùn)營(yíng)效率。其以市場(chǎng)營(yíng)銷為背景，以人工智能等為技術(shù)吸引了多個(gè)學(xué)科的學(xué)者進(jìn)行研究，是具有重要研究?jī)r(jià)值的多學(xué)科交叉問(wèn)題[1-2]。營(yíng)銷效果評(píng)估由于其應(yīng)用驅(qū)動(dòng)性質(zhì)，具有復(fù)雜多樣性，需根據(jù)問(wèn)題特性設(shè)計(jì)，本文主要從人工智能算法設(shè)計(jì)的角度進(jìn)行研究。

圖1是一個(gè)典型的營(yíng)銷效果評(píng)估過(guò)程圖。在一個(gè)營(yíng)銷系統(tǒng)里，系統(tǒng)先依據(jù)用戶的屬性特征X確定營(yíng)銷對(duì)象(如廣告曝光、產(chǎn)品推送對(duì)象)，再對(duì)營(yíng)銷后的消費(fèi)提升進(jìn)行定量評(píng)估?，F(xiàn)實(shí)場(chǎng)景中，若營(yíng)銷系統(tǒng)對(duì)用戶進(jìn)行了營(yíng)銷(圖1中藍(lán)色分支)，則用戶在未營(yíng)銷時(shí)的情況是未知的(圖1中紅色分支)，即無(wú)法同時(shí)觀測(cè)到用戶的兩種狀態(tài)值，這也是營(yíng)銷效果評(píng)估的難點(diǎn)。針對(duì)這一難點(diǎn)，解決的思路是從未營(yíng)銷的對(duì)照組用戶中選擇與營(yíng)銷組用戶屬性特征相似的對(duì)照樣本，用于推斷營(yíng)銷組用戶在假設(shè)未被營(yíng)銷時(shí)的“反事實(shí)”[3]狀態(tài)值。因此，營(yíng)銷效果的量化評(píng)估問(wèn)題本質(zhì)上是基于“反事實(shí)”進(jìn)行因果效應(yīng)估計(jì)[4]。

圖1 營(yíng)銷效果評(píng)估示意圖Fig.1 Diagram of marketing effect evaluation

上述因果效應(yīng)估計(jì)問(wèn)題的解決方法主要包括3類：基于隨機(jī)干預(yù)實(shí)驗(yàn)的方法、基于輔助變量的方法和基于因果效應(yīng)的方法[5]。其中，基于隨機(jī)干預(yù)實(shí)驗(yàn)的方法是解決這類問(wèn)題的基準(zhǔn)方法，其使用隨機(jī)分組的方式，隨機(jī)地將研究對(duì)象分配至營(yíng)銷組或?qū)φ战M，可以剔除其他因素的影響，如好友、價(jià)格等影響[6]。典型的隨機(jī)干預(yù)方法有A/B測(cè)試[7-8]，其易于理解，但有時(shí)隨機(jī)實(shí)驗(yàn)代價(jià)巨大，甚至造成負(fù)面的用戶體驗(yàn)[7,9]。不同于隨機(jī)干預(yù)實(shí)驗(yàn)，后兩類方法則從觀察數(shù)據(jù)出發(fā)對(duì)因果效應(yīng)進(jìn)行估計(jì)。其中，基于輔助變量的方法一般需結(jié)合場(chǎng)景先驗(yàn)知識(shí)對(duì)潛在的混雜因子進(jìn)行建模[10]，如基于深度學(xué)習(xí)和工具變量實(shí)現(xiàn)建模的DeepIV[11]，基于變分貝葉斯和隱變量的CEVAE[12]。在缺乏足夠的先驗(yàn)知識(shí)場(chǎng)景下，基于因果效應(yīng)的方法則更為適用，典型思想包括傾向得分逆概率加權(quán)(Inverse Probability Weighted Estimator，IPWE)[4,13]、混雜因子平衡(Confounder Balancing)的方法[14-15]及基于深度學(xué)習(xí)和其他方面的擴(kuò)展[16-18]?；谝蚬?yīng)的方法，本質(zhì)上都需要根據(jù)用戶的屬性特征判斷用戶進(jìn)入營(yíng)銷組或?qū)φ战M的傾向性。

然而，現(xiàn)有的因果效應(yīng)評(píng)估方法主要是基于群體的平均因果效應(yīng)評(píng)估[16-17,19]，對(duì)于實(shí)際應(yīng)用中需要細(xì)化評(píng)估用戶個(gè)體的因果效應(yīng)需求難以進(jìn)行有效支撐。將現(xiàn)有基于群體的平均因果效應(yīng)評(píng)估方法推廣到細(xì)粒度用戶個(gè)體的因果效應(yīng)評(píng)估時(shí)，面臨著用戶屬性特征建模難的問(wèn)題。核心的原因是現(xiàn)有方法多是針對(duì)低維樣本特征、小觀察樣本的場(chǎng)景設(shè)計(jì)[19](即觀察的對(duì)照樣本量較小)，難以適用于實(shí)際營(yíng)銷場(chǎng)景中復(fù)雜的用戶屬性特征、海量的對(duì)照組樣本。具體包括以下3方面：(1) 實(shí)際營(yíng)銷場(chǎng)景中，用戶一般包括許多的時(shí)序特征，如用戶在過(guò)去某段時(shí)間內(nèi)的消費(fèi)序列等，其可能比靜態(tài)屬性特征更能刻畫(huà)用戶?，F(xiàn)有的因果效應(yīng)評(píng)估方法雖然已留意到特征表示學(xué)習(xí)[20-21]，但用戶時(shí)序特征的描述問(wèn)題還有待解決。(2) 實(shí)際營(yíng)銷場(chǎng)景中，用戶屬性特征往往高維且呈現(xiàn)非線性關(guān)系。傳統(tǒng)的基于線性回歸的方法較難有效地學(xué)習(xí)樣本權(quán)重，容易存在過(guò)擬合問(wèn)題[16-17]，雖然部分研究考慮了非線性用戶特征的加權(quán)問(wèn)題，但多是針對(duì)分組等特定場(chǎng)景而設(shè)計(jì)。(3) 實(shí)際營(yíng)銷場(chǎng)景中，存在大量的對(duì)照組樣本，若直接使用樣本權(quán)重估計(jì)的方法，因需要學(xué)習(xí)的樣本權(quán)重維度高，容易導(dǎo)致結(jié)果不穩(wěn)定、算法不收斂[14]等問(wèn)題。

針對(duì)實(shí)際營(yíng)銷中，用戶存在時(shí)序非時(shí)序?qū)傩蕴卣骰旌?、海量?duì)照組樣本的現(xiàn)狀，本文結(jié)合深度學(xué)習(xí)的建模方法和因果推斷的思想，提出了以用戶為單位的細(xì)粒度混雜平衡的營(yíng)銷效果評(píng)估方法。主要貢獻(xiàn)包括：(1) 引入深度學(xué)習(xí)中的長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)對(duì)用戶的時(shí)序特征進(jìn)行建模，并使用稀疏多層神經(jīng)網(wǎng)絡(luò)從用戶的時(shí)序和非時(shí)序?qū)傩蕴卣髦袑W(xué)習(xí)樣本統(tǒng)一表示；(2) 引入K近鄰方法確定營(yíng)銷組用戶的對(duì)照組樣本，即為每個(gè)營(yíng)銷組樣本挑選最為相近的對(duì)照組用戶，避免了樣本引入的干擾，從而實(shí)現(xiàn)了以用戶為單位的細(xì)粒度營(yíng)銷效果評(píng)估。

1 問(wèn)題定義

本文以合作公司的線上會(huì)員營(yíng)銷為研究背景，研究目標(biāo)是定量評(píng)估營(yíng)銷的效果，包括用戶成為會(huì)員后一定時(shí)期內(nèi)在平臺(tái)內(nèi)的消費(fèi)提升程度。典型的營(yíng)銷場(chǎng)景包括在線游戲特權(quán)卡營(yíng)銷、電商的會(huì)員卡營(yíng)銷等。

在本文中，符號(hào)定義如下：

X表示用戶屬性特征。實(shí)際營(yíng)銷中，用戶屬性Xi包 括2類：(1) 時(shí)序?qū)傩訶iS，如隨時(shí)間變化的消費(fèi)序列、在網(wǎng)時(shí)長(zhǎng)序列等；(2) 靜態(tài)屬性XiC，如一段時(shí)間內(nèi)不會(huì)變化的用戶性別、年齡等，這兩類特征共同構(gòu)成了營(yíng)銷效果評(píng)估的混雜因子。T表示營(yíng)銷行為,共包括兩種營(yíng)銷狀態(tài)，即被營(yíng)銷和不被營(yíng)銷，Ti∈{0,1}，Ti=1和Ti=0分別表示用戶屬于營(yíng)銷組和屬于對(duì)照組。Y表示用戶消費(fèi)，Yi(1)和Yi(0)分 別表示用戶i在同一時(shí)間內(nèi)被營(yíng)銷和不被營(yíng)銷狀態(tài)下的消費(fèi)。三元組(Xi,Ti,Yi)表示一個(gè)觀察樣本。

在上述定義下，營(yíng)銷效果評(píng)估實(shí)際為估計(jì)干預(yù)樣本的平均因果效應(yīng)(ATT, Average Causal Treatment on the Treated)，如式(1)所示。

即通過(guò)對(duì)比營(yíng)銷組用戶在營(yíng)銷情況下的消費(fèi)Yi(1)較假設(shè)未營(yíng)銷情況下的消費(fèi)Yi(0)平均提升的程度來(lái)評(píng)估營(yíng)銷效果。其中，式(1)中的|Ti=1|為營(yíng)銷組的樣本數(shù)。

解決該問(wèn)題的核心困難是，在實(shí)際場(chǎng)景中，只能獲取到營(yíng)銷組(Ti=1) 用戶Ui在營(yíng)銷狀態(tài)下的消費(fèi)Yi(1) ，而無(wú)法獲得假設(shè)Ui不被營(yíng)銷狀態(tài)下的消費(fèi)Yi(0)，這本質(zhì)上是一個(gè)反事實(shí)的推斷問(wèn)題。若不借用外部信息，該問(wèn)題無(wú)解。而實(shí)際情況中，可以以用戶的屬性特征信息Xi為橋梁，進(jìn)行反事實(shí)推斷。因此，式(1)可以建模為式(2)的條件干預(yù)樣本平均因果效應(yīng)(CATT,Conditional Average Causal Treatment Effect on the Treated)。

綜上，營(yíng)銷效果的量化評(píng)估問(wèn)題可形式化定義為：給定一批觀察樣本(Xi,Ti,Yi)，i∈[1,n]，其中，用戶屬性特征Xi包括時(shí)序用戶屬性XiS和靜態(tài)用戶屬性XiC，Ti∈{0,1} 表示用戶是否被營(yíng)銷，Yi(0)和Yi(1)表示用戶不同營(yíng)銷狀態(tài)下的消費(fèi)。則營(yíng)銷效果的量化評(píng)估可表示為式(2)所示的條件干預(yù)樣本平均因果效應(yīng)問(wèn)題。

2 細(xì)粒度混雜平衡營(yíng)銷效果評(píng)估

本節(jié)提出了基于用戶細(xì)粒度混雜平衡的營(yíng)銷效果評(píng)估方法，主要包括2個(gè)方面：細(xì)粒度混雜平衡目標(biāo)設(shè)計(jì)、混雜權(quán)重函數(shù)學(xué)習(xí)。

2.1 細(xì)粒度混雜平衡目標(biāo)設(shè)計(jì)

對(duì)營(yíng)銷數(shù)據(jù)進(jìn)行因果機(jī)制建模是解決式(2)中條件干預(yù)樣本平均因果效應(yīng)評(píng)估的核心。從圖1所示的營(yíng)銷過(guò)程圖可知，用戶屬性特征X是用戶是否被營(yíng)銷(T)和用戶營(yíng)銷后消費(fèi)(Y)的共同原因，即X為混雜因子。因此基于以上信息，可確定營(yíng)銷過(guò)程中用戶屬性、營(yíng)銷情況和營(yíng)銷后消費(fèi)之間的因果圖如圖2所示。

圖2 營(yíng)銷過(guò)程的因果關(guān)系模型Fig.2 The causal relationship model of the marketing process

在實(shí)際中，一般很難直接采用圖2的因果圖建模，因?yàn)橛脩魧傩蕴卣鱔可能包括了大量無(wú)關(guān)冗余信息。為了消除混雜效應(yīng)，目前主流的思路是使用傾向值評(píng)分匹配和混雜平衡等方法解決。直觀思路是從對(duì)照組用戶中為每一個(gè)營(yíng)銷組用戶(即Ti=1的用戶)篩選出滿足條件Tj=0，Xj=Xi的用戶作為參照對(duì)象。則式(2)可轉(zhuǎn)化為式(3)進(jìn)行評(píng)估。

然而，實(shí)際場(chǎng)景中一般很難找到與Xi屬性特征完全相同的樣本，即很難找到滿足條件Tj=0,Xj=Xi的對(duì)照組樣本。因此，解決混雜因子的核心問(wèn)題轉(zhuǎn)化為如何基于觀察樣本的屬性特征對(duì)樣本進(jìn)行加權(quán)，進(jìn)而使得營(yíng)銷組和對(duì)照組之間的混雜變量分布平衡，并將營(yíng)銷效果評(píng)估轉(zhuǎn)化為式(4)所示。

式中：d(,)為 距離度量函數(shù)，K NN(Xi)為Xi的K近鄰樣本集合(K-Nearest Neighbor)。該目標(biāo)函數(shù)以Xi在對(duì)照組中挑選出的K近鄰樣本為基礎(chǔ)，學(xué)習(xí)屬性特征的權(quán)重函數(shù)，再以線性加權(quán)的方式逼近對(duì)照組的分布。

相比于傳統(tǒng)方法，該目標(biāo)函數(shù)結(jié)合了傾向值倒數(shù)加權(quán)和混雜變量平衡的思想。而且通過(guò)引入K近鄰對(duì)照樣本，實(shí)現(xiàn)了細(xì)粒度匹配，避免了干擾樣本的引入，一定程度保證了大樣本數(shù)據(jù)學(xué)習(xí)的穩(wěn)定性。

2.2 混雜權(quán)重函數(shù)學(xué)習(xí)

求解式(5)中W(X)的目標(biāo)函數(shù)時(shí)需先解決以下2個(gè)問(wèn)題：(1) 如何對(duì)用戶屬性特征(X)設(shè)計(jì)合理的距離度量函數(shù)以確定K NN(Xi)；(2) 如何基于用戶屬性特征(X)構(gòu)建合適的權(quán)重函數(shù)W(X)表示方法。

在設(shè)計(jì)距離度量函數(shù)方面，針對(duì)時(shí)序特征和非時(shí)序?qū)傩蕴卣骰旌系膱?chǎng)景，先單獨(dú)按屬性類型計(jì)算K近鄰，最后再取交集確定K NN(Xi)。具體地，針對(duì)時(shí)序特征和靜態(tài)屬性特征數(shù)據(jù)，分別采取動(dòng)態(tài)時(shí)間歸整(Dynamic Time Warping，DTW)和歐氏距離進(jìn)行度量。令KNNS(Xi)表 示時(shí)序特征數(shù)據(jù)的K近鄰，KNNC(Xi)表示靜態(tài)屬性特征數(shù)據(jù)的K近鄰，則KNN(Xi)=KNNS(Xi)∩KNNC(Xi)。通過(guò)取交集的方式確定K近鄰，有效避免了DTW序列距離和屬性距離之間不同測(cè)度距離的融合問(wèn)題。需說(shuō)明的是，在K近鄰確定過(guò)程中，只需要考慮為每個(gè)營(yíng)銷組用戶選擇合適的對(duì)照對(duì)象，而不必考慮對(duì)照組用戶是否被選擇。

在構(gòu)建權(quán)重函數(shù)表示方面，確定K NN(Xi)后，利用深度學(xué)習(xí)表達(dá)方面的優(yōu)勢(shì)。首先，對(duì)時(shí)序數(shù)據(jù)使用標(biāo)準(zhǔn)的長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)(Long-Short Term Memory,LSTM)[22]進(jìn)行建模；然后，對(duì)時(shí)序數(shù)據(jù)和非時(shí)序數(shù)據(jù)使用稀疏多層神經(jīng)感知網(wǎng)絡(luò)進(jìn)行統(tǒng)一學(xué)習(xí)，以獲得樣本的相對(duì)重要性評(píng)分；最后，對(duì)所有K近鄰的樣本重要性評(píng)分進(jìn)行歸一化，得到最終樣本權(quán)重。這種設(shè)計(jì)方式，解決了傳統(tǒng)的邏輯回歸分析不能應(yīng)用于時(shí)序特征和非時(shí)序特征混合場(chǎng)景的不足性，借鑒了傾向性得分思想，實(shí)現(xiàn)了普適場(chǎng)景下的統(tǒng)一權(quán)重學(xué)習(xí)。

具體流程如圖3所示，主要包含以下3個(gè)步驟：

圖3 基于稀疏深度混合網(wǎng)絡(luò)的權(quán)重函數(shù)學(xué)習(xí)Fig.3 Weight function learning based on sparse deep hybrid network

(1) 為每個(gè)營(yíng)銷組用戶Xi確定K NN(Xi)，即挑選K個(gè)與Xi距離最近的對(duì)照組樣本。挑選出的這部分樣本集將用于后續(xù)的權(quán)重網(wǎng)絡(luò)訓(xùn)練和因果效應(yīng)評(píng)估(如圖3紅色虛線部分)。

(2) 針對(duì) ＜Xi,KNN(Xi)＞，目標(biāo)損失函數(shù)的計(jì)算如下：首先，針對(duì)對(duì)照組Xj的時(shí)序特征XSj，使用LSTM進(jìn)行表示學(xué)習(xí)，并取最后一個(gè)隱狀態(tài)作為時(shí)序特征的表示；然后，將上述時(shí)序特征與靜態(tài)屬性特征進(jìn)行拼接；最后，為選擇有用特征，保證模型穩(wěn)定性，使用稀疏多層神經(jīng)網(wǎng)絡(luò)對(duì)拼接后的特征進(jìn)行壓縮，將壓縮后的特征通過(guò)softmax層計(jì)算并輸出權(quán)重。

(3) 上一步驟計(jì)算得到的權(quán)重，最后通過(guò)時(shí)序特征及屬性特征上的分布對(duì)齊作為標(biāo)準(zhǔn)進(jìn)行評(píng)估。上述步驟中時(shí)序特征經(jīng)過(guò)LSTM后成功變換到了向量空間，使得后續(xù)可以同時(shí)采取時(shí)序特征和靜態(tài)特征進(jìn)行權(quán)重計(jì)算。但是，最終的評(píng)估是在原始的時(shí)序特征及靜態(tài)特征空間，這種設(shè)計(jì)方式保證了最后的樣本權(quán)重評(píng)估不會(huì)被權(quán)重學(xué)習(xí)影響，使算法的穩(wěn)定性有了保證。

令 ?l和?m分別表示上述LSTM和稀疏多層神經(jīng)網(wǎng)絡(luò)，則式(5)可總結(jié)為式(6)。

式中：dS和dC分別為時(shí)序數(shù)據(jù)和靜態(tài)屬性數(shù)據(jù)的距離度量函數(shù)，此處分別使用DTW和歐氏距離進(jìn)行度量。

訓(xùn)練過(guò)程中，LSTM和稀疏多層神經(jīng)網(wǎng)絡(luò)通過(guò)式(6)中目標(biāo)函數(shù)的誤差反向傳播方式進(jìn)行學(xué)習(xí)。同時(shí)，考慮到式(6)中兩個(gè)目標(biāo)函數(shù)有不同取值范圍，先對(duì)兩個(gè)目標(biāo)函數(shù)單獨(dú)訓(xùn)練，再以單獨(dú)訓(xùn)練后的相對(duì)損失作為歸一化因子歸一，最后采取聯(lián)合微調(diào)的方法學(xué)習(xí)權(quán)重網(wǎng)絡(luò)W(X)。需要說(shuō)明的是在K近鄰和最后的目標(biāo)函數(shù)訓(xùn)練部分，考慮到兩類屬性特征的量綱區(qū)別，采取了分別計(jì)算的方式；但在計(jì)算樣本權(quán)重的時(shí)候，為了綜合考慮兩類屬性特征，在兩類特征拼接的基礎(chǔ)上采用多層神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整的方式來(lái)實(shí)現(xiàn)兩類屬性的量綱統(tǒng)一?？紤]到計(jì)算速度，提前使用DTW計(jì)算所有樣本對(duì)之間的距離函數(shù)[23]。

2.3 模型總結(jié)

根據(jù)前面算法流程的描述，本文提出的FGCB(Fine Grained Confounder Balancing)算法偽代碼可總結(jié)為算法1所示。

算法1 FGCB算法

輸入：觀察樣本(Xi,Ti,Yi)，i∈[1,n]，參數(shù)K

輸出：因果效應(yīng)CATT

(1) 對(duì)每個(gè)營(yíng)銷組(T=1) 用戶Xi，從對(duì)照組(T=0)中篩選K近鄰集合K NN(Xi)作為對(duì)照樣本。

(2) 基于〈Xi，KNN(Xi)〉，以式(5)為目標(biāo)，訓(xùn)練樣本權(quán)重網(wǎng)絡(luò)W。

(3) 基于訓(xùn)練后的權(quán)重網(wǎng)絡(luò)W、〈Xi，KNN(Xi)〉及其對(duì)應(yīng)的Y，使用式(4)估計(jì)CATT。

需注意的是，本算法通過(guò)擬合用戶權(quán)重網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)營(yíng)銷組和對(duì)照組在屬性特征空間(X)上的分布對(duì)齊(算法1的步驟(1)～(2))，然后基于對(duì)齊后得到的樣本權(quán)重計(jì)算消費(fèi)空間Y上的因果效應(yīng)(算法1的步驟(3))。因此，本算法不區(qū)別傳統(tǒng)意義上的訓(xùn)練過(guò)程及測(cè)試過(guò)程。

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)場(chǎng)景：以合作的某公司線上會(huì)員營(yíng)銷和用戶實(shí)際的消費(fèi)數(shù)據(jù)為例，使用文中算法定量評(píng)估會(huì)員營(yíng)銷對(duì)消費(fèi)的提升程度，最后與實(shí)際的A/B測(cè)試數(shù)據(jù)對(duì)比，證明評(píng)估算法的有效性?？紤]到商業(yè)秘密，此處不列出公司具體的名稱，并對(duì)消費(fèi)數(shù)據(jù)進(jìn)行了脫敏處理。在對(duì)數(shù)據(jù)進(jìn)行了基本的統(tǒng)計(jì)分析后，從總體用戶中隨機(jī)抽樣1 000個(gè)營(yíng)銷組用戶，10 000個(gè)對(duì)照組用戶。其中，營(yíng)銷組用戶定義為在此次營(yíng)銷活動(dòng)期內(nèi)被營(yíng)銷過(guò)的用戶，對(duì)照組用戶定義為至統(tǒng)計(jì)期在此次營(yíng)銷活動(dòng)中從未被營(yíng)銷過(guò)的用戶。并選取了以下用戶特征用于評(píng)估：(1) 用戶的時(shí)序特征選取了每個(gè)用戶被營(yíng)銷前60天(以天為單位)的序列數(shù)據(jù)，包括：日消費(fèi)額序列、日在網(wǎng)時(shí)長(zhǎng)序列、日獲取積分序列、特別關(guān)注的關(guān)鍵行為日參與次數(shù)序列；(2) 用戶的屬性特征包括：性別、地域、年齡、收入水平、教育程度、累計(jì)消費(fèi)金額、累計(jì)在網(wǎng)時(shí)長(zhǎng)、累計(jì)營(yíng)銷次數(shù)、VIP等級(jí)、在網(wǎng)時(shí)長(zhǎng)偏好等。此外，為了方便后續(xù)的處理，對(duì)用戶屬性特征X的每個(gè)屬性特征進(jìn)行N(0,1)標(biāo)準(zhǔn)化處理，消費(fèi)額則做縮放處理至[0,100]元。

性能指標(biāo)：為評(píng)估FGCB算法的性能，基于估計(jì)的CATT，本文使用偏差(Bias)和均方根誤差(RMSE)進(jìn)行性能評(píng)估，定義如下

式中： CATTk為使用本文算法評(píng)估的第k次結(jié)果，CATT為實(shí)際值。由于真實(shí)場(chǎng)景中，真實(shí)數(shù)據(jù)是未知的，此處CATT值使用真實(shí)的A/B測(cè)試結(jié)果估計(jì)。

基準(zhǔn)算法：選取了比較經(jīng)典和比較新的一些研究工作作為對(duì)比。其中，由于基準(zhǔn)方法均未對(duì)時(shí)序數(shù)據(jù)做特殊設(shè)計(jì)，輸入時(shí)將時(shí)序數(shù)據(jù)展開(kāi)為特征向量的形式。基準(zhǔn)算法的實(shí)驗(yàn)結(jié)果均基于原論文的開(kāi)源實(shí)現(xiàn)，AIPW基于R包的官方實(shí)現(xiàn)(具體請(qǐng)見(jiàn)：https://www.rdocumentation.org/packages/RCAL/versions/1.0/topics/ate.aipw)，GANITE和SITE基于原論文公布的代碼和建議的參數(shù)設(shè)置(分別見(jiàn)：https://github.com/jsyoon0823/GANITE和https://github.com/Osier -Yi/SITE)。具體介紹如下：

AIPW[4]：經(jīng)典的基于傾向性得分的因果效應(yīng)評(píng)估方法，傾向性得分使用標(biāo)準(zhǔn)邏輯回歸進(jìn)行估計(jì)。

GANITE[17]：一種基于對(duì)抗產(chǎn)生式網(wǎng)絡(luò)進(jìn)行反事實(shí)分布推斷的因果效應(yīng)評(píng)估方法。

DCB[18]：一種對(duì)混雜變量區(qū)別對(duì)待的平衡因子的因果效應(yīng)評(píng)估方法。因未找到官方源碼，該方法的實(shí)驗(yàn)結(jié)果為本文作者對(duì)該方法的重現(xiàn)。

SITE[21]：一種基于深度表示學(xué)習(xí)的因果效應(yīng)評(píng)估方法。

FGCB(FGCB-C, FGCB-S, FGCB-G)：本文中提出的FGCB方法及其變體。其中，F(xiàn)GCB為標(biāo)準(zhǔn)模型，F(xiàn)GCB-C只包括用戶靜態(tài)屬性特征，F(xiàn)GCB-S只包括用戶時(shí)序特征，F(xiàn)GCB-G使用全對(duì)照組，而不使用K近鄰。FGCB方法的主要參數(shù)是近鄰數(shù)K，實(shí)驗(yàn)中默認(rèn)值為5。其余參數(shù)設(shè)置如下：隱藏層數(shù)量設(shè)置為輸入層維度的2倍，稀疏多層神經(jīng)網(wǎng)設(shè)置為3層全連接網(wǎng)絡(luò)結(jié)合Dropout方式實(shí)現(xiàn)。其他參數(shù)采用3-折交叉驗(yàn)證的方式進(jìn)行調(diào)整。實(shí)現(xiàn)均基于Pytorch1.71版本。

3.2 結(jié)果及分析

與基準(zhǔn)算法的對(duì)比分析：結(jié)果如表1所示，本文提出的FGCB在RMSE和Bias兩項(xiàng)指標(biāo)的結(jié)果都最好，其中RMSE明顯優(yōu)于其他基準(zhǔn)方法。與FGCB結(jié)果最為接近的是SITE算法，可能的原因是FGCB和SITE都基于細(xì)粒度特征表示進(jìn)行因果效應(yīng)評(píng)估。上述實(shí)驗(yàn)結(jié)果有效驗(yàn)證了本文提出的局部樣本匹配思想和基于細(xì)粒度特征建模的有效性。

表1 與基準(zhǔn)算法的對(duì)比分析實(shí)驗(yàn)結(jié)果Table1 Experimental results of comparative analysis with benchmark algorithms

剔除實(shí)驗(yàn)分析：表2為FGCB及其變種算法的實(shí)驗(yàn)結(jié)果。通過(guò)分別剔除序列信息(即只用屬性信息的FGCB-C)和剔除屬性信息(即只用序列信息的FGCBS)模型，可以發(fā)現(xiàn)剔除信息后的2種模型結(jié)果都有所變差，說(shuō)明用戶的時(shí)序信息和靜態(tài)屬性信息都對(duì)因果效應(yīng)的評(píng)估具有明顯作用。表2的數(shù)據(jù)結(jié)果也驗(yàn)證了使用時(shí)序數(shù)據(jù)建模是FGCB算法結(jié)果較優(yōu)的關(guān)鍵。此外，對(duì)比FGCB-G和FGCB的結(jié)果可以發(fā)現(xiàn)，K近鄰局部匹配的思想雖然對(duì)Bias的降低不明顯，但有助于降低RMSE這一項(xiàng)指標(biāo)。

表2 模型組件剔除實(shí)驗(yàn)結(jié)果Table2 Experimental results of model component removal

近鄰參數(shù)敏感性分析：FGCB算法中，K近鄰的參數(shù)K是重要參數(shù)之一。為了測(cè)試算法對(duì)于參數(shù)K的敏感性，將K取值 [1,5,10,20,30,全局]所對(duì)應(yīng)的算法性能結(jié)果列出如圖4所示。隨著K取值的增加，Bias先下降然后穩(wěn)定在某一水平，說(shuō)明在一定范圍內(nèi)增加近鄰數(shù)量K可以減少模型偏差；隨著K取值的增加，RMSE先下降后上升，K=5時(shí)效果較好，K=10時(shí)穩(wěn)定性略有提高。圖4結(jié)果說(shuō)明，針對(duì)營(yíng)銷組樣本篩選對(duì)照樣本時(shí)，只需選擇少量樣本即可提升算法的穩(wěn)定性和準(zhǔn)確性。此外，增加近鄰域后效果開(kāi)始下降，也側(cè)面說(shuō)明了鄰域方法的有效性。

圖4 近鄰敏感性分析實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of neighbor sensitivity analysis

稀疏參數(shù)敏感性分析：FGCB算法中，稀疏多層神經(jīng)網(wǎng)絡(luò)采取3層全連接網(wǎng)絡(luò)結(jié)合Dropout方式實(shí)現(xiàn)，其中剔除率(dropout rate)是稀疏性的重要參數(shù)之一。dropout rate對(duì)算法性能的影響結(jié)果如圖5所示。其中，橫坐標(biāo)刻度點(diǎn)為dropout rate值。dropout rate為0.5的時(shí)候，模型效果好于全連接網(wǎng)絡(luò)(dropout rate為0)，說(shuō)明稀疏策略有效。此外，發(fā)現(xiàn)模型性能在最優(yōu)參數(shù)附近對(duì)于dropout值不敏感，說(shuō)明模型在實(shí)際應(yīng)用中的性能得到保證。

圖5 稀疏參數(shù)敏感性分析實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of sparsity sensitivity analysis

典型案例分析：為了更直觀地認(rèn)識(shí)FGCB算法的有效性，選取了幾個(gè)典型的用戶，對(duì)FGCB算法及幾種變體的結(jié)果進(jìn)行分析。圖6為某個(gè)營(yíng)銷組用戶及其權(quán)重最大的近鄰用戶的消費(fèi)序列。需說(shuō)明的是，由于FGCB-G方法在多次實(shí)驗(yàn)中結(jié)果不穩(wěn)定，難選擇到合適的代表案例，本圖未給出FGCB-G的結(jié)果。如圖6所示，F(xiàn)GCB方法獲得的最大權(quán)重樣本，與營(yíng)銷組樣本的周期性和全局性最相似，F(xiàn)GCB-S只使用時(shí)序數(shù)據(jù)，其在篩選對(duì)照組樣本時(shí)，保持了較好的樣本周期性特征，而僅使用用戶靜態(tài)屬性的FGCB-C則未能很好地刻畫(huà)周期屬性。但是，通過(guò)FGCB-S和FGCB的對(duì)比分析，發(fā)現(xiàn)若忽略了用戶靜態(tài)屬性，可能會(huì)引入整體的偏差。

圖6 典型營(yíng)銷組樣本及其對(duì)照組樣本的消費(fèi)情況可視化分析Fig.6 Visual analysis of consumption of the typical marketing group sample and its control group sample

4 結(jié)束語(yǔ)

本文使用因果效應(yīng)評(píng)估方法對(duì)營(yíng)銷效果的量化評(píng)估問(wèn)題進(jìn)行了建模，針對(duì)用戶時(shí)序非時(shí)序特征混合等問(wèn)題特性提出了細(xì)粒度混雜平衡模型，結(jié)合了傾向性得分和混雜平衡方法的思想，設(shè)計(jì)了K近鄰選擇、時(shí)序特征和靜態(tài)屬性分別建模等細(xì)粒度策略，實(shí)現(xiàn)了穩(wěn)定的營(yíng)銷效果評(píng)估。未來(lái)研究包括時(shí)序特征對(duì)齊和靜態(tài)特征對(duì)齊的優(yōu)化融合方法、將對(duì)抗學(xué)習(xí)思想引入到樣本相似性度量中以進(jìn)一步提升算法的可靠性等。