周子馨

(河海大學 計算機與信息學院,南京 211100)

隨著客服中心服務(wù)量的不斷增加,如何保證在高峰時段和突發(fā)情況下有足夠的客服人員在服務(wù),已成為一個越來越緊迫的問題.實際上,在線客服系統(tǒng)是不能夠完全自動化完成客服中心的復雜調(diào)度和計劃任務(wù).人的交互作用是客服中心必不可少的,因此如何對客服中心的服務(wù)量進行預測,對于保證客服中心提供的服務(wù)能夠使客戶獲得較高的滿意度是非常重要的[1].

目前,對于服務(wù)量的預測方法已有多種,如時間序列、排隊論、回歸預測和神經(jīng)網(wǎng)絡(luò)等.Andrews 等[2]和Antipov 等[3]提出了一種具有解釋變量的自回歸綜合移動平均ARIMAX 模型,該模型使用如促銷周期、廣告響應(yīng)和日歷效應(yīng)等外部變量.Aldor-Noiman 等[4]提出了一種基于混合泊松過程方法的統(tǒng)計模型,該模型考慮事件的影響,例如將賬單待出時期作為外部變量.Niu 等[5]提出了一種特殊的回波狀態(tài)網(wǎng)絡(luò),在該網(wǎng)絡(luò)中每個時間序列具有不同的存儲層,并且該網(wǎng)絡(luò)將外部變量也考慮其中.ARIMAX 模型和基于混合泊松過程方法的統(tǒng)計模型屬于參數(shù)方法,雖然可以明確各變量之間的數(shù)量關(guān)系,定量分析變量對因變量的影響大小,但是其方法內(nèi)部參數(shù)的設(shè)定受使用者的主觀影響較大,不同的使用者很可能會得到相差很大的結(jié)果[6];回波狀態(tài)網(wǎng)絡(luò)屬于非參數(shù)方法,依靠數(shù)據(jù)來調(diào)節(jié)模型內(nèi)部的參數(shù),進而得到變量與因變量之間的關(guān)系,但是對于長時間序列,其預測能力有限.因此長短時記憶神經(jīng)網(wǎng)絡(luò)(LSTM)被提出,它是一種改進的時間遞歸神經(jīng)網(wǎng)絡(luò)(RNN),可以學習時間序列長短期信息.由于其包含時間記憶單元,因此適合處理和預測時間序列中的間隔和延遲事件.但是LSTM 仍然有2 個缺點:一是隱含層數(shù)和隱含層神經(jīng)元數(shù)難確定;二是學習率和迭代次數(shù)難確定[6].隱含層數(shù)和隱含層神經(jīng)元數(shù)直接決定模型的擬合能力,學習率和迭代次數(shù)影響模型的訓練過程和效果.在實際應(yīng)用中,這些參數(shù)都是依靠經(jīng)驗來確定,具有較大的隨機性,這降低了模型的預測效果.

本文主要貢獻和創(chuàng)新如下:

(1)提出了基于算法DMPSADE 的一種改進算法IDMPSADE,即通過反向引導尋優(yōu)效果不佳的父代種群變異方向,提升搜索全局最優(yōu)能力.

(2)建立了IDMPSADE-LSTM 預測模型,并且分析了在線客服系統(tǒng)的系統(tǒng)歷史服務(wù)量數(shù)據(jù),挖掘出關(guān)鍵影響因素,將其作為LSTM 的多輸入變量,利用IDMPSADE 對LSTM 的部分超參數(shù)進行尋優(yōu),從而提升了IDMPSADE-LSTM 預測模型的精確度.

本文內(nèi)容安排如下:第1 節(jié)主要介紹已有的服務(wù)量預測方法.第2 節(jié)針對各預測方法存在的不足,引入構(gòu)建本文預測模型所需的背景知識.第3 節(jié)介紹改進的算法IDMPSADE,并與多種其它差分進化算法進行實驗對比.第4 節(jié)構(gòu)建IDMPSADE-LSTM 預測算法模型.第5 節(jié)通過分析歷史數(shù)據(jù),選取服務(wù)量影響因素作為LSTM 的多輸入變量,利用IDMPSADE-LSTM 預測模型對服務(wù)量進行預測,并且與其他神經(jīng)網(wǎng)絡(luò)以及混合預測模型進行實驗對比分析.第6 節(jié)對IDMPSADELSTM 預測模型進行總結(jié).

1 相關(guān)知識

1.1 長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM 原理

對于標準循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而言,存在一個問題:一般神經(jīng)網(wǎng)絡(luò)的信息從輸入層到隱含層到輸出層單向流動,循環(huán)神經(jīng)網(wǎng)絡(luò)的信息傳遞存在定向的循環(huán),很容易出現(xiàn)梯度消失和梯度爆炸[7-9].LSTM 結(jié)構(gòu)由一組循環(huán)連接的子網(wǎng)(稱為記憶單元)組成.每個記憶單元包含一個或多個自連接的記憶細胞和三種門(輸入門、輸出門和遺忘門),這三種門允許記憶細胞存儲訪問長時間段的信息,因此能夠緩解梯度消失的問題[10].LSTM 中由單個記憶細胞構(gòu)成的記憶單元如圖1 所示.

圖1 LSTM 單細胞記憶單元示意圖

某一時刻t 的狀態(tài)計算過程如下:

其中,? 和σ 分別為雙曲正切(tanh)和sigmoid 函數(shù),W 和b 為 待學習的網(wǎng)絡(luò)參數(shù).it,ft和ot分別為t 時刻的輸入門(input gate)、遺忘門(forget gate)和輸出門(output gate),ct為t 時刻記憶單元的內(nèi)部狀態(tài).ct能夠在t 時刻保持模型對歷史輸入信息的編碼記憶,輸入門控制信息流入,輸出門控制信息流出,而遺忘門則控制歷史信息對當前記憶單元 ct的影響大小.ht和ht-1分別為記憶單元在t-1 和t 時刻的輸出.由于能夠較好地對長程和短程依賴關(guān)系進行建模,長短時記憶模型被廣泛運用到序列編碼中[11].

1.2 差分進化算法原理

1.2.1 差分進化算法概述

差分進化算法是一種針對種群演化的計算技術(shù),初衷是為了解決切比雪夫多項式問題,在發(fā)展過程中,研究人員發(fā)現(xiàn)它也可以用于解決復雜優(yōu)化問題.差分進化算法保留了基于種群的全局搜索策略,采用實數(shù)編碼,變異操作采用個體間的差值與變異率相乘,并且使用一對一的競爭生存策略,從而降低簡化遺傳操作.此外,因為差分進化算法具備獨特的記憶能力,所以它可以根據(jù)跟蹤到的動態(tài)搜索情況調(diào)整搜索策略,全局收斂能力和健壯性相較其他進化算法優(yōu)越.雖然數(shù)學方法能夠?qū)芏喑橄髥栴}具象邏輯求解,但是自然界中依舊存在大量利用常規(guī)的數(shù)學歸納方法無法解決的優(yōu)化問題,差分進化算法對此類問題無需其特征信息就能求解.因此,差分進化算法因其擁有的高效搜索能力對于學術(shù)研究和工程類應(yīng)用而言存在一定的意義與價值[12].

1.2.2 DMPSADE算法流程

差分進化算法的搜索能力是由被選擇的變異策略和相關(guān)的控制參數(shù)決定,所以選擇適當?shù)淖儺惒呗院涂刂茀?shù)對差分進化算法性能的改善是至關(guān)重要的,基于離散變異控制參數(shù)的自適應(yīng)差分進化算法(DMPSADE)核心是實現(xiàn)控制參數(shù)和變異策略的自適應(yīng),同時確保每個變量的控制參數(shù)能夠進行獨立演化[13].

(1)初始化

NP 為種群中的個體數(shù)量,Gmax為演化過程中的最大迭代數(shù),x為生成的種群個體,個體的變化范圍為[xmin,xmax],D為問題維度.每一種變異策略的初始個體數(shù)量為 N P/5,種群初始化方式如式(7)所示.

(2)種群進化

Setp為決定單個自適應(yīng)變異策略使用量的常量,GS為判斷種群個體選用何種變異策略的條件,令GS=Setp×Gmax.

交叉操作:如式(8)所示,其中 Rj是[0,1]中的均勻隨機數(shù);CR 為交叉控制參數(shù).

選擇操作:如式(9)所示.

(3)變異策略自適應(yīng)

如果G =GS,5 種變異策略DE/rand/1、DE/rand/2、DE/best/2、DE/rand-to-best/1 和DE/rand-to-best/2 會被隨機分配給種群中所有的個體.

如果G ＞GS,計算出每一種變異策略的累積概率,并采用輪盤法決定第G+1 代種群個體的變異策略.

(4)控制參數(shù)自適應(yīng)

由于迭代數(shù)G、上一代變異控制參數(shù)值與交叉控制參數(shù)值對下一代變異控制參數(shù)和交叉控制參數(shù)的更新有一定影響,故以此為判斷條件,通過計算每個個體的權(quán)值,獲取每個個體的變異控制參數(shù)加權(quán)平均值與種群的交叉控制參數(shù)加權(quán)平均值,利用正態(tài)分布函數(shù)對控制參數(shù)進行更新.

(5)迭代

種群迭代一次,即G =G+1.

(6)評估

重復步驟(2)～(5)直到迭代數(shù)值達到最大值或評估函數(shù)收斂精度達到要求.

2 IDMPSADE算法

DMPSADE算法主要思想是種群在經(jīng)過初步的初始化、種群進化之后,進行變異策略和控制參數(shù)的自適應(yīng)行為,然后選擇評估值小的種群作為最佳種群.IDMPSADE 以DMPSADE算法思想為基礎(chǔ),初始化種群時均采用正向引導變異,當正向引導的效果不佳即子代種群適應(yīng)度函數(shù)大于父代種群適應(yīng)度函數(shù)時,此處的適應(yīng)度函數(shù)為算法的尋優(yōu)函數(shù),對父代種群個體進行反向引導,即更改引導方向,選擇反向引導更為直觀,從而提高跳出局部最優(yōu)和搜索到全局最優(yōu)的可能性.反向引導體現(xiàn)在改進策略公式的F 參數(shù)符號中,具體如式(10),式(11)至式(14)所示.

DE/rand/1 策略:

DE/rand/2 策略:

DE/best/2 策略:

DE/current-to-best/1 策略:

DE/current-to-best/2 策略:

IDMPSADE算法的控制參數(shù)包括變異控制參數(shù)與交叉控制參數(shù),參數(shù)的定義與DMPSADE算法的一致,公式如式(15)至式(17)所示.

當更新條件為G ＜0.5×Gmax并且個體對應(yīng)的變異控制參數(shù)大于1,或者小于0.1×(0.1-(G/Gmax)2)時,變異控制參數(shù)需要按照N (,σ1)進行更新;若更新條件為G ＞0.5×Gmax并且大于1,則將變異控制參數(shù)置為1;若更新條件為＜0,則將變異控制參數(shù)按照進行更新.交叉控制參數(shù)的更新條件與變異控制參數(shù)的一致,在各條件下對應(yīng)的更新式分別為 N(,σ),1,其 中,為個體適應(yīng)度函數(shù),即目標函數(shù),fmax為種群最優(yōu)適應(yīng)度函數(shù).由于CR的值越大,種群個體信息量交換的程度越大.反之,如果C R的值偏小,將會使種群的多樣性快速減小,不利于全局尋優(yōu);F 主要影響算法的全局尋優(yōu)能力,F越小,算法對局部的搜索能力更好,F越大算法越能跳出局部極小點,但是收斂速度會變慢.此外,F還影響種群的多樣性[14],故令 σ1=σ2=0.8-0.5×(1-(G/Gmax)2),圖2為σ 的變化曲線,在尋優(yōu)過程中以保證更新后的C R 與F均在0.5 左右分布,從而平衡算法的尋優(yōu)能力與收斂速度.

圖2 σ變化曲線

由于IDMPSADE算法的控制參數(shù)更新方式與DMPSADE算法相同,故根據(jù)已有的實驗分析[13]可知,控制參數(shù)具有極大的隨機性,每個種群個體有其變異控制參數(shù)與交叉控制參數(shù),適應(yīng)性在不同的測試函數(shù)上表現(xiàn)也不同.

為了測試IDMPSADE 的尋優(yōu)性能,除選擇DMPSADE算法進行實驗對比,還選擇了jDE[15]和SaDE[16]在4 種常用測試函數(shù)上進行測試,這4 種測試函數(shù)具有不同的特性,可抽象地表示實際生活的不同問題.測試函數(shù)分別為F1-Shifted Schwefel’s Problem 1.2 with Noise in Fitness,F2-Shifted Rosenbrock’s Function,F3-Non-Continuous Rotated Hybrid Composition Function,F4-Rotated Hybrid Composition Function without bound,其中F1 為單峰函數(shù),F2 為多峰函數(shù)且極值點個數(shù)較多,F3、F4 為組合測試函數(shù)[17].

設(shè)置參數(shù)NP=100,Gmax=3000,D=30,Setp=0.175,Msp=0.02.評估性能的指標為測試函數(shù)均值與標準差,均值與標準差越小,說明算法的收斂精度越高,尋優(yōu)性能越好.由表1 知,IDMPSADE 的平均值和標準差均比jDE,SaDE 和DMPSADE 的小,說明IDMPSADE算法具有較好的性能.

表1 各差分進化算法標結(jié)果對比

3 IDMPSADE-LSTM 預測模型

參數(shù)的選取對LSTM 的預測效果存在較大影響.采用IDMPSADE算法對LSTM 參數(shù)進行優(yōu)化,需要進行尋優(yōu)操作的主要參數(shù)有第一層隱藏層的神經(jīng)元數(shù)h1,第二層隱藏層的神經(jīng)元數(shù)h2,學習率r ,訓練迭代次數(shù)e,訓練批次數(shù)b,激活函數(shù)設(shè)置為tanh 函數(shù),由于是預測回歸問題,故全連接層輸出維度設(shè)置為1.

Step 1.初始化.將LSTM 模型中的控制參數(shù)數(shù)目作為IDMPSADE算法的問題維度,即D 的取值;將在線客服系統(tǒng)的服務(wù)量劃分為訓練LSTM 的訓練數(shù)據(jù)與預測數(shù)據(jù).選取LSTM 的擬合值與真實值之間的RMSE 作為目標函數(shù).初始化IDMPSADE算法的基本參數(shù)包括種群規(guī)模、最大迭代次數(shù)、變異參數(shù)和交叉參數(shù).IDMPSADE 模型的種群按照式(7)產(chǎn)生,種群中的每個個體均是LSTM 模型的一個參數(shù)組合.

Step 2.種群進化.首先判斷是否達到迭代結(jié)束條件,即全局極小值是否達到了設(shè)定的精度或者是否達到了設(shè)定的最大迭代次數(shù).如果是,則停止迭代輸出最優(yōu)個體;否則,種群繼續(xù)進行變異、邊界和交叉操作得到下一代種群個體,其中種群的迭代次數(shù)以及種群個體目標函數(shù)值的分布差異性決定了種群對五種變異策略的選擇概率,即變異策略的自適應(yīng),轉(zhuǎn)下一步.

Step 3.控制參數(shù)自適應(yīng).由于迭代數(shù)G、上一代變異控制參數(shù)值與交叉控制參數(shù)值對下一代變異控制參數(shù)和交叉控制參數(shù)的更新有一定影響,根據(jù)種群個體目標函數(shù)值的分布差異性以及當前的迭代次數(shù),更新變異控制參數(shù)F 與交叉控制參數(shù)CR,轉(zhuǎn)下一步.

Step 5.迭代.種群迭代一次,即G =G+1,轉(zhuǎn)Step 2.

Step 6.得到LSTM 最優(yōu)參數(shù)組合以及在線客服系統(tǒng)服務(wù)量的預測結(jié)果.

4 實驗結(jié)果分析

4.1 服務(wù)量影響因素選取

服務(wù)量數(shù)據(jù)來自于某電力客服中心從2016年1月至2018年12月的數(shù)據(jù)中心記錄,包括每天各時間點的服務(wù)記錄.影響服務(wù)量的因素有很多.由于在冬夏兩季受溫度影響,居民用電量較多,可能出現(xiàn)跳閘斷電、電費相較過去有所增加等情況,導致系統(tǒng)服務(wù)量變化較大.雨雪天氣影響居民的外出,居民用電量較多,可能出現(xiàn)電力設(shè)備故障、電費相較過去有所增加等情況,導致系統(tǒng)服務(wù)量變化較大.所以選取溫度和降水量為主要影響因素.

在將溫度和降水量作為LSTM 的輸入前,需要對其進行相關(guān)性分析.分析方法利用Pearson 相關(guān)性分析和Spearman 秩相關(guān)性分析[18].首先將近一年內(nèi)的在線服務(wù)量按照工作日與非工作日劃分,同時對異常在線服務(wù)量進行數(shù)據(jù)清洗,分別將溫度、降水量作為第一變量,將近一年的工作日在線服務(wù)量作為第二變量,對第一、第二變量進行相關(guān)系數(shù)計算,當Pearson 相關(guān)度和Spearman 相關(guān)度均大于0.5 時,說明影響因素與服務(wù)量的相關(guān)性強.影響因素相關(guān)性分析結(jié)果如表2所示.

由計算結(jié)果得出,溫度和降水量這兩類氣象影響因素與在線服務(wù)量的相關(guān)性強,并且溫度和服務(wù)量的相關(guān)性高于降水量和服務(wù)量的相關(guān)性,溫度和降水量可作為LSTM 預測系統(tǒng)服務(wù)量的輸入.

表2 影響因素相關(guān)性分析

4.2 服務(wù)量預測結(jié)果分析

(1)IDMPSADE 參數(shù)與LSTM 參數(shù)設(shè)置

種群規(guī)模NP 為100,最大迭代次數(shù)Gmax為3000,目標函數(shù)維度D 為5,決定單個自適應(yīng)變異策略使用量的參數(shù)Setp 為0.175,5 種變異策略的可選概率最大變化量Msp 為0.02,由于是自適應(yīng)變異控制參數(shù)與交叉控制參數(shù),因此根據(jù)種群個體目標函數(shù)值的分布差異性以及迭代次數(shù),種群個體的更新變異控制參數(shù)F 與交叉控制參數(shù)CR 的加權(quán)平均值如圖2 和圖3 所示.經(jīng)過IDMPSADE算法的優(yōu)化,LSTM 的第一層隱藏層神經(jīng)元數(shù)為40,第二層隱藏層神經(jīng)元數(shù)為30,學習率為0.01,訓練迭代次數(shù)為10,訓練批次為72.

圖3 LSTM 五種參數(shù)的變異控制參數(shù)F 加權(quán)平均值

如圖3 與圖4 所示,變異控制參數(shù)F 的加權(quán)平均值在0.5 上下浮動,范圍在0.4 到0.65 之間;交叉控制參數(shù)CR 的加權(quán)平均值在0.5 上下浮動,范圍在0.4 到0.6 之間,有效地平衡了算法的收斂精度與收斂速度.

(2)服務(wù)量預測精確度分析

基于統(tǒng)一測試數(shù)據(jù)集,利用經(jīng)過IDMPSADE算法優(yōu)化后的LSTM 神經(jīng)網(wǎng)絡(luò)對在線客服系統(tǒng)的服務(wù)量進行預測,預測出代表336 個小時內(nèi)服務(wù)量的336 個樣本點數(shù)與原實際數(shù)據(jù)的對比如圖4 所示.算法的預測性能指標選取均方誤差MSE 和平均絕對誤差MAE,如式(18)和式(19)所示.

其中,yi表示真實值,表示預測值,n 表示測試樣本數(shù),MSE 與MAE 的值越小,表示誤差越小,預測性能越好.

圖4 交叉控制參數(shù)CR 加權(quán)平均值

采用傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)、SARIMA-SVM 模型預測效果與IDMPADE-LSTM 模型預測效果對比如表3 所示.

表3 不同模型預測結(jié)果對比

由圖5 可以看出,在線客服系統(tǒng)的服務(wù)量具備一定的周期性,預測結(jié)果相較實際數(shù)據(jù)的極值范圍更小,能夠較好地預測出服務(wù)量的總體變化趨勢,有助于客服中心對客服提前排班以應(yīng)對服務(wù)量變化情況.

圖5 IDMPSADE-LSTM 服務(wù)量預測結(jié)果

由表3 可以看出,IDMPSADE-LSTM 混合預測模型的預測誤差小于BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)以及SARIMA-SVM 混合預測模型,說明該服務(wù)量預測模型具有一定優(yōu)越性,預測精度有所提升.

5 總結(jié)

系統(tǒng)服務(wù)量預測的準確性、有效性、實時性是公司為客服人員安排技能培訓、進行工作規(guī)劃的重要依據(jù),應(yīng)用面向在線客服系統(tǒng)的服務(wù)量預測算法可為人力資源調(diào)度優(yōu)化等工作提供科學的依據(jù).

本文在對系統(tǒng)服務(wù)量數(shù)據(jù)調(diào)查分析的基礎(chǔ)上,提出了一種IDMPSADE-LSTM 服務(wù)量預測模型,與BP神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)以及SARIMA-SVM 混合預測模型相比,本文提出的預測模型將關(guān)鍵影響因素與服務(wù)量自身的時間序列特征進行了有效的結(jié)合,并且預測的精確度更高.此外,本文提出的IDMPSADELSTM 預測模型解決了神經(jīng)網(wǎng)絡(luò)部分超參數(shù)的賦值隨機性問題,該模型除了可應(yīng)用于系統(tǒng)服務(wù)量預測,對于交通、金融等領(lǐng)域的相關(guān)數(shù)據(jù)預測也具備一定的參考價值.