牟天蔚 蔣白懿 沈丹玉 趙明

摘要：供水量預(yù)All是建立管網(wǎng)水力模型的前提，為提高供水管網(wǎng)模型精度，提出一種基于深度學(xué)習(xí)框架的小波深度信念網(wǎng)絡(luò)（SW-DBN）時(shí)間序列模型。該模型首先通過(guò)Symlets小波對(duì)日供水量數(shù)據(jù)進(jìn)行分解，然后將各分解項(xiàng)分別導(dǎo)入SW-DBN時(shí)間序列模型中進(jìn)行訓(xùn)練，最后利用訓(xùn)練的模型進(jìn)行預(yù)測(cè)。以新開(kāi)河2014-2015年日供水量為訓(xùn)練數(shù)據(jù)，2016年1月1-7日供水量為測(cè)試數(shù)據(jù)，導(dǎo)入該模型進(jìn)行預(yù)測(cè)。依據(jù)該測(cè)試方法對(duì)其后200d的供水量進(jìn)行預(yù)測(cè)，結(jié)果表明：該模型用于日供水量預(yù)測(cè)比深度信念網(wǎng)絡(luò)模型及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型精度高，相對(duì)誤差均小于5%，是一種有效的方式。

關(guān)鍵詞：深度信念網(wǎng)絡(luò)模型；深度學(xué)習(xí)框架；Symlets小波；日供水量

中圖分類號(hào)：TV213.4 文獻(xiàn)標(biāo)志碼：A Doi：10.3969/j.issn.1000-1379.2018.09.014

隨著經(jīng)濟(jì)社會(huì)發(fā)展，居民的用水需求量不斷增大，供水部門為保障供水，應(yīng)對(duì)城市供水量進(jìn)行統(tǒng)計(jì)、分析及預(yù)測(cè)。供水量預(yù)測(cè)分為短期預(yù)測(cè)、中期預(yù)測(cè)、長(zhǎng)期預(yù)測(cè)3類[1]，日供水量預(yù)測(cè)屬于短期預(yù)測(cè)。目前，大量成熟的短期預(yù)測(cè)模型得以應(yīng)用。鮑燕寒川通過(guò)混沌時(shí)間序列模型對(duì)城市日供水量成功進(jìn)行預(yù)測(cè)，但其缺點(diǎn)是不能完全適應(yīng)供水量值的波動(dòng)；陸志波等[2]通過(guò)自回歸積分滑動(dòng)平均模型和BP神經(jīng)網(wǎng)絡(luò)模型對(duì)人均生活用水量進(jìn)行預(yù)測(cè)，但該模型僅適用于小樣本數(shù)據(jù)預(yù)測(cè)，且準(zhǔn)確性有待提高；李斌等[3]通過(guò)灰色神經(jīng)網(wǎng)絡(luò)組合模型對(duì)需水量進(jìn)行預(yù)測(cè)，雖然準(zhǔn)確性有所提高，但對(duì)大樣本適應(yīng)性仍然較差。近年來(lái)，深度學(xué)習(xí)框架被廣泛應(yīng)用于分類、預(yù)測(cè)、診斷問(wèn)題中，其中深度信念網(wǎng)絡(luò)（DBN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）較為常見(jiàn)，相比BP模型，DBN模型對(duì)大樣本預(yù)測(cè)具有精度高、耗時(shí)少等特點(diǎn)[4]。Z.Y.Wn等[5]運(yùn)用DBN模型對(duì)日用水量進(jìn)行預(yù)測(cè)，但經(jīng)測(cè)試，對(duì)于波動(dòng)性大的歷史數(shù)據(jù)樣本仍無(wú)法適應(yīng)。T.E.G.Swee等[6]運(yùn)用Symlets小波對(duì)數(shù)據(jù)進(jìn)行分解后，成功地解決了大波動(dòng)樣本預(yù)測(cè)的問(wèn)題，但目前暫無(wú)案例將小波分解應(yīng)用于深度學(xué)習(xí)框架之中。

筆者在深度信念網(wǎng)絡(luò)基礎(chǔ)上，結(jié)合Symlets小波模型，提出一種小波深度信念網(wǎng)絡(luò)時(shí)間序列模型，對(duì)日供水量進(jìn)行預(yù)測(cè)，以期達(dá)到適應(yīng)大樣本預(yù)測(cè)、提高預(yù)測(cè)精度的目的。

1 預(yù)測(cè)原理

1.1 計(jì)算原理

小波深度信念網(wǎng)絡(luò)模型（SW-DBN）是Symlets小波與深度信念網(wǎng)絡(luò)（DBN）組合的模型，通過(guò)Symlets小波將日供水量訓(xùn)練樣本分解為趨勢(shì)項(xiàng)、周期項(xiàng)、隨機(jī)項(xiàng)，并運(yùn)用分解結(jié)果對(duì)DBN模型進(jìn)行訓(xùn)練，最后通過(guò)擬合模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)并進(jìn)行誤差分析。

1.2 Symlets小波模型

Symlets小波又稱Daubechies近似對(duì)稱小波，通常寫作Sym N（N為階數(shù)，N=2，3，…，n），是一種具有有限緊支撐、近似對(duì)稱性質(zhì)的雙正交小波[7]。

matlab小波工具箱是通過(guò)高通、低通分解濾波器及重構(gòu)濾波器來(lái)進(jìn)行分解與重構(gòu)數(shù)據(jù)的，其中：分解濾波器可將原始數(shù)據(jù)序列分解為平均與細(xì)節(jié)信息，重構(gòu)濾波器可將分解的信息還原并去除原始數(shù)據(jù)的噪聲。濾波器的階數(shù)N越高，小波函數(shù)的平滑度越高；分解級(jí)數(shù)越高，重要信息越突出。但是，過(guò)高的階數(shù)與級(jí)數(shù)會(huì)導(dǎo)致信息的丟失，因此選擇合適的階數(shù)、級(jí)數(shù)是非常重要的。日供水量時(shí)間序列歷史數(shù)據(jù)一般為非平穩(wěn)時(shí)間序列，可分解為趨勢(shì)項(xiàng)、周期項(xiàng)和隨機(jī)項(xiàng)。研究表明，利用Sym8小波的濾波器分解10級(jí)的效果較好[4]Sym8的4種濾波器如圖1所示，濾波器長(zhǎng)度為16，根據(jù)文獻(xiàn)[8]可知，各濾波器的系數(shù)分別如下。

低通分解濾波器：

Lo_D=[-0.003，-0.001，0.032，0.008，-0.143，-0.061，0.481，0.777，0.364，-0.052，-0.027，0.049，0.004，-0.015，0.000，0.002]

低通重構(gòu)濾波器：

Lo_R=[0.002，0.000，-0.015，0.004，0.049，-0.027，-0.052，0.364，0.777，0.481，-0.061，-0.143，0.008，0.032，-0.001，-0.003]

高通分解濾波器：

Hi_D=[-0.002，0.000，0.015，0.004，-0.049，-0.027，0.052，0.364，-0.777，0.481，0.061，-0.143，-0.008，0.032，0.001，-0.003]

高通重構(gòu)濾波器：

Hi_R=[-0.003，0.001，0.032，-0.008，-0.143，0.061，0.481，-0.777，0.364，0.052，-0.027，-0.049，0.004，0.015，0.000，-0.002]

在確定分解的級(jí)數(shù)后，通過(guò)低通、高通分解濾波器，將日供水量原始數(shù)據(jù)分解，再分別進(jìn)行下抽樣運(yùn)算，得到第一級(jí)的平均、細(xì)節(jié)部分的分解信息，然后運(yùn)用濾波器，對(duì)上一級(jí)再次分解，遞歸計(jì)算，直至達(dá)到分解級(jí)數(shù)為止，即可獲得各級(jí)分解的平均與細(xì)節(jié)信息。重構(gòu)是分解的逆過(guò)程，通過(guò)重構(gòu)低通、高通濾波器，對(duì)低頻系數(shù)、高頻系數(shù)分別進(jìn)行上抽樣，直至重構(gòu)到趨勢(shì)、周期規(guī)律明顯的級(jí)數(shù)為止，即可獲得去除噪聲的數(shù)據(jù)。

1.3 深度信念網(wǎng)絡(luò)（DBN）預(yù)測(cè)模型

DBN模型是由G.E.Hinton[9]提出的一種由隱含層與可視層組成的雙層結(jié)構(gòu)模型——限制波爾茲曼機(jī)模型（RBM），如圖2所示。

RBM模型有高斯-伯努利、伯努利-伯努利、高斯-高斯3種類型。Z.Y.Wu等[5]運(yùn)用高斯一伯努利模型解決了日供水量預(yù)測(cè)問(wèn)題，其能量方程為式中：ωij為第j隱含層與第i可視層之間的權(quán)重；ai為可視層節(jié)點(diǎn)i的偏移量；bj為隱含層節(jié)點(diǎn)j的偏移量；νi為第i可視層的值，即輸入變量的值；hj為第j隱含層的值；σi為可視層νi對(duì)應(yīng)的高斯噪聲的標(biāo)準(zhǔn)差。

RBM模型的核心部分在于向前傳播，即輸入數(shù)據(jù)在可視層與隱含層之間雙向傳播計(jì)算，假設(shè)每一個(gè)隱含層節(jié)點(diǎn)的取值都為0或1，即hj∈{0，1}，令σi=1，當(dāng)輸入數(shù)據(jù)為hj時(shí)，通過(guò)式（1）可推導(dǎo)出可視層vi取值為1的概率：式中：σ（x）為S型激活函數(shù)，是隱含層對(duì)輸入變量的二級(jí)運(yùn)算。

得到可視層取值為1的概率P（vi=1|h）后，隨機(jī)生成0～1之間的隨機(jī)數(shù)l，若l同理，可視層vi取值為0或1，可求出隱藏層hj取值為1的概率：

計(jì)算過(guò)程采用對(duì)比散度算法，將輸入變量賦予可視層神經(jīng)元vq，通過(guò)式（4）計(jì)算出每一隱含層神經(jīng)元的概率P（hj|vq），并采取吉布斯抽樣法抽取其中一個(gè)樣本P（hp1|vq），然后通過(guò)hp1重構(gòu)可視層，采用式（2）計(jì)算每一個(gè)可視層神經(jīng)元的概率P（vi|hp1）。同理，抽取樣本P（vq1|hp1），通過(guò)vq1重構(gòu)隱含層，得到P（hj|vq1），并抽取樣本P（hp2|vq1）。采用均方差公式，求出可視層v與P（vi=1|h）各神經(jīng)元之間的均方差：式中：J為計(jì)算誤差；K為可視層神經(jīng)元的個(gè)數(shù)。

最后通過(guò)樣本值反向傳播，更新權(quán)重，計(jì)算公式為

ωijθ=ωijθ-1+MΔωijθ-1+λiθ-1（C1-C2）（6）

bjθ=bjθ-1+MΔbjθ-1+γiθ-1[P（hj=1|vq1）-P（hj=1|vq2）]

（7）

λiθ=λiθ-1+MΔλiθ-1+λiθ-1[vi-P（vi=1|h）]

（8）式中：λi為學(xué)習(xí)速率；θ為迭代次數(shù)；P（hj=1|vq1）、P（hj=1|vq2）分別為隱含層的兩次重構(gòu)計(jì)算的結(jié)果；C1、C2分別為可視層vi與P（hj=1|vq1）、P（vi=1|h）與P（hj=1|vq2）的數(shù)組乘積；M為常數(shù)。

將RBM模型堆疊起來(lái)，下層的隱含層作為上層的可視層，并在最上方加人有向圖算法層（如BP算法），即可得到深度信念網(wǎng)絡(luò)（DBN）模型，如圖3所示。

1.4 預(yù)測(cè)步驟

利用Symlets小波模型對(duì)歷史日供水量數(shù)據(jù)進(jìn)行分解，并采用DBN模型（見(jiàn)圖4）進(jìn)行預(yù)測(cè)，主要步驟如下。

（1）將水廠日供水量原始數(shù)據(jù)載入Matlab中，并進(jìn)行歸一化處理。

（2）將階數(shù)設(shè)定為N=8，應(yīng)用Matlab小波工具箱中的Sym N函數(shù)，對(duì)原始數(shù)據(jù)進(jìn)行分解。

（3）從高頻項(xiàng)中篩選出趨勢(shì)項(xiàng)a，從低頻項(xiàng)中篩選出周期項(xiàng)d，其余項(xiàng)之和作為隨機(jī)項(xiàng)r。

（4）將分解各項(xiàng)以第t日的前k個(gè)時(shí)刻數(shù)據(jù)作為輸入變量，t時(shí)刻數(shù)據(jù)為輸出變量，代入DBN模型中進(jìn)行訓(xùn)練，表達(dá)式為

y（t）=F[y（t-1），y（t-2），…，y（t-k）]（9）式中：y（t）為t日各分解項(xiàng)的值；k為時(shí)間序列長(zhǎng)度，為一常數(shù)值；F[y（t-1），y（t-2），…，y（t-k）]為輸入變量與輸出變量的映射。

（5）充分訓(xùn)練第一個(gè)RBM模型，直到模型的輸出數(shù)據(jù)誤差小于給定值為止。

（6）固定第一個(gè)RBM模型的權(quán)重值與偏移量，將第一個(gè)隱含層神經(jīng)元作為第二個(gè)RBM模型的輸入變量，對(duì)第二個(gè)RBM模型子層同樣訓(xùn)練，并堆疊到上一個(gè)RBM層上，重復(fù)以上步驟進(jìn)行多次RBM堆疊。在最頂層的RBM模型訓(xùn)練時(shí)，該RBM模型的可視層中除了可視層神經(jīng)元外，加入有代表標(biāo)簽（輸出變量）的神經(jīng)元，一起進(jìn)行訓(xùn)練，即可視層神經(jīng)元包含輸入變量和輸出變量，最后加人3層BP全連接層，并使最后一層RBM為輸入層，整個(gè)計(jì)算過(guò)程為無(wú)監(jiān)督訓(xùn)練。

（7）使用輸出的標(biāo)簽作為樣本進(jìn)行有監(jiān)督訓(xùn)練，為更好地對(duì)供水量數(shù)據(jù)進(jìn)行處理，運(yùn)用BP模型的有向圖算法進(jìn)行反向傳播計(jì)算。

（8）將分解后的新數(shù)據(jù)代入式（9）進(jìn)行預(yù)測(cè)，并累計(jì)求和、還原。

（9）進(jìn)行誤差分析，符合要求則結(jié)束，否則返回步驟（4）。

2 實(shí)例分析

以新開(kāi)河2014-2015年日供水量數(shù)據(jù)為訓(xùn)練數(shù)據(jù)、2016年1月1-7日供水量數(shù)據(jù)為測(cè)試數(shù)據(jù)，運(yùn)用Matlab 2016a編寫SW-DBN模型計(jì)算程序。首先將2014年1月1日-2016年1月7日共737d的供水量數(shù)據(jù)（見(jiàn)圖5）導(dǎo)入Madab中。

設(shè)定分解層數(shù)為10，運(yùn)用Sym8小波對(duì)數(shù)據(jù)分解并進(jìn)行重構(gòu)，得出低通第十級(jí)重構(gòu)為趨勢(shì)項(xiàng)、高通第八級(jí)重構(gòu)為周期項(xiàng)，其余項(xiàng)之和作為隨機(jī)項(xiàng)，見(jiàn)圖6～圖8。

其次，對(duì)分解后的3項(xiàng)訓(xùn)練數(shù)據(jù)分別進(jìn)行歸一化處理，令式（9）中k=8，轉(zhuǎn)換數(shù)據(jù)為時(shí)間序列格式，并導(dǎo)入數(shù)據(jù)對(duì)DBN模型進(jìn)行訓(xùn)練，其中RBM模型共3層，分別包含32、28、24個(gè)神經(jīng)元。在第三可視層上面加人輸出變量作為標(biāo)簽，最后通過(guò)3層全連接層計(jì)算，其中隱含層神經(jīng)元個(gè)數(shù)為16，然后進(jìn)行有監(jiān)督反向傳播得出分解項(xiàng)結(jié)果，最后對(duì)各項(xiàng)結(jié)果求和，獲得擬合模型。對(duì)測(cè)試數(shù)據(jù)進(jìn)行歸一化處理并代入擬合模型，求出預(yù)測(cè)結(jié)果，并與真實(shí)結(jié)果對(duì)比（見(jiàn)圖9），可知相對(duì)誤差均在5%以內(nèi)，符合精度要求。

利用DBN模型、傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型分別進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與SW-DBN模型進(jìn)行比較。DBN模型中RBM隱含層的神經(jīng)元數(shù)量與SW-DBN模型的相同；BP模型共有3層神經(jīng)元，其中隱含層神經(jīng)元數(shù)量與SW-DBN模型的相同。預(yù)測(cè)結(jié)果及相對(duì)誤差見(jiàn)表1。

由表1可以看出，SW-DBN模型比BP模型、DBN模型精度均高，其相對(duì)誤差最大值為3.29%，小于BP模型的4.63%及DBN模型的3.56%。為進(jìn)一步比較模型的精度，采用平均絕對(duì)誤差（MAE）、平均絕對(duì)百分比誤差（MAPE）對(duì)模型進(jìn)行評(píng)價(jià)[8]，結(jié)果見(jiàn)表2。可知，SW-DBN模型的MAE，MAPE均小于BP模型與DBN模型的。

為更好地檢驗(yàn)SW-DBN模型的精度，以2016年1月8日一7月25日200 d的供水量數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行檢驗(yàn)。首先對(duì)模型進(jìn)行訓(xùn)練，然后將1月1-7日數(shù)據(jù)加人原始數(shù)據(jù)中，對(duì)8-14日的7d數(shù)據(jù)進(jìn)行預(yù)測(cè)，之后把8-14日的真實(shí)數(shù)據(jù)加人原始數(shù)據(jù)中，預(yù)測(cè)接下來(lái)的7d，依此類推。預(yù)測(cè)結(jié)果見(jiàn)圖10，預(yù)測(cè)值相對(duì)誤差最大僅為3.06%，精度較高。

3 結(jié)語(yǔ)

采用小波深度信念網(wǎng)絡(luò)（SW-DBN）時(shí)間序列模型對(duì)新開(kāi)河的日供水量進(jìn)行預(yù)測(cè)，結(jié)果表明：預(yù)測(cè)值相對(duì)誤差均小于5%，滿足精度要求。通過(guò)與DBN及BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果對(duì)比，SW-DBN模型最大相對(duì)誤差、MAE與MAPS均有所減小。因此，SW-DBN模型可有效提高城市日供水量預(yù)測(cè)精度。

參考文獻(xiàn)：

[1]鮑燕寒.城市用水量預(yù)測(cè)研究[D].合肥：合肥工業(yè)大學(xué)，2010：3-5.

[2]陸志波，陸雍森，王娟.ARIMA模型在人均生活用水量預(yù)測(cè)中的應(yīng)用[J].給水排水，2005，31（10）：97-101.

[3]李斌，許仕榮，柏光明，等.灰色-神經(jīng)網(wǎng)絡(luò)組合模型預(yù)測(cè)城市用水量[J].中國(guó)給水排水，2002，18（2）：66-68.

[4]HINTON G E.A Practical Guide to Training Restricted Bolt-zmann Machines[J].Momentum，2012，9（1）：599-619.

[5]WUZY，RAHMAN A.Optimized Deep Learning Frameworkfor Water Distribution Data-Driven Modeling[J].ProcediaEngineering，2017，186：261-268.

[6]SWEE T E G，ELANGOVAN S.Applications of Symlets forDenoising and Load Forecasting[C]//IEEE ComputerSociety.Proceedings of the IEEE Signal ProcessingWorkshop on Higher-Order Statistics.Madison，USA：Tech-nical Communication Services，1999：165-169.

[7]李中偉，程麗，佟為明.Symlets小波幅值算法研究[J].電力自動(dòng)化設(shè)備， 2009，29（3）：65-68.

[8]DAUBECHIES I.Ten Lectures on Wavelets[M].Edmonton：Capital City Press，1992：249-274.

[9]HTNTON G E.Training Products of Experts by MinimizingContrastive Divergence[J].Neural Computation，2002，14（8）：1771-1800.