陳 通 周曉輝

（西安郵電大學計算機學院 西安 710061）

1 引言

作為衡量政府財力的重要指標之一，財政收入預測一直都是專家學者們研究的熱點［1～2］。目前常用的預測方法有回歸分析法、時間序列分析法、灰色預測法和神經(jīng)網(wǎng)絡法等［3～4］。財政收入數(shù)據(jù)及其相關(guān)影響因素數(shù)據(jù)的變化往往具有隨機性和非線性變化的特點，并且它們之間也具有非常復雜的非線性相關(guān)關(guān)系。目前，許多學者運用組合預測模型來進行預測研究。如范敏等運用灰色預測和常規(guī)BP（Back Propagation）神經(jīng)網(wǎng)絡組合模型對地方財政收入進行了預測，提高了預測準確度［5］；方博等利用基于時間序列的ARMA模型與常規(guī)BP神經(jīng)網(wǎng)絡相結(jié)合，通過實驗證明了組合預測模型比單一預測模型能夠獲得更準確的結(jié)果［6］。

不過以上研究運用的組合預測模型所使用的常規(guī)BP神經(jīng)網(wǎng)絡的BP算法存在收斂速度緩慢、學習精確度不高和局部極小等缺點。本文采用基于深度學習思想的深層神經(jīng)網(wǎng)絡（Deep Neural Net?work，DNN），深層感知器（Deep Multi-layer Percep?tron，DMLP）模型來解決常規(guī)BP神經(jīng)網(wǎng)絡的一些缺陷，建立基于BP神經(jīng)網(wǎng)絡的DMLP財政收入預測模型，并以西安市財政收入及其影響因素統(tǒng)計數(shù)據(jù)對深層感知器模型進行檢驗，通過實驗驗證對比常規(guī)BP神經(jīng)網(wǎng)絡預測模型，來論證深層感知器預測模型的預測準確度和實用性。

2 BP神經(jīng)網(wǎng)絡模型

2.1 BP的神經(jīng)網(wǎng)絡結(jié)構(gòu)

反向傳播（Back Propagation，BP）算法的特點是利用輸出誤差來估計輸出層的直接引導層誤差，然后用該誤差估計上一層的誤差。在所有的反向傳播層之后，我們得到所有其他的誤差估計。這樣，輸出層的錯誤通過網(wǎng)絡的輸入層與輸入傳輸?shù)南喾捶较騻鬟f。這里以典型的3層BP神經(jīng)網(wǎng)絡為例，來描述標準的BP算法。圖1所示的是一個有3個輸入節(jié)點，5個隱藏節(jié)點，1個輸出節(jié)點的一個3層BP神經(jīng)網(wǎng)絡。

圖1 三層BP神經(jīng)網(wǎng)絡

BP算法的學習過程包括兩個過程，即信號的前向傳播和誤差的反向傳播。正向傳播時，輸入信號經(jīng)過隱藏層的處理后，傳向輸出層。若輸出層節(jié)點未能得到期望的輸出，則轉(zhuǎn)入誤差的逆向傳播階段，將輸出誤差按某種子形式，通過隱藏層向輸入層返回，并傳遞給隱藏層5個節(jié)點與輸入層x1，x2，x3這3個輸入節(jié)點，從而獲得各層神經(jīng)元的參考誤差以此作為修改各神經(jīng)元權(quán)值的依據(jù)。這種信號正向傳播與誤差逆向傳播的各層權(quán)矩陣的修改過程，是反復進行的。權(quán)值不斷修改的過程，就是神經(jīng)網(wǎng)絡學習，即訓練過程。此過程一直進行到網(wǎng)絡輸出的誤差逐漸減少到可接受的程度或達到設定的學習次數(shù)為止。

2.2 BP神經(jīng)網(wǎng)絡的學習訓練過程

BP神經(jīng)網(wǎng)絡的學習算法基于δ學習規(guī)則，目標函數(shù)采用。

算法開始后，給定學習次數(shù)上限，初始化學習次數(shù)為0，對權(quán)值和閾值賦予小的隨機數(shù)，一般在［-1，1］之間。輸入樣本數(shù)據(jù)，網(wǎng)絡正向傳播，得到隱藏層與輸出層的值。比較輸出層的值與教師信號值的誤差，用誤差函數(shù)E來判斷誤差是否小于誤差上限，如不小于誤差上限，則對隱藏層和輸出層權(quán)值和閾值進行更新，更新的算法基于δ學習規(guī)則。更新權(quán)值和閾值后，再次將樣本數(shù)據(jù)作為輸入，得到隱藏層與輸出層的值，計算誤差E是否小于上限，學習訓練次數(shù)是否達到指定的值，如果達到，則學習結(jié)束。

3 DMLP模型

3.1 DMLP的神經(jīng)網(wǎng)絡結(jié)構(gòu)設計

依據(jù) Delalleau和 Bengio的觀點［7］，常規(guī) BP神經(jīng)網(wǎng)絡都使用不超過三層的結(jié)構(gòu)，在解決實際的復雜應用問題時，由于自身的局限性往往出現(xiàn)表達能力不足的情況。從而，難以達到理想的預測效果。在神經(jīng)元數(shù)大致相同的情況下，深層網(wǎng)絡通常比淺層網(wǎng)絡函數(shù)表達力更強。不過精確預測隱含層所需要的神經(jīng)元數(shù)量和神經(jīng)網(wǎng)絡所需要的層數(shù)，至今仍然存在理論上還沒有解決的問題［8］。

由以上依據(jù)、實際經(jīng)驗和財政收入預測問題的特點，本文選用了DNN中的判別模型DMLP。如圖2所示，DMLP采用四層網(wǎng)絡結(jié)構(gòu)，隱藏層H1和H2的神經(jīng)元數(shù)量為輸入層X的1.5倍～2倍左右，輸入層X和輸出層Y的神經(jīng)元數(shù)量由具體問題來確定。

圖2 四層DMLP神經(jīng)網(wǎng)絡

3.2 神經(jīng)元激活函數(shù)的選取

神經(jīng)元是神經(jīng)網(wǎng)絡操作的基本信息處理單位。一個神經(jīng)元對輸入信號 X=[x1，x2，…xm]T的輸出為 y=f(u)。其中加權(quán)求和的值，wi表示權(quán)重（模型參數(shù)），b表示偏差，f(·)表示激活函數(shù)。

2010年，Glorot和Bengio等提出在深度學習模型某些問題的應用中，使用簡單、速度快的近似生物神經(jīng)激活函數(shù)Softplus和ReLU替代常規(guī)的Sig?moid函數(shù)，在使用BP算法時可以提高訓練速度，減輕梯度下降（Gradient Descent，GD）算法訓練深層網(wǎng)絡時的梯度消失問題［9］。

在圖2當中隱藏層H1的神經(jīng)元采用非線性的Softplus函數(shù)激活用來提高DMLP的解釋表達能力，隱藏層H2的神經(jīng)元采用線性的ReLU函數(shù)激活使得DMLP學習周期大大縮短，提高模型的綜合學習速率和效率。Softplus、ReLU和Sigmoid的函數(shù)公式分別表示如下。

3.3 模型的學習訓練方法

本模型用于預測問題，采用基于δ學習規(guī)則的BP算法，這是一種有指導的學習算法。與常規(guī)BP神經(jīng)網(wǎng)絡的BP算法略有不同，對目標函數(shù)取得最小值的權(quán)重和偏差的計算采用自適應矩估計（Adaptive Moment Estimation，Adam）算法［10］來替代常規(guī)的GD算法，克服其易陷入局部最小值的缺點。

根據(jù)圖2，設輸入層X與隱藏層H1的權(quán)重為WH1，偏差為bH1；隱藏層H1與隱藏層H2的權(quán)重為WH2，偏差為bH2；隱藏層H2與輸出層Y的權(quán)重為WY，偏差為 bY。

當正向傳遞時，各層神經(jīng)元的輸出滿足如下公式。

當反向傳播時，目標函數(shù)采用均方誤差（Mean Squared Error，MSE），定義如下。

其中w為所有權(quán)重集合向量，b為所有偏差集合向量，N為訓練樣本的個數(shù)，Yk為第k個訓練樣本的期望值向量，Y?k為第k個訓練樣本所預測的值向量。如果loss(w，b)接近于0，表示Yk接近輸出預測值向量Y?k，即學習效果很好。為找到滿足要求的w和b，采用Adam算法。該算法利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率。Adam算法的優(yōu)點主要在于經(jīng)過偏差校正后，每一次迭代學習率都有一個確定范圍，使得參數(shù)比較平穩(wěn)。根據(jù)文獻［9］，該算法用于深度學習問題最好的參數(shù)默認值可設置為α=0.001，β1=0.9，β2=0.999 ，ε=10-8。 f(θ)為隨機目標函數(shù)，與loss(w，b)相對應，θ為參數(shù)向量，與w和b相對應；gt為 f(θ)的一階梯度；mt為一階矩估計向量，初值為0；vt為二階矩估計向量，初值為0；m?t，v?t是對mt，vt的校正；t為時間步。當θt收斂時，模型訓練完成，學習結(jié)束。其算法流程如下所示。

Whileθtnot converged do

4 預測驗證及對比實驗分析過程

4.1 預測模型

利用由Python編寫基于TensorFlow的深度學習庫Keras搭建四層DMLP（5-10-10-1）深層神經(jīng)網(wǎng)絡［11］，結(jié)合灰色模型預測結(jié)果同常規(guī)BP神經(jīng)網(wǎng)絡做對比實驗并進行驗證分析。

四層DMLP的Keras配置參數(shù)分別為：輸入層輸入維數(shù)（input_dim）為5，輸出維數(shù)（output_dim）為10；第一隱藏層激活函數(shù)（Activation）為softplus，input_dim為10，output_dim為10；第二隱藏層Acti?vation為relu，input_dim為10，output_dim為10；輸出層input_dim為10，output_dim為1；目標函數(shù)（loss）為mean_squared_error；梯度優(yōu)化器（optimiz?ers）為 Adam；模型訓練迭代次數(shù)（nb_epoch）為1000。

作為對比試驗的BP神經(jīng)網(wǎng)絡［12］結(jié)構(gòu)取5-10-1的網(wǎng)絡結(jié)構(gòu)。隱含層激活函數(shù)用Sigmoid激活，目標函數(shù)為MSE，梯度計算采用GD算法，模型訓練迭代次數(shù)為1000。

4.2 實驗數(shù)據(jù)

根據(jù)表1，把2004～2013年X1～X5的值作為輸入樣本，Y作為與之相對應的標簽值，分別代入四層DMLP模型和三層常規(guī)BP神經(jīng)網(wǎng)絡模型進行訓練。預測結(jié)果如表2所示，訓練效果如圖3和圖4所示。

4.3 實驗結(jié)果對比分析

由此可見，4層結(jié)構(gòu)的DMLP神經(jīng)網(wǎng)絡模型預測值更接近真實值，準確度更高，其模型訓練效果優(yōu)于3層結(jié)構(gòu)的標準BP神經(jīng)網(wǎng)絡模型。

由圖3可以看出，BP神經(jīng)網(wǎng)絡模型在訓練迭代大約200次時，其模型loss值才開始收斂。訓練迭代1000次，訓練完成，最后的loss值為0.00589。由圖4可以看出，DMLP模型在訓練迭代大約100次時，其模型loss值開始收斂。訓練迭代1000次，訓練完成，最后的loss值為0.00285。對比圖3和圖4，在橫軸取相同的訓練迭代次數(shù)，觀察縱軸loss的取值，可以發(fā)現(xiàn)DMLP的loss值總小于BP神經(jīng)網(wǎng)絡的loss值。對比這兩種模型的訓練效果，可以看出，DMLP模型［13］學習精確度高，收斂速度快。

表1 西安市2004～2015財政收入相關(guān)統(tǒng)計數(shù)據(jù)

表2 財政收入組合預測模型的預測值與真實值對比

圖3 BP神經(jīng)網(wǎng)絡訓練效果

圖4 DMLP訓練效果

由圖5可以看出，DMLP模型在學習訓練大約100次時，其模型loss值開始收斂。訓練學習10000次，訓練完成后的loss值為1.5066×10-4。而標準BP神經(jīng)網(wǎng)絡模型在訓練學習大約200次時，其模型loss值才開始收斂。訓練學習10000次，訓練完成后的loss值為1.3×10-3。同時在訓練的過程中，DMLP的loss值一直小于BP神經(jīng)網(wǎng)絡的loss值。

圖5 兩種模型訓練效果對比

由此可見，4層結(jié)構(gòu)的DMLP神經(jīng)網(wǎng)絡模型比常規(guī)BP神經(jīng)網(wǎng)絡模型收斂速度快，其模型訓練效果優(yōu)于3層結(jié)構(gòu)的標準BP神經(jīng)網(wǎng)絡模型。

綜上所述，與常規(guī)BP神經(jīng)網(wǎng)絡模型相比，4層結(jié)構(gòu)的DMLP神經(jīng)網(wǎng)絡模型收斂速度更快、精確度高，其模型訓練效果優(yōu)于3層結(jié)構(gòu)的標準BP神經(jīng)網(wǎng)絡模型。

5 結(jié)語

本文在深度學習思想與財政收入預測模型［14～15］基礎(chǔ)上，建立了基于BP神經(jīng)網(wǎng)絡的深層感知器預測模型。對比BP神經(jīng)網(wǎng)絡預測模型，深層感知器預測模型的使用增強了原始數(shù)據(jù)的精確度。通過與常規(guī)三層BP神經(jīng)網(wǎng)絡做對比實驗，在四層DMLP模型隱藏層用Softplus和ReLU激活函數(shù)替代Sigmoid激活函數(shù)，在計算目標函數(shù)loss的最優(yōu)參數(shù)時，使用Adam算法替代GD算法，提高了模型的學習精確度，加快了學習速率和收斂速度。此外，DMLP四層網(wǎng)絡結(jié)構(gòu)和Softplus激活函數(shù)的使用提高了模型的非線性擬合能力，提高了預測模型的預測準確度，使其預測結(jié)果更加接近于真實值，具有推廣性和實用性。但是基于深度學習思想的神經(jīng)網(wǎng)絡模型在進行訓練時，一些超參數(shù)的選擇往往借助于經(jīng)驗，沒有成熟的理論作支持，需要不斷實驗嘗試。因此，還需要對深度學習理論做進一步的研究和學習，以便對所構(gòu)建的組合模型［16～17］做進一步的改進和優(yōu)化。