譚立云，劉海生，譚 龍

(1.華北科技學(xué)院基礎(chǔ)部，北京東燕郊 101601;2.武漢大學(xué)經(jīng)濟與管理學(xué)院，湖北武漢 430072)

0 引言

在計量經(jīng)濟學(xué)的學(xué)習(xí)中，探討經(jīng)濟變量的關(guān)系常用回歸分析方法，由于經(jīng)濟變量之間一般存在多重共線性，因此在建立多變量的回歸方程的過程中，常需要進行各種檢驗，從理論上講，只有通過了各種檢驗的方程才能得以使用。建立逐步回歸方程是最常用的分析方法，能較好地克服多重共線性問題，建立一個真正實用的回歸方程是一個非常復(fù)雜的過程。智能計算是現(xiàn)代數(shù)據(jù)分析的主要方法，是一種“黑箱”操作，雖然不像回歸分析，有嚴格的數(shù)理推理，但由于模仿人的智慧過程，尤以神經(jīng)網(wǎng)絡(luò)算法為核心，得到的結(jié)果非常滿意而得到了普遍的應(yīng)用，各種智能算法得到了空前發(fā)展［1］。智能算法較回歸分析方法而言，效果如何，從已經(jīng)查閱的一些文獻［2～7］中我們可以發(fā)現(xiàn)，一般都是用多元線性回歸方程與BP神經(jīng)網(wǎng)絡(luò)相比較，看其預(yù)測效果，大都表現(xiàn)為神經(jīng)網(wǎng)絡(luò)預(yù)測精度高。逐步回歸分析跟神經(jīng)網(wǎng)絡(luò)的其他改進類型的神經(jīng)網(wǎng)絡(luò)相比較預(yù)測效果又怎么呢，從查閱的文獻中幾乎沒人進行研究，這正是本文要探討的問題，本文的算例是易丹輝教授主編的《數(shù)據(jù)分析與EVIEWS應(yīng)用》一書中的實例［8］，所用的智能算法［9～10］是BP神經(jīng)網(wǎng)絡(luò)、RBF徑向神經(jīng)網(wǎng)絡(luò)和ELM極限學(xué)習(xí)機網(wǎng)絡(luò)，所用的計算軟件是Matlab神經(jīng)網(wǎng)絡(luò)工具箱。下面對這些理論做一個簡單的論述。

1 逐步回歸理論

多元逐步回歸分析是指有兩個或兩個以上的自變量或者至少有一個線性解釋變量的回歸分析，分析模型的表達式為:

式中:β0為回歸常數(shù);βk為自變量xk的偏回歸系數(shù)，k為自變量的個數(shù)，式中的偏回歸系數(shù)和回歸常數(shù)的數(shù)值通過樣本的數(shù)據(jù)分析計算獲得。

多元逐步回歸分析的基本步驟是逐個引入自變量，每次引入對Y影響最顯著的自變量，并對方程的老變量逐個進行檢驗，把變化不顯著的變量逐個從方程中剔除掉。

逐步回歸是逐步篩選自變量的回歸，篩選過程是有進有出。開始時，將因變量與每一自變量作一元回歸，挑出與因變量相關(guān)最密切或檢驗最顯著的一元線性回歸方程式。然后再引入第二個變量，原則是它比別的變量進入模型有更大的檢驗值。同時對原來的第一個變量作檢驗，看新變量引入后老變量還是否顯著，若不顯著則予以剔除。如此繼續(xù)下去，每次都引入一個在剩余變量中進入模型有最大檢驗值的變量，每次引入后又對原來已引入的變量逐一檢驗以決定是否剔除，這樣直到再無新變量可以引入，同時再無舊變量可以剔除為止，最終建立起逐步線性回歸預(yù)測方程。

2 BP神經(jīng)網(wǎng)絡(luò)基本理論

人工神經(jīng)網(wǎng)絡(luò)(簡稱ANN)是對生理神經(jīng)網(wǎng)絡(luò)的抽象、簡化和模擬，ANN作為一種并行分散處理模式，具有非線性映射、自適應(yīng)學(xué)習(xí)和較強容錯性的特點。

BP神經(jīng)網(wǎng)絡(luò)是基于誤差反向傳播算法的一種多層前向神經(jīng)網(wǎng)絡(luò)，BP算法作為人工神經(jīng)網(wǎng)絡(luò)的一種比較典型的學(xué)習(xí)算法，主要結(jié)構(gòu)是由一個輸入層，一個或多個隱含層，一個輸出層組成，各層由若干個神經(jīng)元(節(jié)點)構(gòu)成，每一個節(jié)點的輸出值由輸入值、激活函數(shù)和閾值決定，網(wǎng)絡(luò)的學(xué)習(xí)過程包括信息正向傳播和誤差反向傳播兩個過程。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層傳到輸出層，經(jīng)激活函數(shù)運算后得到輸出值與期望值比較，若有誤差，則誤差反向傳播，沿原先的連接通路返回，通過逐層修改各層神經(jīng)元的權(quán)值，減少誤差，如此循環(huán)直到輸出的結(jié)果符合精度要求為止。理論上已經(jīng)證明，具有三個隱含層的三層網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。

目隱含層的激活函數(shù)多采用S型傳遞函數(shù)，輸出層的神經(jīng)元多采用線性傳遞函數(shù)。BP網(wǎng)絡(luò)的存儲信息主要體現(xiàn)在兩個方面，一是網(wǎng)絡(luò)的體系結(jié)構(gòu)，即網(wǎng)絡(luò)輸入層、隱含層和輸出層節(jié)點的個數(shù);二是相鄰層節(jié)點之間的連接權(quán)值。影響網(wǎng)絡(luò)結(jié)構(gòu)的主要參數(shù)是隱含層的節(jié)點個數(shù)、學(xué)習(xí)率lr和系統(tǒng)誤差。.輸入層和輸出層節(jié)點個數(shù)由問題本身決定，一般來說是確定的，而隱含層節(jié)點個數(shù)由用戶憑經(jīng)驗決定，或通過經(jīng)驗公式試算，個數(shù)過少，將影響到網(wǎng)絡(luò)的有效性，過多會增加網(wǎng)絡(luò)訓(xùn)練的時間。學(xué)習(xí)率通常在0.01～0.9之間，一般來說，學(xué)習(xí)率越小，訓(xùn)練次數(shù)越多，但學(xué)習(xí)率過大，會影響網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性。

具體的步驟簡述如下:

1)BP網(wǎng)絡(luò)的初始化，確定各層節(jié)點的個數(shù)，將各個權(quán)值和閾值的隨機初始化;

2)輸入樣本和相應(yīng)的輸出，對每一個樣本進行學(xué)習(xí)，即對每一個樣本數(shù)據(jù)進行步驟3到步驟5的過程;

3)根據(jù)輸入樣本算出實際的輸出及其隱含層神經(jīng)元的輸出;

4)計算實際輸出與期望輸出之間的差值，求輸出層的誤差和隱含層的誤差;

5)根據(jù)誤差更新輸入層－隱含層節(jié)點之間、隱含層－輸出層節(jié)點之間的連接權(quán)值;

6)求誤差函數(shù)E，判斷E是否收斂到給定的學(xué)習(xí)精度以內(nèi)，如果滿足，則學(xué)習(xí)結(jié)束，否則轉(zhuǎn)向2)繼續(xù)學(xué)習(xí)，直到滿足停止學(xué)習(xí)的條件。

3 RBF徑向神經(jīng)網(wǎng)絡(luò)基本理論

根據(jù)生物神經(jīng)元具有局部響應(yīng)的特點，將徑向基函數(shù)技術(shù)引進神經(jīng)網(wǎng)絡(luò)產(chǎn)出了RBF神經(jīng)網(wǎng)絡(luò)。RBF網(wǎng)絡(luò)的基本思想是:用RBF作為隱藏層空間，隱含層對輸入層矢量進行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練簡潔而且學(xué)習(xí)收斂速度快，能以任意精度全局逼近任意非線性函數(shù)，可以更好地處理系統(tǒng)內(nèi)在的難以解析的規(guī)律性，是對BP網(wǎng)絡(luò)的一種改進，廣泛應(yīng)用于時間序列預(yù)測、模式識別、非線性控制和圖形處理等領(lǐng)域。

RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、隱含層和輸出層。其中，輸入層將輸入矢量直接映射到隱空間，起到傳輸信號的作用;隱含層含有若干隱單元節(jié)點，節(jié)點數(shù)量視具體求解問題而定。隱含層對網(wǎng)絡(luò)輸入做出非線性映射，映射函數(shù)即RBF，是一個徑向?qū)ΨQ、雙方向衰減的非負非線性函數(shù);輸出層則對隱含層的輸出采用線性加權(quán)求和的映射。由此可見，RBF神經(jīng)網(wǎng)絡(luò)是線性和非線性的有機統(tǒng)一，即從輸入層到隱含層是非線性映射，采用的是非線性優(yōu)化策略，學(xué)習(xí)速度較慢;而從隱含層到輸出層則是線性變換，采用的是線性優(yōu)化策略，學(xué)習(xí)速度較快。

RBF神經(jīng)網(wǎng)絡(luò)隱含層的激活函數(shù)采用徑向基函數(shù)，通常定義為空間任一點到某一中心之間歐式距離的單調(diào)函數(shù)。最常用的徑向基函數(shù)是高斯函數(shù)，公式為:

其中c為高斯函數(shù)的中心，σ2為高斯函數(shù)的方差。

理論上已經(jīng)證明，一個RBF網(wǎng)絡(luò)，在隱含層節(jié)點足夠多的情況下，經(jīng)過充分的學(xué)習(xí)，可以以任意精度逼近任意非線性函數(shù)，而且具有最有泛函數(shù)逼近能力，另外它具有較快的收斂速度和強大的抗噪和修復(fù)能力。理論上，RBF和BP都可以以任意精度逼近任意非線性函數(shù)，但由于它們使用的激勵函數(shù)不同，其逼近性能也不同，Poggi和Girosi已經(jīng)證明，RBF是連續(xù)函數(shù)的最佳逼近，而BP網(wǎng)絡(luò)不是，此外，BP網(wǎng)絡(luò)訓(xùn)練時間較長，容易陷入局部最優(yōu)解，并且BP網(wǎng)絡(luò)隱含層節(jié)點的數(shù)目依賴于經(jīng)驗和試算，很難取得最優(yōu)網(wǎng)絡(luò)，而RBF網(wǎng)絡(luò)很大程度上克服了以上缺點，RBF網(wǎng)絡(luò)采取局部激勵函數(shù)學(xué)習(xí)速度比BP網(wǎng)絡(luò)提高上千倍，其隱含層的節(jié)點在訓(xùn)練中確定，其收斂性也較BP容易保證，因而可以得到全局最優(yōu)解。

4 ELM極限學(xué)習(xí)機基本理論

前饋BP神經(jīng)網(wǎng)絡(luò)大多采用梯度下降方法，該方法存在以下幾個方面的缺點:(1)訓(xùn)練時間慢，由于梯度下降法需要多次迭代以達到修正權(quán)值和閾值的目的;(2)容易陷入局部極小點;(3)對學(xué)習(xí)率的選擇敏感。因此，探索一種訓(xùn)練速度快、獲得全局最優(yōu)解，且具有良好的泛化性能的訓(xùn)練算法是提升前饋神經(jīng)網(wǎng)絡(luò)性能的主要目標，其中ELM極限學(xué)習(xí)機是單隱含層前饋神經(jīng)網(wǎng)絡(luò)(SLFN)的一種改進的新算法，該算法2006年由南洋理工大學(xué)黃廣斌副教授提出，算法隨機產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個數(shù)，便可以獲得唯一的最優(yōu)解。與傳統(tǒng)的訓(xùn)練方法相比，該方法具有學(xué)習(xí)速度快、泛化性能好的優(yōu)點。

該算法是源于 Huang等人提出的下面的定理:

定理:給定任意Q個不同樣本(xi，ti)，其中xi∈Rn，ti∈Rm，給定任意小誤差ε＞0，和一個任意區(qū)間無限可微的激活函數(shù)g:R→R，則總存在一個含有K(K≤Q)對個隱含層神經(jīng)元的SLFN，在任意賦值?i∈Rn和bi∈R情況下，有||Hβ－T＇||＜ε，其中 β為隱含層與輸出層間的連接權(quán)值矩陣。

ELM學(xué)習(xí)算法主要過程分為三步:

1)確定隱含層神經(jīng)元個數(shù)，隨機設(shè)置輸入權(quán)值?及偏置;

2)選擇一個無限可微函數(shù)作為隱含層神經(jīng)元的激活函數(shù)，進而計算隱層輸出矩陣H;

3)計算輸出權(quán)值β。極限學(xué)習(xí)機網(wǎng)絡(luò)最明顯的缺點是隱含層節(jié)點數(shù)目一般較多(默認為訓(xùn)練樣本數(shù)目)，勢必造成網(wǎng)絡(luò)的計算速度大大降低，因此適當選擇隱含層節(jié)點數(shù)目也是一個難點。

5 算例分析

為了對比分析逐步線性回歸與神經(jīng)網(wǎng)絡(luò)算法的預(yù)測精度，我們選用易丹輝教授主編的《數(shù)據(jù)分析與EVIEWS應(yīng)用》中的一個案例，該例給出了1950年到1987年美國機動車汽油消費量Y (單位:千加侖)、汽車保有量X1(單位:輛)、機動車汽油零售價格X2(單位:美元/加侖)、人口數(shù)X3(單位:千人)和國民生產(chǎn)總值GNPX4(單位: 10億美元)，具體數(shù)據(jù)見該書第二章第三節(jié)的案例2.1，要求用多元線性回歸方法回歸擬合QMG與MOB、PMG、POP、GNP之間的關(guān)系。這是一點典型的違背多元線性回歸條件的案例，具有多重共線性、異方差和自相關(guān)性。

我們采取逐步回歸盡量消除其影響，利用Matlab數(shù)值計算軟件，最后我們得到的逐步回歸方程是:

逐步回歸方程中刪除了人口數(shù)變量，說明這個變量是多余的。利用得到的回歸方程進行了預(yù)測。

利用Matlab神經(jīng)網(wǎng)絡(luò)工具箱，上面介紹的三種神經(jīng)網(wǎng)絡(luò)智能算法都能很方便地實現(xiàn)，編寫相應(yīng)的計算程序，對原始數(shù)據(jù)歸一化，以Y為輸出變量，X1、X2、X3、X4為輸入變量，分別采用BP神經(jīng)網(wǎng)絡(luò)(隱含層取6)、RBF徑向基神經(jīng)網(wǎng)絡(luò)(擴展系數(shù)取0.3)和極限學(xué)習(xí)機網(wǎng)絡(luò)(隱含層取6)對這些數(shù)據(jù)進行了擬合，網(wǎng)絡(luò)訓(xùn)練時采取前33個數(shù)據(jù)進行訓(xùn)練，后5個數(shù)據(jù)用來進行測試，四種擬合方法的相對誤差見表1。

四種預(yù)測值的對比見圖1，四種預(yù)測方法的相對誤差對比見圖2。

表1 BP預(yù)測、RBF預(yù)測、ELM預(yù)測、逐步回歸預(yù)測誤差比較

續(xù)表

圖1 真實值、BP預(yù)測、RBF預(yù)測、ELM預(yù)測、逐步回歸預(yù)測對比圖

從圖1和圖2可以看出:預(yù)測精度上RBF徑向基神經(jīng)網(wǎng)絡(luò)預(yù)測效果最好，然后是BP神經(jīng)網(wǎng)絡(luò)的預(yù)測、逐步線性回歸，ELM極限學(xué)習(xí)機預(yù)測的效果相對最差，但總體來說預(yù)測效果都比較好。按理ELM極限學(xué)習(xí)機網(wǎng)絡(luò)應(yīng)該預(yù)測效果BP更好，但如前所述，ELM網(wǎng)絡(luò)對隱含層節(jié)點個數(shù)依賴較強，而且越接近訓(xùn)練樣本個數(shù)越好，但我們這里只選取了6個隱含層節(jié)點，因此預(yù)測效果反而不如同樣隱含節(jié)點個數(shù)的BP網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)、RBF徑向基神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機網(wǎng)絡(luò)和逐步回歸總的均方誤差分別為

圖2 BP預(yù)測、RBF預(yù)測、ELM預(yù)測、逐步回歸預(yù)測相對誤差對比圖

1.0 e+013* ［0.5738，0.1747，3.6532，1.7029］。復(fù)相關(guān)系數(shù)分別為［0.9926，0.9969，0.9502 0.9669］，從這兩個指標來講，也可以推斷上述結(jié)論。

6 結(jié)論

本文利用一個實例分別進行了逐步線性回歸、BP神經(jīng)網(wǎng)絡(luò)、RBF徑向網(wǎng)絡(luò)、ELM極限學(xué)習(xí)機預(yù)測，想從中探討統(tǒng)計方法與智能算法在預(yù)測精度上的差異，研究表明:

1)在數(shù)據(jù)擬合預(yù)測中，BP神經(jīng)網(wǎng)絡(luò)改進的RBF網(wǎng)絡(luò)在預(yù)測精度上高于其他方法;

2)智能算法和回歸方法相比，能夠?qū)?fù)雜系統(tǒng)中的關(guān)系(線性或非線性)更精確地表達，預(yù)測效果好于回歸方法;

3)BP神經(jīng)的改進的極限學(xué)習(xí)機對隱含節(jié)點個數(shù)依賴較大，隱含節(jié)點個數(shù)與BP相同時，效果稍微比BP弱，但隱含節(jié)點個數(shù)增加時明顯強于BP網(wǎng)絡(luò)，仍稍弱于RBF網(wǎng)絡(luò)。

4)本文研究僅是以一個典型的違背多元線性回歸為案例，雖然神經(jīng)網(wǎng)絡(luò)方法在這個案例應(yīng)用中獲得了較滿意的應(yīng)用效果，這個研究結(jié)果是否具有普適性還有待進一步探討。而且要從理論上來進行論證是非常困難的，也正是由于傳統(tǒng)方法的不足才產(chǎn)生了各種智能仿生算法，而且其應(yīng)用遠遠好于傳統(tǒng)方法，相信隨著研究和應(yīng)用的深入，智能算法會得到更大更廣的發(fā)展空間和應(yīng)用領(lǐng)域。

［1］ 張睿，等.計算智能方法及應(yīng)用研究［J］.電腦開發(fā)與應(yīng)用，2012，(10):1－3.

［2］ 張曉瑞，等.基于RBF神經(jīng)網(wǎng)絡(luò)的城市建成區(qū)面積預(yù)測研究—兼與BP神經(jīng)網(wǎng)絡(luò)和線性回歸對比分析［J］.長江流域資源與環(huán)境，2013，(6):691－697.

［3］ 張愛茜，等.運用回歸分析與人工神經(jīng)網(wǎng)絡(luò)預(yù)測含硫芳香族化合物好氧生物降解速率常數(shù)［J］.環(huán)境科學(xué)，1998，(1):37－40.

［4］ 袁健.改進多元回歸法與神經(jīng)網(wǎng)絡(luò)應(yīng)用于水質(zhì)預(yù)測［J］.水資源保護，2008，(3):46－48.

［5］ 金健，等.金融危機下的房地產(chǎn)業(yè)資本結(jié)構(gòu)影響因素實證研究—多元線性回歸模型與神經(jīng)網(wǎng)絡(luò)模型的比較［J］.商場現(xiàn)代化，2009，(8):88－91.

［6］ 吳玉鳴，等.中國糧食生產(chǎn)的多元回歸與神經(jīng)網(wǎng)絡(luò)預(yù)測比較［J］.華東師范大學(xué)學(xué)報(自然科學(xué)版).2003，(4): 73－79.

［7］ 封鐵英，等.企業(yè)資本結(jié)構(gòu)及其影響因素的關(guān)系研究—多元線性回歸模型與神經(jīng)網(wǎng)絡(luò)模型的比較與應(yīng)用［J］.系統(tǒng)工程，2005，(1):42－47.

［8］ 易丹輝.數(shù)據(jù)分析與EVIEWS應(yīng)用［M］.北京:中國人民大學(xué)出版社，2012.

［9］ 王小川，等.Matlab神經(jīng)網(wǎng)絡(luò)43個案例分析［M］.北京:北京航空航天大學(xué)出版社，2013.

［10］ 史峰，等.Matlab智能算法30個案例分析［M］.北京:北京航空航天大學(xué)出版社，2011.