劉延喜

(長春大學(xué) 理學(xué)院，長春 130022)

0 引言

目前，有很多方法可以用于信用評分，如K近鄰法、Bayes決策模型、決策樹、支持向量機、投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)等方法［1－5］。信用評分中高估和低估客戶信用產(chǎn)生的損失不一樣，有學(xué)者把非對稱損失引入到信用評分模型中，經(jīng)實驗證明確實有效。本文介紹Linex損失下投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)這兩種同類的模型，并對其進(jìn)行了實驗比較。

1 算法

1.1 Linex 損失［6］

定義1 設(shè)用d估計y時所引起的損失為

該損失函數(shù)稱做Linex損失。

1.2 基于Linex損失的BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法

考慮一個三層前饋神經(jīng)網(wǎng)絡(luò)，其輸入層、隱層和輸出層的神經(jīng)元個數(shù)分別為 p，q和1，記 w0=(w01，w02，…，w0q)T∈Rq為隱層與輸出層之間的權(quán)向量，wi=(wi1，wi2，…，wip)T∈Rp為輸入層與隱層第i個節(jié)點之間的連接權(quán)向量，其中 i=1，2，…，q。記。隱層、輸出層的激活函數(shù)為 g:R→ R。對任意x=(x1，x2，…，xq)∈Rq，記 G(x)=(g(x1)，g(x2)，…，g(xq))T:Rq→Rq。對輸入樣本ξ∈RP，隱層的輸出為G(Vξ)，網(wǎng)絡(luò)輸出層的輸出為ζ=g(w0·G(Vξ))。給定一個ξj為輸入樣本，Oj為目標(biāo)輸出的訓(xùn)練樣本集{ξj，Oj}Jj=1，Linex損失的誤差函數(shù)為

其中g(shù)j(t)=exp(α(Oj－g(t))－α(Oj－g(t))－1。

E(W)的梯度為

從某一初始權(quán)值W0開始，批處理算法的權(quán)值更新規(guī)則如下:

這里學(xué)習(xí)率η＞0為一個常數(shù)。

1.3 Linex 損失下投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)［7－9］

設(shè)X=(x1，x2…xp)T為投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的輸入，y1，y2，…，yq為期望輸出是輸入層和隱層的連接權(quán)向量，k=1，2，…，m，gk(·)是隱層的激活函數(shù)，k=1，2，…，m，βik為隱層第k格激活函數(shù)和輸出層第i個元yi的連接權(quán)為網(wǎng)絡(luò)的實際輸出，輸入和輸出滿足如下關(guān)系:

投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的三類參數(shù)估計由最小化學(xué)習(xí)準(zhǔn)則求得:

其中wi，1≤i≤q是學(xué)習(xí)速率。

投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)采取交替優(yōu)化方法來確定輸入層權(quán)值、隱層激活函數(shù)和輸出層權(quán)值這三類參數(shù)，做法是以隱層激活函數(shù)gk(·)為主，將與gk(·)有關(guān)的參數(shù)設(shè)為一組，全體參數(shù)分成m組。除其中一組以外，都給定初值，然后對留下的一組求最優(yōu)，求得結(jié)果后，把這一組參數(shù)作初值，另選一組參數(shù)做優(yōu)化。多次重復(fù)直道誤差精度滿足要求為止。

1)權(quán)值 βik的估計可得到參數(shù)βik的最小二乘估計，βik的估計可直接求得

2)隱層激活函數(shù)gk(·)的估計)。固定投影方向和輸出權(quán)值βik，可以求得

還可以用Hermit或其它標(biāo)準(zhǔn)正交多項式逼近隱層激活函數(shù)。

3)權(quán)值αk的估計。通常采用Gauss-Newton等無約束最優(yōu)化方法求解，在無法求導(dǎo)數(shù)，可采用差分?jǐn)M牛頓等。

2 實驗及結(jié)果

UCI中漢堡大學(xué)Hans Hofmann教授提供了德國一家銀行的1000個觀測數(shù)，數(shù)據(jù)集含7個數(shù)值型、13個分類型和一個標(biāo)志型信用字段，共21個字段。研究者假設(shè)將信用差的客戶評為信用一流客戶時的損失為5，而將信用一流客戶評為不良客戶時損失為1，這是合理的假設(shè)。使用對稱性損失函數(shù)構(gòu)造的投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)等算法進(jìn)行信用評分，忽視了上述損失的不同，使用本文討論的Linex損失投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)LPPLN和BP神經(jīng)網(wǎng)絡(luò)LBP，對客戶進(jìn)行信用評分更合適。

分別采用3層LPPLN和LBP進(jìn)行信用評分，輸入節(jié)點數(shù)為20，輸出節(jié)點數(shù)為1，隱層節(jié)點選取3和4個兩種。將1000個樣本隨機等分為4個互不相交的子集，訓(xùn)練時使用其中一部分為測試集，其它子集作為訓(xùn)練集。分別進(jìn)行4次實驗，相對誤差閾值設(shè)為0.005，分類截取閾值取0.5。采用Linex損失函數(shù)的的重點是找出不良信用客戶，將不良信用客戶估計為信用好的客戶稱為第Ⅰ類錯誤，實驗結(jié)果見表1。

表1 信用評分實驗結(jié)果

3 結(jié)語

實驗結(jié)果表明，3個隱層節(jié)點和4個隱層節(jié)點的網(wǎng)絡(luò)，無論第Ⅰ類錯誤率還是總錯誤率，基于Linex損失下改進(jìn)的投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)成長于統(tǒng)計學(xué)和人工智能兩個不同領(lǐng)域，但都基于本質(zhì)上相同的模型?；蛟S因為上世紀(jì)八十年代投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)出現(xiàn)的時候，它對計算的要求超出了當(dāng)時計算機的能力，它沒有廣泛的應(yīng)用于統(tǒng)計學(xué)領(lǐng)域，其中很多問題值得探討。

［1］Thomas L C.A survey of credit and behavioural scoring:Forecasting financial risk of lending to consumers［J］.International Journal of Forecasting，2000，16(2):149－172.

［2］West D.Neural network credit scoring models［J］.Computers and Operations Research，2000，27(11－12):1131－1152.

［3］Hand D J，Henley W E.Statistical classification methods in consumer credit scoring:A review［J］.Journal of the Royal Statistical Society，Series A(Statistics in Society)，1997:160(3):523－541.

［4］Baesens B，Van Gestel T，Viaene S，et al.Benchmarking state-of-the-art classification algorithms for credit scoring［J］.Journal of the Operational Research Society，2003，54(6):627－635.

［5］Ligang Zhou，Kin Keung Lai and Lean Yu.redit scoring using support vector machines with direct search for parameters selection［J］Soft Computing-A Fusion of Foundations，Methodologies and Applications，2009，13(2):149－155

［6］Zellner A.Bayesian Estimation and Prediction Using Asymmetric Loss Function［J］.JAmer Statist Assoc，1986，81(1):446－451.

［7］Jones L.K.A Simple Lemma on Greedy Approximation in Hilbert Space and Convergence Rates for Projection Pursuit Regression and Neural Network Training［J］.The Annals of Statistics，1992，20(1):608－613.

［8］嚴(yán)勇，李清泉，等.投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的遙感影像分類［J］.武漢大學(xué)學(xué)報:信息科學(xué)版，2007，32(10):876－879.

［9］李穎，陳興林.投影尋蹤網(wǎng)絡(luò)用于光纖陀螺噪聲消除的研究［J］.光子學(xué)報，2009，38(1):94－98.