黃榕波， 郭穗勛

( 1.廣東藥學院數(shù)學部， 廣東廣州 510006；2.廣東藥學院醫(yī)藥信息工程學院，廣東廣州 510006)

變量可分離函數(shù)的RBF神經(jīng)網(wǎng)絡擬合模型及其VC維

黃榕波1， 郭穗勛2

( 1.廣東藥學院數(shù)學部， 廣東廣州 510006；2.廣東藥學院醫(yī)藥信息工程學院，廣東廣州 510006)

提出變量可分離函數(shù)的徑向基函數(shù)網(wǎng)絡擬合模型(Fitting Model based Radial Basis Function network to Variable Separable Function，VSRBF)及其學習算法并分析VSRBF的VC維．VSRBF是一個由多個子徑向基函數(shù)網(wǎng)絡組成的分工協(xié)作系統(tǒng)，由于把高維模型分解為低維模型，與傳統(tǒng)徑向基函數(shù)網(wǎng)絡(Based Radial Basis Function Network，RBF)相比， VSRBF 不僅明顯地降低了系統(tǒng)復雜性而且網(wǎng)絡的收斂速度更快. 證明了VSRBF的VC維低于傳統(tǒng)RBF的VC維，實驗表明VSRBF在處理高維模型的行為明顯優(yōu)于RBF．

分工協(xié)作； RBF； VC維

人工神經(jīng)網(wǎng)絡根據(jù)輸入與輸出的樣本數(shù)據(jù)通過學習來擬合輸入與輸出之間的關系，具有非凡的非線性擬合能力，可以對一個或多個目標同時進行處理. 比如多因素不同水平的實驗模型的建立、非線性關系的擬合等，在許多領域得到了廣泛的應用[1]. 一般地，當模型的輸入因子很多時，為了提高模型的擬合能力，必須增加隱藏層神經(jīng)元的個數(shù)，從而導致模型的系統(tǒng)復雜性的提高，即提高了模型的VC維，系統(tǒng)性能受到影響. 因此降低模型輸入維數(shù)是目前人工神經(jīng)網(wǎng)絡研究的一個熱點．

徑向基函數(shù)網(wǎng)絡(Radial Basis Function Network，RBF)是近十幾年來提出的神經(jīng)網(wǎng)絡模型，由于結(jié)構(gòu)簡單、學習速度快，在許多領域得到了廣泛的應用. 近年來出現(xiàn)了許多關于降低RBF神經(jīng)網(wǎng)絡的輸入維數(shù)的研究結(jié)果. 文獻[2]應用獨立成分分析(Independent Component Analysis，ICA)和主成分分析(Principal Component Analysis，PCA)降低RBF神經(jīng)網(wǎng)絡的輸入維數(shù)，結(jié)果發(fā)現(xiàn)經(jīng)過PCA技術預處理后模型的性能變差，因為PCA 只用到二階矩信息，它提取的主因子之間只是不相關而不是獨立的，在降維過程中非主因子包含的有用信息丟失了. 而應用ICA提取了RBF的輸入因子中的獨立成分作為RBF的輸入，發(fā)現(xiàn)在降低RBF的輸入維數(shù)的同時RBF的性能得到了改善. 這是因為ICA使用高階統(tǒng)計矩信息從輸入因子中提取獨立因子. 然而，ICA抽取的因子是獨立成分的近似，仍然會影響模型的性能. 而且如果輸入因子彼此獨立，ICA無法降低RBF的輸入維數(shù)．

根據(jù)變量可分離特點構(gòu)建基于徑向基函數(shù)網(wǎng)絡擬合模型VSRBF. VSRBF是一種由多個子RBF組成的分工協(xié)作系統(tǒng)，通過把高維輸入分解為低維輸入作為子RBF的輸入，直接降低系統(tǒng)中的子RBF的輸入維數(shù)，達到降低系統(tǒng)復雜性提高性能的目標．

1 變量可分離函數(shù)與VSRBF

1.1變量可分離函數(shù)

定義1 設y=f(x)是向量函數(shù)，其中

設V的一個直和分解T：V=V1?V2?…?Vq，記

則稱向量函數(shù)y=f(x)是關于直和分解T的變量可分離函數(shù).

1.2VSRBF的結(jié)構(gòu)及其算法

利用變量可分離的條件構(gòu)造RBF神經(jīng)網(wǎng)絡擬合模型，VSRBF是一個由多個子RBF組成的分工協(xié)作系統(tǒng). 其結(jié)構(gòu)如圖1所示．

VSRBF由輸入分解器及q個子RBFr(r=1,2,…,q)組成. 輸入分解器把一個高維輸入分解成低維輸入的直和并分別作為一個子RBF的輸入. 即把d維輸入x=(x(1),…,x(d))分解成q個低維輸入x(r)(r=1,2,…,q)的直和，即：

圖1 VSRBF 的結(jié)構(gòu)Fig.1 The architecture of VSRBF

x=x(1)?x(2)?…?x(q),

子RBFr(r=1,2,…,q)的輸入表示如下：

x(r)=(x(i1),x(i2),…,x(idr))T.

VSRBF的輸出等于q個子RBF的輸出之和，表示如下：

(1)

其中z(r)(r=1,2,…,q)是子RBFr(r=1,2,…,q)的輸出．

設訓練數(shù)據(jù)為：(xt,yt)(t=1,2,…,N)，通過最小化式子(2)表示的經(jīng)驗風險函數(shù)確定VSRBF中的參數(shù)集Θ中的參數(shù)．

(2)

其中N為訓練數(shù)據(jù)個數(shù)，Θ=Θ1∪…∪Θq,Θr(r=1,2,…,q)分別為RBFr(r=1,2,…,q)的參數(shù)集．

(3)

式(3)的詳細步驟依賴于RBFr(r=1,2,…,q)模型，這里采用擴展的RBF模型(Extended RBF，ENRBF). 記RBFr(r=1,2,…,q)隱藏層神經(jīng)元個數(shù)為kr，選取核函數(shù)φ(s)=exp(-0.5s2)，網(wǎng)絡的輸出為

(4)

其中

Oj(xt(r))=

步驟1：通過聚類算法[3]k_mean確定隱藏層參數(shù)集{mjr,Σjr|j=1,2,…,kr;r=1,2,…,q}；

步驟2：在最小均方差標準下即最小化式子(2)學習確定輸出層參數(shù)集{Wjr,βjr|j=1,2,…,kr;r=1,2,…,q}. 詳細迭代過程如下：

步驟2-2：輸出層參數(shù)迭代如下：

2 VSRBF的VC維

系統(tǒng)復雜性由系統(tǒng)的函數(shù)集VC維表示，VC維越高，系統(tǒng)的復雜性越大．

引理1[4]設函數(shù)集F是由N個線性無關的函數(shù)生成的線性函數(shù)集，則：VC(F)=N．

記SVS為VSRBF的函數(shù)集；SEN為ENRBF的函數(shù)集. VSRBF的參數(shù)集ΘVS和ENRBF的參數(shù)集ΘEN表示如下：

i=1,2,…,ρVS},

i=1,2,…,ρEN}.

VSRBF與ENRBF的函數(shù)集分別如下：

為簡明起見，下面均假定網(wǎng)絡輸出維數(shù)為n=1．

定理1 設徑向基函網(wǎng)絡核函數(shù)是確定的，即徑向基函網(wǎng)絡的隱藏層參數(shù)預先確定，ρEN表示ENRBF輸出層自由參數(shù)的個數(shù),則：

ρEN=kd+k,VC(SEN)=ρEN.

證明ENRBF的輸出為：

f(w11,…;w1d,…;wk1,…,wkd,…β1,…,βk,·)=

函數(shù)集SEN是下列k(d+1)個函數(shù)張成線性函數(shù)集:x(i)Oj(x),Oj(x) (j=1,2,…,k;i=1,2,…,d).

由引理1得：

VC(SEN)=k(d+1)=kd+d=ρEN.

定理2 設VSRBF核函數(shù)是確定的，即VSRBF的隱藏層參數(shù)預先確定，ρVS表示VSRBF輸出層參數(shù)個數(shù),則：

證明VSRBF的輸出為：

函數(shù)集SVS是下列ρVS個函數(shù)張成的線性函數(shù)集

x(i)(r)Oj(x(r)),Oj(x(r)) (i=1,2,…,dr;

j=1,2,…,kr;r=1,2,…,q).

由引理1有

定理3 設

(1)ENRBF的輸入維數(shù)為d，隱藏層結(jié)點數(shù)為k；

(2)VSRBF的q個徑向基函數(shù)網(wǎng)絡的輸入維數(shù)為dr>0(r=1,2,…,q)，隱藏層結(jié)點數(shù)為kr>0(r=1,2,…,q). 且

(5)

(3) ENRBF、VSRBF隱藏層參數(shù)是固定的；

(4)SEN、SVS分別表示ENRBF、VSRBF的VC維,則VC(SVS)≤VC(SEN).

證明ENRBF輸出層參數(shù)個數(shù)為

ρEN=kd+d.

(6)

把式(5)代入式(6)得：

由定理1和定理2得VC(SVS)≤VC(SEN).

3 實驗結(jié)果

由下式

y=f1(x1,x2)+f2(x3,x4,x5)+f3(x6,x7,x8,x9)=

sinx1cosx2+x3sinx4-0.4sin2x5+0.5x6cosx7+

0.2x9sinx8

(7)

產(chǎn)生5 100個數(shù)據(jù)，其中前5 000個數(shù)據(jù)組成訓練集，余下100個數(shù)據(jù)組成測試集，VSRBF由3個子RBF組成，隱藏層神經(jīng)元數(shù)分別為k1=2，k2=3,k3=3，取學習率為η=0.000 1，掃描訓練集200次后收斂，VSRBF和ENRBF在測試集上的行為如圖2所示．

圖2 VSRBF和ENRBF在測試集上MSE的比較

Fig.2 The MSE comparison on the testing set between VSRBF and ENRBF

4 總結(jié)

VSRBF利用變量可分離特點，把高維問題分解成低維問題，直接降低了系統(tǒng)復雜性，提高了系統(tǒng)的性能. 由于VSRBF的VC維低于ENRBF的VC維，因此學習收斂速度更快．實驗表明VSRBF的性能均優(yōu)于傳統(tǒng)的RBF．

[1] DAVEY N, HUNT S P, FRANK R J. Time series prediction and neural networks [J]. Journal of Intelligent and Robotic Systems, 2001, 31: 91-103.

[2] 郭穗勛, 黃榕波. 獨立成分分析在徑向基函數(shù)網(wǎng)中的應用研究[J]. 華南師范大學學報:自然科學版，2004 (3): 42-46.

GUO Suixun, HUANG Rongbo. Study on application of independent component analysis to radial basis function network[J]. Journal of South China Normal University:Natural Science Edition, 2004(3): 42-46.

[3] XU Lei. Rival penalized competitive learning, finite mixture, and multisets clustering[C]∥Proceedings of International Joint Conference on Neural Networks.New York:Institute of Electrical and Electronics Engineers Inc, 1998, II: 2525-2530.

[4] SONTAG Eduardo D. VC dimension of neural networks [J]. Neural Networks and Machine Learning, 1998, 168: 69-95.

Keywords： divide-and-cooperate； RBF； VC dimension

【責任編輯 莊曉瓊】

RBFNEURALNETWORKFITTINGMODELTOVARIABLE-SEPARABLEFUNCTIONANDITSVCDIMENSION

HUANG Rongbo， GUO Suixun

( 1. Department of Mathematics，Guangdong Pharmaceutical University, Guangzhou 510006, China;2. College of Medical Information Engineering， Guangdong Pharmaceutical University, Guangzhou 510006, China)

A Radial Basis Function network fitting model to Variable-Separable Function(VSRBF)is presented with its algorithm and its VC dimension is analyzed. VSRBF is a divide-and-cooperate system which is composed of several sub-RBF networks. Since VSRBF decomposes high dimensional model into low dimensional one, to compare with the conventional RBF, its system complexity is reduced remarkably as well as the faster converging speed. It is concluded that the VC dimension of VSRBF is less than that of the conventional RBF, and the experimental result shows that VSRBF performs advantageously comparing with the conventional RBF in high dimensional model.

2010-03-18

國家自然科學基金資助項目(10926191)

黃榕波(1965—),男,廣東揭陽人,博士,廣東藥學院副教授, 主要研究方向：人工神經(jīng)網(wǎng)絡, Email: hrongbo@tom.com.

1000-5463(2010)03-0039-03

TP183

A