張煜東，顏 俊，王水花，吳樂(lè)南

(1.東南大學(xué)信息科學(xué)與工程學(xué)院，江蘇 南京 210096;2.哥侖比亞大學(xué)精神病學(xué)系腦成像實(shí)驗(yàn)室,紐約州 紐約 10032)

0 引 言

函數(shù)估計(jì)[1]是一個(gè)經(jīng)典反問(wèn)題，一般定義為給定輸入輸出樣本對(duì)，求未知的系統(tǒng)函數(shù)[2].傳統(tǒng)的方法為參數(shù)方法，即構(gòu)建一個(gè)參數(shù)模型，再定義某個(gè)誤差項(xiàng)，通過(guò)最小化誤差項(xiàng)來(lái)求解模型的參數(shù)[3].

參數(shù)方法盡管較為簡(jiǎn)單，但不夠靈活.例如參數(shù)模型假設(shè)有誤，則會(huì)導(dǎo)致整個(gè)求解流程失敗[4].因此學(xué)者們發(fā)展出不少新技術(shù)，非參數(shù)估計(jì)就是其中一項(xiàng)較好的方法.該方法無(wú)需提前假設(shè)參數(shù)模型的形式，而是基于數(shù)據(jù)結(jié)構(gòu)推測(cè)回歸曲面[5].

本文首先研究了經(jīng)典的2種參數(shù)回歸方法：最小二乘法與內(nèi)插函數(shù)法，分析了它們的不足，然后主要討論8種非參數(shù)回歸方法：核方法、局部多項(xiàng)式回歸、正則化方法(樣條估計(jì))、正態(tài)均值模型、小波方法、過(guò)完全字典、前向神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)，尤其詳細(xì)介紹了其間的相關(guān)性與繼承性.最后，研究了高維情況下面臨的計(jì)算維數(shù)詛咒與樣本維數(shù)詛咒.

1 回歸模型

考慮模型

yi=r(xi)+εi

(1)

式(1)中(xi,yi)為觀測(cè)樣本，假定誤差ε具有方差齊性，則r=E(y|x)稱為y對(duì)x的回歸函數(shù)，簡(jiǎn)稱回歸.一般地，可以假設(shè)x取值在[0,1]區(qū)間內(nèi).定義“規(guī)則設(shè)計(jì)”為xi=i/n(i=1,2,…,n).并定義風(fēng)險(xiǎn)函數(shù)為

(2)

回歸一詞源于高爾頓(Galton)，他和學(xué)生皮爾遜(Pearson)在研究父母身高和子女身高的關(guān)系時(shí)，以每對(duì)夫婦的平均身高為x，取其一個(gè)成年兒子的身高為y，并用直線y=33.73+0.512x來(lái)描述y與x的關(guān)系.研究發(fā)現(xiàn)：如果雙親屬于高個(gè)，則子女比他們還高的概率較??；反之，若雙親較矮，則子女以較大概率比雙親高.所以，個(gè)子偏高或偏矮的夫婦，其子女的身高有“向中心回歸”的現(xiàn)象，因此高爾頓稱描述子女與雙親身高關(guān)系的直線為“回歸直線”[6].

然而，并非所有的x-y函數(shù)均有回歸性，但歷史沿用了這個(gè)術(shù)語(yǔ).更為精確的表達(dá)是“函數(shù)估計(jì)”.

2 傳統(tǒng)方法

理論上描述一個(gè)函數(shù)需要無(wú)窮維數(shù)據(jù)，因此函數(shù)估計(jì)本身也可稱為“無(wú)窮維估計(jì)”[7].傳統(tǒng)的估計(jì)方法有下列兩種極端情形.

2.1 最小二乘法

(3)

(4)

這里Y=(y1,y2,…,yn)T.L=X(XTX)-1XT稱為帽子矩陣[9].以5個(gè)樣本點(diǎn)的一維規(guī)則設(shè)計(jì)矩陣為例，此時(shí)

(5)

L滿足L=LT,L2=L.另外，L的跡等于輸入數(shù)據(jù)的維數(shù)p，即trace(L)=p.這里輸入數(shù)據(jù)是一維的，所以trace(L)=1.

2.2 內(nèi)插函數(shù)法

(6)

2.3 兩種方法的缺陷

圖1給出了這兩種極端擬合的示意圖，數(shù)據(jù)是被高斯噪聲干擾的正弦函數(shù)，采用上述兩種方法擬合，結(jié)果表明：最小二乘法過(guò)光滑，未展現(xiàn)數(shù)據(jù)內(nèi)部的關(guān)系；而內(nèi)插函數(shù)法忽略了噪聲影響，顯得欠光滑.

從帽子矩陣也可看出，式(5)表明最小二乘法對(duì)每個(gè)數(shù)據(jù)的估計(jì)都利用了所有樣本，這顯然導(dǎo)致過(guò)光滑，且x值越大的數(shù)據(jù)權(quán)重越大，這明顯與經(jīng)驗(yàn)不符；反之，式(6)表明內(nèi)插函數(shù)法僅僅利用了最鄰近的樣本數(shù)據(jù)，這顯然導(dǎo)致欠光滑.

圖1 兩種極端擬合

2.4 非參數(shù)回歸的優(yōu)勢(shì)

非參數(shù)回歸(non-parametric regression)作為最近興起的一種函數(shù)估計(jì)方法，是一種分布無(wú)關(guān)(distribution free)的方法，即不依賴于數(shù)據(jù)的任何先驗(yàn)假設(shè).與此對(duì)應(yīng)的是參數(shù)回歸(parametric regression)，通常需要預(yù)先設(shè)置一個(gè)模型，然后求取該模型的參數(shù).非參方法的本質(zhì)在于：模型不是通過(guò)先驗(yàn)知識(shí)而是通過(guò)數(shù)據(jù)決定.需要注意的是，“非參數(shù)”并不表示沒(méi)有參數(shù)，只是表示參數(shù)的數(shù)目、特征是可變的(flexible).

由于非參方法無(wú)需數(shù)據(jù)先驗(yàn)知識(shí)，其應(yīng)用范圍較參數(shù)方法更廣，且性能更穩(wěn)健.其另一個(gè)優(yōu)點(diǎn)是使用過(guò)程較參數(shù)方法更為簡(jiǎn)單.然而，它也存在缺點(diǎn)，一般結(jié)構(gòu)更復(fù)雜，需要更多的運(yùn)算時(shí)間.

2.5 線性光滑器

需要說(shuō)明的是，最小二乘法、內(nèi)插函數(shù)法、核方法、正則化方法、正態(tài)均值模型均是線性光滑器.定義為：若對(duì)每個(gè)x，存在向量l(x)=[l1(x),…,ln(x)]T，使得r(x)的估計(jì)可寫為

(7)

3 核回歸

核方法[12]定義為

(8)

權(quán)重li由式(9)給出

(9)

這里h是帶寬，K是一個(gè)核，滿足K(x)≥0，以及

(10)

常用的核函數(shù)見表1.

表1 常用的核公式

以boxcar核為例，帽子矩陣為

(11)

顯然，這可視作最小二乘法與內(nèi)插函數(shù)法的折中.

為了估計(jì)帶寬h，首先必須估計(jì)風(fēng)險(xiǎn)函數(shù)，一般可采用缺一交叉驗(yàn)證得分

(12)

(13)

這里L(fēng)ii是光滑矩陣L的第i個(gè)對(duì)角線元素.另一種方法是采用廣義交叉驗(yàn)證法，規(guī)定

(14)

這里v=tr(L).

4 局部多項(xiàng)式回歸

采用核回歸常會(huì)碰到下列2個(gè)問(wèn)題[13]：1)若x不是規(guī)則設(shè)計(jì)的，則風(fēng)險(xiǎn)會(huì)增大，稱為設(shè)計(jì)偏倚(design bias)；2)核估計(jì)在接近邊界處會(huì)出現(xiàn)較大偏差，稱為邊界偏倚(boundary bias).為了解決這2個(gè)問(wèn)題，可采用局部多項(xiàng)式回歸.

(15)

利用高等數(shù)學(xué)知識(shí)，可以看出解為

(16)

可見式(16)正好是核回歸估計(jì).這表明核估計(jì)是由局部加權(quán)最小二乘得到的局部常數(shù)估計(jì).因此，若利用一個(gè)p階的局部多項(xiàng)式而不是一個(gè)局部常數(shù)，就可能改進(jìn)估計(jì)，使曲線更光滑.定義多項(xiàng)式

(17)

則局部多項(xiàng)式的思想是：選擇使下列局部加權(quán)平方和

(18)

(19)

當(dāng)p等于0時(shí)，等于核估計(jì)；當(dāng)p=1時(shí)，稱為局部線性回歸(local linear regression)估計(jì)[15]，由于其算法簡(jiǎn)單且性能優(yōu)越，較為常用.

5 基于正則化的回歸

為了描述方便，這里假設(shè)數(shù)據(jù)點(diǎn)為[(x0,y0),(x1,y1),…(xn-1,yn-1)].在風(fēng)險(xiǎn)函數(shù)(2)后增加一項(xiàng)懲罰項(xiàng)，一般設(shè)為r(x)的二階導(dǎo)數(shù)

(20)

為了加速計(jì)算，將數(shù)據(jù)點(diǎn)重新排序，假設(shè)a,b為樣本點(diǎn)x的上下界，令a=t1≤t2≤…≤tn-1=b，這里t是x重新排序后的點(diǎn)，稱為結(jié)點(diǎn).可用B樣條基(B-spline basis)[16]作為該三次樣條的基，即

(21)

Pi稱為控制點(diǎn)，共n-m個(gè)，形成一個(gè)凸殼.n-m個(gè)B樣條基可通過(guò)如下計(jì)算，首先初始化：

(22)

然后對(duì)i=1，逐步+1，直到i=m-1，重復(fù)迭代下式：

(23)

若結(jié)點(diǎn)等距，則稱B樣條是均勻的(uniform)，否則稱為不均勻.如果兩個(gè)結(jié)點(diǎn)相等，計(jì)算過(guò)程會(huì)出現(xiàn)0/0情況，此時(shí)默認(rèn)結(jié)果為0.

P=(BTB+λΩ)-1BTY

(24)

可見，樣條也是一個(gè)線性光滑器.

(25)

式中，f(x)是x的密度函數(shù).

(26)

(27)

顯然，若樣本x是規(guī)則設(shè)計(jì)，則f(x)=1,h(x)=(λ/n)1/4=h,li(x)∝K[(xi-x)/h]，即此時(shí)樣條估計(jì)可視作形如式(27)的漸近核估計(jì).

6 正態(tài)均值模型

(28)

則隨機(jī)變量Zj是正態(tài)分布，且均值與方差滿足：

E(Zj)=θjV(Zj)=σ2/n

(29)

(30)

①b=(b,b,…,b)，稱為常數(shù)調(diào)節(jié)器(constant modulator)，此時(shí)令式(30)最小的 稱為James-Stein估計(jì)；

③b=(b1,b2,…,bn)滿足1≥b1≥b2≥…≥bn≥0，稱為單調(diào)調(diào)節(jié)器(monotone modulator)，該方法理論最優(yōu)，但是需要的運(yùn)算量太大，幾乎不實(shí)用.

7 小波方法

小波方法[19]適用于空間非齊次(spatially inhomogeneous)函數(shù)，即函數(shù)的光滑程度隨著x會(huì)有本質(zhì)性的變化.它可視作正態(tài)均值模型的推廣，但存在兩點(diǎn)區(qū)別：一是采用小波基代替?zhèn)鹘y(tǒng)的正交基，因?yàn)樾〔ɑ^一般的正交基具有局部化的優(yōu)點(diǎn)，能實(shí)現(xiàn)多分辨率分析；另一點(diǎn)是采用了一種稱為“閾”的收縮方式.

不妨假定父小波為φ，母小波為ψ，同時(shí)規(guī)定下標(biāo)(j,k)的意義如下：

fj,k(x)=2j/2f(2jx-k)

(31)

為了估計(jì)函數(shù)r，用n=2J項(xiàng)展開來(lái)近似r，

(32)

這里J0是任取常數(shù)，滿足0≤J0≤J.α稱為刻度系數(shù)，β稱為細(xì)節(jié)系數(shù).那么如何估計(jì)這些系數(shù)？首先計(jì)算

(33)

(34)

Sk、Djk分別稱為經(jīng)驗(yàn)刻度系數(shù)與經(jīng)驗(yàn)細(xì)節(jié)系數(shù)，可知Sk≈N(αj0,k,σ2/n)，Djk≈N(βj,k,σ2/n)，可估計(jì)方差為

|∶k=0,…,2J-1-1)/0.6745

(35)

(36)

β的估計(jì)形式稍許復(fù)雜，采用硬閾與軟閾的方式分別為

(37)

(38)

之所以采用閾的形式，是因?yàn)橄∈栊?sparse)的思想[20]：對(duì)某些復(fù)雜函數(shù)，在小波基上展開時(shí)系數(shù)也是稀疏的.因此，需要采用一種方式來(lái)捕獲稀疏性.然而，傳統(tǒng)的L2范數(shù)不能捕捉稀疏性，相反，L1范數(shù)與非零基數(shù)能夠較好地捕捉稀疏性.例如，考慮n維向量a=(1,0,…,0)與b=(1/n1/2,…,1/n1/2)，有‖a‖2=‖b‖2=1，可見，L2范數(shù)無(wú)法區(qū)分稀疏性.反之，‖a‖1=1，‖b‖1=n1/2，因此，L1范數(shù)能提取稀疏性；另外，若令非零基數(shù)為J(θ)={#(θi≠0)}，則J(a)=1，J(b)=n，因此，非零基數(shù)也能提取稀疏性.最后，在正則化估計(jì)中若懲罰項(xiàng)分別為L(zhǎng)1范數(shù)或非零基數(shù)，則最優(yōu)估計(jì)恰好對(duì)應(yīng)著軟閾估計(jì)與硬閾估計(jì).

最后，需要解決閾估計(jì)中λ的計(jì)算問(wèn)題，這里介紹兩種最簡(jiǎn)單的方式：一是通用閾值(universal threshold)，即對(duì)所有水平的分辨率閾值均一致，

(39)

另一種是分層閾值(level-by-level threshold)，即對(duì)不同分辨率采用不同閾值，一般是通過(guò)最小化下式求得

(40)

式中nj=2j-1為在水平j(luò)的參數(shù)個(gè)數(shù).

8 超完備字典

小波基較標(biāo)準(zhǔn)正交基的改進(jìn)在于更加局部化，因此能實(shí)現(xiàn)對(duì)跳躍的捕捉.然而，雖然小波基非常復(fù)雜，但面對(duì)各種復(fù)雜的函數(shù)還是不夠靈活.這種缺陷的根源在于：小波基是標(biāo)準(zhǔn)正交基，任意兩個(gè)基函數(shù)之間正交，這保證了基函數(shù)簡(jiǎn)單完整的同時(shí)，也喪失了靈活性.

基追蹤(basis pursuit)方法[21]的思想是采用一種超完備(overcomplete)的基，例如對(duì)“光滑加跳躍”的函數(shù)，傳統(tǒng)的傅立葉基能夠捕捉光滑部分，但是難以捕捉跳躍部分；采用小波基能輕易捕捉跳躍部分，但是描述光滑部分較為困難.此時(shí)若將“傅立葉基”與“小波基”合并成一個(gè)新的基，則顯然這種基能夠輕松地估計(jì)“光滑加跳躍”函數(shù).

但是，這種新的基不再正交，它以犧牲正交性來(lái)獲得更好的靈活性[22]，故此時(shí)用“字典”來(lái)描述更精確，而本文為了簡(jiǎn)便統(tǒng)一仍采用“基”表述.

9 前向神經(jīng)網(wǎng)絡(luò)

以一個(gè)雙層神經(jīng)網(wǎng)絡(luò)為例，記網(wǎng)絡(luò)的輸入神經(jīng)元個(gè)數(shù)為m, 隱層神經(jīng)元個(gè)數(shù)為n, 輸出層神經(jīng)元個(gè)數(shù)為q，則網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 前向神經(jīng)網(wǎng)絡(luò)

與上面幾節(jié)線性方法不同的是，神經(jīng)網(wǎng)絡(luò)屬于非線性統(tǒng)計(jì)數(shù)據(jù)建模(nonlinear statistical data modeling)，其隱層暗含了“特征提取”的思想，且可視作輸入數(shù)據(jù)在一種“自適應(yīng)的非線性非正交的基”上的映射.同樣地，此時(shí)基犧牲了正交性、線性、不變性，增加了計(jì)算負(fù)擔(dān)，但換來(lái)了更加強(qiáng)大的靈活性[23].

簡(jiǎn)而言之，前向神經(jīng)網(wǎng)絡(luò)采用了類似基追蹤的方法[24]，但基是自適應(yīng)變化的、非線性的，因此更加靈活.前向神經(jīng)網(wǎng)絡(luò)與基追蹤相似之處在于，兩者的基都不是正交的，都是根據(jù)給定數(shù)據(jù)而自適應(yīng)選取的最佳基.前向神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于無(wú)不需預(yù)選字典，字典在算法中自動(dòng)生成，并可作為特征選擇的一種方法.

10 徑向基函數(shù)網(wǎng)絡(luò)

首先觀察徑向基函數(shù)(RBF)神經(jīng)元如圖3所示.

圖3 RBF神經(jīng)元圖

圖中輸入向量p的維數(shù)為R，首先p與輸入層權(quán)值矩陣IW相減，然后求距離函數(shù)dist，再與偏置b1相乘，最后求徑向基函數(shù)radbas(n)=exp(-n2)，得到神經(jīng)元的輸出為

a=radbas(‖IW-p‖b1)

(41)

整個(gè)RBF網(wǎng)絡(luò)由兩層神經(jīng)元組成，第1層為S1個(gè)如圖3所示的RBF神經(jīng)元，第2層為S2個(gè)線性神經(jīng)元，如圖4所示.在第2層開始時(shí)，第1層的輸出a首先經(jīng)過(guò)線性層權(quán)值矩陣LW后與偏置b2相加，再通過(guò)一個(gè)純線性(purelin)函數(shù)purelin(n)=n，得到網(wǎng)絡(luò)輸出y為

y=purelin(LW×a+b2)

(42)

圖4 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

比較式(41)與式(9)可見，RBF網(wǎng)絡(luò)與核方法非常類似，不同之處在于RBF網(wǎng)絡(luò)的LW需要通過(guò)求解一個(gè)方程組，而核方法的權(quán)重是直接通過(guò)歸一化計(jì)算求得，因此RBF網(wǎng)絡(luò)預(yù)測(cè)結(jié)果更為逼近完全內(nèi)插函數(shù)估計(jì)(注意不是未知函數(shù)r)，而核方法計(jì)算更為簡(jiǎn)便[25].

11 維數(shù)災(zāi)難

將函數(shù)估計(jì)推廣到高維，則會(huì)碰到維數(shù)詛咒(curse of dimensionality)[26](圖5)，它意味著當(dāng)觀測(cè)值的維數(shù)增加時(shí)，估計(jì)難度會(huì)迅速增大.維數(shù)詛咒有兩層含義：

一是計(jì)算的維數(shù)詛咒，指的是某些算法的計(jì)算量隨著維數(shù)的增長(zhǎng)而成指數(shù)增加.解決方法通常采用優(yōu)化算法，例如遺傳算法、粒子群算法、蟻群算法等[27].

二是樣本的維數(shù)詛咒，指的是數(shù)據(jù)維數(shù)為d時(shí)，樣本量需要隨著d指數(shù)增長(zhǎng).在函數(shù)估計(jì)中，第二層含義更為重要，這里給予詳細(xì)解釋.

圖5 樣本的維數(shù)詛咒示意圖

假設(shè)一個(gè)半徑r維數(shù)為d的超球，被一個(gè)邊長(zhǎng)為2r維數(shù)為d的超立方體所包圍，假設(shè)超立方體內(nèi)存在一個(gè)均勻分布的點(diǎn)，則由于超球的體積為2rdπd/2/[dΓ(d/2)]，超立方體的體積為(2r)d，因此該點(diǎn)同時(shí)也落在超球內(nèi)的概率P為

(43)

令維數(shù)d由2逐步增長(zhǎng)到20，則對(duì)應(yīng)的概率P如圖6所示.顯然，當(dāng)d=20時(shí)，P僅為2.46×10-8.因此，若在2維空間中1個(gè)樣本在半徑r的意義下能逼近一個(gè)正方形，則在20維空間內(nèi)，則需要1/2.46×10-8=4.06×107個(gè)樣本才能在半徑r的意義下逼近超立方體.

圖6 概率P與維數(shù)d的關(guān)系

因此，在高維問(wèn)題中，由于數(shù)據(jù)非常稀少，導(dǎo)致局部鄰域中包含極少的數(shù)據(jù)點(diǎn)[28]，因此估計(jì)變得異常困難.目前還沒(méi)有較好的辦法解決.

12 結(jié) 語(yǔ)

將文中闡述的方法歸結(jié)并示于圖7.

圖7 非參數(shù)回歸方法

不同類型方法的特點(diǎn)總結(jié)如下：

a. 核方法、正則化方法、正態(tài)均值模型可以視作最基本最原始的方式.另外，正則化方法與正態(tài)均值模型可視作一類特殊的核方法.

b. 核方法、局部多項(xiàng)式方法、正則化方法、正態(tài)均值模型、小波等方法在大多數(shù)情況下均非常類似.這些方法都包含了一個(gè)偏倚-方差平衡，所以都需要選擇一個(gè)光滑參數(shù).由于這些方法均是線性光滑器，所以均可以采用第4節(jié)中基于CV、GCV的方法.

c. 小波方法一般面向空間非齊次函數(shù).如果需要一個(gè)精確的函數(shù)估計(jì)，而且噪聲水平較低，則小波方法非常有效.但若面對(duì)一個(gè)標(biāo)準(zhǔn)的非參數(shù)回歸問(wèn)題，而且感興趣于置信集，則小波方法并不比其它方法明顯更好.

d. 超完備字典缺陷是喪失了基的正交性，因此估計(jì)系數(shù)變得復(fù)雜；優(yōu)點(diǎn)是更為靈活，能夠采用稀疏的系數(shù)描述復(fù)雜函數(shù).

e. 前向神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)是基于不同的模型獨(dú)立推導(dǎo)出來(lái)的，二者不可混淆.另外，神經(jīng)網(wǎng)絡(luò)方法的缺點(diǎn)是一般不考慮置信帶，并常用訓(xùn)練誤差代替風(fēng)險(xiǎn)函數(shù)，容易過(guò)擬合；優(yōu)點(diǎn)是面向應(yīng)用、思想簡(jiǎn)單且設(shè)計(jì)靈活.

f. 理論上，這些方法沒(méi)有大的差別，特別在用置信帶的寬度來(lái)評(píng)價(jià)時(shí).每種方法都有其擁護(hù)者與批評(píng)者，沒(méi)有哪一種方法目前獲得應(yīng)用上的優(yōu)勢(shì).一種解決方案是對(duì)每個(gè)問(wèn)題都利用所有可行的方法，如果結(jié)果一致，則選擇簡(jiǎn)單者；如果結(jié)果不一致，則必須探討內(nèi)在的原因.

g. 所討論的方法能夠用于高維問(wèn)題，然而，即使通過(guò)智能優(yōu)化算法解決了計(jì)算的維數(shù)詛咒，仍然面對(duì)樣本的維數(shù)詛咒.計(jì)算一個(gè)高維估計(jì)相對(duì)容易，然而該估計(jì)將不如一維情況下那么精確，其置信區(qū)間會(huì)非常大.但這并不表示方法失效，而是表示問(wèn)題的固有困難.

參考文獻(xiàn)：

[1]Neumeyer N.A note on uniform consistency of monotone function estimators [J]. Statistics & Probability Letters,2007,77(7):693-703

[2]Sheena Y,Gupta A K.New estimator for functions of the canonical correlation coefficients [J]. Journal of Statistical Planning and Inference,2005,131(1):41-61.

[3]張煜東,吳樂(lè)南,李銅川,等.基于PCNN的彩色圖像直方圖均衡化增強(qiáng)[J].東南大學(xué)學(xué)報(bào)，2010,40(1):64-68.

[4]詹錦華.基于優(yōu)化灰色模型的農(nóng)村居民消費(fèi)結(jié)構(gòu)預(yù)測(cè)[J].武漢工程大學(xué)學(xué)報(bào)，2009,31(9):89-91.

[5]Wasserman L. All of Nonparametric Statistics [M].New York:Springer-Verlag, Inc.

[6]張煜東, 吳樂(lè)南, 吳含前.工程優(yōu)化問(wèn)題中神經(jīng)網(wǎng)絡(luò)與進(jìn)化算法的比較[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(3):1-6.

[7]Hansen C B.Asymptotic properties of a robust variance matrix estimator for panel data when T is large [J].Journal of Econometrics,2007,141(2):597-620.

[8]Pokharel P P, Liu W F, Principe J C.Kernel least mean square algorithm with constrained growth [J].Signal Processing,2009,89(3):257-265.

[9]Kalivas J H.Cyclic subspace regression with analysis of the hat matrix [J].Chemometrics and Intelligent Laboratory Systems,1999,45(1):215-224.

[10]張煜東,吳樂(lè)南.基于二維Tsallis熵的改進(jìn)PCNN圖像分割[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版,2008,38(4):579-584

[11]Ge?kinli N C, Yavuz D.A set of optimal discrete linear smoothers[J].Signal Processing,2001,3(1):49-62.

[12]Antoniotti M,Carreras M,Farinaccio A,et al.An application of kernel methods to gene cluster temporal meta-analysis [J].Computers & Operations Research,2010,37(8):1361-1368.

[13]Hsieh P F,Chou P W,Chuang H Y.An MRF-based kernel method for nonlinear feature extraction [J].Image and Vision Computing,2010,28(3):502-517.

[14]Katkovnik V.Multiresolution local polynomial regression:A new approach to pointwise spatial adaptation [J].Digital Signal Processing,2005,15(1):73-116.

[15]Baíllo A,Grané A.Local linear regression for functional predictor and scalar response [J].Journal of Multivariate Analysis,2009,100(1):102-111.

[16]Zhang J W,Krause F L.Extending cubic uniform B-splines by unified trigonometric and hyperbolic basis [J].Graphical Models,2005,67(2):100-119.

[17]張煜東,吳樂(lè)南,韋耿,等.用于多指數(shù)擬合的一種混沌免疫粒子群優(yōu)化[J].東南大學(xué)學(xué)報(bào),2009,39(4):678-683.

[18]Chaudhuri S,Perlman M D.Consistent estimation of the minimum normal mean under the tree-order restriction [J].Journal of Statistical Planning and Inference,2007,137(11):3317-3335.

[19]Labat D.Recent advances in wavelet analyses:Part 1.A review of concepts[J].Journal of Hydrology,2005,314(1):275-288.

[20]Kunoth A.Adaptive Wavelets for Sparse Representations of Scattered Data[J].Studies in Computational Mathematics,2006,12:85-108.

[21]Donoho D L, Elad M.On the stability of the basis pursuit in the presence of noise[J].Signal Processing,2006,86(3):511-532.

[22]Malgouyres F.Rank related properties for Basis Pursuit and total variation regularization [J].Signal Processing,2007,87(11):2695-2707.

[23]張煜東,吳樂(lè)南,韋耿.神經(jīng)網(wǎng)絡(luò)泛化增強(qiáng)技術(shù)研究[J].科學(xué)技術(shù)與工程,2009,9(17):4997-5002.

[24]屠艷平,管昌生,譚浩.基于BP網(wǎng)絡(luò)的鋼筋混凝土結(jié)構(gòu)時(shí)變可靠度[J].武漢工程大學(xué)學(xué)報(bào),2008,30(3):36-39.

[25]Zhang Y D,Wu L N,Neggaz N, et al.Remote-sensing Image Classification Based on an Improved Probabilistic Neural Network[J].Sensors,2009,9:7516-7539.

[26]Aleksandrowicz G,Barequet G.Counting polycubes without the dimensionality curse [J].Discrete Mathematics,2009,309(13):4576-4583.

[27]張煜東,吳樂(lè)南,奚吉,等.進(jìn)化計(jì)算研究現(xiàn)狀(上)[J].電腦開發(fā)與應(yīng)用,2009,22(12):1-5.

[28]王忠,葉雄飛.遺傳算法在數(shù)字水印技術(shù)中的應(yīng)用[J].武漢工程大學(xué)學(xué)報(bào),2008,30(1):95-97.