陳建原，何建農(nóng)

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建福州 350116)

0 引言

單隱含層前饋神經(jīng)網(wǎng)絡(luò)(single－h(huán)idden layer feed－forward neural network，SLFN)因其對(duì)復(fù)雜的非線性映射具有非常強(qiáng)的逼近能力而在模式識(shí)別、自動(dòng)控制及數(shù)據(jù)挖掘等領(lǐng)域均有廣泛應(yīng)用．然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的缺陷，如訓(xùn)練時(shí)間長(zhǎng)、容易陷入局部極小等成為制約其發(fā)展的主要瓶頸．因此，探索一種訓(xùn)練速度快、獲得全局最優(yōu)解，且具有良好泛化能力的學(xué)習(xí)算法是提高前饋神經(jīng)網(wǎng)絡(luò)性能的主要目標(biāo)［1］．

為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的效率，Huang等人將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題轉(zhuǎn)化為求解線性方程組，提出了一種稱為極限學(xué)習(xí)(extreme learning machine，ELM)的學(xué)習(xí)算法:訓(xùn)練前只需設(shè)置合適的隱含層節(jié)點(diǎn)數(shù)和激活函數(shù)，然后為輸入權(quán)值和隱含層偏差量進(jìn)行隨機(jī)賦值，最后引入矩陣廣義逆的思想且通過(guò)最小二乘法獲得輸出權(quán)值［2］．整個(gè)訓(xùn)練過(guò)程快速簡(jiǎn)單，無(wú)需繁瑣的迭代和調(diào)整參數(shù)，且具有良好的全局搜索能力，因此極限學(xué)習(xí)機(jī)在回歸和分類、預(yù)測(cè)等領(lǐng)域得到了廣泛應(yīng)用，而且與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法如BP、SVM相比不僅速度有了極大提高(大約10倍)，同時(shí)也有很好的泛化性能．然而，ELM也有以下2點(diǎn)不足之處，

1)由于輸入權(quán)值和隱含層偏差量的隨機(jī)選取，無(wú)法確定隱含層輸出矩陣的奇異性，這很可能將會(huì)影響算法效率［3］．

2)數(shù)據(jù)集大小對(duì)極限學(xué)習(xí)機(jī)有一定程度的影響，這是因?yàn)槠錈o(wú)法根據(jù)數(shù)據(jù)集的特征進(jìn)行微調(diào)［4］，因此會(huì)導(dǎo)致算法的穩(wěn)定性不足．

為改善極限學(xué)習(xí)機(jī)的缺陷，本研究在其基礎(chǔ)上引入正則因子，并且根據(jù)矩陣的奇異性進(jìn)行有區(qū)別的廣義逆求解，結(jié)合在線學(xué)習(xí)的方法提出AOS－ELM法，并通過(guò)實(shí)驗(yàn)，證明在圖像分類方面該改進(jìn)算法比原ELM法和OS－ELM法具有更快學(xué)習(xí)速度和更好的泛化能力．

1 相關(guān)概念簡(jiǎn)介

1．1 圖像紋理特征和局部二值模式(LBP)

紋理是圖像的灰度統(tǒng)計(jì)信息、空間分布信息和結(jié)構(gòu)信息的綜合反映．它是由像素組成的具有一定形狀和大小的集合．紋理特征的提取指的是通過(guò)一定的圖像處理技術(shù)檢測(cè)出紋理基元模型，從而獲得紋理定量或定性描述的過(guò)程［5］．算法所用的特征提取方法是在LBP的基礎(chǔ)上，根據(jù)數(shù)據(jù)庫(kù)圖像實(shí)際尺寸進(jìn)行適當(dāng)改進(jìn)．LBP在圖像紋理特征提取有著廣泛的應(yīng)用，它是一種用來(lái)描述圖像局部紋理特征的算子，而且它提取的特征是圖像的紋理特征［6］．

1．2 極限學(xué)習(xí)機(jī)(ELM)

其中:wi=［wi1，wi2，…，win］T是連接著第i個(gè)隱含層節(jié)點(diǎn)和輸入節(jié)點(diǎn)的權(quán)值向量，β =［βi1，βi2，…，βim］T是連接著第i個(gè)隱含層節(jié)點(diǎn)和輸出節(jié)點(diǎn)的權(quán)值向量，并且bi是第i個(gè)隱含層節(jié)點(diǎn)的偏差量．此SFLNs模型可以在零平均誤差的情況下逼近這N個(gè)樣本，所以存在wi，βi和bi使得:

上面的等式可以被簡(jiǎn)寫(xiě)成:

其中:

其中:H稱為隱含層輸出矩陣，H的第n(n≤L)列是第n(n≤L)關(guān)于輸入x1，x2，…，xN的隱含層節(jié)點(diǎn)的輸出．這個(gè)SFLNs模型有著逼近能力強(qiáng)、泛化性能好的性質(zhì)［8］．

為了求解這個(gè)SLFNs，Huang［2］基于研究結(jié)論提出了一種新的、快速學(xué)習(xí)算法稱之為極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)，其步驟可概述如下:

ELM算法:給定一訓(xùn)練集X={(x i，t i)x i∈R n，t i∈R m，i=1，2，．．，N}和激活函數(shù)G(x)，隱含層節(jié)點(diǎn)數(shù)為L(zhǎng)．步驟1: 為輸入權(quán)值w i和變差值b i進(jìn)行隨機(jī)賦值(i=1，2，…，L);步驟2: 計(jì)算隱含輸出矩陣H;步驟3:通過(guò)β^=H+T計(jì)算輸出權(quán)值β，其中H+是H的MP廣義逆 ，T=(t，t，…，t)T ．12 n

相比于傳統(tǒng)學(xué)習(xí)算法，極限學(xué)習(xí)機(jī)不需要繁瑣的調(diào)整，是一個(gè)比較簡(jiǎn)潔有效的算法，同時(shí)也具有學(xué)習(xí)速度快、泛化能力強(qiáng)的特性．然而，在許多現(xiàn)實(shí)應(yīng)用當(dāng)中，當(dāng)實(shí)驗(yàn)數(shù)據(jù)集太大或者實(shí)驗(yàn)數(shù)據(jù)難以收集的時(shí)候會(huì)導(dǎo)致極限學(xué)習(xí)機(jī)性能的下降．為此文獻(xiàn)［9］基于在線學(xué)習(xí)和遞歸最小二乘算法提出了在線連續(xù)極限學(xué)習(xí)機(jī)(OS－ELM)．同樣的，OS－ELM也有其不足之處:在訓(xùn)練過(guò)程中往往把時(shí)間消耗在求解矩陣H的MP廣義逆，此時(shí)，一般采用奇異值分解法(SVD)來(lái)求解矩陣H+，這種方法的計(jì)算復(fù)雜度為O(4NL2+8L3)［10］．而在知道矩陣H的奇異性的前提下可以采用其他效率更高、計(jì)算復(fù)雜度更低的計(jì)算方法，如正交投影法．

2 準(zhǔn)確在線連續(xù)極限學(xué)習(xí)機(jī)(AOS－ELM)

結(jié)合文獻(xiàn)［11］的回歸理論對(duì)極限學(xué)習(xí)機(jī)進(jìn)行修改、改善了矩陣P的奇異性對(duì)算法的影響，提出了準(zhǔn)確在線連續(xù)極限學(xué)習(xí)機(jī)(AOS－ELM)．該算法基本思路是:將等式(3)替換成優(yōu)化模型HTHβ=HTT，此模型至少有一優(yōu)化解．針對(duì)矩陣的奇異性和對(duì)優(yōu)化近似解進(jìn)行有區(qū)別的矩陣逆計(jì)算，這樣做在一定程度上可有效減少求解矩陣的逆的計(jì)算復(fù)雜度，等價(jià)于減少訓(xùn)練時(shí)間;同時(shí)，根據(jù)文獻(xiàn)［12］提出的建議:在計(jì)算輸出權(quán)值時(shí)加入了正則因子1/λ，也就是在矩陣HTH的對(duì)角線上加入一個(gè)根據(jù)數(shù)據(jù)集選取的正數(shù)1/λ;最后再加入后續(xù)在線學(xué)習(xí)階段．經(jīng)過(guò)如此處理之后，綜合結(jié)果更加快速且算法有了更好的泛化性能．

步驟1 初始化階段

1)隨機(jī)產(chǎn)生輸入權(quán)值向量wj和偏差量bj，初始化網(wǎng)絡(luò)．

2)按式(4)計(jì)算初始隱含層輸出矩陣H0．

當(dāng)r≠N0且r≠ N~時(shí)，求解兩優(yōu)化模型［11］:Bm∈ign+M － B 和B*m∈iRnNB*β0－c，可獲得優(yōu)化解B*，0β0*．這里 c=H0TT0，ε=10－4，M=H0TH0，g+={G ∈ RN0×N0G是正定對(duì)稱矩陣}．

4)令K=0，K為網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)段個(gè)數(shù)．

步驟2 連續(xù)學(xué)習(xí)階段

對(duì)于每個(gè)K+1塊新的訓(xùn)練樣本，表示為:

這里N(K+1)為第K+1塊數(shù)據(jù)集里訓(xùn)練樣本的數(shù)目．

1)計(jì)算第K+1塊訓(xùn)練樣本的隱含層輸出矩陣，求解公式如下所示:

2)按照前面第一階段步驟2)計(jì)算輸出權(quán)值向量β．

3)令K=K+1，并回到在線學(xué)習(xí)階段的步驟1)．

3 實(shí)驗(yàn)結(jié)果與分析

3．1 實(shí)驗(yàn)參數(shù)的選擇與說(shuō)明

為驗(yàn)證該改進(jìn)算法的有效性，進(jìn)行圖像數(shù)據(jù)庫(kù)分類仿真實(shí)驗(yàn)．實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)下載于文［14］，取其中6類每類11個(gè)樣本，圖像尺寸為128 dip×96 dip，每類的前7張圖像作為訓(xùn)練樣本，后4張圖像為測(cè)試樣本．正則因子過(guò)大對(duì)算法性能有不良影響，經(jīng)過(guò)多次實(shí)驗(yàn)取1/λ=10，這樣既可適當(dāng)提高學(xué)習(xí)速度、又不會(huì)導(dǎo)致算法不穩(wěn)定．此外，用LBP進(jìn)行紋理特征提取時(shí)，先把圖像劃分為5×5=25個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)提取其LBP特征，然后建立統(tǒng)計(jì)直方圖;每幅圖像就有5×5個(gè)子區(qū)域，也就有了25個(gè)統(tǒng)計(jì)直方圖，利用這25個(gè)統(tǒng)計(jì)直方圖，就可以描述這幅圖像［13］．再將LBP直方圖串聯(lián)起來(lái)形成一個(gè)高維的直方圖特征矢量，然后將經(jīng)過(guò)PCA降維后得到的數(shù)據(jù)進(jìn)行ELM實(shí)驗(yàn)，用由此得到的神經(jīng)網(wǎng)絡(luò)的輸出作為分類的依據(jù)．以下實(shí)驗(yàn)均在2．3 GHz的Intel CPU、2G RAM和Matlab 7．10 R2010a環(huán)境下進(jìn)行．

為了解不同激活函數(shù)對(duì)本算法的影響，進(jìn)行AOS－ELM的圖像分類實(shí)驗(yàn)，初始隱含層節(jié)點(diǎn)數(shù)為100，以10為周期增加節(jié)點(diǎn)數(shù)直到最大值550．

常用的激活函數(shù)有:

1)Sigmoid 函數(shù):G(a，b，x)=1/［1+exp(－(ax+b))］;

3)Gaussian函數(shù):G(a，b，x)=exp(－b x－a2);

4)Multiquadric函數(shù):G(a，b，x)=(x－a2+b2)1/2．

由圖1可明顯得出，S型函數(shù)在改進(jìn)算法中的實(shí)驗(yàn)表現(xiàn)最好，測(cè)試準(zhǔn)確率在節(jié)點(diǎn)數(shù)達(dá)到500之后趨于穩(wěn)定，而節(jié)點(diǎn)數(shù)過(guò)多則會(huì)導(dǎo)致網(wǎng)絡(luò)的"過(guò)學(xué)習(xí)"且消耗時(shí)間也會(huì)大幅增加，因此，節(jié)點(diǎn)數(shù)在400～700最為理想，本次實(shí)驗(yàn)的節(jié)點(diǎn)數(shù)取較為理想的500個(gè)．

圖1 不同激活函數(shù)實(shí)驗(yàn)結(jié)果對(duì)比圖Fig．1 Experimental result based on different activation function

3．2 對(duì)比實(shí)驗(yàn)的結(jié)果與分析

為進(jìn)一步了解本算法的性能，進(jìn)行圖像分類對(duì)比實(shí)驗(yàn)．3種算法的節(jié)點(diǎn)數(shù)皆為500，激活函數(shù)選擇實(shí)驗(yàn)結(jié)果最理想的Sigmoid函數(shù):G(a，b，x)=1/［1+exp(－(ax+b))］．由于數(shù)據(jù)集的原因，有選擇性地把訓(xùn)練數(shù)據(jù)只分成一塊，也就是初始訓(xùn)練樣本數(shù)目N0為全部訓(xùn)練樣本來(lái)實(shí)現(xiàn)本文算法和OS－ELM，相當(dāng)于只實(shí)現(xiàn)算法的初始化階段［15］．實(shí)驗(yàn)運(yùn)行10次后取平價(jià)值進(jìn)行三者對(duì)比，實(shí)驗(yàn)結(jié)果見(jiàn)圖2、3．

圖2 實(shí)驗(yàn)分類效果對(duì)比圖Fig．2 Comparison of classification＇s effect

圖3 訓(xùn)練所用時(shí)間對(duì)比圖Fig．3 Comparison of the traning time

在圖2和圖3中，雙劃線代表ELM，虛線代表AOS－ELM，實(shí)線代表OS－ELM．此外，為了比較改進(jìn)算法與傳統(tǒng)分類算法的區(qū)別，再次進(jìn)行SVM圖像分類實(shí)驗(yàn)，核函數(shù)為Gaussian RBF核函數(shù)，核函數(shù)的參數(shù)由交叉驗(yàn)證法得到．實(shí)驗(yàn)結(jié)果如表1所示．

表1 AOS－ELM算法與其他ELM算法的實(shí)驗(yàn)結(jié)果數(shù)據(jù)Tab．1 Comparison betweent AOS －ELM and other ELM algorithms

觀察上述圖表可知:在訓(xùn)練準(zhǔn)確率方面，三者幾乎都達(dá)到100%，而SVM稍差一點(diǎn);在測(cè)試準(zhǔn)確率的標(biāo)準(zhǔn)差方面，該改進(jìn)算法為1．07%，優(yōu)于ELM和OS－ELM的3．43%和2．64%，但是三者都低于SVM，這說(shuō)明在算法的穩(wěn)定性上SVM更好一點(diǎn);在測(cè)試準(zhǔn)確率方面，改進(jìn)算法為88．42%高于其余三者的84．90%、82．52%和81．76%;而且訓(xùn)練所用時(shí)間0．037 3 s也要比0．560 8、0．109 2 和1．593 s少得多，也就是說(shuō)學(xué)習(xí)速度遠(yuǎn)快于原ELM、OS－ELM和SVM．而這兩項(xiàng)指標(biāo)正是衡量分類性能的重要標(biāo)準(zhǔn)．因此可以說(shuō)明，在小型數(shù)據(jù)集的情況下，改進(jìn)算法在穩(wěn)定性、學(xué)習(xí)速度、泛化能力方面均優(yōu)于原OS－ELM與ELM;而且，與SVM相比，ELM及其改進(jìn)算法在分類性能上也顯得更優(yōu)秀．

3．3 大型數(shù)據(jù)集的分類實(shí)驗(yàn)

為驗(yàn)證算法在大型數(shù)據(jù)集上的分類性能，選擇不同數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)．此次實(shí)驗(yàn)數(shù)據(jù)庫(kù)為L(zhǎng)andsat Satellite Image和Image Segmentation［16］．前者生成于衛(wèi)星多光譜掃描器，圖像是在相同場(chǎng)景下、由4個(gè)不同波段組合而成．后者圖像取自七類戶外場(chǎng)景，由2 310個(gè)3×3像素的區(qū)域組成(見(jiàn)表2)．

表2 數(shù)據(jù)集詳細(xì)信息Tab．2 Two data sets used in experiments

實(shí)驗(yàn)結(jié)果取10次平均值后與原OS－ELM比較．實(shí)驗(yàn)所用隱含層節(jié)點(diǎn)數(shù)皆為180，激活函數(shù)為S型函數(shù)，實(shí)驗(yàn)數(shù)據(jù)見(jiàn)表3．

表3 數(shù)據(jù)集為Image Segmentation和Landsat Satellite Image的實(shí)驗(yàn)結(jié)果數(shù)據(jù)Tab．3 The results of experiment based on Image Segmentation and Landsat Satellite Image

由實(shí)驗(yàn)結(jié)果可以得出:在大型數(shù)據(jù)集上該算法的訓(xùn)練準(zhǔn)確率與OS－ELM幾乎沒(méi)有差別;而在測(cè)試準(zhǔn)確率方面，改進(jìn)算法為87．78%和94．06%，與OS－ELM的測(cè)試準(zhǔn)確率87．34%和94．70%也相差無(wú)幾，也就是說(shuō)兩者泛化性能相仿;但是訓(xùn)練所用時(shí)間0．309 2和0．376 5 s均少于原OS－ELM的0．414 0和0．485 2 s，說(shuō)明該算法的學(xué)習(xí)速度要快于原OS－ELM．

4 結(jié)語(yǔ)

結(jié)合LBP算子提取圖像的局部紋理特征提出新的在線極限學(xué)習(xí)機(jī)AOS－ELM．算法加入正則因子1/λ和針對(duì)矩陣的奇異性進(jìn)行有區(qū)別的矩陣逆計(jì)算，提高了效率;并加入后續(xù)在線學(xué)習(xí)階段，使得在學(xué)習(xí)速度較快前提下，該算法在小型數(shù)據(jù)集上泛化能力和穩(wěn)定性均優(yōu)于原OS－ELM和ELM，而大型數(shù)據(jù)集上也能和OS－ELM性能相仿．最終實(shí)驗(yàn)證明，改進(jìn)算法在圖像分類的應(yīng)用上有著較為理想的結(jié)果．