国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于在線連續(xù)極限學(xué)習(xí)機(jī)的圖像分類改進(jìn)算法

2015-12-29 05:09:04陳建原何建農(nóng)
關(guān)鍵詞:學(xué)習(xí)機(jī)權(quán)值矩陣

陳建原,何建農(nóng)

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福建福州 350116)

0 引言

單隱含層前饋神經(jīng)網(wǎng)絡(luò)(single-h(huán)idden layer feed-forward neural network,SLFN)因其對(duì)復(fù)雜的非線性映射具有非常強(qiáng)的逼近能力而在模式識(shí)別、自動(dòng)控制及數(shù)據(jù)挖掘等領(lǐng)域均有廣泛應(yīng)用.然而,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的缺陷,如訓(xùn)練時(shí)間長(zhǎng)、容易陷入局部極小等成為制約其發(fā)展的主要瓶頸.因此,探索一種訓(xùn)練速度快、獲得全局最優(yōu)解,且具有良好泛化能力的學(xué)習(xí)算法是提高前饋神經(jīng)網(wǎng)絡(luò)性能的主要目標(biāo)[1].

為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的效率,Huang等人將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題轉(zhuǎn)化為求解線性方程組,提出了一種稱為極限學(xué)習(xí)(extreme learning machine,ELM)的學(xué)習(xí)算法:訓(xùn)練前只需設(shè)置合適的隱含層節(jié)點(diǎn)數(shù)和激活函數(shù),然后為輸入權(quán)值和隱含層偏差量進(jìn)行隨機(jī)賦值,最后引入矩陣廣義逆的思想且通過(guò)最小二乘法獲得輸出權(quán)值[2].整個(gè)訓(xùn)練過(guò)程快速簡(jiǎn)單,無(wú)需繁瑣的迭代和調(diào)整參數(shù),且具有良好的全局搜索能力,因此極限學(xué)習(xí)機(jī)在回歸和分類、預(yù)測(cè)等領(lǐng)域得到了廣泛應(yīng)用,而且與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法如BP、SVM相比不僅速度有了極大提高(大約10倍),同時(shí)也有很好的泛化性能.然而,ELM也有以下2點(diǎn)不足之處,

1)由于輸入權(quán)值和隱含層偏差量的隨機(jī)選取,無(wú)法確定隱含層輸出矩陣的奇異性,這很可能將會(huì)影響算法效率[3].

2)數(shù)據(jù)集大小對(duì)極限學(xué)習(xí)機(jī)有一定程度的影響,這是因?yàn)槠錈o(wú)法根據(jù)數(shù)據(jù)集的特征進(jìn)行微調(diào)[4],因此會(huì)導(dǎo)致算法的穩(wěn)定性不足.

為改善極限學(xué)習(xí)機(jī)的缺陷,本研究在其基礎(chǔ)上引入正則因子,并且根據(jù)矩陣的奇異性進(jìn)行有區(qū)別的廣義逆求解,結(jié)合在線學(xué)習(xí)的方法提出AOS-ELM法,并通過(guò)實(shí)驗(yàn),證明在圖像分類方面該改進(jìn)算法比原ELM法和OS-ELM法具有更快學(xué)習(xí)速度和更好的泛化能力.

1 相關(guān)概念簡(jiǎn)介

1.1 圖像紋理特征和局部二值模式(LBP)

紋理是圖像的灰度統(tǒng)計(jì)信息、空間分布信息和結(jié)構(gòu)信息的綜合反映.它是由像素組成的具有一定形狀和大小的集合.紋理特征的提取指的是通過(guò)一定的圖像處理技術(shù)檢測(cè)出紋理基元模型,從而獲得紋理定量或定性描述的過(guò)程[5].算法所用的特征提取方法是在LBP的基礎(chǔ)上,根據(jù)數(shù)據(jù)庫(kù)圖像實(shí)際尺寸進(jìn)行適當(dāng)改進(jìn).LBP在圖像紋理特征提取有著廣泛的應(yīng)用,它是一種用來(lái)描述圖像局部紋理特征的算子,而且它提取的特征是圖像的紋理特征[6].

1.2 極限學(xué)習(xí)機(jī)(ELM)

其中:wi=[wi1,wi2,…,win]T是連接著第i個(gè)隱含層節(jié)點(diǎn)和輸入節(jié)點(diǎn)的權(quán)值向量,β =[βi1,βi2,…,βim]T是連接著第i個(gè)隱含層節(jié)點(diǎn)和輸出節(jié)點(diǎn)的權(quán)值向量,并且bi是第i個(gè)隱含層節(jié)點(diǎn)的偏差量.此SFLNs模型可以在零平均誤差的情況下逼近這N個(gè)樣本,所以存在wi,βi和bi使得:

上面的等式可以被簡(jiǎn)寫(xiě)成:

其中:

其中:H稱為隱含層輸出矩陣,H的第n(n≤L)列是第n(n≤L)關(guān)于輸入x1,x2,…,xN的隱含層節(jié)點(diǎn)的輸出.這個(gè)SFLNs模型有著逼近能力強(qiáng)、泛化性能好的性質(zhì)[8].

為了求解這個(gè)SLFNs,Huang[2]基于研究結(jié)論提出了一種新的、快速學(xué)習(xí)算法稱之為極限學(xué)習(xí)機(jī)(extreme learning machine,ELM),其步驟可概述如下:

ELM算法:給定一訓(xùn)練集X={(x i,t i)x i∈R n,t i∈R m,i=1,2,..,N}和激活函數(shù)G(x),隱含層節(jié)點(diǎn)數(shù)為L(zhǎng).步驟1: 為輸入權(quán)值w i和變差值b i進(jìn)行隨機(jī)賦值(i=1,2,…,L);步驟2: 計(jì)算隱含輸出矩陣H;步驟3:通過(guò)β^=H+T計(jì)算輸出權(quán)值β,其中H+是H的MP廣義逆 ,T=(t,t,…,t)T .12 n

相比于傳統(tǒng)學(xué)習(xí)算法,極限學(xué)習(xí)機(jī)不需要繁瑣的調(diào)整,是一個(gè)比較簡(jiǎn)潔有效的算法,同時(shí)也具有學(xué)習(xí)速度快、泛化能力強(qiáng)的特性.然而,在許多現(xiàn)實(shí)應(yīng)用當(dāng)中,當(dāng)實(shí)驗(yàn)數(shù)據(jù)集太大或者實(shí)驗(yàn)數(shù)據(jù)難以收集的時(shí)候會(huì)導(dǎo)致極限學(xué)習(xí)機(jī)性能的下降.為此文獻(xiàn)[9]基于在線學(xué)習(xí)和遞歸最小二乘算法提出了在線連續(xù)極限學(xué)習(xí)機(jī)(OS-ELM).同樣的,OS-ELM也有其不足之處:在訓(xùn)練過(guò)程中往往把時(shí)間消耗在求解矩陣H的MP廣義逆,此時(shí),一般采用奇異值分解法(SVD)來(lái)求解矩陣H+,這種方法的計(jì)算復(fù)雜度為O(4NL2+8L3)[10].而在知道矩陣H的奇異性的前提下可以采用其他效率更高、計(jì)算復(fù)雜度更低的計(jì)算方法,如正交投影法.

2 準(zhǔn)確在線連續(xù)極限學(xué)習(xí)機(jī)(AOS-ELM)

結(jié)合文獻(xiàn)[11]的回歸理論對(duì)極限學(xué)習(xí)機(jī)進(jìn)行修改、改善了矩陣P的奇異性對(duì)算法的影響,提出了準(zhǔn)確在線連續(xù)極限學(xué)習(xí)機(jī)(AOS-ELM).該算法基本思路是:將等式(3)替換成優(yōu)化模型HTHβ=HTT,此模型至少有一優(yōu)化解.針對(duì)矩陣的奇異性和對(duì)優(yōu)化近似解進(jìn)行有區(qū)別的矩陣逆計(jì)算,這樣做在一定程度上可有效減少求解矩陣的逆的計(jì)算復(fù)雜度,等價(jià)于減少訓(xùn)練時(shí)間;同時(shí),根據(jù)文獻(xiàn)[12]提出的建議:在計(jì)算輸出權(quán)值時(shí)加入了正則因子1/λ,也就是在矩陣HTH的對(duì)角線上加入一個(gè)根據(jù)數(shù)據(jù)集選取的正數(shù)1/λ;最后再加入后續(xù)在線學(xué)習(xí)階段.經(jīng)過(guò)如此處理之后,綜合結(jié)果更加快速且算法有了更好的泛化性能.

步驟1 初始化階段

1)隨機(jī)產(chǎn)生輸入權(quán)值向量wj和偏差量bj,初始化網(wǎng)絡(luò).

2)按式(4)計(jì)算初始隱含層輸出矩陣H0.

當(dāng)r≠N0且r≠ N~時(shí),求解兩優(yōu)化模型[11]:Bm∈ign+M - B 和B*m∈iRnNB*β0-c,可獲得優(yōu)化解B*,0β0*.這里 c=H0TT0,ε=10-4,M=H0TH0,g+={G ∈ RN0×N0G是正定對(duì)稱矩陣}.

4)令K=0,K為網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)段個(gè)數(shù).

步驟2 連續(xù)學(xué)習(xí)階段

對(duì)于每個(gè)K+1塊新的訓(xùn)練樣本,表示為:

這里N(K+1)為第K+1塊數(shù)據(jù)集里訓(xùn)練樣本的數(shù)目.

1)計(jì)算第K+1塊訓(xùn)練樣本的隱含層輸出矩陣,求解公式如下所示:

2)按照前面第一階段步驟2)計(jì)算輸出權(quán)值向量β.

3)令K=K+1,并回到在線學(xué)習(xí)階段的步驟1).

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)參數(shù)的選擇與說(shuō)明

為驗(yàn)證該改進(jìn)算法的有效性,進(jìn)行圖像數(shù)據(jù)庫(kù)分類仿真實(shí)驗(yàn).實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)下載于文[14],取其中6類每類11個(gè)樣本,圖像尺寸為128 dip×96 dip,每類的前7張圖像作為訓(xùn)練樣本,后4張圖像為測(cè)試樣本.正則因子過(guò)大對(duì)算法性能有不良影響,經(jīng)過(guò)多次實(shí)驗(yàn)取1/λ=10,這樣既可適當(dāng)提高學(xué)習(xí)速度、又不會(huì)導(dǎo)致算法不穩(wěn)定.此外,用LBP進(jìn)行紋理特征提取時(shí),先把圖像劃分為5×5=25個(gè)子區(qū)域,在每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)提取其LBP特征,然后建立統(tǒng)計(jì)直方圖;每幅圖像就有5×5個(gè)子區(qū)域,也就有了25個(gè)統(tǒng)計(jì)直方圖,利用這25個(gè)統(tǒng)計(jì)直方圖,就可以描述這幅圖像[13].再將LBP直方圖串聯(lián)起來(lái)形成一個(gè)高維的直方圖特征矢量,然后將經(jīng)過(guò)PCA降維后得到的數(shù)據(jù)進(jìn)行ELM實(shí)驗(yàn),用由此得到的神經(jīng)網(wǎng)絡(luò)的輸出作為分類的依據(jù).以下實(shí)驗(yàn)均在2.3 GHz的Intel CPU、2G RAM和Matlab 7.10 R2010a環(huán)境下進(jìn)行.

為了解不同激活函數(shù)對(duì)本算法的影響,進(jìn)行AOS-ELM的圖像分類實(shí)驗(yàn),初始隱含層節(jié)點(diǎn)數(shù)為100,以10為周期增加節(jié)點(diǎn)數(shù)直到最大值550.

常用的激活函數(shù)有:

1)Sigmoid 函數(shù):G(a,b,x)=1/[1+exp(-(ax+b))];

3)Gaussian函數(shù):G(a,b,x)=exp(-b x-a2);

4)Multiquadric函數(shù):G(a,b,x)=(x-a2+b2)1/2.

由圖1可明顯得出,S型函數(shù)在改進(jìn)算法中的實(shí)驗(yàn)表現(xiàn)最好,測(cè)試準(zhǔn)確率在節(jié)點(diǎn)數(shù)達(dá)到500之后趨于穩(wěn)定,而節(jié)點(diǎn)數(shù)過(guò)多則會(huì)導(dǎo)致網(wǎng)絡(luò)的"過(guò)學(xué)習(xí)"且消耗時(shí)間也會(huì)大幅增加,因此,節(jié)點(diǎn)數(shù)在400~700最為理想,本次實(shí)驗(yàn)的節(jié)點(diǎn)數(shù)取較為理想的500個(gè).

圖1 不同激活函數(shù)實(shí)驗(yàn)結(jié)果對(duì)比圖Fig.1 Experimental result based on different activation function

3.2 對(duì)比實(shí)驗(yàn)的結(jié)果與分析

為進(jìn)一步了解本算法的性能,進(jìn)行圖像分類對(duì)比實(shí)驗(yàn).3種算法的節(jié)點(diǎn)數(shù)皆為500,激活函數(shù)選擇實(shí)驗(yàn)結(jié)果最理想的Sigmoid函數(shù):G(a,b,x)=1/[1+exp(-(ax+b))].由于數(shù)據(jù)集的原因,有選擇性地把訓(xùn)練數(shù)據(jù)只分成一塊,也就是初始訓(xùn)練樣本數(shù)目N0為全部訓(xùn)練樣本來(lái)實(shí)現(xiàn)本文算法和OS-ELM,相當(dāng)于只實(shí)現(xiàn)算法的初始化階段[15].實(shí)驗(yàn)運(yùn)行10次后取平價(jià)值進(jìn)行三者對(duì)比,實(shí)驗(yàn)結(jié)果見(jiàn)圖2、3.

圖2 實(shí)驗(yàn)分類效果對(duì)比圖Fig.2 Comparison of classification's effect

圖3 訓(xùn)練所用時(shí)間對(duì)比圖Fig.3 Comparison of the traning time

在圖2和圖3中,雙劃線代表ELM,虛線代表AOS-ELM,實(shí)線代表OS-ELM.此外,為了比較改進(jìn)算法與傳統(tǒng)分類算法的區(qū)別,再次進(jìn)行SVM圖像分類實(shí)驗(yàn),核函數(shù)為Gaussian RBF核函數(shù),核函數(shù)的參數(shù)由交叉驗(yàn)證法得到.實(shí)驗(yàn)結(jié)果如表1所示.

表1 AOS-ELM算法與其他ELM算法的實(shí)驗(yàn)結(jié)果數(shù)據(jù)Tab.1 Comparison betweent AOS -ELM and other ELM algorithms

觀察上述圖表可知:在訓(xùn)練準(zhǔn)確率方面,三者幾乎都達(dá)到100%,而SVM稍差一點(diǎn);在測(cè)試準(zhǔn)確率的標(biāo)準(zhǔn)差方面,該改進(jìn)算法為1.07%,優(yōu)于ELM和OS-ELM的3.43%和2.64%,但是三者都低于SVM,這說(shuō)明在算法的穩(wěn)定性上SVM更好一點(diǎn);在測(cè)試準(zhǔn)確率方面,改進(jìn)算法為88.42%高于其余三者的84.90%、82.52%和81.76%;而且訓(xùn)練所用時(shí)間0.037 3 s也要比0.560 8、0.109 2 和1.593 s少得多,也就是說(shuō)學(xué)習(xí)速度遠(yuǎn)快于原ELM、OS-ELM和SVM.而這兩項(xiàng)指標(biāo)正是衡量分類性能的重要標(biāo)準(zhǔn).因此可以說(shuō)明,在小型數(shù)據(jù)集的情況下,改進(jìn)算法在穩(wěn)定性、學(xué)習(xí)速度、泛化能力方面均優(yōu)于原OS-ELM與ELM;而且,與SVM相比,ELM及其改進(jìn)算法在分類性能上也顯得更優(yōu)秀.

3.3 大型數(shù)據(jù)集的分類實(shí)驗(yàn)

為驗(yàn)證算法在大型數(shù)據(jù)集上的分類性能,選擇不同數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn).此次實(shí)驗(yàn)數(shù)據(jù)庫(kù)為L(zhǎng)andsat Satellite Image和Image Segmentation[16].前者生成于衛(wèi)星多光譜掃描器,圖像是在相同場(chǎng)景下、由4個(gè)不同波段組合而成.后者圖像取自七類戶外場(chǎng)景,由2 310個(gè)3×3像素的區(qū)域組成(見(jiàn)表2).

表2 數(shù)據(jù)集詳細(xì)信息Tab.2 Two data sets used in experiments

實(shí)驗(yàn)結(jié)果取10次平均值后與原OS-ELM比較.實(shí)驗(yàn)所用隱含層節(jié)點(diǎn)數(shù)皆為180,激活函數(shù)為S型函數(shù),實(shí)驗(yàn)數(shù)據(jù)見(jiàn)表3.

表3 數(shù)據(jù)集為Image Segmentation和Landsat Satellite Image的實(shí)驗(yàn)結(jié)果數(shù)據(jù)Tab.3 The results of experiment based on Image Segmentation and Landsat Satellite Image

由實(shí)驗(yàn)結(jié)果可以得出:在大型數(shù)據(jù)集上該算法的訓(xùn)練準(zhǔn)確率與OS-ELM幾乎沒(méi)有差別;而在測(cè)試準(zhǔn)確率方面,改進(jìn)算法為87.78%和94.06%,與OS-ELM的測(cè)試準(zhǔn)確率87.34%和94.70%也相差無(wú)幾,也就是說(shuō)兩者泛化性能相仿;但是訓(xùn)練所用時(shí)間0.309 2和0.376 5 s均少于原OS-ELM的0.414 0和0.485 2 s,說(shuō)明該算法的學(xué)習(xí)速度要快于原OS-ELM.

4 結(jié)語(yǔ)

結(jié)合LBP算子提取圖像的局部紋理特征提出新的在線極限學(xué)習(xí)機(jī)AOS-ELM.算法加入正則因子1/λ和針對(duì)矩陣的奇異性進(jìn)行有區(qū)別的矩陣逆計(jì)算,提高了效率;并加入后續(xù)在線學(xué)習(xí)階段,使得在學(xué)習(xí)速度較快前提下,該算法在小型數(shù)據(jù)集上泛化能力和穩(wěn)定性均優(yōu)于原OS-ELM和ELM,而大型數(shù)據(jù)集上也能和OS-ELM性能相仿.最終實(shí)驗(yàn)證明,改進(jìn)算法在圖像分類的應(yīng)用上有著較為理想的結(jié)果.

猜你喜歡
學(xué)習(xí)機(jī)權(quán)值矩陣
一種融合時(shí)間權(quán)值和用戶行為序列的電影推薦模型
CONTENTS
極限學(xué)習(xí)機(jī)綜述
基于極限學(xué)習(xí)機(jī)參數(shù)遷移的域適應(yīng)算法
分層極限學(xué)習(xí)機(jī)在滾動(dòng)軸承故障診斷中的應(yīng)用
基于權(quán)值動(dòng)量的RBM加速學(xué)習(xí)算法研究
初等行變換與初等列變換并用求逆矩陣
矩陣
南都周刊(2015年4期)2015-09-10 07:22:44
矩陣
南都周刊(2015年3期)2015-09-10 07:22:44
矩陣
南都周刊(2015年1期)2015-09-10 07:22:44
南雄市| 渭南市| 司法| 孝义市| 科技| 汝城县| 莒南县| 阳东县| 光山县| 呈贡县| 浦东新区| 托里县| 安陆市| 天镇县| 大同市| 临安市| 广东省| 灵山县| 嘉黎县| 阿克陶县| 遂川县| 龙州县| 资阳市| 蒲江县| 会泽县| 浠水县| 东宁县| 英吉沙县| 井研县| 松原市| 道孚县| 清水河县| 顺义区| 宿迁市| 锡林浩特市| 迭部县| 永定县| 兴文县| 崇州市| 永胜县| 广安市|