孫中華，楊曉迪，古麗米拉克孜爾別克

?

一種多尺度小波核極限學習機的圖像檢索仿真

孫中華，楊曉迪，古麗米拉×克孜爾別克

（新疆農業(yè)大學 計算機與信息工程學院，新疆 烏魯木齊 830052）

闡述了核極限學習機原理。在此基礎上提出了一種多尺度小波核極限學習機，將多尺度小波核作為極限學習機的核函數，測試表明是其一種可實現的極限學習機核。同時在無訓練數據分布的空間也具備分類能力，同等條件下高斯核極限學習機卻不具備分類能力。在圖像檢索中應用多尺度小波核極限學習機，實驗表明，相比支持向量機學習機分類算法，該分類算法可提高檢索精度以及速度，具有優(yōu)良的性能和一定的應用價值。

圖像檢索；支持向量機；多尺度小波核；極限學習機；分類算法

0 引言

為了提高圖像檢索精度，引入了學習機制。Vapnik等在統計學理論基礎上提出了支持向量機SVM[1]，有效解決非線性分類問題，對有限樣本具有較好的分類問題，對大樣本卻存在訓練時間長，精度不高的問題；針對前饋神經網絡的輸入層連接權值不需要迭代調整，Huang提出了一種新的神經網絡訓練架構，稱為極限學習機（extreme learning machine，ELM）[2]。同傳統的基于梯度下降的迭代算法BP神經網絡等不同，該方法可一次性求解出輸出權值的最小二乘解，且速度快，泛化性好，被廣泛應用在分類問題[3]。相對于傳統的分類方法，ELM在保證一定識別準確率的基礎上，大大降低了訓練花費時間[4]。ELM相對SVM速度更快且參數不敏感，更容易部署[5-6]。

該方法具有良好的非線性映射能力，廣泛應用在支持向量機中。文獻[7]提到，核方法也可以應用到極限學習機算法中。

小波核函數也應用在支持向量機中[8]，文獻[9]闡述了其也能應用到極限學習機中，且性能較好。本文將多尺度小波核函數應用到極限學習機中，對corel圖像庫進行分類檢索，實驗表明，檢索精確度較高且速度快。

1 算法研究

1.1 極限學習機

個各不相同的訓練樣本集{(x,y)|x?R, y?R}，前饋網絡的激躍函數()以及隱含層節(jié)點數為，極限學習機訓練的步驟如下：

1）確定前饋神經網絡結構；

2）隨機設置前饋神經網絡的連接權值，并計算隱含層的輸出矩陣：

(a,…,b),＝1,…,(1)

3）求解輸出權值的最小二乘范數解；

式中：是單位矩陣，是常數。是期望矩陣。

極限學習機的分類公式如下表示：

1.2 核極限學習機

由于極限學習機的輸入權值在訓練過程中不需要調整，可以在建立網絡的時候一次性給定，極限學習機的隱含層輸出可以描述為：

式中：()為激活函數；a＝[a,…,a]為輸入權值；為輸出權值；b為第個隱含層單元的偏置；a×x為內積運算。式(5)可簡化為式(6)的矩陣形式表達：

＝(6)

式中：為隱含輸出層；為期望輸出。

SVM確定最優(yōu)分類面基于結構風險最小化原則，而在求解極限學習機的過程中，不僅要考慮經驗誤差最小化，同時還要考慮結構風險最小化。因此，在最小化的輸出權值和最小化的誤差之間做出折中，構造計算公式如下：

式(8)等價于式(9)：

式中：＝[,1,…,,m]是訓練樣本x對應的網絡輸出值和實際值間的誤差。

根據KKT條件，使用Lagrange函數求解最值問題，也就是式(9)的問題可以等效為：

式中：是連接隱含層和第個輸出結點的權值，＝[,…,]。相應的優(yōu)化限制條件為：

隱含層輸出矩陣僅僅與樣本的個數和隱含層的結點數目有關而與樣本的輸出結點個數無關。對于分類問題，它與樣本的類別數目無關。

將式11(a)、11(b)都帶入到式11(c)中，有：

所有的公式輸出都合并起來，令：

于是式（13）可以合并寫成：

最終我們可以推導得到：

極限學習機的逼近函數可以寫成：

可以把每一個樣本的隱層輸出(x)都看成是樣本x的非線性映射，這個映射可以采用加式的＋的形式，也可以采用RBF的形式。

于是有：

又我們有：

于是極限學習機的求解公式可以寫成：

通過上述步驟就構造出了核極限學習機。核極限學習機具有比傳統極限學習機更為強大的函數逼近能力，同時處理分線性分類的能力也更強。

1.3 多尺度小波核函數

類似于支持向量機，若一個核函數能滿足Mercer條件，那么該核函數就可以作為核極限學習機的核函數。為了簡化算法，我們將SVM的核應用于ELM中。

已知一個母小波函數()，它的伸縮因子和平移因子分別是和，那么小波基函數可以表示如下：

根據張量積的理論，一個多維的小波函數可以寫成多個一維小波函數的張量積：

根據式(22)可以構造出平移不變的核函數，如下式：

本實驗選用Morlet小波函數()＝cos(1.75)×exp(－2/2)，那么其相應的小波核函數可以表示如下：

小波核函數不僅具有強大的非線性映射的特征，而且也繼承了小波分析對非平穩(wěn)輸入參數的逐級精細描述的特征。因而采用小波核函數的小波極限學習機能夠以較高的精度逼近任意函數，這是傳統的核函數所不具備的。

雖然核函數有強大的映射能力和非線性分類能力，但在一些復雜情形下，由單個核函數構成的核機器并不能滿足諸如數據異構或不規(guī)則、樣本規(guī)模巨大、樣本不平坦分布等實際的應用需求，因此將多個核函數進行組合，以獲得更好的結果是一種必然選擇。

通常我們可以通過不同的核函數疊加的方式如下式來構造出一個混合核函數，以提高分類性能。

＝1×1＋…＋a×K(25)

對于小波核函數本身有多尺度擴展得能力，不同的尺度就構造出來了不同的小波核函數。

以小波核作為極限學習機的核函數，仍然屬于單尺度小波核ELM[10]。為提高具有多尺度特性的函數逼近能力，本文提出多尺度小波核，以提高分類準確性。

我們根據多尺度小波核的性質構造出多尺度的小波核函數如下式所示：

我們可以把式(26)縮寫成：

(27)

由于多尺度的小波核函數是多個尺度的小波核函數的組合，因此多尺度小波核函數極限學習機對于核參數的選擇范圍可以大大地放寬，甚至可以淡化核函數的選擇，同時其逼近能力更高，具有使用方便、識別效果更好等優(yōu)點。

2 實驗分析

實驗圖像庫采用corel庫，共10類，每類100張圖片，提取所有圖像的顏色特征與紋理特征作為低層特征。

測試1：分別對比不同核函數極限學習機，對wine的UCI分類測試數據進行測試，測試結果如表1所示；分別采用SVM、TSVM、ELM、小波核ELM（WKELM）和多尺度ELM（MWKELM五種分類器對corel庫進行檢索對比，選取每類圖像的前40張作為訓練樣本，后60張作為測試樣本，測試結果如表2所示。

從表1可以看出，多尺度小波核極限學習機比其他核函數極限學習機的檢索精度高，而無核極限學習機與高斯核極限學習機相當。

從表2可以看出，極限學習機比支持向量機有更高的測試精度，測試表明極限學習機分類算法有較好的分類性能。

表1 不同核函數性能對比

表2 五種分類算法性能對比

測試2：為了進一步做測試，通過選取不同的測試樣本數量，分別選取1、5、10、15、20、30、40張圖片作為訓練樣本數據，測試結果如圖1所示。

圖1 不同訓練樣本測試結果

從圖1中可看出，多尺度小波核學習機的分類識別率最高，最差的是SVM支持向量機分類算法。采用多尺度核函數方法參數選擇的復雜度比單個核方法的參數選擇大得多[11]，因此，多尺度小波核的泛化能力更好。通過其構造的多尺度小波核極限學習機的分類準確性會更高。

3 結論

本文提出一種多尺度核極限學習機，將多尺度小波核函數作為極限學習機的核函數，滿足mercer條件，可作為極限學習機的允許核。應用在圖像檢索中，結果表明多尺度小波核極限學習機在圖像分類中有較高的準確率，性能優(yōu)于SVM和ELM，有一定的應用價值。但傳統的ELM的輸出權重是由最小二乘估計方法直接取得[12]，出于學習的穩(wěn)健性考慮，通過優(yōu)化選取參數或者解決訓練數據共線性以及粗差干擾，如多隱層輸出矩陣極限學習機算法[13]，可進一步提升學習機精度。圖像特征的選取也至關重要，可采取更合適的特征組合[14]，以獲得更好的檢索結果。

[1] Cortes C, Vapnik V. Support vector networks[J]., 1995, 20(3): 144-152.

[2] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]., 2006, 70(1/3): 489-501.

[3] Wei Weizong, Guang Binhuang. Face recognition based on extreme learning machine[J]., 2011, 74(16): 2541-2551.

[4] 張文博, 姬紅兵. 融合極限學習機[J]. 電子與信息學報, 2013, 35(11): 2729-2732.

[5] 張燕.基于小波域熱紅外降質圖像濾波增強方法研究[J]. 紅外技術, 2014, 36(5): 355-359.

[6] 陳盛雙. 基于極限學習機的XML文檔分類[J]. 計算機工程, 2011, 37(19): 177-179.

[7] Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification[J].:, 2012, 42(2): 513-529.

[8] Wei chih-chiang. Wavelet kernel support vector machines forecasting techniques: case study on water-level predictions during typhoons[J]., 2012, 39(5): 5189-5199.

[9] 王杰, 郭晨龍. 小波核極限學習機分類器[J]. 微電子學與計算機, 2013, 30(10): 73-76.

[10] 任世錦, 吳鐵軍. 基于徑向基小波核的多尺度小波支持向量機[J]. 電路與系統學報, 2008, 13(4): 71-76.

[11] 胡義函, 張小剛, 陳華, 等. 一種基于魯棒估計的極限學習機方法[J]. 計算機應用研究, 2012, 29(8): 2927-2929.

[12] 陸凱，李成金，趙勛杰等. 一種快速的亞像素圖像配準算法[J]. 紅外技術, 2013, 35(1): 27-30.

[13] 張文博, 姬紅兵, 王磊, 等. 多隱層輸出矩陣極限學習機[J]. 系統工程與電子技術, 2014, 36(8): 1657-1659.

[14] 陳瑩, 朱明. 多子直方圖均衡微光圖像增強及FPGA實現[J]. 中國光學, 2014, 7(2):225-233.

A Multi-scale Wavelet Image Retrieval Simulation of Kernel Extreme Learning Machine

SUN Zhong-hua，YANG Xiao-di，GuLimila×kezierbieke

（，，830052，）

The principle of kernel Extreme Learning Machine (ELM) is demonstrated. Based on above, a multi-scale wavelet kernel ELM is proposed in which the multi-scale wavelet kernel is employed as kernel function. It is an achievable ELM which has classification ability in the distribution space with no training data while Gaussian kernel ELM does not perform well. Simulation results show that multi-scale wavelet kernel ELM has higher retrieval precision and efficiency compared with support vector machine model when they are used in image retrieval. The proposed approach has excellent performance and application value.

image retrieval，multi-scale wavelet kernel，SVM，ELM，classification algorithm

TP391.9

A

1001-8891(2015)06-0484-04

2014-10-23；

2015-01-08.

孫中華（1989-），男，碩士研究生，研究方向為計算機應用技術。

古麗米拉×克孜爾別克（1970-），女，碩士，副教授，研究方向：現代通信技術及嵌入式技術。E-mail：glml@xjau.edu.cn。

新疆農業(yè)大學大學生創(chuàng)新項目，編號：jqztp:72013068。