趙捷珍，郭春生

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

?

基于GF空間多項式核函數(shù)的分類研究

趙捷珍，郭春生

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

摘要：在基于核方法的分類問題中，核函數(shù)及其參數(shù)選擇皆對分類結(jié)果具有重要影響，通常基于經(jīng)驗選擇核函數(shù)或基于多核優(yōu)化方法確定核函數(shù)的權(quán)系數(shù)。針對GF空間的多項式核函數(shù)，在范數(shù)限定條件下利用多核學(xué)習(xí)方法優(yōu)化多項式權(quán)系數(shù)，實現(xiàn)多項式核函數(shù)的優(yōu)化。實驗結(jié)果表明，算法優(yōu)化得到的多項式核函數(shù)其分類性能優(yōu)于常用的單核函數(shù)，與多核方法相當(dāng)，并在分類中取得良好的效果。

關(guān)鍵詞：核方法；GF空間；多核學(xué)習(xí)

0引言

核方法因其解決分類和回歸等非線性問題的有效性而得到廣泛應(yīng)用。目前常用的核方法有支持向量機[1]、核Fisher判決[2]等。盡管有多種基于核函數(shù)的分類方法，但其處理的基本過程可以歸結(jié)如下：首先將原始線性不可分的數(shù)據(jù)通過某種非線性函數(shù)映射到高維特征空間，使得線性不可分的問題轉(zhuǎn)化成線性可分問題；然后利用核技巧實現(xiàn)原始數(shù)據(jù)在特征空間中的分類處理。核方法中的單核學(xué)習(xí)方法因其簡便性得到廣泛使用，但核函數(shù)的優(yōu)選往往依賴于經(jīng)驗，無法適應(yīng)真實數(shù)據(jù)的異構(gòu)性、不規(guī)則性和非均勻性以及準(zhǔn)確反應(yīng)系統(tǒng)的結(jié)構(gòu)[3]，從而利用多個基本核函數(shù)的多核學(xué)習(xí)成為一種新的研究方向。近來的一些理論和應(yīng)用驗證了多核學(xué)習(xí)方法能增強決策函數(shù)的可解釋性[4]，并且在視覺目標(biāo)識別[5]等方面獲取了比單核學(xué)習(xí)方法更優(yōu)的性能。本文結(jié)合多核學(xué)習(xí)方法的強適應(yīng)性和單核方法的簡單性，提出了在限定條件下利用多核學(xué)習(xí)方法，對GF空間的多項式核函數(shù)進(jìn)行優(yōu)化處理，使其在分類上獲得更好的效果。

1基于GF空間多項式核函數(shù)的算法

本文引入廣義?？?Generalized Fock，GF)空間多項式核，首先將多項式核的單核形式改寫為多核形式，然后利用多核學(xué)習(xí)優(yōu)化GF空間多項式核函數(shù)參數(shù)，規(guī)避了單核核函數(shù)經(jīng)驗參數(shù)選擇的不確定性。基于樣本的核函數(shù)參數(shù)優(yōu)化，能夠更加有效地利用對分類效果有較大影響的樣本特征，提高分類準(zhǔn)確率。

1.1　GF空間多項式核

文獻(xiàn)[6]提出了GF空間的概念。GF空間是由多項式或者Volterra級數(shù)所構(gòu)成的內(nèi)積的希爾伯特空間。多項式泛函構(gòu)建的GF空間在限制條件下會逼近由高斯核映射構(gòu)建的再生核希爾伯特空間(Reproducing Kernel Hilbert Space，RKHS)，等同于GF空間的多項式核，可以逼近高斯核函數(shù)。在一定的條件下，GF空間核能夠逼近其它核函數(shù)[7]。

(1)

其內(nèi)積和換函數(shù)分別為：

(2)

(3)

式中，k=k1+k2+…+km，ρk1…km是正的有界常量，m是輸入變量的個數(shù)，n是GF空間的維數(shù)。

為了便于實際處理，當(dāng)k=k1+k2+…+km=d,0≤d≤n，ρk1…km相等，且ρd=ρk1…km時，本文將GF空間多項式核函數(shù)改寫成如下形式：

(4)

1.2　GF空間多項式核優(yōu)化

如將式(4)中的ρd視為常量，則GF空間多項式核函數(shù)可以改寫為：

(5)

本文采用SVM算法的軟間隔分類優(yōu)化核函數(shù)：

(6)

將式(6)經(jīng)過拉格朗日變換，則最終的優(yōu)化目標(biāo)變?yōu)椋?/p>

(7)

式中，αi是拉格朗日乘子。

(8)

對式(8)的目標(biāo)函數(shù)進(jìn)行微分：

(9)

(10)

2仿真與分析

為了驗證基于GF空間多項式核的核方法的分類準(zhǔn)確率和效率，本文將UCI樣本數(shù)據(jù)進(jìn)行實驗，并通過實驗數(shù)據(jù)對GF空間多項式核與其他的核函數(shù)進(jìn)行性能比較。

以下的數(shù)據(jù)來源于UCI數(shù)據(jù)庫。UCI數(shù)據(jù)庫是一個標(biāo)準(zhǔn)的常用于機器學(xué)習(xí)的測試數(shù)據(jù)集。在使用數(shù)據(jù)進(jìn)行分類時，本文隨機抽取20%的樣本作為訓(xùn)練集，剩下的80%作為測試集。Bupa liver disorders是研究單身男性個體健康肝臟疾病的數(shù)據(jù)庫，包含345個樣本，6個特征；Breast-cancer-Wisconsin是描述胸部細(xì)胞是否癌變圖像的數(shù)據(jù)庫，包含683個數(shù)據(jù)，10個特征；Wine是描述葡萄酒的成分?jǐn)?shù)據(jù)，包含119個數(shù)據(jù)，13個特征；Monk描述了不同算法的性能比較，包含432個數(shù)據(jù)，7個特征；Pima-indians-diabetes是描述印第安人糖尿病的數(shù)據(jù)庫，包含768個數(shù)據(jù)，8個特征。

基于GF空間多項式核本身是一個單核的性質(zhì)，所以本文將它的性能跟其他的單核進(jìn)行比較，選取了高斯核、線性核、常規(guī)多項式核這3類常用的單核；但因利用多核學(xué)習(xí)方法優(yōu)化，所以本文也將它的性能跟其他的多核進(jìn)行對比。表1使用分類準(zhǔn)確率，表2使用訓(xùn)練時間衡量基于GF空間多項式核的分類性能。表1、表2的GF空間多項式核定為5階，多核則是由5個高斯核所組合構(gòu)成的。結(jié)合表1、表2可以看出，GF空間的分類準(zhǔn)確率在多數(shù)情況下要高于高斯核、線性核跟常規(guī)多項式核這3類單核，同時也稍高于多核，是因為GF空間會基于樣本逼近不同的RKHS，即GF空間多項式核會根據(jù)樣本逼近不同的核函數(shù)，使得類內(nèi)間隔減少，類間間隔增大，使得分類的準(zhǔn)確率提高，但是同時相比較而言，GF空間多項式核的訓(xùn)練時間要比3種單核的訓(xùn)練時間要稍高一些，與其他多核訓(xùn)練時間相差不大，是因為GF空間多項式核是利用MKL進(jìn)行優(yōu)化的，在分類的過程中需要不停地迭代優(yōu)化獲得較合適的權(quán)系數(shù)，所以訓(xùn)練時間要比單核的高。

表1　分類準(zhǔn)確率比較　%

表2　訓(xùn)練時間比較　s

3結(jié)束語

核函數(shù)類型和參數(shù)的選擇會直接影響到SVM的分類性能。本文介紹的GF空間多項式核，通過一系列的改寫，將它由一個單核的形式看成多核的形式，并對核參數(shù)做L1范數(shù)規(guī)則化，將核函數(shù)參數(shù)優(yōu)化問題轉(zhuǎn)變?yōu)橥箚栴}，然后利用多核學(xué)習(xí)訓(xùn)練優(yōu)化核參數(shù)，而不是通過經(jīng)驗選擇核函數(shù)，實驗仿真證明，盡管GF空間多項式核是單核，但是它在性能上卻高于常用的單核和多核函數(shù)相當(dāng)。

參考文獻(xiàn)

[1]Cortes C，Vapnik V.Support-Vector Networks [J].Machines Learning,1995,20(3):273-297.

[2]Sch?lkopF B,Smola A,Müller K R.Nonlinear component analysis as a kernel eigenvalue problem[J].Neural computation,1998,10(5):1299-1319.

[3]Cai Y,Wang H,Ye X,et al.A multiple-kernel LSSVR method For separable nonlinear system identiFication[J].Journal oF Control Theory and Applications,2013,11(4):651-655.

[4]汪洪橋,孫富春,蔡艷寧,等.多核學(xué)習(xí)方法[J].自動化學(xué)報,2010,36(8):1037-1050.

[5]Bucak S,Jin R,Jain A.Multiple kernel learning For visual object recognition: A review[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013,36(7)：1354-1369.

[6]De Figueiredo R J P,Dwyer III T A W.A best approximation Framework and implementation For simulation oF large-scale nonlinear systems[J].Circuits and Systems,IEEE Transactions on，1980,27(11):1005-1014.

[7]Xu J W,Pokharel P P,Jeong K H,et al.An explicit construction oF a reproducing Gaussian kernel Hilbert space[C]//Acoustics，Speech and Signal Processing,2006.ICASSP 2006 Proceedings.2006 IEEE International ConFerence on.Toulouse：IEEE,2006,5:V573-V576.

The ClassiFication Research oF Polynomial Kernel Function

Based on GF Space

Zhao jiezhen， Guo chunsheng

(SchooloFCommunicationEngineering，HangzhouDianziUniversity，HangzhouZhejiang310018，China)

Abstract:In classiFication problem based on the kernel method， kernel Function and its parameters have a signiFicant eFFect on the classiFication perFormance. Generally， we select kernel Function by experience and weighted coeFFicient oF multiple kernel Function which is determined by the multiple kernel optimizing method. Under the norm restricted condition， we utilize multiple kernel learning method to optimize the weighted coeFFicient oF polynomial kernel Function based on GF space， and the optimization oF polynomial kernel Function can be achieved. The experiments results show that the algorithm’s classiFication perFormance based on polynomial kernel Function in this paper is better than popular used single kernel Function， and meet the multiple kernel method’s match; and it perForm well in the classiFication research．

Key words:kernel method; GF space; multiple kernel learning

中圖分類號：TP391.41

文獻(xiàn)標(biāo)識碼：A

文章編號：1001-9146(2015)03-0077-04

通信作者:

作者簡介：趙捷珍(1990-)，女，浙江麗水人，在讀研究生，信號與信息處理. 郭春生副教授,E-mail:guo.chsh@gmail.com.

收稿日期：2014-07-30

DOI:10.13954/j.cnki.hdu.2015.03.016