王 振 雷田田 范麗亞 楊 靜

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山東 聊城 252059)

0 引言

噪聲圖像的特征提取是模式識(shí)別和機(jī)器學(xué)習(xí)的重要組成部分,也是模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一.特征提取的本質(zhì)就是降維,主要目標(biāo)是利用線性或非線性變換,在保持原始圖像蘊(yùn)含的有效信息下,將處于高維空間中的圖像壓縮到一個(gè)低維子空間中,進(jìn)而對(duì)圖像做進(jìn)一步識(shí)別.主成分分析(Principal Component Analysis,PCA)[1]和線性判別分析(Linear Discriminant Analysis,LDA)[2,3]是特征提取中兩個(gè)最經(jīng)典的方法.PCA的基本思想是通過極大化數(shù)據(jù)方差來尋找一組最優(yōu)的低維子空間的正交基向量.LDA則是通過極大化Fisher準(zhǔn)則來尋找降維變換陣,使得降維后的數(shù)據(jù)具有極大的類間散度和極小的類內(nèi)散度,即降維后的同類數(shù)據(jù)盡可能靠近,不同類數(shù)據(jù)盡可能遠(yuǎn)離.PCA和LDA主要是針對(duì)圖像的一組特征進(jìn)行降維處理的,并不適用于多特征圖像的維數(shù)約減.為了處理多特征圖像的維數(shù)約減問題,H.Hotelling[4]于1936年提出了典型相關(guān)分析(Canonical Correlation Analysis,CCA).經(jīng)典CCA主要是研究圖像兩組特征間的相關(guān)性,屬無監(jiān)督學(xué)習(xí)方法,為了引入監(jiān)督信息,提高低維數(shù)據(jù)的鑒別能力,Sun等人[5]借助于類內(nèi)信息提出了監(jiān)督CCA(Supervised CCA,SCCA).楊等人[6]進(jìn)一步提出了邊界監(jiān)督多重集典型相關(guān)分析.

不論是LDA還是SCCA都只是考慮了圖像的判別信息,并沒有考慮光照、遮擋、平移、旋轉(zhuǎn)等對(duì)圖像的影響,這限定了上述所提方法的推廣能力.也有一些方法考慮了圖像在平移、旋轉(zhuǎn)和光照的影響,如SIFT (Scale-Invariant Feature Transform)[7]、HOG (Histogram of Oriented Gradient)[8]、Invariant Scattering Convolution Network[9]等,但沒有考慮圖像的判別信息.2013年和2015年,Liu等人分別提出了將PDEs應(yīng)用于計(jì)算機(jī)視覺的方法[10,11].2017年,Fang等人[12]提出了一種基于PDEs的圖像特征提取方法,所提方法既考慮了圖像的判別信息,也考慮了圖像在平移、旋轉(zhuǎn)下的不變性以及對(duì)光照的魯棒性,但沒有考慮圖像維數(shù)約減問題.2018年和2019年,江等人分別研究了PDEs的進(jìn)化次數(shù)對(duì)圖像特征質(zhì)量的影響[13]以及對(duì)正則化SVM模型參數(shù)的影響[14].

本文借助于上述研究成果,著重考慮將PDEs融入到圖像降維方法中,以期提高對(duì)高維噪聲圖像(光暗、有遮擋)的分類精度.為此,提出了基于PDEs的PCA (PCA/ PDEs)、基于PDEs的LDA (LDA/ PDEs)、基于PDEs的CCA (CCA/PDEs)以及基于PDEs的SCCA (SCCA/PDEs)四種圖像降噪降維方法,并研究了PDEs的進(jìn)化對(duì)四種所提算法的影響.為了驗(yàn)證所提算法的有效性和可競(jìng)爭(zhēng)性,分別以支持向量機(jī)(Support Vector Machine,SVM,針對(duì)二分類問題)[15,16]和一對(duì)一多類SVM (One-versus- One Multi-class SVM,OVO-MSVM,針對(duì)多分類問題)[17,18]為分類器,在Extended Yale B數(shù)據(jù)集和Palm-print數(shù)據(jù)集上進(jìn)行了大量的比較實(shí)驗(yàn).

1 預(yù)備知識(shí)

本節(jié)簡(jiǎn)要回顧文中要用到的SVM和OVO-MSVM,以及一些基本概念.

1.1 二類支持向量機(jī)

線性SVM是通過構(gòu)建下面的二次規(guī)劃模型

(1)

來尋找分類決策函數(shù)f(x)=w,x+b,其中w∈Rd和b∈R分別是決策函數(shù)的法向量和閾值,C>0是模型參數(shù),是松弛變量,‖·‖和·,·分別表示向量的歐氏范數(shù)和內(nèi)積.通過求解模型(1)的Wolfe對(duì)偶模型

(2)

算法1(SVM)

步5 構(gòu)造分類決策函數(shù)f(x)=w*,x+b*.

1.2 多類支持向量機(jī)

(3)

(4)

下面給出具體算法.

算法2(OVO-MSVM)

1.3 類間、類內(nèi)及總體散陣

并稱c和ci分別為總體均值和類均值.令

顯然Sb,Sw,St均為對(duì)稱非負(fù)定陣.稱Sb,Sw,St分別為類間散陣(between-class scatter matrix)、類內(nèi)散陣(within-class scatter matrix)和總體散陣(total scatter matrix).

2 基于PDEs的圖像降噪方法

(5)

表1直至2階的基本微分不變量

階數(shù)i基本微分不變量invi(u)0,1,21,u,‖?u‖2=u2x+u2y3tr(Hu)=uxx+uyy4(?u)THu?u=u2xuxx+2uxuyuxy+u2yuyy5tr(H2u)=u2xx+2u2xy+u2yy

是直到二階的基本微分不變量(見表1,其中u表示進(jìn)化后的特征矩陣,u表示矩陣u的梯度,Hu表示u的Hessian陣,tr(Hu)表示矩陣Hu的跡,ux表示u對(duì)矩陣x求偏導(dǎo)),控制系數(shù)ai(t)與空間變量無關(guān),其保證了圖像的平移和旋轉(zhuǎn)不變性.

為了求解模型(5),需先求解約束中的PDEs,為此離散化時(shí)間變量ti=i·Δt,i=0,1,…,N,并用前向差分離散時(shí)間偏導(dǎo)數(shù),用中心差分離散空間偏導(dǎo)數(shù),將PDEs轉(zhuǎn)化為下面的迭代公式(具體推導(dǎo)見文獻(xiàn)[11])

(6)

(7)

n=0,1,…,N-1,m=1,2,…,M,

(8)

其中η>0是搜索步長(zhǎng).

3 基于PDEs的四種降噪降維方法

對(duì)高維圖像來說,如果不降維,可能會(huì)導(dǎo)致分類器學(xué)習(xí)時(shí)間過長(zhǎng)甚至失效;如果維度降得過低,往往會(huì)導(dǎo)致分類精度的損失.為了在降噪降維的同時(shí)還能保持良好的分類精度,本節(jié)提出了基于PDEs的PCA(PCA PDEs)、基于PDEs的LDA(LDAPDEs)、基于PDEs的CCA(CCAPDEs)以及基于PDEs的SCCA(SCCAPDEs)四種圖像降噪降維方法.

3.1 PCAPDEs

PCA/PDEs的基本思想是

首先,利用PDEs的進(jìn)化對(duì)原始圖像Im∈Rd1×d2進(jìn)行降噪處理,得到特征矩陣um∈Rd1×d2.

最后,調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

PCAPDEs的基本思想可直觀地表述為

↑調(diào)整進(jìn)化次數(shù)|

PCA的基本思想是在Rl中尋找一組標(biāo)準(zhǔn)正交基,使得降維后數(shù)據(jù)間的方差越大越好,即滿足如下準(zhǔn)則

(9)

其中c為樣本均值.由于

所以模型(9)可等價(jià)地表示為

(10)

又因?yàn)閷?duì)稱非負(fù)定陣GTStG的跡等于其全部特征值之和,故可用矩陣的特征值分解求解模型(10),具體算法如下

算法3(PCAPDEs)

步5 若累計(jì)貢獻(xiàn)率滿足(λ1+…+λl)/(λ1+…+λt)≥85%(l≤t),取降維變換陣G*=U1∈Rd1d2×l.

步7 選擇分類器對(duì)低維向量集進(jìn)行分類.

步8 調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

3.2 LDAPDEs

LDAPDEs的基本思想類似于PCAPDEs的基本思想,只是在第2步中利用LDA進(jìn)行降維處理.

不同于PCA考慮的是降維后數(shù)據(jù)間的方差越大越好,LDA考慮的是降維后的類內(nèi)樣本越凝聚越好,類間樣本越分離越好,故滿足下面的Fisher準(zhǔn)則

(11)

所以準(zhǔn)則(11)可表示為

(12)

可以分兩種情況求解準(zhǔn)則(12),一是Tr(GTSwG)=0的情況,另一是Tr(GTSwG)≠0的情況,本文只考慮第一種情況.下面給出具體算法.

算法4(LDAPDEs)

步8 取降維變換陣G*=U2V1∈Rd1d2×l.

步10 選擇分類器對(duì)低維向量集進(jìn)行分類.

步11 調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

3.3 CCAPDEs和SCCAPDEs

CCAPDEs和SCCAPDEs的基本思想是一樣的,只是在降維環(huán)節(jié)采取的方法不一致.

首先,利用PDEs的進(jìn)化對(duì)原始圖像Im∈Rd1×d2進(jìn)行降噪處理,得特征矩陣um∈Rd1×d2.

最后,調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

(13)

于是,模型(13)可表示為

(14)

其中

(15)

(16)

考慮模型(16)的Lagrange函數(shù)并令其關(guān)于決策變量的偏導(dǎo)數(shù)為0,可將模型(16)轉(zhuǎn)化為廣義特征方程

下面給出求解算法.

算法5(CCAPDEs)

步3 利用(15)式計(jì)算矩陣Cxx,Cyy,Cxy.

步4 為了避免奇異性,置Cxx←Cxx+tId1d3,Cyy←Cyy+tId1(d2-d3),其中t>0是正則化參數(shù).

步5 對(duì)Cxx做特征值分解(EVD):Cxx=UΣxUT,其中U∈Rd1d3×d1d3是正交矩陣,Σx=diag(σ1,σ2,…,σd1d3),σ1≥…≥σd1d3>0是Cxx的全部非零特征值.

步7 對(duì)矩陣B做奇異值分解(SVD):B=[P1ΣB,0]QT,其中P1∈Rd1d3×rB是列正交陣,ΣB=diag(λ1,λ2,…,λrB),λ1≥…≥λrB>0是B的全部非零奇異值.

步10 調(diào)整PDEs的進(jìn)化次數(shù),得最佳分類精度.

(17)

進(jìn)而得到如下算法.

算法6(SCCAPDEs)

步1-2 同算法5中的步1-2.

步6-9 同算法5中的步7-10.

4 PDEs的進(jìn)化對(duì)四種算法的影響

本節(jié)針對(duì)K(K≥2)類高維噪聲(光暗、有遮擋)圖像集,以分類精度為標(biāo)準(zhǔn),通過實(shí)驗(yàn)研究PDEs的進(jìn)化對(duì)四種算法的影響.對(duì)二類圖像集,選用SVM作為分類器;對(duì)多類圖像集(以三類圖像集為例),選用OVO-MSVM作為分類器.分類器均采用五折交叉驗(yàn)證法.借助文獻(xiàn)[13,14]的研究成果,PDEs的進(jìn)化不超過10次.所有試驗(yàn)都在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集上進(jìn)行,且分類器的模型參數(shù)通過網(wǎng)格搜索選擇.為了直觀驗(yàn)證PDEs的進(jìn)化作用,選取了Extended Yale B人臉數(shù)據(jù)集中前5個(gè)人的第1張照片經(jīng)過PDEs進(jìn)化1-10后的圖像(見圖5).

4.1 數(shù)據(jù)集的選取

Extended Yale B人臉數(shù)據(jù)集包含38個(gè)人分別在12°,25°,50°,77°,90°的不同光照角度下的2414張面部圖像,每張尺寸為48×42,向量化后的維度是2016維.隨機(jī)選取10人(從左至右依次編號(hào)為1至10,見圖1),每人前30張面部圖像組成5個(gè)二類圖像集以及隨機(jī)選取15人(從左至右依次編號(hào)為1至15,見圖2),每人前30張面部圖像組成5個(gè)三類圖像集進(jìn)行實(shí)驗(yàn)

Palm-print掌紋數(shù)據(jù)集包含400個(gè)人的8000個(gè)掌紋,每人20個(gè),前10個(gè)和后10個(gè)分別在不同時(shí)間獲取,每個(gè)掌紋尺寸為n,向量化后的維度是1024維.隨機(jī)選取10人(從左至右依次編號(hào)為1至10,見圖3)組成5個(gè)二類掌紋集以及隨機(jī)選取15人(從左至右依次編號(hào)為1至15,見圖4)組成5個(gè)三類掌紋集進(jìn)行實(shí)驗(yàn)

4.2 累計(jì)貢獻(xiàn)率的選取

本節(jié)只考慮PDEs的進(jìn)化對(duì)四種算法的影響,不考慮壓縮函數(shù)的影響,故取g(x)=x.利用LDA降維后的數(shù)據(jù)維度只與數(shù)據(jù)類數(shù)有關(guān),而利用PCA、CCA或SCCA降維后的數(shù)據(jù)維度均與累計(jì)貢獻(xiàn)率的選擇有關(guān).累計(jì)貢獻(xiàn)率的大小不僅決定著降維子空間的維度,而且還影響著圖像的分類精度,一般常選為100%,但這樣一來很多時(shí)候起不到降維的作用.本節(jié)以85%,90%,95%,100%四個(gè)累計(jì)貢獻(xiàn)率為例,通過一系列實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)累計(jì)貢獻(xiàn)率為95%時(shí),無論是對(duì)二類還是多類問題,降維后數(shù)據(jù)的分類精度都沒有太大的損失,且在此貢獻(xiàn)率下維度下降最快.為此,在下面的實(shí)驗(yàn)中累計(jì)貢獻(xiàn)率均取為95%.

4.3 PDEs的進(jìn)化對(duì)四種降噪降維算法的影響

在下面所有實(shí)驗(yàn)中(見表2至表17),每個(gè)表的第二列表示只是利用PCA、LDA、CCA或SCCA降維后的圖像分類結(jié)果,第三至第十二列表示利用PCAPDEs、LDAPDEs、CCAPDEs或SCCAPDEs進(jìn)行降噪降維后的分類結(jié)果,n表示PDEs的進(jìn)化次數(shù).

4.3.1 PDEs的進(jìn)化對(duì)PCAPDEs的影響.表2和表3是10個(gè)二類圖像集上的實(shí)驗(yàn)結(jié)果,表4和表5是10個(gè)三類圖像集上的實(shí)驗(yàn)結(jié)果.對(duì)Extended Yale B中的10個(gè)圖像集(5個(gè)二類,5個(gè)三類,下同),利用PCA可從2016維降到2-10維(不同的圖像集略有不同,下同).對(duì)Palm-print中的10個(gè)圖像集,利用PCA可從1024維降到2-15維.

表2 Extended Yale B中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=10)

表3 Palm-print中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

表4 Extended Yale B中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.1)

表5 Palm-print中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

從表2-表5中可以看出,利用PCAPDEs進(jìn)行降噪降維,最多經(jīng)過2次PDEs進(jìn)化,其降噪降維后的分類精度明顯高于只利用PCA降維后的分類精度.對(duì)Palm-print圖像集,最多經(jīng)過8次PDEs進(jìn)化,精度可達(dá)100%;對(duì)Extended Yale B圖像集,最多經(jīng)過6次PDEs進(jìn)化,精度可達(dá)93%以上(除一種情況外).

4.3.2 PDEs的進(jìn)化對(duì)LDAPDEs的影響.表6和表7是在二類圖像集上的實(shí)驗(yàn)結(jié)果,表8和表9是在三類圖像集上的實(shí)驗(yàn)結(jié)果.不同于PCA、CCA和SCCA,LDA降維后的維度是類數(shù)-1,即對(duì)二類圖像集,LDA降至1維,對(duì)三類圖像集,LDA降至2維.

表6 Extended Yale B中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=1)

表7 Palm-print中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

表8 Extended Yale B中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.1)

表9 Palm-print中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

從表6-表9中可以看出,利用LDAPDEs進(jìn)行降噪降維,最多經(jīng)過5次PDEs進(jìn)化,其降噪降維后的分類精度明顯高于只利用LDA降維后的分類精度或保持不變.對(duì)Palm-print圖像集,最多經(jīng)過8次PDEs進(jìn)化即可達(dá)到最佳精度,甚至達(dá)到100%;對(duì)Extended Yale B圖像集,最多經(jīng)過10次PDEs進(jìn)化可達(dá)到最佳精度.

4.3.3 PDEs的進(jìn)化對(duì)CCAPDEs的影響.表10和表11是在二類圖像集上的實(shí)驗(yàn)結(jié)果,表12和表13是在三類圖像集上的實(shí)驗(yàn)結(jié)果.對(duì)Extended Yale B圖像集,利用CCA可從2016維降至72-80維;對(duì)Palm-print圖像集,可從1024維降至4-24維.

表10 Extended Yale B中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.1)

表11 Palm-print中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.1)

表12 Extended Yale B中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=1)

表13 Palm-print中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

從表10-表13中可以看出,除兩種情況精度下降、兩種情況精度保持不變外,利用CCAPDEs進(jìn)行降噪降維,最多經(jīng)過7次PDEs進(jìn)化,其降噪降維后的分類精度明顯高于只利用CCA降維后的分類精度,最多可提高66.67%的精度.

4.3.4 PDEs的進(jìn)化對(duì)SCCAPDEs的影響.表14和表15是在二類圖像集上的實(shí)驗(yàn)結(jié)果,表16和表17是在三類圖像集上的實(shí)驗(yàn)結(jié)果.對(duì)Extended Yale B圖像集,利用SCCA可從2016維降到46-80維;對(duì)Palm-print圖像集,利用SCCA可從1024維降到2-4維.

表14 Extended Yale B中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

表15 Palm-print中5個(gè)二類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

表16 Extended Yale B中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

表17 Palm-print中5個(gè)三類圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(C=0.01)

從表14-表17中可以看出,利用SCCAPDEs進(jìn)行降噪降維,對(duì)Palm-print圖像集,最多經(jīng)過3次PDEs進(jìn)化,其分類精度可達(dá)100%;對(duì)Extended Yale B數(shù)據(jù)集,最多經(jīng)過9次(大多數(shù)情況下最多經(jīng)過7次)PDEs進(jìn)化,其精度可達(dá)100%.明顯好于只利用SCCA降維后的分類精度.

綜上所述,本文提出的四種降噪降維算法明顯好于PCA、LDA、CCA和SCCA四種降維方法,且通過PDEs的進(jìn)化可以提高降維所帶來的低分類精度.這對(duì)處理高維噪聲數(shù)據(jù)的分類任務(wù)很有幫助.

5 結(jié)論

面對(duì)高維噪聲圖像(光暗、有遮擋)的分類任務(wù),首先需要考慮的是對(duì)圖像進(jìn)行降噪、降維處理.現(xiàn)有的降噪方法大多不具備降維功能,同樣地,現(xiàn)有的降維方法也大多不具備降噪功能.為了能夠一體化進(jìn)行降噪降維,且還能保持良好的分類精度,本文提出了PCAPDEs、LDAPDEs、CCAPDEs以及 SCCAPDEs四種降噪降維算法.通過在Extended Yale B人臉數(shù)據(jù)集和Palm-print掌紋數(shù)據(jù)集中選取的20個(gè)(二類和三類)數(shù)據(jù)集上進(jìn)行的80組實(shí)驗(yàn),可以看出所提的四種降噪降維算法明顯好于PCA、LDA、CCA和SCCA四種降維方法,且通過不超過10次的PDEs進(jìn)化可明顯改善降維所帶來的低分類精度.接下來將在本文的基礎(chǔ)上進(jìn)一步拓展PDEs的應(yīng)用范圍,并將其使用在更為復(fù)雜的應(yīng)用場(chǎng)景中.