潘恪謹(jǐn),胡建華,宋 燕,沈春根

1(上海理工大學(xué) 理學(xué)院,上海 200093) 2(上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院,上海 200093)

1 引 言

近年來,大量的數(shù)據(jù)呈現(xiàn)為高階張量的形式,例如彩色圖片,監(jiān)控錄像等.這些高階張量數(shù)據(jù)往往具有較高的維度,并且通常包含許多無用的和冗余的信息,在很大程度上降低了機(jī)器學(xué)習(xí)的能力和效率[1].特征提取是解決這一問題的有效方法之一,它將高維特征變換到一組新的低維特征,從而提高機(jī)器學(xué)習(xí)的計算效率和識別能力.特征提取可以顯著地提高模型泛化能力、降低存儲空間以及減少計算消耗,因此在文本處理、圖像識別等眾多領(lǐng)域都有廣泛的應(yīng)用[2].

為了對高階張量數(shù)據(jù)進(jìn)行特征提取,一些基于判別分析和流形學(xué)習(xí)的張量特征提取方法被相繼提出.例如,張量線性判別分析(Tensor Linear Discriminant Analysis,TLDA)利用標(biāo)簽信息最大化類間距離并最小化類內(nèi)距離,得到最優(yōu)投影矩陣,從而對高階張量進(jìn)行降維[3].多線性主成分分析(Multilinear Principal Component Analysis,MPCA)將PCA應(yīng)用到張量的每一個模態(tài)上,進(jìn)而從高階張量數(shù)據(jù)中提取特征[4].張量局部保持投影(Tensor Locality Preserving Projections,TLPP)考慮了數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu),利用近鄰圖實(shí)現(xiàn)張量的特征提取,同時保留了數(shù)據(jù)的局部特性[5].

雖然這些特征提取方法都已經(jīng)成功地應(yīng)用到人臉識別、圖像去噪等領(lǐng)域[6-9],但它們都基于數(shù)據(jù)完備性假設(shè).事實(shí)上,高階張量數(shù)據(jù)常常是不完整的,例如在工業(yè)應(yīng)用中,因?yàn)樵O(shè)備的分辨率不足或部分功能的損壞,部分圖像可能會出現(xiàn)不規(guī)則的模糊或缺失[10].因此,如何從不完整張量數(shù)據(jù)中提取有效信息是一個有意義且具有挑戰(zhàn)性的問題.

為了從不完整張量中提取特征,一種簡單的方法是采取“兩步走”策略,先將不完整張量補(bǔ)全,再對完整的張量進(jìn)行特征提取,即“張量補(bǔ)全+特征提取”.例如,先通過低秩張量補(bǔ)全模型HaLRTC[11]估計缺失值,再利用TLPP[5]進(jìn)行特征提取.然而,這種“分離式”方法有明顯的不足:高維數(shù)據(jù)中大量的無關(guān)特征可能會放大張量補(bǔ)全的估計誤差,進(jìn)而影響后續(xù)的特征提取;又由于需要分別進(jìn)行張量補(bǔ)全和特征提取,其計算效率也較低.

另一種方法是對不完整張量建立特征提取模型,通過求解模型直接得到低維的特征.Shi等人將低秩張量分解與特征方差最大化相結(jié)合,提出了一個張量特征選擇框架TDVM[12].該方法的優(yōu)點(diǎn)是將張量補(bǔ)全與特征提取同時進(jìn)行,減弱了無關(guān)特征對張量補(bǔ)全的影響,進(jìn)而提高了特征提取的有效性.但是,TDVM方法并沒有考慮到張量數(shù)據(jù)的局部分布結(jié)構(gòu)特點(diǎn),這可能導(dǎo)致提取出的特征會破壞原始數(shù)據(jù)的分布結(jié)構(gòu).此外,TDVM并沒有對張量重構(gòu)損失和方差損失進(jìn)行權(quán)衡,在一定程度上降低了特征提取的效果.

針對上述方法的不足,本文提出了一種基于流形學(xué)習(xí)和張量分解的不完整張量特征提取模型MLTD.該模型在Tucker分解的基礎(chǔ)上,最大化特征方差并最小化近鄰樣本特征的距離,從而提取出與原始樣本具有相似分布結(jié)構(gòu)的特征.具體地,本文對每個張量樣本建立Tucker分解模型,最大化模型中核心張量的方差,同時利用樣本近鄰圖最小化近鄰樣本的核心張量的距離,最后優(yōu)化得到的核心張量即為提取的特征.此外,由于數(shù)據(jù)的不完備性,樣本相似矩陣難以準(zhǔn)確計算.為此,本文先利用“部分距離法”得到部分相似矩陣,再通過建立非負(fù)對稱矩陣分解模型估計矩陣中的缺失值.

本文的主要貢獻(xiàn)如下:1)針對不完整張量數(shù)據(jù)的特征提取問題,提出了一種基于流形學(xué)習(xí)和張量分解的特征提取方法:MLTD.此方法能夠直接從不完整張量中提取有效特征,且同時保留數(shù)據(jù)的局部結(jié)構(gòu)特點(diǎn).2)考慮到近鄰圖的對稱性和非負(fù)性,通過非負(fù)對稱矩陣分解模型重構(gòu)出完整的相似矩陣,同時用“部分距離法”采集更多的樣本信息.3)在多個數(shù)據(jù)集上驗(yàn)證了所提方法在張量補(bǔ)全和特征提取上的有效性.

2 MLTD方法的相關(guān)工作及原理

2.1 符號定義與張量運(yùn)算

用x表示標(biāo)量,x∈Rn、X∈n×m和χ∈h1×h2×…×hc分別表示維度為n的向量、維度為n×m的矩陣和維度為h1×h2×…×hc的c階張量.xi、xi,j、xi,j,…,k分別表示x、X、χ中的第i、(i,j)、(i,j,…,k)個元素.張量χ的n-模展開記為表示哈達(dá)瑪積(Hadamard product),?表示克羅內(nèi)克積(Kronecker product),X·/Y表示矩陣對應(yīng)元素相除;‖·‖F(xiàn)為Frobenius范數(shù),其計算方式為表示矩陣的核范數(shù),是矩陣所有奇異值之和;1為元素全為1的矩陣或張量;張量Ix為張量χ的指示張量,其對應(yīng)元素為：

(1)

定義1(張量n-模積)[12].張量χ∈h1×…×hn×…×hc與矩陣U∈w×hn的n-模積定義為y=χ×nU∈h1×…×w×…×hc,其中并且y(n)=Uχ(n).

2.2 非負(fù)對稱矩陣分解

非負(fù)對稱矩陣分解[13]是非負(fù)矩陣分解[14-16]的一個拓展,它繼承了非負(fù)矩陣分解計算簡單、存儲空間小等優(yōu)點(diǎn),其分解結(jié)構(gòu)為：

X≈PQPT

(2)

其中Q為d階非負(fù)對稱矩陣,該模型的損失函數(shù)為：

(3)

在文獻(xiàn)[13]的研究中,模型的訓(xùn)練采用單元素更新,其優(yōu)點(diǎn)是占用更少的存儲空間和更快的模型收斂速度,但由于單元素更新難以并行計算,因此每次迭代耗時較長.

2.3 張量補(bǔ)全

Tucker分解[17]是張量分解中最常用的分解形式,可用于張量補(bǔ)全問題,其思想是將一個高階張量分解為一個核心張量和多個因子矩陣,圖1展示了一個三階張量的Tucker分解.Tucker分解可以描述為：

(4)

HaLRTC[11]是一個基于低秩張量分解的張量補(bǔ)全方法,它通過最小化張量在各階展開后的核范數(shù)來估計張量中的缺失值,其優(yōu)化問題描述為：

(5)

TNCP[18]是一個基于CP分解[17]和核范數(shù)正則化的張量補(bǔ)全模型,它在最小化CP分解的重構(gòu)誤差的同時,最小化因子矩陣的核范數(shù),其優(yōu)化模型表示為：

(6)

2.4 張量的特征提取

MPCA[4]是主成分分析(PCA)的高階泛化,它首先將一個高階張量矩陣展開并中心化,再通過奇異值分解得到對應(yīng)模態(tài)的投影矩陣,進(jìn)而對高維的張量數(shù)據(jù)進(jìn)行降維.

TLPP[5]是局部保持投影(LPP)[19,20]在張量空間的推廣,其核心思想是在高維張量空間中相鄰的點(diǎn),經(jīng)過降維后,在低維空間中仍然應(yīng)該相鄰.因此其優(yōu)化問題可以表示為:

(7)

其中Ci=χi×1V(1)×2…×cV(c),ai,j表示χi與χj的相似度,di,i=∑jai,j.

MPCA和TLPP利用張量運(yùn)算直接對高階張量進(jìn)行降維,相比于向量化的方法降低了計算量,并且保留了張量的空間結(jié)構(gòu),但不能對不完整張量進(jìn)行特征提取.

TDVM-Tucker[12]利用主成分分析特征提取的思想,將特征方差最大化與Tucker分解模型相結(jié)合,從而在張量補(bǔ)全的同時提取出低維張量特征,其優(yōu)化模型為:

(8)

其中Ci為核心張量.TDVM-Tucker直接從不完整張量中提取特征,從而降低了“兩步走”策略中張量補(bǔ)全帶來的近似誤差.然而,TDVM-Tucker并沒有對張量重構(gòu)損失和方差損失進(jìn)行權(quán)衡,導(dǎo)致難以找到更優(yōu)的低維特征.

3 MLTD方法的實(shí)現(xiàn)

為了從高維不完整的張量數(shù)據(jù)中提取有效的特征,本文提出了一種基于流形學(xué)習(xí)和張量分解的特征提取方法.首先,利用“部分距離”策略計算出部分缺失的相似矩陣,通過非負(fù)對稱矩陣分解估計矩陣中的缺失值,進(jìn)而得到完整的相似矩陣,相應(yīng)的給出樣本近鄰圖.其次,基于近鄰圖建立不完整張量的特征提取模型MLTD,利用梯度下降法和交替更新規(guī)則優(yōu)化模型.最后,模型學(xué)習(xí)到的核心張量即為提取的低維特征.不完整張量特征提取的過程如圖2所示.

圖2 不完整張量的特征提取Fig.2 Feature extraction for incomplete tensors

3.1 近鄰圖

流形學(xué)習(xí)是指從高維空間中的樣本學(xué)習(xí)出數(shù)據(jù)的低維流形結(jié)構(gòu)和對應(yīng)的嵌入映射,從而實(shí)現(xiàn)維數(shù)消減[21,22].近鄰圖可以用來描述樣本之間的一種非線性關(guān)系,因此能夠很好地近似原始數(shù)據(jù)的流形結(jié)構(gòu).

近鄰圖的構(gòu)造依賴于樣本相似矩陣,但部分樣本信息不完整導(dǎo)致相似矩陣難以準(zhǔn)確計算.一種方法是保留完整樣本之間的相似度,再填充矩陣中的缺失值,例如用0替代,或者利用矩陣分解進(jìn)行填補(bǔ).然而,這種方法顯然會丟失那些不完整樣本中的有效信息.另一種方法則通過“部分距離法”計算出兩個不完整樣本之間的相似度,進(jìn)而直接得到完整的相似矩陣.然而,如果兩個不完整樣本的交叉信息較少,那么該方法計算的相似度并不準(zhǔn)確.因此,本文將“部分距離法”與非負(fù)對稱矩陣分解相結(jié)合,對于交叉信息較多的兩個樣本,利用“部分距離法”計算其相似度,對于交叉信息較少的則通過非負(fù)對稱矩陣分解進(jìn)行估計.

1)對于任意兩個張量樣本χi、χj∈h1×h2×…×hc,將χi和χj分別壓縮成向量xi和xj∈m(m=h1×h2×…×hc),如果xi和xj的交叉信息較多,則根據(jù)“部分距離法”和熱核函數(shù)[23]計算它們之間的相似度,否則保留為缺失值null.相似矩陣的具體計算見式(9):

(9)

其中t為給定的常數(shù),m表示向量xi和xj的維數(shù),r表示交叉信息的閾值;i表示交叉信息的指示向量,其對應(yīng)元素為：

(10)

于是可以得到不完整的對稱相似矩陣S′=(si,j)和相應(yīng)的指示矩陣Is.

2)建立非負(fù)對稱矩陣分解模型,填補(bǔ)不完整相似矩陣S′,其優(yōu)化損失函數(shù)(矩陣形式)為：

(11)

其中P∈n×d,Q∈d×d,λ1、λ2為正則化項(xiàng)系數(shù).

根據(jù)梯度下降法,可以得到參數(shù)P、Q的更新公式:

P=P-ηp⊙(-Is⊙(S′-PQPT)PQT+λ1P)

Q=Q-ηq⊙(-PT(Is⊙(S′-PQPT))P+λ2Q)

(12)

其中ηp∈n×d、ηq∈d×d為學(xué)習(xí)率矩陣.為了保證P、Q的非負(fù)性,令:

ηp=P·/((Is⊙(PQPT))PQT+λ1P)

ηq=Q·/(PT(Is⊙(PQPT))P+λ2Q)

(13)

于是得到P、Q的非負(fù)更新公式:

P=P⊙((Is⊙S′)PQT)·/((Is⊙(PQPT))PQT+λ1P)

(14)

Q=Q⊙(PT(Is⊙S′)P)·/(PT(Is⊙(PQPT))P+λ2Q)

(15)

這里,本文通過交替地更新P、Q得到最優(yōu)的模型參數(shù).顯然,只要初始化矩陣P非負(fù)、Q非負(fù)且對稱,則可以保證優(yōu)化后的目標(biāo)矩陣是非負(fù)且對稱的.于是,根據(jù)公式(2)可以得到完整的非負(fù)對稱相似矩陣S.

S=Is⊙S′+(1-Is)⊙(PQPT)

(16)

3)根據(jù)相似矩陣S將互為K近鄰的樣本相連,得到樣本近鄰圖和權(quán)重矩陣A,其對應(yīng)元素為：

(17)

近鄰圖的詳細(xì)計算過程在算法1中給出.

算法1.近鄰圖的計算

輸入:不完整張量樣本集合T={χ1,χ2,…,χn},正則化系數(shù)λ1、λ2,潛在空間維數(shù)d,閾值r.

初始化:參數(shù)t=0.2,近鄰樣本數(shù)K=15,最大迭代次數(shù)epochs=500,非負(fù)矩陣P∈n×d,非負(fù)對稱矩陣Q∈d×d.

1. 將T中的每一個樣本壓縮成向量,利用式(9)和式(1)得到不完整的樣本相似矩陣S′及其對應(yīng)的指示矩陣Is.

2.epoch=0.

3. while not converged andepoch

利用(14)式更新P.

利用(15)式更新Q.

epoch=epoch+1.

end while

4.S=Is⊙S′+(1-Is)⊙(PQPT).

5. 由S得到近鄰圖,并利用式(17)計算權(quán)重矩陣A.

輸出:近鄰圖與權(quán)重矩陣A.

這里計算近鄰圖的方法有兩個優(yōu)點(diǎn):1)“部分距離法”可以充分地利用部分缺失樣本中的有效信息,進(jìn)而得到更加充分的樣本相似關(guān)系；2)充分考慮了相似矩陣的對稱性和非負(fù)性,采用了更加合理的非負(fù)對稱矩陣分解模型,從而可以恢復(fù)更加準(zhǔn)確的樣本相似關(guān)系;模型的訓(xùn)練過程中摒棄原有的單元素更新形式,采用矩陣形式并行計算,提高了計算效率.

3.2 不完整張量的特征提取模型

設(shè)T={χ1,χ2,…,χn|χi∈Rh1×h2×…×hc}為給定的不完整張量樣本的集合.為了從T中提取出有效特征,本文基于流形學(xué)習(xí)和張量分解,提出以下優(yōu)化模型,簡記為MLTD.

(18)

其中Ci∈w1×w2×…×wc為樣本χi的核心張量,即為待學(xué)習(xí)的低維特征;特征維數(shù)w1,w2,…,wc為待優(yōu)化的參數(shù);ai,j為權(quán)重矩陣A的元素,α、β和γ均為大于0的常數(shù).

模型中第1項(xiàng)最小化重構(gòu)誤差,第2項(xiàng)最大化特征方差,第3項(xiàng)為特征局部保持投影,最后一項(xiàng)為投影矩陣的稀疏正則化.MLTD在TDVM-Tucker的基礎(chǔ)上增加了流形學(xué)習(xí),從而使提取的特征保留了原始數(shù)據(jù)的局部結(jié)構(gòu)特點(diǎn).同時,為了權(quán)衡重構(gòu)誤差項(xiàng)和正則項(xiàng),該模型為方差項(xiàng)和局部保持投影項(xiàng)分別分配了權(quán)重α和β,使模型能夠更好地擬合張量數(shù)據(jù).此外,相比于TDVM-Tucker方法,MLTD將投影矩陣的正交約束替換為稀疏約束,這是因?yàn)楸M管正交約束可以保證解的唯一性,但得到的解卻是較為保守的,而不是最優(yōu)的解.

由于模型中沒有正交約束條件,無法求出參數(shù)的顯式解,因此本文通過梯度下降法和交替更新規(guī)則優(yōu)化模型:

(19)

根據(jù)梯度下降法,可以得到：

(20)

其中l(wèi)r為學(xué)習(xí)率.

(21)

根據(jù)梯度下降法可以得到：

(22)

(23)

根據(jù)KKT條件可以得到:

(24)

上述不完整張量的特征提取過程在算法2中給出.

算法2.不完整張量的特征提取.

輸入:不完整張量樣本集合T={χ1,χ2,…,χn|χi∈h1×h2×…×hc},權(quán)重矩陣A,參數(shù)α、β和γ,特征維數(shù){w1,w2,…，wc}.

初始化:核心張量集合{C1,C2,…,Cn|Ci∈w1×w2×…×wc},因子矩陣集合{U(1),U(2),…,U(c)|U(k)∈hk×wk},lr=1e-3.

1. 在T上利用式(1)得到Ixi.

3.epoch=0.

4. while not converged andepoch

fori=1,…,n:

利用式(20)更新Ci

利用式(22)更新U(k)

end for

epoch=epoch+1

End

本文提出的MLTD模型有以下幾個優(yōu)點(diǎn).1)相比于“兩步走”策略,該模型可以直接從不完整張量中提取低維特征,避免了填補(bǔ)誤差的“二次傳遞”,提高了特征提取的效果.2)相比于TDVM-Tucker,該模型還考慮了數(shù)據(jù)分布的結(jié)構(gòu)特點(diǎn),使得提取的特征與原始樣本具有相似的分布結(jié)構(gòu).此外,與TDVM-Tucker相同,該模型也屬于無監(jiān)督特征提取方法,不需要標(biāo)簽信息(有時難以獲取),因此實(shí)用性較強(qiáng).

3.3 新樣本的特征提取

根據(jù)上述特征提取可以得到訓(xùn)練好的投影矩陣{U(1),U(2),…,U(c)},對于一個新樣本χnew∈h1×h2×…×hc,則按以下方式提取特征.

1)如果χnew是完整的張量,則直接利用式(25)得到該樣本的特征.

Cnew=χnew×1U(1)-1…×cU(c)-1

(25)

其中,U(k)-1∈wk×hk為U(1)∈hk×wk的廣義逆,廣義逆的計算可以放在模型的訓(xùn)練過程.

2)如果χnew是不完整的張量,則將χnew輸入算法2得到對應(yīng)的特征.盡管該過程仍然需要迭代,但此時樣本只有一個并且不需要更新U(k),因此迭代收斂很快.

3.4 算法復(fù)雜度分析

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)集(參數(shù)詳見表1):

1)Yale[24]:Yale數(shù)據(jù)集包含15個人的不同表情的人臉灰度圖像,共有165個圖像樣本,每個樣本的尺寸為32×32.

2)WarpAR10P(Warp):WarpAR10P數(shù)據(jù)集包含10個人的人臉圖像,共有130個樣本,每個樣本的尺寸為40×60.

3)Jaffe:Jaffe數(shù)據(jù)集包含10個女人的不同表情的人臉圖像,共有213個圖像樣本,每張圖像的尺寸為256×256×3.

4)GaitA:GaitA數(shù)據(jù)集來自于10個人的12種不同的行走姿態(tài)視頻,每個視頻被采樣為若干個圖像,每個圖像的尺寸為240×352×3.由于圖像中黑色背景居多,因此這里對圖像進(jìn)行了一定的處理.首先,將原始圖像轉(zhuǎn)化為灰度圖,對圖像進(jìn)行目標(biāo)檢測并裁剪,得到60×30的灰度圖像,然后隨機(jī)選擇視頻采樣中的40個圖像,每10個采樣的圖像合并為一個張量樣本,因此共有480個張量樣本,每個樣本的特征數(shù)為60×30×10.

數(shù)據(jù)預(yù)處理:

1)標(biāo)準(zhǔn)化:數(shù)據(jù)的標(biāo)準(zhǔn)化有助于加快模型的收斂,本文采用了樣本Min-Max標(biāo)準(zhǔn)化,其計算規(guī)則見式(26):

(26)

2)隨機(jī)缺失:表1中的數(shù)據(jù)集均為完整的數(shù)據(jù)集,本文將每個數(shù)據(jù)集進(jìn)行隨機(jī)缺失,缺失率分別為30%和60%.為了消除隨機(jī)因素的影響,每個方法重復(fù)30次實(shí)驗(yàn),以平均值作為最后的結(jié)果.

表1 數(shù)據(jù)集描述Table 1 Descriptions of the datasets

3)數(shù)據(jù)集劃分:本文隨機(jī)地選擇70%的樣本作為訓(xùn)練集,訓(xùn)練特征提取模型和分類器;另外30%的樣本作為測試集,測試不同方法所提取的特征的分類效果.

4.2 評價標(biāo)準(zhǔn)與超參數(shù)設(shè)置

評價標(biāo)準(zhǔn):對于矩陣補(bǔ)全任務(wù),本文使用均方根誤差(RMSE)和平均絕對誤差(MAE)來衡量測試誤差.對于特征提取任務(wù),本文采用K近鄰(KNN)、隨機(jī)森林(RF)和支持向量機(jī)(SVM)這3個分類器來檢驗(yàn)提取的特征的質(zhì)量,其評價指標(biāo)為準(zhǔn)確率(ACC)和歸一化互信息(NMI)超參數(shù)設(shè)置:采用5折交叉驗(yàn)證,將訓(xùn)練集平均分為5份,取RF平均NMI最高的超參數(shù).對于算法1中的λ1、λ2首先固定λ1、λ2,通過一維搜索找到最優(yōu)的d;然后固定d,通過網(wǎng)格搜索找到最優(yōu)的λ1、λ2.本實(shí)驗(yàn)中,所有數(shù)據(jù)集上均設(shè)置λ1=λ2=0.01、d=40.隨機(jī)缺失30%時,閾值r=0.49m;缺失60%時,r=0.16m,其中m為張量樣本總維數(shù).對于算法2中的α、β、γ和{w1,w2,…,wc},首先固定α、β、γ,在給定范圍內(nèi)找到一組最優(yōu)的{w1,w2,…,wc};然后固定{w1,w2,…,wc}和γ,通過網(wǎng)格搜索找到最優(yōu)的α、β;最后通過一維搜索尋找最優(yōu)的γ.算法2中超參數(shù)的訓(xùn)練過程(以Warp為例)和最終取值見圖3～圖5和表2.

表2 算法2中超參數(shù)的設(shè)置Table 2 Settings of hyperparameters for algorithm 2

圖3 Warp數(shù)據(jù)集上(w1,w2 )的驗(yàn)證Fig.3 Training of (w1,w2 ) on Warp

圖4 Warp數(shù)據(jù)集上α和β的驗(yàn)證Fig.4 Training of α and β on Warp

圖5 Warp數(shù)據(jù)集上γ的驗(yàn)證Fig.5 Training of γ on Warp

4.3 實(shí)驗(yàn)結(jié)果與分析

對于不完整張量的矩陣補(bǔ)全任務(wù),本文對比的方法有HaLRTC[11]、TNCP[18]、TDVM-Tucker[12]和MLTD, 實(shí)驗(yàn)結(jié)果如表3所示,其中每個數(shù)據(jù)集上表現(xiàn)最好的方法得到的RMSE和MAE被加粗表示.

由表3,MLTD在Yale、Warp和Jaffe上均有最低的測試誤差,相比于其它方法至少提升10%、20%和20%.而在GaitA上,MLTD僅略次于HaLRTC.由此可知,盡管MLTD是一種張量特征提取方法,但它在張量補(bǔ)全上同樣有較好的表現(xiàn),這表明新提出的MLTD在提取低維特征的同時,還能有效地恢復(fù)原始數(shù)據(jù),更便于實(shí)際運(yùn)用.

表3 張量補(bǔ)全的平均RMSE和平均MAETable 3 Average RMSE and MAE of Tensor Completion

對于不完整張量的特征提取任務(wù),新方法MLTD與HaLRTC+MPCA[4]、HaLRTC+TLPP[5]、TNCP+MPCA、TNCP+TLPP、TDVM-Tucker作對比實(shí)驗(yàn).不同方法所提取的低維特征在分類器KNN、RF和SVM下分類的平均ACC和NMI如表4～表6所示.

由表4～表6可以看出,在缺失率30%和60%的情況下,MLTD相比其他方法在各個分類器下都有絕對的優(yōu)勢,其分類性能都有顯著的提升.而在KNN分類器下, MLTD雖然在Jaffe數(shù)據(jù)集上的表現(xiàn)略遜TNCP+MPCA,TNCP+TLPP,TDVM-Tucker,但也表現(xiàn)出較高的分類能力;而在Yale、Warp和GaitA上均取得最好的分類效果,并且在各個數(shù)據(jù)集上相比于其它方法至少提升了20%、25%和10%.

表4 KNN的平均ACC和NMI(%)Table 4 Average ACC and NMI of KNN(%)

表5 RF的平均ACC和NMI(%)Table 5 Average ACC and NMI of RF(%)

表6 SVM的平均ACC和NMI(%)Table 6 Average ACC and NMI of SVM(%)

由此,對于不完整張量的特征提取,本文所提的方法比“兩步走”方法表現(xiàn)得更好,表明MLTD可以在一定程度上減弱這種分離式方法的缺陷,消除無關(guān)特征的影響.此外,總體上本文的方法相比于TDVM-Tucker有不小的提升,這說明在TDVM-Tucker中加入流形學(xué)習(xí),可以提取出更有效的特征;同時,權(quán)衡重構(gòu)誤差和方差損失也能有效地提高特征提取的表現(xiàn).

最后,表7展示了每種方法在不同數(shù)據(jù)集上的訓(xùn)練時間和測試時間,如算法復(fù)雜度分析所述,MLTD在模型訓(xùn)練上效率相對較低.MLTD在Jaffe和GaitA上比基于TLPP的方法更快,但在Yale和Warp上訓(xùn)練時間較長,其原因在于雖然MLTD迭代一次比TLPP更快,但梯度下降法的迭代次數(shù)較多,在小規(guī)模數(shù)據(jù)集上效率較低.但是在完整新樣本(測試)的特征提取上,幾個方法用時相差不多.

表7 模型運(yùn)行時間(s)Table 7 Running time of the models(s)

5 結(jié) 論

為了從高維不完整張量數(shù)據(jù)中提取有效信息,本文提出了一個基于近鄰圖和張量分解的特征提取方法MLTD.首先,利用“部分距離法”和非負(fù)對稱矩陣分解來估計完整的樣本相似矩陣,進(jìn)而得到樣本近鄰圖.然后,根據(jù)樣本近鄰圖建立不完整張量的特征提取模型,在Tucker分解的基礎(chǔ)上,最大化特征方差并最小化近鄰樣本特征的距離,從而提取出具有辨識度且與原始樣本具有相似分布結(jié)構(gòu)的特征.最后,利用梯度下降法和交替更新規(guī)則優(yōu)化模型參數(shù),并在4個圖像數(shù)據(jù)集上驗(yàn)證了該特征提取方法的有效性.實(shí)驗(yàn)結(jié)果表明,本文的方法不僅在張量補(bǔ)全上誤差更小,并且提取的特征用于分類時精度更高.

本文目前存在的問題是利用梯度下降法優(yōu)化模型效率較低;此外,模型中存在較多的超參數(shù),調(diào)參的工作比較繁瑣.未來的工作將研究參數(shù)的優(yōu)化方法并采用更好的優(yōu)化算法,進(jìn)一步提高特征提取的效果.