周渝皓 張玉 趙東生

摘要：典型相關(guān)分析是多視圖特征學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，然而監(jiān)督信息的缺失使其難以學(xué)習(xí)強(qiáng)鑒別力的相關(guān)特征，為此本文提出了一種新的鑒別相關(guān)特征學(xué)習(xí)方法，即標(biāo)簽散布相關(guān)分析（Label Scatter Correlation Analysis，LSCA）。該方法借助類標(biāo)簽信息，最大化了視圖間類內(nèi)相關(guān)性，并且最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布，進(jìn)而學(xué)習(xí)的相關(guān)特征在最大化相關(guān)性同時(shí)，盡可能的保留了類標(biāo)簽的鑒別力和散布結(jié)構(gòu)。良好的實(shí)驗(yàn)結(jié)果已經(jīng)顯示該方法在圖像識(shí)別中的有效性。

關(guān)鍵詞：特征學(xué)習(xí);相關(guān)分析;多視圖數(shù)據(jù)處理;圖像識(shí)別

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）21-0200-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： Canonical correlation analysis （CCA） is a hot research in multi-view feature learning. However， due to the lack of supervised information， CCA is difficult to obtain correlation features with well discrimination power. To solve this issue， we propose a novel discriminant correlation feature learning method， i.e. label scatter correlation analysis （LSCA）. By means of class label information， the method maximizes intra-class correlations between different views， and minimizes between-view inter-class correlations and within-view intra-class scatters. Thus correlation features learned by our method not only consider the maximum of between-view correlations but also further preserve the discrimination power of class labels and the scatter structures. Encouraging experimental results has showed the effectiveness of the method.

Keywords： Feature Learning; Correlation analysis; multi-view data processing; image recognition

1 引言

多視圖特征學(xué)習(xí)是模式識(shí)別和機(jī)器視覺(jué)的熱門(mén)研究課題，其中最具代表性的是典型相關(guān)分析（Canonical Correlation Analysis，CCA）[1]。CCA是用來(lái)解決兩個(gè)隨機(jī)變量之間相關(guān)性的統(tǒng)計(jì)學(xué)方法，目前已經(jīng)廣泛應(yīng)用于過(guò)程控制[2]、多特征融合[3]、圖像檢索[4]、文本分析與檢索[5]、信號(hào)處理[6]等多個(gè)領(lǐng)域。

CCA通過(guò)最大化相關(guān)準(zhǔn)則能夠求解出多視圖數(shù)據(jù)的相關(guān)投影方向，進(jìn)而獲得低維一致子空間中的相關(guān)特征。Sun等人[7]首次將CCA用于模式識(shí)別，并在多視圖圖像識(shí)別任務(wù)中獲得了良好的實(shí)驗(yàn)結(jié)果。CCA本身是一種線性特征學(xué)習(xí)方法，因此難以很好地揭示原始數(shù)據(jù)間的非線性關(guān)系。為了掌握原始高維數(shù)據(jù)的非線性信息，相關(guān)特征學(xué)習(xí)經(jīng)常借助圖理論的優(yōu)勢(shì)來(lái)探索數(shù)據(jù)的局部幾何結(jié)構(gòu)。局部保持CCA（LPCCA）[8]將原始高維數(shù)據(jù)的局部鄰域關(guān)系嵌入到相關(guān)分析理論，進(jìn)而獲得盡量保留局部幾何信息的非線性相關(guān)特征。為了進(jìn)一步增強(qiáng)非線性相關(guān)特征的鑒別力，Wang等人[9]提出了一種替代LPCCA（ALPCCA）的方法，并在人臉識(shí)別和多特征分類中驗(yàn)證了該方法的有效性。借助正則化技術(shù)，異構(gòu)結(jié)構(gòu)融合（HSF）方法[10]自然地將CCA和局部保持投影（LPP）[11]結(jié)合在一起，并試圖從原始數(shù)據(jù)中捕獲和保存非線性的局部幾何結(jié)構(gòu)。這些方法在數(shù)據(jù)可視化、姿態(tài)估計(jì)、形狀分析、紅外目標(biāo)分析等方面都取得了成功。然而，缺乏監(jiān)督信息限制了它在識(shí)別分類任務(wù)中的鑒別力。

監(jiān)督信息也是一種非常重要的鑒別信息，利用它可以對(duì)信息進(jìn)行更好的分類和分析。鑒別CCA（DCCA）[12]是一種典型的監(jiān)督特征學(xué)習(xí)方法，通過(guò)約束視圖間鑒別相關(guān)性來(lái)學(xué)習(xí)鑒別相關(guān)特征?；诒O(jiān)督信息的相關(guān)特征學(xué)習(xí)方法一般僅考慮了視圖間的相關(guān)監(jiān)督信息，而忽略了視圖內(nèi)的鑒別散布結(jié)構(gòu)。為此，本文提出了一種新的鑒別相關(guān)特征學(xué)習(xí)方法，即標(biāo)簽散布相關(guān)分析（Label Scatter Correlation Analysis，LSCA）。該方法在類標(biāo)簽信息的指導(dǎo)下，最大化了視圖間類內(nèi)相關(guān)性，同時(shí)最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布結(jié)構(gòu)，從而獲得了類分離性更高、鑒別性更強(qiáng)的相關(guān)特征。為了評(píng)估LSCA方法，在兩個(gè)常用的圖像數(shù)據(jù)集上設(shè)計(jì)一些針對(duì)性實(shí)驗(yàn)，大量的實(shí)驗(yàn)結(jié)果能夠給出一個(gè)合理的觀察：提出的方法是一種有效的特征學(xué)習(xí)方法。

其余部分組織如下，第二節(jié)簡(jiǎn)要回顧了CCA，第三節(jié)詳細(xì)描述了LSCA方法，在第四節(jié)中給出實(shí)驗(yàn)結(jié)果和相應(yīng)的分析，第五節(jié)討論了LSCA的本質(zhì)以及對(duì)本文的總結(jié)。

2 典型相關(guān)分析

假設(shè)[X=x1，x2，...，xN∈Rdx × N]和[Y=y1，y2，...，yN∈Rdy × N]是同一目標(biāo)的兩個(gè)視圖的數(shù)據(jù)集， 其中[dx]，[dy]是樣本[x]和[y]的維數(shù)，[N]為樣本數(shù)，同時(shí)[xi，yii=1，2，...，N]是對(duì)應(yīng)同一目標(biāo)的樣本對(duì)。CCA旨在優(yōu)化相關(guān)準(zhǔn)則來(lái)求解相關(guān)投影方向[α∈Rdx × 1]和[β∈Rdy × 1]，進(jìn)而使得相關(guān)特征[αTX]和[βTY]擁有最大的相關(guān)性，其中CCA的相關(guān)準(zhǔn)則能夠表示為

其中[Sxy=1Ni=1Nxi-xyi-yT]為數(shù)據(jù)集[X]和[Y]的協(xié)方差矩陣，[Sxx=1Ni=1Nxi-xxi-xT]（or[Syy=1Ni=1Nyi-yyi-yT]）是數(shù)據(jù)集[X]（或[Y]）的方差。正如文獻(xiàn)[13]指出，[Sxy]揭示了視圖間的相關(guān)性，而[Sxx]和[Syy]反映了視圖內(nèi)數(shù)據(jù)的總體散布信息，然而該相關(guān)性和總散布結(jié)構(gòu)沒(méi)有監(jiān)督信息的指導(dǎo)，難以借助類標(biāo)簽的信息有效增強(qiáng)相關(guān)的鑒別力。

3 標(biāo)簽散布相關(guān)分析方法

由于CCA僅僅只利用了成對(duì)的樣本信息，無(wú)法使用監(jiān)督信息來(lái)增強(qiáng)鑒別力，為此本文提出了LSCA方法，該方法能借助類標(biāo)簽信息，構(gòu)建有效的鑒別相關(guān)分析理論，進(jìn)而獲得強(qiáng)鑒別力的相關(guān)特征。

首先，利用類標(biāo)簽信息指導(dǎo)了視圖間類內(nèi)和類間相關(guān)性的構(gòu)建。具體而言，視圖間類內(nèi)相關(guān)性[αTRβ]能夠構(gòu)建為

同樣視圖間類間相關(guān)性[αTHβ]可以表述為：

為了增強(qiáng)視圖內(nèi)的類聚集性，進(jìn)一步構(gòu)建了基于類標(biāo)簽的視圖內(nèi)類內(nèi)散布。以數(shù)據(jù)集[X]為例，視圖內(nèi)類內(nèi)散布可以構(gòu)建為

則數(shù)據(jù)集[Y]的視圖內(nèi)類內(nèi)散布為：

LSCA方法在最大化視圖間類內(nèi)相關(guān)性的同時(shí)，最小化了視圖間類間相關(guān)性和視圖內(nèi)類內(nèi)散布，因此LSCA方法的相關(guān)準(zhǔn)則可以構(gòu)建為

其中[η]為平衡參數(shù)，用于平衡[cw]和[cb]的相對(duì)重要性。為了便于模型的分析和優(yōu)化求解，進(jìn)一步對(duì)公式（6）進(jìn)行推導(dǎo)。視圖間類內(nèi)相關(guān)性能夠進(jìn)一步等價(jià)推導(dǎo)為

其中帶有類標(biāo)簽的數(shù)據(jù)集X能夠重新表述為[X=x11，…，x1n1，…，xc1，…，xcnc]，對(duì)應(yīng)的類指示向量為，[Ini×ni∈Rni×ni]的矩陣元素全為1，[Λ=In1×n1...Ini×ni...Inc×nc∈Rn×n]是一個(gè)對(duì)角的對(duì)稱半正定矩陣，且秩為[c]。

類似公式（7），視圖間類間相關(guān)性同樣能夠進(jìn)一步推導(dǎo)為：

視圖內(nèi)的類內(nèi)相關(guān)關(guān)系定義如下：

通過(guò)求解上述的廣義特征值問(wèn)題，可以獲得前[d]個(gè)最大特征值對(duì)應(yīng)的特征向量[{α1，α2，...，αd}]和[{β1，β2，...，βd}]，進(jìn)而可以構(gòu)建數(shù)據(jù)集[X]和[Y]對(duì)應(yīng)的相關(guān)投影矩陣，即[A=α1，α2，...，αdT∈Rdx×d]和[B=β1，β2，...，βdT∈Rdy×d]，并獲得數(shù)據(jù)集[X]和[Y]對(duì)應(yīng)相關(guān)特征[ATX]和[BTY]。

4 實(shí)驗(yàn)的結(jié)果和分析

為了驗(yàn)證提出方法的有效性，在AR圖像數(shù)據(jù)集和XM2VTS圖像數(shù)據(jù)集設(shè)計(jì)了針對(duì)性實(shí)驗(yàn)。AR圖像數(shù)據(jù)集包含126人的正面圖像，這些圖像具有不同表情、照明條件和遮擋等。在該實(shí)驗(yàn)部分，我們選擇AR圖像的一個(gè)常用子集，該子集由120人的每人14幅無(wú)遮擋圖像組成。XM2VTS數(shù)據(jù)庫(kù)中包含295人的2360幅面部圖像，圖像中人臉的角度、表情和眼鏡等各不相同。從本質(zhì)上而言，這兩個(gè)數(shù)據(jù)集屬于單模態(tài)數(shù)據(jù)集。為此借助模態(tài)策略[13]獲取了每幅圖像兩個(gè)視圖數(shù)據(jù)。具體而言，利用Coiflets和Daubechies小波變換方法來(lái)獲取每幅圖像的兩個(gè)視圖數(shù)據(jù)，隨后使用主成分分析將視圖數(shù)據(jù)的維數(shù)約減到100維，以減少小樣本問(wèn)題。在實(shí)驗(yàn)部分，LSCA方法和CCA、DCCA進(jìn)行了對(duì)比分析。對(duì)于所有方法，在這兩個(gè)數(shù)據(jù)集上都是每類隨機(jī)選擇q （q=3， 4， 5， 6）幅圖像用于訓(xùn)練，剩余圖像作為測(cè)試圖像，并且獨(dú)立運(yùn)行10次樣本隨機(jī)試驗(yàn)，在表1和表2中展示了平均識(shí)別率。此外，所有方法都是使用了基于歐式距離的最近鄰分離器[13]來(lái)獲得而最終的實(shí)驗(yàn)結(jié)果，并且展示的是所有可能維數(shù)下的最優(yōu)識(shí)別率。

CCA僅僅利用了成對(duì)的樣本信息，且無(wú)法有效地利用監(jiān)督信息，進(jìn)而難以獲得強(qiáng)鑒別力的相關(guān)特征，然而LSCA和DCCA都屬于監(jiān)督相關(guān)學(xué)習(xí)方法，借助監(jiān)督信息進(jìn)一步增強(qiáng)了相關(guān)特征的類分離性，并且CCA在表1和表2中也顯示出了最低識(shí)別率。當(dāng)實(shí)驗(yàn)采用少量訓(xùn)練圖像進(jìn)行實(shí)驗(yàn)時(shí)，使用LSCA獲得的平均識(shí)別率與DCCA和CCA獲得平均識(shí)別率相差不大。隨著訓(xùn)練圖像的增加，LSCA，DCCA，CCA的識(shí)別率都呈現(xiàn)增加的趨勢(shì)。與DCCA相比，LSCA不僅考慮了視圖間的監(jiān)督相關(guān)信息，而且進(jìn)一步約束了視圖內(nèi)類內(nèi)散布結(jié)構(gòu)，這是LSCA表1和表2上擁有更好識(shí)別性能的重要原因。

5 結(jié)束語(yǔ)

多視圖特征學(xué)習(xí)的核心任務(wù)是為多視圖數(shù)據(jù)學(xué)習(xí)線性或非線性的投影方向，將原始高維數(shù)據(jù)投影到低維空間，并且低維特征能夠盡量保留原來(lái)數(shù)據(jù)的有效信息，進(jìn)而更利于數(shù)據(jù)的進(jìn)一步處理。CCA是基于相關(guān)分析理論的多視圖特征學(xué)習(xí)方法，該方法本身是一種無(wú)監(jiān)督的方法，難以有效利用類標(biāo)簽的優(yōu)勢(shì)來(lái)增強(qiáng)相關(guān)特征的鑒別力，為此，本文提出了一種新的LSCA方法。LSCA在類標(biāo)簽的指導(dǎo)下構(gòu)建了視圖間類內(nèi)相關(guān)性、視圖間類間相關(guān)性以及視圖內(nèi)類內(nèi)散布，進(jìn)而形成了LSCA的相關(guān)優(yōu)化模型，并在理論上進(jìn)一步推導(dǎo)出了該模型的解析解，獲得了強(qiáng)鑒別力的相關(guān)特征。為了驗(yàn)證提出方法的有效性，在兩個(gè)常用的圖像數(shù)據(jù)集上設(shè)計(jì)了針對(duì)性實(shí)驗(yàn)，良好的實(shí)驗(yàn)結(jié)果已經(jīng)揭示了LSCA的有效性。

參考文獻(xiàn)：

[1] Hardoon D R， Szedmak S， Shawe-Taylor J. Canonical correlation analysis： An overview with application to learning methods[J]. Neural computation， 2004， 16（12）： 2639-2664.

[2] Liu Y， Liu B， Zhao X， et al. A mixture of variational canonical correlation analysis for nonlinear and quality-relevant process monitoring[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6478-6486.

[3] Chen J， Wang G， Giannakis G B. Graph multiview canonical correlation analysis[J]. IEEE Transactions on Signal Processing， 2019.

[4] X.Y. Wang， L.L. Liang， W.Y. Li， et al.， A new SVM-based relevance feedback image retrieval using probabilistic feature and weighted kernel function， J. Vis.Commun[J]. Image Represent，2016，38：256–275.

[5] X.Z. Gao， Q.S. Sun， H.T. Xu， Multiple instance learning via semi-supervised Laplacian TSVM， Neural Process. Lett. 46 （2017） 219–232.

[6] M. Borga， Learning multidimensional signal processing，Link?ping studies in science and technology， Dissertations， vol.531， Department of Electrical Engineering， Link?ping University， Link?ping， Sweden， 1998.

[7] Q.-S. Sun， S.-G. Zeng， Y. Liu， P.-A. Heng， and D.-S. Xia， “A new method of feature fusion and its application in image recognition，”P(pán)attern Recognit.， vol. 36， no. 12， pp. 2437–2448， Dec. 2005.

[8] T. Sun， S. Chen， Locality preserving CCA with applications to data visualization and pose estimation， Image Vis. Comput. 25 （5） （2007） 531–543.

[9] F. Wang， D. Zhang， A new locality-preserving canonical correlation analysis algorithm for multi-view dimensionality reduction， Neural Process. Lett. 37 （2）（2013） 135–146.

[10] G. Lin， G. Fan， X. Kang， et al.， Heterogeneous feature structure fusion for classifification， Pattern Recogn. 53 （1） （2016） 1–11.

[11] X. He， S. Yan， Y. Hu， et al.， Face recognition using Laplacianfaces， IEEE Trans.Pattern Anal. Mach. Intell. 27 （2005） 328–340.

[12] T. Sun， S. Chen， J. Yang， et al.， A supervised combined feature extraction method for recognition， in： Proceedings of the IEEE International Conference on Data Mining， 2008， pp. 1043–1048.

[13] Su S， Ge H， Tong Y. Multi-graph embedding discriminative correlation feature learning for image recognition[J]. Signal Processing： Image Communication， 2018， 60： 173-182.

【通聯(lián)編輯：梁書(shū)】