林燕銘 陳曉云

隨著數(shù)據(jù)采集設(shè)備和技術(shù)的不斷完善，多源異構(gòu)數(shù)據(jù)不斷涌現(xiàn)，而描述同一事物在不同角度或不同特征下表示信息的多視角數(shù)據(jù)是其典型代表.由于單視角學(xué)習(xí)方法無法直接用于多視角數(shù)據(jù)分析，因此，多視角學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域的重要研究方向.

現(xiàn)有多視角聚類算法主要包括如下4類：基于協(xié)同訓(xùn)練的多視角聚類算法[1]、基于多核學(xué)習(xí)的多視角聚類算法[2]、基于圖學(xué)習(xí)的多視角聚類算法[3]、基于子空間學(xué)習(xí)的多視角聚類算法[4].

基于圖學(xué)習(xí)的多視角聚類算法和基于子空間學(xué)習(xí)的多視角聚類算法由于其良好的聚類性能，近年來引起學(xué)者們廣泛關(guān)注.Nie等[5]提出AMGL(Auto-Weighted Multiple Graph Learning)，將學(xué)習(xí)得到的不同視角圖鄰接矩陣融合成公共圖鄰接矩陣.Hajjar等[6]使用集群標(biāo)簽相關(guān)性構(gòu)建一個額外的圖，并利用平滑約束對聚類標(biāo)簽矩陣進(jìn)行約束.

基于子空間學(xué)習(xí)的多視角聚類算法通常利用自表示學(xué)習(xí)獲取不同視角一致的自表示矩陣，忽視對多視角數(shù)據(jù)多樣性及互補(bǔ)性信息的描述，因此Si等[7]提出CDMSC2(Consistent and Diverse Multi-view Subspace Clustering with Structure Constraint)，引入排他項(xiàng)(Exclusivity Term)強(qiáng)化不同視角差異的描述.Chen等[8]提出GLSR(Graph-Regularized Least Squares Regression)，引入流形正則約束,保持不同視角的局部幾何結(jié)構(gòu)，并采用列稀疏性范數(shù)度量殘差信息.Wang等[9]提出ARMSC(Auto-Weighted Graph Regulari-zation and Residual Compensation for Multi-view Sub-space Clustering)，構(gòu)造自適應(yīng)圖正則項(xiàng)以自適應(yīng)調(diào)整不同視角權(quán)重，利用該權(quán)重集成多視角殘差表示并融合一致表示,獲取多視角數(shù)據(jù)的一致性和互補(bǔ)性特征.曹容瑋等[10]提出雙加權(quán)多視角子空間聚類算法，采用自適應(yīng)加權(quán)策略構(gòu)建共享系數(shù)矩陣，同時利用加權(quán)核范數(shù)將共享系數(shù)矩陣不同奇異值賦予不同權(quán)重.胡世哲等[11]提出基于內(nèi)容的多視角特征表示和基于上下文的多視角相似度表示的雙重加權(quán)多視角聚類算法，可充分利用多視角數(shù)據(jù)間的互補(bǔ)信息.

由于不同視角數(shù)據(jù)間既有共性又有特性，且不同視角數(shù)據(jù)質(zhì)量也有差異，現(xiàn)有多視角子空間聚類方法或認(rèn)為不同視角對一致性和差異性描述的貢獻(xiàn)相同，或利用自適應(yīng)學(xué)習(xí)方法對視角權(quán)重進(jìn)行調(diào)整.前者導(dǎo)致最終結(jié)果容易受到噪聲視角干擾，后者可能導(dǎo)致某一視角權(quán)重遠(yuǎn)大于其它視角的權(quán)重，進(jìn)而陷入單一使用某個視角的困境.因此，本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類算法(Adaptive Weighted Multi-view Subspace Clustering Guided by Manifold Regularization, MR-AWMSC).算法采用核范數(shù)學(xué)習(xí)每個視角的一致性全局低秩表示信息,并利用F范數(shù)的組效應(yīng)刻畫不同視角的差異信息.根據(jù)流形正則的思想，自適應(yīng)學(xué)習(xí)每個視角的權(quán)重，自動為每個視角的差異信息分配貢獻(xiàn)度.再根據(jù)自適應(yīng)權(quán)重集成差異信息并融合一致信息，獲得最終的共識表示.最后利用該共識表示實(shí)現(xiàn)聚類.在6個公開數(shù)據(jù)集上的實(shí)驗(yàn)表明本文算法能有效提升多視角聚類性能.

1 相關(guān)知識

1.1 多視角子空間聚類

假設(shè)高維數(shù)據(jù)分布于多個低維子空間，子空間聚類目的是尋找這些低維嵌入子空間.該類方法通常利用字典表示思想(X=DZ)學(xué)習(xí)高維樣本數(shù)據(jù)X的表示矩陣Z，并以樣本集本身作為字典(D=X)，所以也稱為自表示模型.其表示矩陣Z可通過求解以下優(yōu)化模型獲得：

其中，第1項(xiàng)為自表示矩陣約束，第2項(xiàng)為重構(gòu)損失，α為平衡參數(shù)，l-范數(shù)針對不同類型的噪聲而有所不同.不同子空間聚類方法的差異主要在于模型目標(biāo)函數(shù)第1項(xiàng)函數(shù)與第2項(xiàng)范數(shù)定義的不同.稀疏子空間聚類(Sparse Subspace Clustering， SSC)利用l1范數(shù)約束自表示矩陣(Ω(Z)=‖Z‖1)[12]，且約束diag(Z)=0，第2項(xiàng)采用F范數(shù)約束噪聲.而低秩表示(Low-Rank Representation， LRR)子空間聚類使用秩函數(shù)或核范數(shù)約束自表示矩陣(Ω(Z)=‖Z‖*)[13]，并利用l2,1范數(shù)約束噪聲.

多視角子空間聚類為每個視角數(shù)據(jù)Xv構(gòu)造自表示矩陣Cv，公式如下：

(1)

其中，第1項(xiàng)Ω{·}為對不同視角自表示矩陣的約束，第2項(xiàng)L{·}為不同視角的重構(gòu)損失.多視角樣本集的最終鄰接矩陣：

多視角數(shù)據(jù)不但具有一致性信息，并且每個視角又蘊(yùn)含差異信息.為了同時表示多視角數(shù)據(jù)的一致信息和差異信息，分解式(1)的Cv=Z+Dv.則式(1)的多視角形式為

其中：第1項(xiàng)Ω{·}為自表示矩陣的一致性約束，可保證多視角數(shù)據(jù)一致表示矩陣的高類內(nèi)同質(zhì)性，刻畫不同視角的共享信息；第2項(xiàng)R{·}為自表示的差異性約束，刻畫每個視角的差異信息；第3項(xiàng)L{·}為重構(gòu)損失.多視角樣本集的最終鄰接矩陣為：

然后將構(gòu)造的鄰接矩陣W輸入傳統(tǒng)的譜聚類中，得到聚類結(jié)果.

1.2 流形學(xué)習(xí)

本文假設(shè)在多個視角中距離越近的樣本越可能來自同一子空間，以此描述多視角聚類的一致性原則，構(gòu)造多視角流形正則項(xiàng)如下：

其中拉普拉斯矩陣Lv=Dv-Sv，Dv為對角矩陣，

2 流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類

本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類算法(MR-AWMSC).考慮數(shù)據(jù)局部幾何結(jié)構(gòu)，利用流形正則動態(tài)調(diào)整每個視角貢獻(xiàn).然后使用交替方向乘子法(Alternating Direction Method of Multipliers， ADMM)[15]求解MR-AWMSC，推導(dǎo)每個子問題的閉式解.表1列出本文主要數(shù)學(xué)符號說明.

表1 主要符號說明Table 1 Description of main symbols

2.1 模型建立

多視角數(shù)據(jù)是對同一數(shù)據(jù)的不同特征描述，理想情況下每個視角學(xué)習(xí)的自表示矩陣Z應(yīng)趨于一致，但是實(shí)際上多視角數(shù)據(jù)含有每個視角固有差異屬性，Z不一定滿足所有視角的相似性.因此本文提出MR-AWMSC,同時學(xué)習(xí)多視角數(shù)據(jù)的一致性和差異性信息，具體為

(2)

其中:第1項(xiàng)為所有視角的一致性自表示矩陣Z∈Rn×n的核范數(shù)，該項(xiàng)學(xué)習(xí)全局低秩表示，充分刻畫多視角數(shù)據(jù)共享信息；第2項(xiàng)為第v個視角的差異信息表示矩陣Dv∈Rn×n的F范數(shù)，該項(xiàng)利用F范數(shù)的組效應(yīng)性質(zhì)，使不同視角的差異表示矩陣具有塊對角性，更利于聚類；第3項(xiàng)為重構(gòu)損失項(xiàng)，Ev∈Rdv×n為第v個視角的誤差矩陣，利用l2,1范數(shù)約束Ev列稀疏，盡可能有效消除噪聲視角，得到較干凈的自表示矩陣Z；第4項(xiàng)為不同視角流形正則項(xiàng)，可在新的表示空間Z中保持不同視角數(shù)據(jù)的局部幾何結(jié)構(gòu)，利用該流形正則項(xiàng)可得到每個視角的貢獻(xiàn)；平衡參數(shù)λD和λE分別用于平衡差異信息表示項(xiàng)和誤差項(xiàng).

已有多數(shù)方法計(jì)算最終鄰接矩陣Z*時，是以平均加權(quán)策略集成不同視角差異表示Dv，再融合一致表示矩陣Z.

MR-AWMSC的視角權(quán)重可隨流形正則項(xiàng)的大小同步迭代更新，對于m個視角權(quán)重{α1,α2,…,αm}:

(3)

在式(3)中，每個視角的權(quán)重能被自適應(yīng)地設(shè)置和更新，根據(jù)流形正則項(xiàng)的大小自動為每個視角分配不一樣的權(quán)重.由式(2)給出的目標(biāo)函數(shù)可知，需要最小化各視角的流形正則項(xiàng)tr(ZLvZT)，因此tr(ZLvZT)的值越小表明對應(yīng)視角v的權(quán)重αv應(yīng)越大，該視角也越重要.

利用m個視角權(quán)重可集成多視角差異表示矩陣Dv，并融合一致表示矩陣Z，得到最終的鄰接矩陣：

(4)

MR-AWMSC示意圖如圖1所示.在圖中，全局一致性表示矩陣Z體現(xiàn)多視角數(shù)據(jù)學(xué)習(xí)的一致性準(zhǔn)則，視角差異矩陣Dv刻畫不同視角信息質(zhì)量的差異性.在保持多視角流形結(jié)構(gòu)的同時，MR-AWMSC在優(yōu)化過程中通過流形正則項(xiàng)自適應(yīng)學(xué)習(xí)每個視角的權(quán)重，避免人工賦權(quán)方式導(dǎo)致權(quán)重設(shè)置困難.最終通過自適應(yīng)學(xué)習(xí)得到Dv，并融合一致表示矩陣Z，獲得鄰接矩陣Z*，輸入譜聚類中，得到聚類結(jié)果.

圖1 MR-AWMSC示意圖Fig.1 Architecture of MR-AWMSC

2.2 模型求解

MR-AWMSC目標(biāo)函數(shù)(式(2))同時從多個視角中學(xué)習(xí)一致自表示矩陣和多個差異表示矩陣.該問題有多個變量，本文可利用ADMM求解變量.此外，本文還引入輔助變量J∈Rn×n，使目標(biāo)函數(shù)中變量可分離，并分為多個子問題求解.首先，引入變量J作為核范數(shù)中Z的替代，則式(2)等價于：

因此，上述模型的增廣拉格朗日函數(shù)形式可寫為

λE‖Ev‖2,1+tr(ZLvZT)) +

1)更新一致表示矩陣Z，固定其余變量，

(5)

令上式對變量Z的導(dǎo)數(shù)為0，得到方程

AZ+ZB=C.

該方程是Sylvester等式，可利用MATLAB內(nèi)置函數(shù)(lyap)直接求解,其中，

2)更新變量J，固定其余變量.J的優(yōu)化問題只與Zt+1和Y2(t)有關(guān)，等價于求解如下問題：

(6)

上述問題可使用奇異值閾值[16]求解.令

先對Kt+1執(zhí)行矩陣奇異值分解(即Kt+1=UΣVT)，得到問題的解:

Jt+1=US1/μt(Σ)VT，

其中，Sε(x)為軟閾值算子，Σ經(jīng)過軟閾值算子Sε(x)按元素操作，得到輸出矩陣的對應(yīng)元素為

3)更新差異信息表示矩陣Dv，固定其余變量,則

為了得到最優(yōu)解，令上式目標(biāo)函數(shù)關(guān)于變量Dv的導(dǎo)數(shù)為0，可得到差異信息表示矩陣的最優(yōu)解：

(7)

其中I∈Rn×n為單位矩陣.

4)更新誤差矩陣Ev，固定其余變量,則

令

(8)

5)更新自適應(yīng)參數(shù)αv，固定其余變量.按照式(3)更新αv:

(9)

其中，γ>1，為控制收斂速度的常數(shù)，懲罰參數(shù)μ通過γ單調(diào)上升，直到滿足最大值μmax.

當(dāng)算法收斂后計(jì)算得到一致自表示矩陣Z和多個視角的差異信息矩陣{D1,D2,…,Dm}.最后，根據(jù)式(4)計(jì)算鄰接矩陣Z*，并對Z*利用譜聚類的Ncut分割方法，得到最終的聚類結(jié)果.

綜上分析，MR-AWMSC步驟如下.

算法MR-AWMSC

Θ1為0矩陣

輸出聚類結(jié)果

μ=10-6,μmax=106,，迭代次數(shù)t=1,

最大迭代次數(shù)M=90，ε=10-6，

Repeat:

step 1 根據(jù)式(5)更新一致表示矩陣Zt+1.

step 2 根據(jù)式(6)更新變量矩陣Jt+1.

step 3 Forv=1 tom：

step 5 計(jì)算

Until:

(Θt+1-Θt)<ε或t>M.

根據(jù)式(4)計(jì)算鄰接矩陣Z*，并對Z*執(zhí)行

Ncut譜聚類,得到聚類結(jié)果.

MR-AWMSC主要的時間復(fù)雜度由如下變量控制：Z，J，Dv，Ev和αv.更新變量Z為求解Sylvester方程，時間復(fù)雜度為O(n3).更新變量J為進(jìn)行奇異值閾值分解，時間復(fù)雜度為O(n3).更新Dv的過程主要是對矩陣求逆，時間復(fù)雜度為O(n3+dvn2).更新αv的時間復(fù)雜度為O(n3).更新Ev的時間復(fù)雜度為O(dvn).因此，總的時間復(fù)雜度為O(n3+dmaxn2),dmax為多視角數(shù)據(jù)的最高維度.

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i9-9900K CPU @3.60 GHz，內(nèi)存32 GB，64位Windows 10系統(tǒng)，并用MATLABR 2019b軟件編程實(shí)現(xiàn).

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用如下6個多視角聚類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：圖像數(shù)據(jù)集MSRC_v1[18]、樹葉數(shù)據(jù)集100leaves[8]、電影數(shù)據(jù)集Movies617[19]、文本數(shù)據(jù)集BBCSport[9]、手寫數(shù)字?jǐn)?shù)據(jù)集UCI-digit[20]和物體識別數(shù)據(jù)集Caltech101-20[9].實(shí)驗(yàn)前先對每個視角數(shù)據(jù)進(jìn)行歸一化處理.6個公開數(shù)據(jù)集的主要信息如表2所示.

表2 多視角數(shù)據(jù)集主要信息Table 2 Description of multi-view datasets

MSRC_v1數(shù)據(jù)集包括210幅圖像，9個類別.本文從中選擇樹、建筑、飛機(jī)、奶牛、臉、汽車、自行車這7個類別，從每幅圖像提取5 個視覺特征.

100leaves數(shù)據(jù)集包含100種不同植物葉片，每種植物都有16個樣本，共1 600個樣本.本文提取形狀描述符、細(xì)尺度邊緣和紋理直方圖這3種特征.

Movies617數(shù)據(jù)集包含從IMDb網(wǎng)站收集的17種類別共617部電影，包含2個視角.

BBCSport數(shù)據(jù)集為包含5個主題領(lǐng)域的體育新聞數(shù)據(jù)集，包括2004年至2005年從BBC體育網(wǎng)站收集的544份文檔，包含2個視角.

UCI-digit數(shù)據(jù)集共有2 000幅手寫數(shù)字圖像，0～9，共有10類，每類包含200幅圖像，每幅圖像采用3種視覺特征，構(gòu)建3個視角.

Caltech101-20數(shù)據(jù)集包含101個圖像類別.本文選擇20個物體的2 386幅圖像作為最終的數(shù)據(jù)集，使用6種特征提取方法提取6個視角特征.

3.2 對比算法

為了驗(yàn)證MR-AWMSC的有效性，與如下算法進(jìn)行對比.

1)2種經(jīng)典單視角子空間聚類算法.

(1)SSC[12].采用l1范數(shù)約束樣本自表示矩陣.

(2)LRR[13].采用核范數(shù)約束樣本自表示矩陣.

2)9種經(jīng)典多視角聚類方法.

(1)ECMSC(Exclusivity Consistency Regularized Multi-view Subspace Clustering)[21].引入位置注意力排他項(xiàng)，衡量不同視角之間的差異性，同時定義指示向量一致性項(xiàng).

(2)DiMSC(Diversity-Induced Multi-view Sub-space Clustering)[22].利用希爾伯特-施密特獨(dú)立性準(zhǔn)則生成異構(gòu)性項(xiàng)，描述多視角表示的相關(guān)性，多視角融合采用平均加權(quán)策略.

(3)LMSC(Latent Multi-view Subspace Cluste-ring)[23].學(xué)習(xí)多視角數(shù)據(jù)潛在的統(tǒng)一子空間表示.

(4)CSMSC(Consistent and Specific Multi-view Subspace Clustering)[24].利用一致表示刻畫不同視角間的共同屬性和一組特定表示描述每個視角的內(nèi)在特性，多視角融合采用平均加權(quán)策略.

(5)FCMSC(Feature Concatenation Multi-view Subspace Clustering)[19].拼接多視角數(shù)據(jù)特征，利用l2,1范數(shù)處理多視角數(shù)據(jù)中基于樣本和簇類的噪聲，多視角融合采用平均加權(quán)策略.

(6)ARMSC[9].采用核范數(shù)學(xué)習(xí)一致性全局低秩表示，具有組效應(yīng)的F范數(shù)學(xué)習(xí)殘差補(bǔ)償項(xiàng)，并構(gòu)造自動加權(quán)多視角正則項(xiàng)，保持局部幾何結(jié)構(gòu).

(7)GMC(Graph-Based Multi-view Clustering)[25].將不同視角的圖矩陣通過圖學(xué)習(xí)誤差自動加權(quán)融合為一個一致圖矩陣，并約束圖拉普拉斯矩陣的秩.

(8)文獻(xiàn)[26]算法.核學(xué)習(xí)多視角聚類算法，定義鄰居核以保持塊對角結(jié)構(gòu)，增強(qiáng)對基核間噪聲和異常值的魯棒性.線性組合基鄰居核，通過精確秩約束子空間分割構(gòu)造一致鄰接矩陣.

(9)MVC-LFA(Multi-view Clustering via Late Fusion Alignment Maximization)[27].核學(xué)習(xí)多視角聚類方法，最大限度對齊一致核矩陣與加權(quán)基核矩陣，集成多視角數(shù)據(jù).

3.3 聚類實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)采用如下4個聚類性能評價指標(biāo)：聚類準(zhǔn)確率(Clustering Accuracy， ACC)、標(biāo)準(zhǔn)互信息(Normalized Mutual Information, NMI)、調(diào)整蘭德指數(shù)(Adjusted Rand Index, ARI)和F-score.指標(biāo)值越高,聚類性能越優(yōu).

由于本次實(shí)驗(yàn)采用多視角數(shù)據(jù)集，因此2種單視角子空間聚類算法(SSC和LRR)僅給出最佳視角的聚類結(jié)果.為了減少譜聚類結(jié)果的隨機(jī)性，MR-AWMSC執(zhí)行10次，取10次結(jié)果的平均值作為最終結(jié)果.

12種聚類算法在6個多視角實(shí)驗(yàn)數(shù)據(jù)集上的聚類指標(biāo)分別如表3～表8所示.在表中，黑體數(shù)字表示最優(yōu)值，斜體數(shù)字表示次優(yōu)值.由表3～表8可得如下結(jié)論.

1)MR-AWMSC在6個數(shù)據(jù)集上的ACC、ARI、F-score值均是最高的.除Caltech101-20數(shù)據(jù)集之外，MR-AWMSC在其它5個數(shù)據(jù)集上的NMI值也是最高的.該結(jié)果表明流形正則引導(dǎo)的自適應(yīng)視角權(quán)重學(xué)習(xí)算法是有效的.

2)多視角聚類算法雖然綜合多視角的信息，但單視角子空間聚類算法(SSC、LRR)在MSRC_v1、Caltech101-20數(shù)據(jù)集上的聚類表現(xiàn)優(yōu)于ECMSC、DiMSC、FCMSC這3種多視角子空間聚類算法.該結(jié)果說明如果未采用合理方式融合多視角數(shù)據(jù)間的關(guān)聯(lián)信息，多視角聚類算法性能反而不如單視角聚類算法.

3)相比基于子空間學(xué)習(xí)的多視角聚類算法FCM-SC、DiMSC和ECMSC，MR-AWMSC引入流形正則項(xiàng)，保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)，并使用流形正則引導(dǎo)不同視角權(quán)重的自適應(yīng)學(xué)習(xí)，因此聚類性能更優(yōu).FCMSC直接拼接多視角特征，忽略不同視角的差異性.DiMSC將所有視角的相似矩陣進(jìn)行相加，結(jié)果易受噪聲視角的影響.ECMSC只考慮不同視角數(shù)據(jù)的全局結(jié)構(gòu)卻忽視不同視角數(shù)據(jù)局部流形結(jié)構(gòu)的差異.

表3 各算法在MSRC_v1數(shù)據(jù)集上的聚類結(jié)果對比Table 3 Clustering result comparison of different methods on MSRC_v1 dataset

表4 各算法在100leaves數(shù)據(jù)集上的聚類結(jié)果對比Table 4 Clustering result comparison of different methods on 100leaves dataset

表5 各算法在Movies617數(shù)據(jù)集上的聚類結(jié)果對比Table 5 Clustering result comparison of different methods on Movies617 dataset

表6 各算法在BBCSport數(shù)據(jù)集上的聚類結(jié)果對比Table 6 Clustering result comparison of different methods on BBCSport dataset

表7 各算法在UCI-digit數(shù)據(jù)集上的聚類結(jié)果對比Table 7 Clustering result comparison of different methods on UCI-digit dataset

表8 各算法在Caltech101-20數(shù)據(jù)集上的聚類結(jié)果對比Table 8 Clustering result comparison of different methods on Caltech101-20 dataset

4)相比基于圖學(xué)習(xí)的多視角聚類方法GMC，MR-AWMSC在6個數(shù)據(jù)集的各項(xiàng)評價指標(biāo)上均更優(yōu).其原因是GMC未考慮多視角差異信息，構(gòu)造的統(tǒng)一相似圖易受噪聲影響.而MR-AWMSC利用流形正則項(xiàng)自適應(yīng)學(xué)習(xí)視角權(quán)重，可更恰當(dāng)?shù)丶刹煌暯堑牟町愋畔?，獲得更優(yōu)的聚類性能.

5)相比基于核學(xué)習(xí)的多視角聚類方法(文獻(xiàn)[26]算法和MVC-LFA)，MR-AWMSC在MSRC_v1、UCI-digit、Caltech101-20數(shù)據(jù)集上的聚類性能更具競爭力.其原因在于，核方法中核函數(shù)的選擇可直接影響最終聚類性能，同時二者的多視角加權(quán)融合策略未考慮不同視角非線性結(jié)構(gòu)的差異.然而相比其它多視角聚類算法，文獻(xiàn)[26]算法和MVC-LFA在一些數(shù)據(jù)集上的聚類準(zhǔn)確率較高，說明核方法對于改善非線性數(shù)據(jù)的聚類性能也是有效的.

6)相比同是自適應(yīng)視角權(quán)重學(xué)習(xí)的ARMSC，MR-AWMSC的聚類準(zhǔn)確率更高.其原因在于，相比ARMSC 的自適應(yīng)圖正則項(xiàng)，本文的流形正則引導(dǎo)的自適應(yīng)視角權(quán)重更能充分刻畫每個視角的一致信息和差異信息，而 ARMSC在某些視角上的權(quán)重分配較低，往往導(dǎo)致過于關(guān)注某個單一視角的困境，無法充分綜合利用多視角信息.

MR-AWMSC在MSRC_v1、BBCSport數(shù)據(jù)集上學(xué)習(xí)的鄰接矩陣的可視化結(jié)果如圖2所示.

(a)MSRC_v1

由圖2可看出，MR-AWMSC在MSRC_v1、BBC-Sport數(shù)據(jù)上得到的鄰接矩陣都具有明顯的塊對角結(jié)構(gòu)，由此可說明MR-AWMSC學(xué)習(xí)得到的鄰接矩陣適用于聚類.

3.4 不同加權(quán)策略實(shí)驗(yàn)

為了對比不同加權(quán)組合策略對多視角子空間聚類的影響，本文分別采用平均加權(quán)策略和自表示學(xué)習(xí)誤差加權(quán)策略作為對比方法.平均加權(quán)策略的第v個視角權(quán)重αv=1/m，m為視角數(shù)，所有視角權(quán)重相同.算法其它部分與MR-AWMSC相同，記為AWMSC(Average Weighted Multi-view Subspace Clustering)，組合得到鄰接矩陣：

自表示學(xué)習(xí)誤差加權(quán)策略的第v個視角權(quán)重為：

在6個多視角數(shù)據(jù)集上對AW-MSC、SL-MSC和MR-AWMSC進(jìn)行聚類實(shí)驗(yàn)，每種方法均取10次聚類平均準(zhǔn)確率，結(jié)果如圖3所示.

圖3 3種加權(quán)策略的聚類準(zhǔn)確率Fig. 3 Clustering accuracy of 3 weighting strategies

由圖3可看出，MR-AWMSC在6個數(shù)據(jù)集上的聚類準(zhǔn)確率最高，而SL-MSC在除了UCI-digit數(shù)據(jù)集以外的數(shù)據(jù)集上的聚類準(zhǔn)確率均低于AW-MSC.其原因是SL-MSC學(xué)習(xí)獲得的視角權(quán)重與數(shù)據(jù)線性自表示有關(guān)，不能較好地捕獲非線性多視角數(shù)據(jù)的非線性結(jié)構(gòu)特征，因此學(xué)習(xí)的視角權(quán)重多數(shù)情況下還不如AW-MSC有效.相比MR-AWMSC，AW-MSC同等看待每個視角，忽略不同視角對于聚類效果的貢獻(xiàn)具有差異性，某些數(shù)據(jù)集上的聚類性能不佳.總之，MR-AWMSC的流形正則引導(dǎo)的視角權(quán)重有效提取數(shù)據(jù)的流形結(jié)構(gòu)信息，并自動為不同視角差異性分配貢獻(xiàn)度，因此優(yōu)于SL-MSC和AW-MSC.

3.5 數(shù)值收斂性分析和參數(shù)選擇

為了觀察MR-AWMSC的數(shù)值收斂性，給出100leaves、UCI-digit數(shù)據(jù)集上算法的迭代誤差曲線，如圖4所示.

圖4 MR-AWMSC在2個數(shù)據(jù)集上的收斂性分析Fig.4 Convergence analysis of MR-AWMSC on 2 datasets

由圖4可看出，隨著迭代次數(shù)增加，迭代誤差不斷下降，45次后趨近于收斂，說明MR-AWMSC是數(shù)值收斂的.

MR-AWMSC包含2個平衡參數(shù)λE和λD，分別用于平衡誤差項(xiàng)和不同視角差異表示矩陣項(xiàng).為了觀察平衡參數(shù)對聚類準(zhǔn)確率的影響，采用網(wǎng)格搜索法計(jì)算λE和λD不同取值下的聚類準(zhǔn)確率，如圖5所示.λE和λD的取值范圍均為{0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.5,1}.

由圖5可看出，λE和λD的取值對聚類準(zhǔn)確率的影響是明顯的.在Movies617、100leaves數(shù)據(jù)集上，平衡參數(shù)λD值為0.4～1，λE值為0.001～0.01時，可得到較高的聚類準(zhǔn)確率.在MSRC_v1、UCI-digit數(shù)據(jù)集上，λD和λE的值均為0.001～0.01時，聚類準(zhǔn)確率較高.在Caltech101-20、BBCSport數(shù)據(jù)集上，λD和λE值均為0.2～1時，可得到較高的聚類準(zhǔn)確率.因此若在一個合理的范圍內(nèi)選擇參數(shù)，可得到較好的聚類結(jié)果.

(a)Movies617 (b)100leaves (c)MSRC_v1

4 結(jié) 束 語

本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類算法(MR-AWMSC).算法的視角權(quán)重可隨流形正則項(xiàng)的大小迭代更新，利用視角權(quán)重集成多視角差異表示矩陣，并融合一致表示矩陣,得到最終的鄰接矩陣.MR-AWMSC通過對視角自適應(yīng)加權(quán)獲得的鄰接矩陣既蘊(yùn)含不同視角的全局低秩一致性信息，也考慮不同視角的差異，得到比經(jīng)典平均賦權(quán)的視角組合方法更優(yōu)的結(jié)果.在6個基準(zhǔn)數(shù)據(jù)集上進(jìn)行聚類實(shí)驗(yàn)，結(jié)果表明MR-AWMSC是有效的.