張遠鵬,周 潔,鄧趙紅,鐘富禮,蔣亦樟,杭文龍,王士同,

1(江南大學 數(shù)字媒體學院,江蘇 無錫 214122)

2(南通大學 醫(yī)學信息學系,江蘇 南通 226019)

3(Department of Computing,Hong Kong Polytechnic University,Hong Kong 999077,China)

目前,在各個領域,如模式識別、生物信息學、自然語言處理以及社交網(wǎng)絡挖掘等,經(jīng)常會出現(xiàn)同源異構數(shù)據(jù),即數(shù)據(jù)來源(采樣對象)是相同的,但是采樣的角度(樣本特征空間)存在一定的差異,然而又存在一定的關聯(lián),這類數(shù)據(jù)又被稱為多視角數(shù)據(jù).例如,對人體的血液樣本進行采樣分析時,檢測肝功能的指標特征可以看成一個視角,檢測腎功能的指標特征可以看成另外一個視角;又如,在分析銀行客戶數(shù)據(jù)集時,人口學信息、賬戶關聯(lián)信息以及客戶消費行為信息都可以被當成不同的視角.對于多視角數(shù)據(jù)而言,雖然目前一些學習算法能夠從單個視角學習到較為豐富和滿意的簇結構信息,但卻人為地割裂了各個視角之間的相關性,而這種相關性如果能夠加以合理利用,則可以在一定程度上提高算法學習的效率.因此在這種情況下,多視角協(xié)同學習技術嶄露頭角,并且被應用到了領域自適應(domain adaption)[1,2]、遷移學習(transfer learning)[3,4]、主動學習(active learning)[5]、多核學習(multi-kernel learning)[6,7]、多視角分類(multi-view classification)[8]、多視角聚類(multi-view clustering)[9-18]等各個領域.

Cleuziou等人[10]在2009年提出的Co-FKM算法是以經(jīng)典的FCM框架為基礎的多視角協(xié)同聚類算法.該算法通過引入?yún)f(xié)調各視角間空間劃分的隸屬度約束項,從而使得各個視角的空間劃分在算法收斂時最大程度的趨于一致,達到協(xié)同學習的目的.實踐結果表明,Co-FKM算法具有一定的有效性和擴展性.能夠被利用的多視角協(xié)同學習的機制有很多,通過調研相關文獻,基本上可以分為以下幾類.

(1)視角加權機制.視角加權策略在多視角聚類中的應用比較廣泛,文獻[12,13]中,Jiang等人和Deng等人為了降低某一視角較差的樣本分布對算法優(yōu)化迭代時的干擾,在目標函數(shù)中引入香農(nóng)熵,通過極大熵原理,使得視角的權重偏向于具有較好簇結構邊界的視角,從而獲取更好的全局劃分;Tzortzis等人[14]在CMMs算法[15]的基礎上引入視角權重因子πv,并將其視為混合模型下視角的先驗概率,然后通過在約束條件下優(yōu)化一個對數(shù)似然函數(shù)問題自適應獲得視角權重因子值;Chen等人[16]在k-means算法的基礎上提出了 TW-k-means算法.該算法利用香農(nóng)熵進行自適應雙層加權,除了對視角加權外,還對每個視角中的樣本進行加權.

(2)約束傳播機制.該機制的基本原理是:在已知的約束(must-link或 cannot-link)下,通過各個視角不斷學習,產(chǎn)生新的約束,并通過映射函數(shù)傳播至其他視角以進行協(xié)同學習.其代表算法是 Eaton等人[17]在Co-EM學習框架下提出的基于不完全約束傳播機制的多視角聚類算法.

(3)特征向量一致性約束機制.在基于譜聚類的多視角算法中,這一策略常被采用.最具代表性的是Kumar等人[18,19]提出的基于co-training和co-regularization技術的兩種多視角譜聚類算法.兩種算法均認為,同一個樣本在不同的視角下會被劃分到同一個簇中,因此在迭代過程中,通過不同視角下特征向量的一致性約束來使各個視角的劃分趨于一致.

這 3種協(xié)同學習的機制在不同的應用場景下有著各自的優(yōu)勢.在第(3)種機制中,求解每個視角樣本特征向量的過程可被看成是一種降維過程,特征向量從某種意義上來說反映出簇的結構,特征向量一致性約束機制實質上是在多視角協(xié)同學習過程中,尋求不同視角下簇結構的一致性.

受此啟發(fā),本文提出一種基于代表點一致性約束的多視角模糊聚類算法(multi-view fuzzy clustering with a medoidinvariant constraint,簡稱MFCMddI).在該算法中,簇的結構通過多個代表點(multi-medoid)來進行刻畫,利用視角間代表點一致性來約束協(xié)同學習過程,具體來說,

(1)為了獲取較為豐富的視角內(nèi)簇結構信息,采用了基于多代表點的簇結構表示策略,即引入樣本權重系數(shù)來刻畫每個樣本成為代表點的可能性.

(2)為了在多視角間協(xié)同學習過程中代表點能保持一致性,我們認為,同一樣本在不同視角下代表簇的權重系數(shù)的差異性最小.基于此,我們首先提出了多視角聚類模型.該模型的目標函數(shù)由2項組成:第1項用于產(chǎn)生高質量的視角內(nèi)劃分,該項的優(yōu)化目標是使得所有樣本之間的距離之和達到最小;聚類模型的第 2項用于保持視角間代表點的一致性.為了使整種算法模型易于求解,我們采用視角間兩兩約束的方式(pair-wise constraint),即所有樣本在相鄰兩個視角下的權重系數(shù)的乘積之和達到最大,即代表點差異性最小.

(3)在多視角聚類模型的基礎上構建了 MFCMddI算法,并給出了算法的流程和時間復雜度分析.MFCMddI算法可被當作約束優(yōu)化問題,通過引入拉格朗日乘子和KKT條件,利用求極值的方法得到各個視角下模糊隸屬度和樣本權重系數(shù)的迭代規(guī)則,通過迭代尋求各個視角最優(yōu)的簇結構,并利用集成策略,得到全局劃分.

本文的貢獻可以概括為以下幾個方面.

(1)提出了一種新的多視角聚類模型,該模型綜合考慮了視角內(nèi)的劃分質量以及視角間代表點一致性,利用代表點一致性約束進行多視角間協(xié)同學習.

(2)在人工集和真實數(shù)據(jù)集上進行系列實驗,實驗結果表明,所提出的多視角聚類算法相對于其他算法而言具有一定的優(yōu)勢.

1 多視角聚類模型

1.1 問題描述

1.2 模型構建

基于模糊聚類的思想,所提出的多視角聚類模型的目標是為了獲取每個視角的模糊隸屬度矩陣Ψm,然后再利用集成策略得到全局的隸屬度矩陣Ψ.在學習Ψm的過程中,并非獨立進行,還要考慮第 1.1節(jié)所陳述的兩個問題.因此,我們提出了如下的多視角聚類模型:

其中,P表示視角數(shù).從公式(1)可以看出,該模型由兩部分組成.

對于該模型,我們的優(yōu)化目標是通過尋找合適的Ψm使得J(Ψ)達到最小.接下來,將對該模型進行進一步的細化.

1.2.1 視角內(nèi)劃分質量

文獻[20]指出,用單代表點(one-medoid)來表示一個簇往往不足以刻畫簇的結構特征,而基于多代表點(multi-medoid)簇結構表示策略可以獲取更多的簇結構信息.為了使這種多代表點策略更加一般化,可以認為數(shù)據(jù)集中的每個樣本都有可能成為簇的代表點,而這種可能性可以量化成[0,1]區(qū)間的權重系數(shù),樣本的權重值越大,該樣本代表其所在簇的可能性越強.因此,為了獲取高質量的視角內(nèi)劃分,在最小化樣本之間的距離時,還要考慮樣本的模糊隸屬度和樣本權重系數(shù).視角內(nèi)劃分的方法可以通過優(yōu)化如下的目標函數(shù)來獲得.

其中,θcj,m表示在視角m下,樣本xj代表簇c的程度(即樣本權重系數(shù));ψci,m表示在視角m下,樣本xj屬于簇c的模糊隸屬度.從公式(2)中可以看出,J′(Ψm)由3項構成:第1項表示視角m下,所有樣本的距離之和;第2項和第3項為ψci,m和θcj,m的二次約束項,目的是提高其泛化能力.Aψ和Aθ為兩個大于0的參數(shù),用于保持第1項和第2項、第3項之間的平衡,即控制第2項、第3項對于整個目標函數(shù)的貢獻.Aψ值越大,樣本屬于不同簇的隸屬度越平滑;同樣地,Aθ越大,簇中樣本權重系數(shù)分布越均勻.

1.2.2 視角間代表點一致性(或差異性)

為了定量表示代表點之間的差異性(medoid invariant,簡稱MddI),對于簇c中任意的代表點xj,其在視角m和視角m⊕1下的一致性度量標準定義如公式(7)所示.

接下來,從理論上探討最大化視角間代表點一致性(或最小化視角間代表點差異性)可以降低聚類模型在視角上的聚類誤差.為了使論證過程簡單化且易于理解,我們假設K=2.另外,由于公式(8)和ψci,m無關,可假設不同視角下的對應樣本獲得相同的聚類標簽,每個簇選擇一個代表點.我們用Y=〈y1,y2〉表示一個簇在不同視角下的真實代表點標簽,用概率P(ml≠ml⊕1)表示視角l和視角l⊕1之間代表點的差異性,其中,y1,y2∈{1,2},1≤l≤P.由于所提出的聚類模型在每個視角下采用的是一種多代表點表示策略,即將所有樣本都當成潛在的代表點,通過為每個樣本分配權重系數(shù)來表示代表性大小.如此,視角內(nèi)簇結構本質上可由代表點權重系數(shù)來刻畫[20],因此,P(ml≠ml⊕1)實際上反映的是視角l和視角l⊕1的簇結構差異性.

定義1(有效聚類模型).如果存在一個聚類模型,在視角l上滿足條件或,則該模型被稱為視角l上的有效(non-invalid)聚類模型.

定義2(非完美聚類模型).如果存在一個聚類模型,在視角l上并沒有完成100%的代表點識別率,則稱該模型為非完美(non-perfect)聚類模型.

定義3(條件獨立聚類模型).對于視角l的聚類模型ml和視角l⊕1的聚類模型ml⊕1,如果滿足以下條件:

則稱ml和ml⊕1是兩個條件獨立的聚類模型.其中,.這里需要注意的是,我們使用代表點識別率來表示一個聚類模型在某一個視角上的聚類結果.這是因為在基于代表點的聚類模型中,無論是基于單代表點,還是多代表點,如果代表點或代表點的權重系數(shù)確定,那么數(shù)據(jù)的最終劃分(標簽)也能確定.通過上述 3個定義,我們給出定理1及其證明.

定理 1.如果條件獨立的假設能夠滿足,那么代表點差異性P(ml≠ml⊕1)是有效聚類模型和非完美聚類模型在視角l上代表點識別誤差的嚴格上限.

證明:聚類模型ml的代表點識別誤差可以表示為

聚類模型ml和ml⊕1之間的代表點差異性P(ml≠ml⊕1)可以表示為

因此,為了證明P(ml≠Y)＜P(ml≠ml⊕1),我們只需證明公式(10)所示的不等式成立即可.

根據(jù)定義3和貝葉斯原理,公式(10)可以改寫成公式(11)所呈現(xiàn)的形式:

根據(jù)定義1和定義2可知:

對于任一樣本xj,其在視角l下,在簇c中的權重系數(shù)為θcj,l,因此,可以采用進行度量,即.換言之,可以反映.因此,根據(jù)定理 1,公式(8)所描述的最大化視角間代表點一致性可以降低聚類模型在視角上的聚類誤差.

2 MFCMddI算法

2.1 目標函數(shù)及其優(yōu)化策略

將公式(2)和公式(8)帶入公式(1),即可得到 MFCMddI算法的目標函數(shù),如公式(13)所示,其約束條件和公式(2)的約束條件相同:

優(yōu)化公式(13)所示的目標函數(shù)可以看成求解一個約束優(yōu)化問題,通過引入拉格朗日乘子和 KKT條件,可以得到公式(14)所表示的優(yōu)化目標函數(shù):

定理2.在給定視角m下的樣本權重系數(shù)矩陣Θm,公式(14)所呈現(xiàn)的優(yōu)化目標函數(shù)取得極值時需要滿足的必要條件為

證明:KKT條件如公式(17)～公式(19)所示.

將公式(17)和公式(3)所示的約束條件聯(lián)合,可以求出:

其中,

對于公式(18),可以從以下兩個方面進行考慮.

(i)當αci,m=0時,公式(20)可以化簡為

(ii)根據(jù)公式(19)所示的 KKT 條件,當αci,m＞0 時,ψci,m=0;當ψci,m＞0 時,αci,m=0.因此,根據(jù)約束條件(4),可將簇集合分成兩個子集,如公式(16)所示.故對于;當時,,此時αci,m=0.因此,公式(20)可以重寫為

定理3.在給定視角m下的樣本模糊隸屬度矩陣Ψm,公式(14)所呈現(xiàn)的優(yōu)化目標函數(shù)取得極值時需要滿足的必要條件為

證明:定理3的證明方法與定理2基本相同,需要值得注意的是:公式(14)在對θcj,m求偏導數(shù)時,要分m=1和m≠1兩種情況分別討論,證明過程略. □

2.2 算法流程和復雜度分析

MFCMddI算法采用ψci,m和θcj,m相互迭代的方式來優(yōu)化目標函數(shù),即固定一個變量,求解另外一個.這里,我們先初始化ψci,m,然后求解θcj,m.另外,各個視角間存在協(xié)同學習(從公式(25)亦可看出,在求解θcj,m時,依賴其他視角的代表點權重系數(shù)),因此在算法執(zhí)行之前,除了需要對ψci,m初始化之外,還需要對θcj,m進行初始化.在文獻[22]中,為了避免目標函數(shù)陷于局部最優(yōu),所采用的初始化策略能夠使得簇中代表點在樣本空間的分布比較均勻.具體來說,第 1個簇中代表點選自距離其他樣本距離之和最小的樣本,剩下的簇中代表點選自距離已選代表點最遠的樣本.因此,MFCMddI算法借鑒這種初始化策略,首先對第 1個視角的ψci,m和θcj,m(m=1)進行初始化,如果在視角1下簇c的中心是xi,則ψci,m=1;否則,ψci,m=0.同樣地,如果在視角 1下簇c的中心是xj,則θcj,m=1;否則,θcj,m=0.對于多視角數(shù)據(jù)而言,由于不同視角之間樣本的對應關系是已知的,故在第 1個視角初始化完成之后,其他視角直接采用第 1個視角的結果.這樣做的目的是使得在多視角協(xié)同聚類過程中,同一個簇在不同的視角下保持一致的標簽編號.當算法收斂時,可以獲取到每個視角下的模糊劃分矩陣.一般來說,可以通過計算其幾何均值來獲取全局的模糊劃分,本文亦采取同樣的集成策略,即

其中,Ψm表示視角m的模糊劃分矩陣,Ψ表示全局模糊劃分矩陣.初始化算法和MFCMddI算法描述如算法1和算法2所示.

算法1.Initialization.

輸入:第1個視角樣本的距離矩陣Γ1、簇個數(shù)K、視角數(shù)P.

輸出:每個視角的初始模糊隸屬度矩陣Ψm和代表點權重系數(shù)矩陣Θm;m=1,2,3,…,P.

過程:

算法2.MFCMddI.

輸入:每個視角的距離矩陣Γm(m=1,2,3,…,P);簇個數(shù)K;視角數(shù)P;平衡參數(shù)Aψ,Aθ,Bθ;迭代停止誤差ε;m=1,2,3,…,P;初始化得到的各個視角初始的Ψm和Θm.

輸出:全局模糊隸屬度矩陣Ψ.

過程:

在MFCMddI算法執(zhí)行之前,需要設置不同的參數(shù),K和ε可由用戶按照樣本的特征設定,Aψ和Aθ用于控制目標函數(shù)中兩個泛化項的貢獻,Bθ用于控制視角間代表點一致性約束的貢獻.為了使各項之間趨于平衡,在Aψ已知的情況下,我們給出另外兩個平衡參數(shù)的取值指導規(guī)則:Aθ=AψN/K,Bθ=Aθ/2.

從算法2的描述中可以看出,MFCMddI算法的時間復雜度由兩部分構成,分別為計算每個視角下樣本之間的距離所消耗的時間以及迭代過程所消耗的時間.計算樣本之間距離的時間復雜度為O(N2P),迭代過程的時間復雜度為O(PNK),因此,整種算法的時間復雜度為O(N2P+PNK),其中,P表示視角數(shù),N表示樣本數(shù),K表示簇個數(shù).

3 實驗與分析

3.1 實驗設置

為了評價 MFCMddI算法在多視角數(shù)據(jù)集上的聚類效果,本節(jié)將在不同類型的數(shù)據(jù)集上進行實驗,包括:(1)人造數(shù)據(jù)集;(2)真實數(shù)據(jù)集.另外,還將所提出的算法應用到腦磁共振圖像組織分割的場景中.為了突出所提算法的優(yōu)勢,選擇相關的單視角聚類算法 FCMdd[22]和多視角聚類算法 MVFCMddV[23]、TW-k-means[16]、CoTrainSpec[11]、Co-FKM[10]、WV-Co-FCM[12]、MFCMdd-RWG-P[24]作為對比算法,并利用指標 NMI(normalized mutual information)[25]和ARI(adjusted rand index)[26]進行聚類效果的評價,其中,NMI基于信息論,ARI基于樣本對計數(shù),二者的定義如下.

假設某一數(shù)據(jù)集包含N個樣本,Nij表示由聚類算法產(chǎn)生的第i個簇與真實的第j個簇的契合程度,Ni和Nj分別表示所述第i個簇與第j個簇的樣本數(shù),則

在對腦磁共振圖像進行組織分割時,我們采用DC(dice coefficient)和JS(jaccard similarity)來評價分割的效果[27].假設Ai和Bi分別表示算法分割的第i個簇和真實第i個簇,則DC和JS的定義如下:

其中,C表示簇個數(shù),|·|表示集合中元素的個數(shù).DC和JS的取值區(qū)間均為[0,1],值越大,表示聚類效果越好.

在實驗部分,MFCMddI算法與對比算法的可調參數(shù)設置,采用網(wǎng)格搜索策略,并結合評價指標,進行參數(shù)尋優(yōu),各算法的尋優(yōu)范圍和設置策略見表1.

Table 1 Parameters setup for MFCMddI and comparison approaches表1 MFCMddI和對比算法的參數(shù)設置

對于所有的算法實驗,分別記錄50次獨立實驗結果的各評價指標的平均值和標準差用于算法性能評價.實驗運行的平臺為Windows 7,CPU為I5-4950,4核心,內(nèi)存為8G,MATLAB版本為R2012b.

3.2 人造數(shù)據(jù)集實驗

為了驗證MFCMddI算法在視角內(nèi)的劃分質量以及視角間代表點一致性約束的效果,首先構建如圖1所示的人工數(shù)據(jù)集DS1.DS1包含2個視角,每個視角均包含共11個樣本,其中,樣本1～樣本4屬于同一簇,其余樣本屬于另外一簇.由第1.2節(jié)所提出的聚類模型可知,當Bθ=0時,MFCMddI退化成基于多代表點的單視角算法.因此,為了驗證MFCMddI在視角內(nèi)刻畫簇結構上的優(yōu)勢,選擇視角-1,并引入單代表點單視角聚類算法FCMdd,與其在視角內(nèi)進行聚類效果比較.表2給出了FCMdd和MFCMddI在視角-1上的聚類結果.

Fig.1 Sample distribution of DS1圖1 DS1的樣本分布

Table 2 Clustering results for FCMdd and MFCMddI on view-1表2 FCMdd和MFCMddI在視角-1上的聚類結果

從表2中可以看出,FCMdd將樣本1～樣本4、樣本11劃分為一類,標記成簇1;其余樣本劃分為另一類,標記成簇2;且算法識別出簇1的代表點為樣本4(代表點用“√”標記,非代表點用“-”標記),簇2的代表點為樣本7.另外,通過仔細觀察亦可發(fā)現(xiàn),在 FCMdd中,代表點隸屬于其所代表簇的程度為 1,即ψ24=1.這種現(xiàn)象在MFCMddI中并不存在,在MFCMddI中,并不要求具有最大θ的樣本同樣具有最大的ψ,例如在簇1中,樣本4代表簇1的程度最高,然而其屬于簇1的程度低于樣本1～樣本3.上述現(xiàn)象出現(xiàn)的原因可以歸結為如下幾點.

1)在FCMdd中,代表點距離自身的距離總為0,按照FCMdd中模糊隸屬度的計算方法,其模糊隸屬度顯然為1.換言之,在FCMdd中,若一個樣本被選為一個簇的代表點,那么它不可能再屬于其他簇.

2)與FCMdd不同,在MFCMddI進行視角內(nèi)劃分時,不再單獨地選擇某一個樣本作為簇的代表點,而是將所有的樣本都當成潛在的代表點,為每一個樣本分配不同的權重系數(shù)來反映其在簇中的重要程度,從而實現(xiàn)共同刻畫簇結構.在某一簇中權重系數(shù)高的樣本有可能屬于另外一個簇.

通過觀察樣本11的劃分情況,亦能發(fā)現(xiàn)單代表點和多代表點的區(qū)別.在圖1(a)中,虛線標識的空心圓代表簇1和簇2的理想簇中心(并非實際樣本),從圖中可以看出,樣本11離右邊的簇中心更近,但是從FCMdd劃分的結果來看,樣本11被劃分至左邊的簇,因為樣本11離代表點4更近,按照FCMdd中模糊隸屬度的計算方法,樣本11屬于簇1的模糊隸屬度大于屬于簇2的模糊隸屬度.這說明,單代表點在刻畫簇結構時存在一定的缺陷,尤其是像簇1中無樣本靠近理想簇中心時,這種單代表點策略的問題暴露的越明顯.但是在MFCMddI,樣本11被正確地劃分到簇1,這說明多代表點策略比單代表點策略更能刻畫簇的結構.

另外,為了觀察MFCMddI算法在利用視角間代表點一致性約束進行多視角協(xié)同聚類與獨立聚類之間的差異,在DS1上分別以Bθ=0以及Bθ≠0兩種情況來執(zhí)行MFCMddI算法,聚類結果見表3.

Table 3 Independent and cooperative clustering results for MFCMddI on DS1表3 MFCMddI在DS1上的獨立聚類和協(xié)同聚類結果

在表3中,加粗的權重系數(shù)表示簇中最具代表性的兩個樣本.從實驗結果可以看出,當Bθ=0時,視角-1中簇2的兩個最具代表性的樣本依次是 7,8,而視角-2中簇 2的兩個最具代表性的樣本依次是 8,10,即在視角-1與視角-2間,簇2的代表點不完全一致.另外,在視角-2中,樣本11被錯誤地劃分至簇1中.當Bθ≠0時,兩個視角進行協(xié)同聚類,協(xié)同的目標是使得視角間對應樣本的權重系數(shù)乘積之和達到最大,即保持視角間簇中樣本的代表性保持不變.從表3的實驗結果可以看出,視角-1中簇2的兩個最具代表性的樣本依次為7,8,視角-2中簇2的兩個最具代表性的樣本同樣依次為7,8.這說明相對于獨立聚類而言,MFCMddI算法利用視角間代表點一致性約束,調整了兩個視角中樣本的權重系數(shù),使得視角間簇中對應樣本的代表性保持一致.這一調整使得視角-2中簇 2中樣本的代表性變得更為合理,從而使得樣本11被正確地劃分至簇2中.

為了更進一步地突出MFCMddI算法的多視角協(xié)同聚類效果,構建DS2,并引入其他多視角聚類算法進行聚類效果的比較.DS2數(shù)據(jù)集包含3個視角,由3維空間樣本通過向3個2維空間(x-y,y-z,x-z)投影得到,每個視角均包含3個簇共600個樣本,如圖2所示.

MFCMddI算法以及所引入的對比算法的聚類結果見表4.對于MFCMddI,分別給出在Bθ=0和Bθ≠0時每個視角的聚類結果,當Bθ≠0時,global表示利用公式(27)而得到的全局聚類結果.從表4中評價指標反映的情況來看,在視角-y-z上,相對于獨立聚類,協(xié)同聚類使得該視角的劃分質量有了明顯的提升.這一優(yōu)勢可通過圖3進一步說明.

Fig.2 Distribution of DS2圖2 DS2的樣本分布

Table 4 Clustering results in terms of NMI and ARI of different approaches on DS2表4 不同算法在DS2上以NMI和ARI為指標的聚類結果

Fig.3 Clustering results of view-y-zwithBθ=0 andBθ≠0圖3 視角-y-z在Bθ=0與Bθ≠0時的聚類結果

圖3展示了視角-y-z在Bθ=0以及Bθ≠0時的聚類結果.在該圖中,按照樣本權重系數(shù)大小,每個簇中標記了兩個最具代表性的點,并用“五角星”表示.對比圖3(b)和圖3(a)可以看出,在簇中代表點一致性約束的作用下,“▽”表示的簇的兩個代表點發(fā)生了較為明顯的漂移,結合圖2(c),我們可以看出,這種漂移是朝著真實簇中心方向,從而使得圖3(b)的劃分結果更接近真實情況.

對于引入的多視角對比算法,WV-Co-FCM、MFCMdd-RWG-P、TW-k-means和CoRegSpec在DS2數(shù)據(jù)集上均達到了完美劃分,MVFCMddV和Co-FKM表現(xiàn)略差.其原因可以歸結為以下幾個方面.

1)WV-Co-FCM和TW-k-means算法通過引入香農(nóng)熵來自適應協(xié)同學習不同視角的權重,而對于DS2數(shù)據(jù)集,視角-x-y具有非常清晰的簇結構邊界,因此,這兩種算法能夠在該視角上學習到較高的權重,使得整個數(shù)據(jù)集的劃分結果極大地偏向于視角-x-y,故取得了表4所示的完美結果.

2)在 MFCMdd-RWG-P算法中,用戶可以自定義每個簇中代表點的個數(shù),且強制每個簇在不同的視角下代表點必須一致,同時為每個視角分配權重,權重可以通過與模糊隸屬度不斷交替迭代,使得目標函數(shù)值最小的方式而自適應獲得.與WV-Co-FCM和TW-k-means類似,在DS2數(shù)據(jù)上,由于視角-x-y的易分性,該算法達到完美劃分.

3)在CoRegSpec算法中,Kumar等人將半監(jiān)督學習中的協(xié)同正則化(co-regularization)技術移植至無監(jiān)督學習中來解決多視角聚類問題,并以此構建了多視角譜聚類的學習框架.在該架構中,協(xié)同正則化項引入的基礎是認為同一樣本在不同視角下應該屬于同一個簇;另外,對于每個正則化項,可由用戶設定正則化參數(shù)來控制其貢獻;同時,該參數(shù)也反映視角的重要程度.因此在 DS2中,由于視角-x-y的易分性,可以通過為該視角分配較大的正則化參數(shù)來保證整個數(shù)據(jù)集的聚類效果.

4)MVFCMddV事實上是FCMdd算法的多視角版本,MVFCMddV針對每個視角,構建樣本到簇中心距離矩陣,同時自適應學習每個簇在每個視角下的權重,然后通過加權求和的方式合并各個視角下的距離矩陣,使得目標函數(shù)的形式和FCMdd統(tǒng)一.然而,MVFCMddV算法并沒有像WV-Co-FCM和TW-kmeans那樣考慮視角本身的權重,因而在DS2數(shù)據(jù)上,視角-x-y易分性所帶來的好處并沒有得到很好的體現(xiàn).

5)Co-FKM算法是在FCM的框架下,通過引入模糊隸屬度約束項,使得各個視角之間的劃分盡量趨于一致.這種協(xié)同學習的方式會使得最終的劃分結果趨于一種均衡狀態(tài),例如,對于 DS2數(shù)據(jù)集來說會降低視角-x-y的劃分質量,但是會提高視角-y-z的劃分質量.因此,對于多視角數(shù)據(jù)集而言,若某個視角存在清晰的簇結構邊界,Co-FKM算法并非首選,基于視角加權的算法更加合適.然而對于本文所提出的MFCMddI算法而言,和Co-FKM一樣,并沒有考慮視角的權重;但是與Co-FKM不同的是,簇中代表點的一致性約束對于原本有著較好簇結構邊界的視角(模糊隸屬度矩陣偏“硬(crisp)”)不會造成很大的影響,因此在利用公式(27)進行模糊隸屬度矩陣合成時,最終的結果會偏向具有較好簇結構邊界的視角.這也是MFCMddI算法在未考慮視角權重的情況下,在DS2上取得完美劃分的原因.

3.3 真實數(shù)據(jù)集

為了更進一步地驗證MFCMddI算法在真實數(shù)據(jù)集上的表現(xiàn),我們從BSDS300中選擇一幅大小為121×81的彩色圖像(DS3)進行圖像分割實驗[29],分別將其RBG顏色空間的3個分量當成3個視角,該圖像如圖4所示,圖4(a)為原圖像;圖4(b)為人工分割結果,作為評價依據(jù);圖4(c)為視角-R;圖4(d)為視角-G;圖4(e)為視角-B.

MFCMddI算法以及所選對比算法在NMI和ARI上的評價結果見表5.另外,圖5也給出了從視覺角度的劃分結果.從定量評價的結果以及分割視角效果來看,MFCMddI相對于所選的對比算法而言具有一定的優(yōu)勢.

除了DS3之外,我們還使用CMU PIE數(shù)據(jù)集來測試算法的性能.該數(shù)據(jù)集包含41 368幅64×64人臉圖像,這些圖像分別由68人在不同的光照、姿勢和表情下獲得[30].圖6給出了C05和C27組中的示例樣本,其中,C05和C07為Deng等人[31]公開的在不同角度和光照條件下拍攝的照片.我們從C05和C27中各抽取100幅圖像,構建2視角數(shù)據(jù)集DS4來進行算法測試,實驗結果見表6.

Fig.4 Image elephant,manual partition result and its three views圖4 Elephant、人工分割結果及其3個視角

Table 5 Clustering results in terms of NMI and ARI of different approaches on DS3表5 不同算法在DS3上以NMI和ARI為指標的聚類結果

Fig.5 Segmentation results of different approaches on DS3圖5 不同算法在DS3上的分割結果

Fig.6 Samples from CMU PIE face dataset圖6 CMU PIE人臉數(shù)據(jù)庫中的示例樣本

Table 6 Clustering results in terms of NMI and ARI of different approaches on DS4表6 不同算法在DS4上以NMI和ARI為指標的聚類結果

從表6中可以看出,相對于所引入的對比算法,MFCMddI在評價指標NMI和ARI上取得了最佳的表現(xiàn)效果.相對于對比算法中表現(xiàn)最好的WV-Co-FCM,NMI指標提升了6.69%,ARI指標提升了9.83%.相對于表現(xiàn)最差的MFCMdd-RWG-P,NMI指標提升了18.54%,ARI指標提升了32.2%.另外,圖7給出了在協(xié)同狀態(tài)以及非協(xié)同狀態(tài)下,MFCMddI算法在 DS4上的可視化聚類結果以及代表點選擇情況(每個簇標注了兩個最具代表性樣本,且標注中的數(shù)字表示樣本在原始數(shù)據(jù)集中的編號).

Fig.7 Clustering results of MFCMddI on each view of DS4 withBθ≠0 andBθ=0 respectively圖7 在Bθ≠0和Bθ=0時MFCMddI算法在DS4上各個視角聚類結果

Fig.7 Clustering results of MFCMddI on each view of DS4 withBθ≠0 andBθ=0 respectively(Continued)圖7 在Bθ≠0和Bθ=0時MFCMddI算法在DS4上各個視角聚類結果(續(xù))

從圖7中可以看出,在非協(xié)同狀態(tài),視角-C05與視角-C27所標記的代表樣本在大多數(shù)情況下并不相同.然而在DS4中,兩個視角的樣本是同一個志愿者在不同角度和光照條件下獲得,故在DS4中,往往存在這樣的一個事實:在視角C05中具有代表性的樣本在視角C27中仍然具有代表性.所以,利用這樣的事實作為約束條件進行視角間協(xié)同聚類,能夠改善非協(xié)同聚類的性能.而從表6的定量分析以及從圖7所呈現(xiàn)的視覺效果來說,確實如此.

從在DS3和DS4這兩個真實數(shù)據(jù)集的實驗結果來看,基于視角加權策略協(xié)同聚類的算法,如WV-Co-FCM、TW-k-means、MFCMdd-RWG-S并未像在DS2上一樣取得最佳的劃分結果.這是因為在DS3和DS4上,任一視角上都不具備存在明顯的簇結構邊界的優(yōu)勢,這使得這類聚類算法所學習的權重的差異不夠顯著.然后,這兩個數(shù)據(jù)集在各個視角上卻能保持如前所述的事實,即樣本的重要程度在各個視角間差異很小,這樣的事實卻是有利于所提出MFCMddI算法的學習,因而在兩個數(shù)據(jù)集上取得了具有一定競爭力的劃分結果.

3.4 應用案例

從腦部磁共振圖像(magnetic resonance images,簡稱 MRIs)中分離出腦組織,包括灰質(gray matter,簡稱GM)、白質(white matter,簡稱WM)和腦脊液(cerebrospinal fluid,簡稱CSF)對于臨床診斷和輔助決策有著非常重要的作用[32-34].我們從McGill大學MN(McConnel brain imaging center of the montreal neurological institute)協(xié)會提供的BrainWeb模擬數(shù)據(jù)庫[35]中選擇5幅腦部磁共振圖像,相關屬性見表7.

Table 7 Properties of selected MRIs表7 所選腦部核磁共振圖像的相關屬性

ID為1的MRI及其解剖學上的分割結果(作為金標準)如圖8所示.對于所選的5幅MRI,分別利用Gabor濾波器抽[36]取不同的特征構建3個不同的特征視角,然后在所構建的多視角數(shù)據(jù)集上執(zhí)行MFCMddI算法和對比算法,并利用JS和DC指標進行評價.表8給出了所有算法在5幅MRI上運行的均值和標準差(每幅圖像獨立執(zhí)行 50次,獲得均值和標準差,然后再取每幅圖像的均值的平均值和標準差的平均值).對于 MFCMddI,僅給出集成后的全局劃分結果.從表8的結果來看,TW-k-means和MFCMddI均取得了較好的分割效果.

Fig.8 Illustration sample of MRI and anatomical segmentation resutls圖8 MRI示例樣本和解剖學分割結果

Table 8 Clustering results in terms of JS and DC of different approaches on MRIs表8 不同算法在MRI上以JS和DC為指標的聚類結果

3.5 參數(shù)分析

MFCMddI算法中,需要分析的主要參數(shù)有Aψ,Aθ,Bθ,其中,Aθ與Bθ可按照前文所述的指導規(guī)則設定.故只需分析Aψ在不同取值下對MFCMddI算法聚類效果的影響.我們從0.001～3這個區(qū)間中,為Aψ設定14個不同的值,分別為0.001,0.005,0.01,0.06,0.09,0.14,0.20,0.25,0.3,0.7,1,1.5,2和3,然后從NMI和ARI中選擇一個評價指標(這里選擇NMI,ARI類似),在DS2、DS3和DS4上評價MFCMddI算法在不同Aψ下的聚類效果,從而分析算法對參數(shù)Aψ的敏感性.圖9給出了MFCMddI算法在所選3個數(shù)據(jù)集上,評價指標NMI隨Aψ變化的曲線.

Fig.9 Clustering results on DS2,DS3 and DS4 in terms of NMI for the proposed MFCMddI with different parameterAψ圖9 MFCMddI算法在DS2、DS3和DS4上NMI隨參數(shù)Aψ的變化關系

從圖9中可以看出,參數(shù)Aψ對MFCMddI算法的聚類效果有著較大的影響,較大或者較小的取值都會降低算法的性能,在實踐中,可以在[0.001,0.8]中進行參數(shù)尋優(yōu).

4 結 論

傳統(tǒng)的單視角聚類算法在應用于多視角聚類任務時缺乏有效的協(xié)同學習方法.針對此問題,本文首先提出了一種多視角聚類模型.該模型的目標函數(shù)由兩項構成:第1項反映視角內(nèi)劃分質量;第2項為約束項,反映視角間的協(xié)同學習機制.在此基礎上,提出了一種基于多代表點一致性約束的多視角模糊聚類算法.該算法通過采用簇結構多代表點表示策略來保障視角內(nèi)的劃分質量;同時,認為簇內(nèi)代表點在不同的視角下能夠保持其代表性,進而在算法的目標函數(shù)中,通過最大化兩兩相鄰視角下代表點權重系數(shù)的乘積之和的方式進行協(xié)同學習.理論分析表明,該協(xié)同學習機制確實能夠保證聚類效果的提升.最后,在人工數(shù)據(jù)集以及真實數(shù)據(jù)集上,通過實驗驗證了該算法在多視角數(shù)據(jù)集上的聚類效果,并通過與同類算法的對比,突出該算法的優(yōu)勢.

盡管 MFCMddI算法在多視角數(shù)據(jù)集上具有不錯的聚類效果,然而在后續(xù)的研究過程中,仍然存在進一步拓展的空間,例如,如何解決不同視角下樣本數(shù)量不一致問題、如何差異化地對待不同的視角問題等.這些問題也將成為我們后續(xù)研究的重要目標.