陳俊芬，張 明，趙佳成，謝博鋆，李 艷

1.河北大學 數(shù)學與信息科學學院 河北省機器學習與計算智能重點實驗室，河北 保定071002

2.北京師范大學珠海分校 應用數(shù)學學院，廣東 珠海519087

聚類是把無標簽數(shù)據(jù)劃分為若干個不相交的類簇，挖掘出有價值的特征和類別信息[1-2]。深度聚類是指基于深度學習技術(shù)的聚類方法。相較于傳統(tǒng)聚類方法，深度聚類利用網(wǎng)絡(luò)結(jié)構(gòu)自動學習輸入數(shù)據(jù)的潛在特征，并通過最小化聚類損失函數(shù)調(diào)整網(wǎng)絡(luò)參數(shù)來達到最優(yōu)的聚類指派。

自編碼器（auto-encoder，AE）是近年來一種經(jīng)典的無監(jiān)督學習的非線性特征提取方法[3-5]。自編碼器擁有對稱結(jié)構(gòu)能進行特征維度約簡，其瓶頸層輸出可以學習到高維輸入數(shù)據(jù)的低維緊湊的特征表示[6-7]。早期的深度聚類工作是分開執(zhí)行特征提取與聚類分析[8-9]。特征提取和聚類劃分任務(wù)依順序進行，兩者耦合度低，學到的特征表示不一定帶來好的聚類劃分。為了克服這一不足之處，堆疊自編碼器的深度嵌入式聚類模型DEC（unsupervised deep embedding for clustering analysis）用聯(lián)合學習策略來學習特征表示和類標分配[10]。通過不斷迭代優(yōu)化KL損失函數(shù)調(diào)整模型參數(shù)和K-means 的聚類結(jié)果。這種聯(lián)合訓練能捕捉適合聚類的特征表示，提高了聚類性能。但當圖像的質(zhì)量下降（噪聲、姿態(tài)、表情、光照、背景等因素造成），特征映射空間會出現(xiàn)較大偏差，在類邊界處的出錯率很高，說明特征表示的可分性不夠。視覺注意力機制最大化有限的注意力，從局部獲得有價值的信息，抑制無用信息。Zheng等人[11]將自注意力加入CNN（convolutional neural network），更好地完成了圖像細粒度的識別任務(wù)，用更加全局的信息來彌補小卷積核獲取信息不足的缺陷。同時，F(xiàn)u 和Zheng 等人[12]提出了一個全新的循環(huán)注意力卷積神經(jīng)網(wǎng)絡(luò)，通過由粗到細迭代地生成區(qū)域注意力完成紋理細密的物體識別學習。受此啟發(fā)，將自注意力機制引入深度聚類模型，加強對輸入圖像的某個局部信息的關(guān)注。

為了進一步提高深度聚類模型對復雜圖像數(shù)據(jù)的聚類性能，本文提出了一種新的聚類算法DDC（deep denoising clustering）。DDC聚類方法主要思想包括：采用深度卷積降噪自編碼器[13]學習輸入數(shù)據(jù)的特征表示；通過自注意力機制弱化數(shù)據(jù)的無用信息捕獲關(guān)鍵特征；聯(lián)合訓練卷積降噪編碼器與K-means聚類算法的統(tǒng)一模型；同時完成特征表示學習和聚類劃分兩個任務(wù)。自注意力機制的本質(zhì)是對輸入數(shù)據(jù)的各個特征賦予不同的權(quán)重來突出更重要的信息，使模型獲得更準確的特征表示。本文的主要貢獻點為：

（1）提出一種新的深度聚類模型，由卷積降噪自編碼器結(jié)合自注意力機制組成。

（2）引入一個超參數(shù)，放大數(shù)據(jù)點到非近鄰類中心距離來降低其相似性。加快具有唯一最大值的概率向量收斂到one-hot向量的速度。

（3）增加深度聚類模型的多樣性，擴大了圖像聚類的應用范圍。

1 相關(guān)工作

1986 年Rumelhart 等人首次提出自編碼器概念，主要用于數(shù)據(jù)壓縮[14]。2006 年Hinton 等人[15]用逐層訓練好的堆疊自編碼器網(wǎng)絡(luò)參數(shù)值作為深度信念網(wǎng)絡(luò)（deep belief network，DBN）的參數(shù)初始值，并用BP（back propagation）算法成功訓練了DBN得到很好的分類性能。這種預訓練極大地改善了陷入局部極小的情況，由此產(chǎn)生了深度自編碼器。2008 年Vincent等人[13]提出降噪自編碼器網(wǎng)絡(luò)（denoising auto-encoder，DAE），通過對噪聲數(shù)據(jù)重構(gòu)得到干凈數(shù)據(jù)的方式獲取更魯棒的特征表達。堆疊降噪自編碼器（stacked denoising auto-encoder，SDA）需要層級訓練，過程比較麻煩。為此，Chen等人提出了marginalized SDA[16]，其核心思想是隨機噪聲對圖片的損壞利用期望的乘積表示，從而得到了優(yōu)美的閉形式解，而且算法簡單，實驗驗證效果還不錯。2011 年Masci 等人[3]提出卷積自編碼器用來捕獲圖像數(shù)據(jù)的空間結(jié)構(gòu)信息，進而得到了更好的特征表示。

Tian 等人[8]通過堆疊自編碼器學習原圖像的非線性特征表示，然后K-means對特征表示執(zhí)行聚類獲得了出色的聚類結(jié)果。這類深度聚類算法分為特征學習和聚類劃分兩部分，前一部分不一定學習到最適合后一部分（聚類劃分）的特征表示，從而影響了聚類性能。

近幾年，很多新型的深度聚類算法采用聯(lián)合訓練策略去統(tǒng)一學習特征表示和類標分配[17-18]。聯(lián)合訓練策略充分利用聚類結(jié)果來調(diào)整網(wǎng)絡(luò)參數(shù)。Xie 等人[10]提出一種深度嵌入式聚類算法DEC。該算法使用降噪編碼器逐層預訓練方式初始化堆疊自編碼器，然后優(yōu)化Kullback-Leibler 散度損失微調(diào)該聚類模型。4 個圖像數(shù)據(jù)集上的實驗對比顯示采用聯(lián)合訓練的DEC 比分部訓練的DEC 提供了更出色的聚類性能，驗證了聯(lián)合訓練的有效性。接著，Li 等人[19]提出了基于卷積自編碼器的深度聚類算法（discriminatively boosted clustering，DBC）。該算法的優(yōu)勢：（1）卷積操作能保留圖像的空間局部性[20]；（2）判別式增強分配能提高聚類分配的純度；（3）直接端到端預訓練替代層層預訓練來初始化卷積自編碼器。DBC在MNIST 上聚類精度達到0.964，大大超過DEC 的0.843。Dizaji 等人[21]提出了深度嵌入正則聚類模型（deep clustering via joint convolutional auto-encoder embedding and relative entropy minimization，DEPICT）。該模型使用端到端模式訓練卷積降噪編碼器，得到初始化的特征表示；使用多項邏輯回歸函數(shù)（即Softmax 函數(shù)）計算特征點與聚類中心點的相似性；編碼器的重構(gòu)損失正則約束KL 散度避免深度聚類模型過擬合。DEPICT 在MNIST 數(shù)據(jù)集上的聚類精度達到了0.965，目前是最高記錄。Yang 等人[22]提出一個基于循環(huán)網(wǎng)絡(luò)的深度聚類框架（joint unsupervised learning of deep representations and image clusters，JULE），該模型將卷積自編碼器與agglomerative層次聚類聯(lián)合訓練，獲得強大的特征表示和更精確的圖像聚類結(jié)果。然而，JULE需要微調(diào)大量參數(shù)，對真實聚類問題并不現(xiàn)實。

盡管這些研究工作從不同方面對聯(lián)合模型的統(tǒng)一訓練進行了研究、優(yōu)化并取得很好的進展，但仍存在一些不足之處。當圖像數(shù)據(jù)被噪聲損壞時，特征映射空間也會出現(xiàn)偏差，這將導致聚類效果大打折扣。為了提高對噪聲數(shù)據(jù)的聚類魯棒性，本文提出了一種新的深度聚類模型，它可以更好地將被污染的數(shù)據(jù)映射到特征空間并準確地完成聚類劃分。

2 基于卷積降噪編碼器的深度聚類算法

圖像、視頻等高維數(shù)據(jù)的復雜性體現(xiàn)在：（1）特征內(nèi)容通常包含一些擾亂信息，影響類簇的劃分；（2）體量大，人工選擇特征會耗費大量的財力和物力。經(jīng)典堆疊自編碼器的特征表示能力有限，需要加入卷積模塊來提高局部特征的表示能力，同時有從噪聲數(shù)據(jù)中提取特征的表示能力，因此本文建立卷積降噪自編碼器模型來學習輸入數(shù)據(jù)的最優(yōu)特征表示。具體地，用深度卷積降噪自編碼器和自注意力的深度聚類模型DDC（如圖1）來提高K-means的聚類性能。

圖1模型的上半部分是卷積降噪編碼器；下半部分由編碼器網(wǎng)絡(luò)和聚類算法組成。DDC深度聚類問題描述為：原始圖像數(shù)據(jù)是X=[x1,x2,…,xN]，帶高斯噪聲的圖像數(shù)據(jù)為，每個xi和都代表一幅圖片；特征空間的特征嵌入為Z=[z1,z2,…,zN]，zi∈Rn，其中N為圖片個數(shù)，n是特征空間中的特征維度。由原始空間到特征空間的映射為?θ:Χ→Ζ，其中θ是網(wǎng)絡(luò)參數(shù)的集合，聚類的類中心為U=[u1,u2,…,uK]，其中K是類簇的個數(shù)。深度聚類的最后輸出是最優(yōu)的特征表示和類中心以及每個圖像的硬指派類標。訓練DDC模型包含下面兩部分：

（1）用端到端策略訓練深度卷積降噪自編碼器（deep convolutional denoising auto-encoder，CDAE），見圖1 的上半部分，得到網(wǎng)絡(luò)參數(shù)和圖像的特征表示；并對當前的特征表示進行K-means 聚類，得到類中心點和聚類劃分的硬指派。

（2）用聯(lián)合策略訓練編碼器和K-means聚類組成的統(tǒng)一模型DDC（圖1的下半部分），優(yōu)化聚類損失函數(shù)來更新網(wǎng)絡(luò)參數(shù)和聚類結(jié)果。

2.1 DDC的網(wǎng)絡(luò)結(jié)構(gòu)

卷積自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)示意圖是圖1 的上半部分。有4組卷積層和池化層交替連接，會有自注意力層隨機加在某個卷積層后面，最后有1個卷積層用來壓扁特征圖為特征向量，還有1個全連接層組合局部特征。

Fig.1 Framework of DDC algorithm圖1 DDC算法的框架示意圖

被污染的圖像數(shù)據(jù)指的是混入高斯噪聲的原始圖像，作為該卷積編碼器的輸入，輸出設(shè)置為原始圖像，引導網(wǎng)絡(luò)學習輸入數(shù)據(jù)的魯棒特征。文獻[12]的自注意力機制如圖2所示，其中函數(shù)f(x)、g(x)和h(x)都是1×1卷積核，但它們的輸出通道數(shù)會有不同。自注意力的計算過程[12]簡單描述為：（1）圖像特征分別經(jīng)過卷積操作轉(zhuǎn)換為3 個特征空間。（2）將f(x)的輸出特征轉(zhuǎn)置與g(x)的輸出特征相乘，得到各個元素點之間的相關(guān)性得分矩陣。（3）利用Softmax 對相關(guān)性得分轉(zhuǎn)換成所有元素權(quán)重之和為1的概率分布，突出重要元素的權(quán)重。（4）將權(quán)重系數(shù)分布和h(x)輸出特征逐元素點相乘，得到自適應的注意力特征。

搭建好具有自注意力和降噪學習的深度卷積降噪編碼器結(jié)構(gòu)。隨后訓練該網(wǎng)絡(luò)，即最小化目標函數(shù)式（1），得到圖1上半部分的網(wǎng)絡(luò)參數(shù)值。

其中，第一部分是降噪卷積編碼網(wǎng)絡(luò)的重構(gòu)誤差；第二部分是網(wǎng)絡(luò)參數(shù)的正則項，可以降低網(wǎng)絡(luò)過擬合的風險，超參數(shù)λ>0。

Fig.2 Self-attention mechanism圖2 自注意力機制

該深度卷積降噪自編碼器將帶噪聲的圖像數(shù)據(jù)由高維原始空間映射到低維特征空間，得到特征表示。K-means算法對當前得到的特征表示執(zhí)行聚類，得到類中心點和每個圖像數(shù)據(jù)所屬的類別。這也是實驗3.6 節(jié)中提到的分部訓練的CDAE-Kmeans 聚類算法。至此完成了DDC算法的參數(shù)初始化。

2.2 DDC的自學習算法

首先計算嵌入點zi與類中心點μj的相似性并歸一化為概率值，作為歸類的軟指派，計算公式為：

由式（2）和式（3）得到兩個概率分布向量qi=[qi1,qi2,…,qiK]T和pi=[pi1,pi2,…,piK]T，它們有下列關(guān)系：

如果有qic=arg max{qi1,qi2,…,qiK}>，則一定有pic>qic且pij

該結(jié)論說明輔助目標提高了聚類劃分的清晰度。當樣本點xi屬于類μc，輔助概率pic比聚類概率qic要高，同時降低了屬于其他類μj的概率，詳細證明過程可見文獻[19]。

深度聚類DDC算法的目標函數(shù)是所有圖像的真實歸類的概率分布與目標概率分布的差異性之和，還有網(wǎng)絡(luò)參數(shù)θ的L2約束防止DDC模型過擬合。

計算目標函數(shù)Lc對嵌入點zi與類中心點μj的偏導數(shù)，得到下面的式（5）和式（6）：

根據(jù)式（5）用反向傳播來更新網(wǎng)絡(luò)權(quán)重和用式（6）更新類中心點，重復該過程直到滿足收斂條件?；谏疃染矸e降噪自編碼器與K-means 聯(lián)合訓練的聚類算法，DDC偽代碼描述在算法1和算法2中。

算法1CDAE-Kmeans 聚類算法（初始化DDC算法）

輸入：圖像數(shù)據(jù)集、類簇個數(shù)。

輸出：網(wǎng)絡(luò)權(quán)值、特征表示；類中心和聚類指派。

1.預處理

對該數(shù)據(jù)集進行歸一化處理

加入高斯噪聲

用高斯分布的隨機數(shù)初始化網(wǎng)絡(luò)參數(shù)

2.使用端到端策略訓練CDAE

對目標函數(shù)(1)用隨機梯度下降的算法最小化迭代直到收斂

3.輸出網(wǎng)絡(luò)參數(shù)值和瓶頸層的特征表示

4.K-means算法對特征進行聚類，得到聚類中心和聚類指派

算法2DDC聚類算法

輸入：編碼器的參數(shù)值和特征表示。

輸出：類標向量和類簇中心。

聯(lián)合訓練過程

1.根據(jù)式（2）計算真實的概率分布

2.根據(jù)式（3）生成輔助概率分布

3.根據(jù)式（5）和式（6）迭代更新網(wǎng)絡(luò)參數(shù)和聚類中心，直到滿足停止條件

4.對每一個特征表示，按歐式距離找到最近聚類中心點，并將其歸入此類簇

算法1（BP 算法訓練卷積降噪編碼器CDAE）的時間復雜度需要考慮前饋和反向傳播兩階段，每一階段又主要包括卷積層和全連接層的復雜度分析。對一個訓練樣例，循環(huán)一次的算法復雜度為：

（1）信息前傳過程中卷積層的時間復雜度是O(CinCoutK2M2)，其中Cin是輸入通道數(shù)；Cout是輸出通道數(shù)；K是卷積核的尺寸；M=是輸出特征圖的尺寸，由輸入尺寸I、卷積核尺寸K、邊緣填充p（padding）、步長s（stride）決定。反向傳播時的時間復雜度是O(CoutCinK2I2)。

（2）前傳過程中全連接層的時間復雜度為O(n1n2)，其中n1是輸入神經(jīng)元個數(shù)，n2是輸出神經(jīng)元個數(shù)。誤差反向過程中時間復雜度和前饋計算相同，也是O(n1n2)。

（3）空間復雜度包括卷積層的O(CinCoutK2)和全連接層的O(n1n2)。

算法2 的復雜度主要是K-means 算法的復雜度，其時間復雜度為O(tmNk)，空間復雜度為O(N)，其中N是樣例個數(shù)，k是聚類個數(shù)，tm是算法循環(huán)次數(shù)。

3 實驗與分析

本章在4 個真實圖像數(shù)據(jù)集上驗證所提算法的聚類性能，并與經(jīng)典深度聚類算法進行比較。實驗環(huán)境：硬件平臺為Intel?CoreTMi5-4590處理器，8.0 GB RAM；編程環(huán)境為Anaconda5.3.1，使用開源的深度學習框架Keras庫搭建DDC網(wǎng)絡(luò)。

3.1 數(shù)據(jù)集

MNIST 是10 個手寫數(shù)字的圖像集，包含70 000張28×28 的灰度圖片。Fashion-MNIST是10類日常穿著的數(shù)據(jù)集，也包含70 000張28×28 的灰度圖片。COIL-20 包含20 類常見的生活物品，每類物品有72張128×128 不同角度的灰度圖片，共1 440 張圖片。而COIL-100包含100類物品的128×128 不同角度的7 200個彩色圖片。4個圖像數(shù)據(jù)集的部分圖片展示在圖3中。

Fig.3 Several examples of 4 image datasets圖3 4個圖像數(shù)據(jù)集的部分樣例

3.2 聚類評價指標

已知圖像數(shù)據(jù)X和真實劃分U={U1,U2,…,UR}，某一聚類算法提供的聚類結(jié)果為V={V1,V2,…,VC}。本文的評價指標包括聚類結(jié)果可視化、聚類精度（clustering accuracy，ACC）和調(diào)整互信息系數(shù)（adjusted mutual information，AMI）[23-24]。

聚類精度ACC 是聚類正確的數(shù)據(jù)數(shù)N1與總數(shù)N的比值，即：

指標AMI 利用基于互信息來衡量聚類結(jié)果，計算公式如下：

其中，H(U)和H(V)是U和V的信息熵，MI(U,V)是互信息，E[MI(U,V)]是互信息的期望。聚類精度和調(diào)整互信息這兩個評價指標的數(shù)值越接近1，說明聚類結(jié)果越可靠，準確度越高。

3.3 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置

深度聚類算法DDC在這4個數(shù)據(jù)集上的網(wǎng)絡(luò)參數(shù)列于表1。表1中，Conv和Pool列中的第一個數(shù)字代表卷積核個數(shù)，第二部分代表卷積核尺寸，而“—”表示該部分不存在。MNIST上Conv1后有一個自注意力層；Fashion-MNIST 和COIL-100 的Conv2 后各有一個自注意力層；而COIL-20上Conv4后有一個自注意力層。自注意力機制的本質(zhì)是對各個特征賦予不同的權(quán)重使模型獲得更準確的特征表示，因此本文網(wǎng)絡(luò)模型中卷積層后隨機加入1個自注意力層。

首先，用正態(tài)分布Ν(0,0.012)生成的隨機數(shù)初始化權(quán)重。所有層的激活函數(shù)是ReLU函數(shù)，卷積核都是5×5 且步長為1，除了COIL-20 上的Conv5 是4×4。全部用2×2 的最大池化，且每個池化層后有一個正則化層，這能緩解梯度消失并規(guī)范權(quán)重。每個batchsize是256。

Table 1 Detailed network structure settings表1 詳細的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置

其次，聯(lián)合訓練階段采用Adam 優(yōu)化器[25]。相比于隨機梯度下降優(yōu)化器（stochastic gradient descent，SGD）[26]，Adam優(yōu)化器能更快收斂且最終聚類性能較SGD好。

最后，為了減少隨機初始化類中心點對K-means聚類性能的影響，后面實驗提供的K-means聚類結(jié)果均是重復50次實驗中最好的結(jié)果。

3.4 算法對噪聲的有效性

首先，一組實驗在帶噪聲的數(shù)據(jù)集上進行，來驗證深度卷積降噪編碼器從噪聲數(shù)據(jù)學習特征表示的有效性。人工混入高斯噪聲，噪聲比例范圍是0～25%，圖4 展示了加入不同高斯噪聲比的3 個圖像。經(jīng)典K-means 聚類算法對所提取的特征數(shù)據(jù)進行聚類。DDC 算法在這3個帶噪聲的數(shù)據(jù)集上的聚類性能指標畫在圖5、圖6中，注意此組實驗加入了注意力機制。

Fig.4 Examples from COIL-20 dataset with different proportional Gaussian noises圖4 COIL-20數(shù)據(jù)集上不同高斯噪聲比的樣例

Fig.5 ACC with varying noise rates on 4 datasets圖5 在4個數(shù)據(jù)集上變化噪聲比的聚類精度

Fig.6 AMI with varying noise rates on 4 datasets圖6 在4個數(shù)據(jù)集上變化噪聲比的標準互信息

由圖5和圖6可以看出，在干凈數(shù)據(jù)上DDC算法的聚類精度和互信息不是最高。當噪聲比例由0 變到10%，聚類精度逐步提升，說明卷積降噪編碼器能捕捉到有效的特征表示。當噪聲比超過10%，圖像受損比較嚴重，導致該編碼器的重構(gòu)偏差比較大，特征表示能力又下降，因此聚類精度有所下降。在嵌入了10%噪聲的數(shù)據(jù)上，聚類精度和互信息都達到了最好。驗證了深度卷積降噪編碼器能從噪聲數(shù)據(jù)中學到更魯棒的特征表示，提升了K-means 的聚類性能。在后面的實驗中，DDC 均采用含10%高斯噪聲的數(shù)據(jù)執(zhí)行聚類分析。

3.5 DDC算法對注意力機制的有效性

第二組實驗在4個數(shù)據(jù)集上驗證DDC算法對注意力機制的有效性。K-means 算法對這組特征表示的聚類性能列于表2。相應地，隨機選取部分聚類結(jié)果可視化在圖7～圖10。

Table 2 Influence of self-attention mechanism used in DDC algorithm on clustering performances表2 DDC算法中自注意力機制對聚類結(jié)果的影響

由表2可以看出，注意力機制較大幅度地提升了DDC算法在COIL-20數(shù)據(jù)集上的聚類性能；在Fashion-MNIST數(shù)據(jù)集上有小幅度的提升；而在MNIST數(shù)據(jù)集上沒變化。由此可見，注意力機制有助于卷積編碼器學習適合聚類的特征表示，為正確聚類劃分提供有力保障。

Fig.7 Clustering results of DDC algorithm on MNIST圖7 DDC算法在MNIST上的部分聚類結(jié)果

Fig.8 Clustering results of DDC algorithm on Fashion-MNIST圖8 DDC算法在Fashion-MNIST上的部分聚類結(jié)果

從圖7可以看出，DDC算法提供了不錯的聚類結(jié)果。但是DDC算法對同一類簇的某些“異形個體”不能正確歸類，比如帶鉤的數(shù)字9、帶橫的數(shù)字1和物品的側(cè)面等。當某些個體和類簇內(nèi)的主體差別較大時，如何對它們正確歸類是下一步要研究的問題。

Fig.9 Clustering results of DDC algorithm on COIL-20圖9 DDC算法在COIL-20上的部分聚類結(jié)果

Fig.10 Clustering results of DDC algorithm on COIL-100圖10 DDC算法在COIL-100上的部分聚類結(jié)果

觀察圖8～圖10 可以看到，DDC 算法在Fashion-MNIST 上的聚類性能稍弱；COIL-20 中存在少量“側(cè)視圖”，DDC 難以辨識這些有稍大旋轉(zhuǎn)角度的圖像，例如標號2 的物體被錯誤地劃分為15 和13；COIL-100的某些類簇之間相似性很大，比如汽車之間主要存在顏色差異，DDC算法未能識別這種差異，聚類結(jié)果不是很好。

另外，深度卷積降噪編碼器在MNIST 數(shù)據(jù)集上學習到二維特征展示在圖11 中。圖11（a）是未引入注意力學到的二維特征，而圖11（b）是引入注意力學到的二維特征。若類簇間具有清晰的邊界則表明卷積編碼器性能優(yōu)異，學到的特征表示有益于正確歸類?？梢钥吹綀D11（a）的團簇分布交疊較混亂，邊界模糊且某兩個數(shù)字均被分為不相關(guān)的區(qū)域里；而圖11（b）的類簇比較集中，邊界比較清晰，每個數(shù)字基本上都有自己的區(qū)域?？梢?，結(jié)合了自注意力的卷積降噪編碼器更能捕獲手寫數(shù)字的關(guān)鍵細節(jié)特征，摒棄無用信息，能更好地完成特征學習任務(wù)。

3.6 與其他聚類算法的對比實驗

本組實驗包括DDC和CDAE-Kmeans算法在4個數(shù)據(jù)集上的深度聚類，聚類性能指標見表3。CDAEKmeans算法是先學習特征表示，然后K-means聚類。DEC[10]和K-means算法對干凈圖像聚類。

在MNIST 數(shù)據(jù)集上，K-means 的聚類性能最差，聚類精度僅僅達到0.392。用端到端聯(lián)合訓練的DEC 算法提供了0.841 的聚類精度。同樣用端到端聯(lián)合訓練的DDC 算法有0.892 的聚類精度。用端到端分部訓練的CDAE-Kmeans的性能優(yōu)于K-means卻比DEC 和DDC 差。這組實驗證實了特征表示對提升聚類性能的重要性；聯(lián)合訓練比分部訓練提取到更有利于聚類的特征表示；擁有降噪和注意力的DDC算法優(yōu)于其他3個算法。

Fashion-MNIST 數(shù)據(jù)集上的結(jié)果與MNIST 上的結(jié)果類似，K-means的聚類性能最差，而DDC最好，但DEC 的性能比CDAE-Kmeans 稍差。這是由于DEC算法采用堆疊編碼器提取特征，而CDAE-Kmeans 用卷積降噪自編碼器提取特征。卷積網(wǎng)絡(luò)的優(yōu)勢是其特征中保留著近鄰關(guān)系和空間局部性。

在COIL-20 數(shù)據(jù)集上，DEC 算法的聚類性能低于K-means，而CDAE-Kmeans 和DDC 的聚類性能都優(yōu)于DEC。觀察COIL-20 的圖像可知：很多物品的輪廓大致對稱，并且多張圖片有旋轉(zhuǎn)角度。DEC 算法學到的特征表示不能辨識出較大角度的圖片，而CDAE-Kmeans和DDC算法表現(xiàn)比較好，能學到一些有辨識力的特征表示，從而出色地完成聚類劃分。

在COIL-100上，DEC算法的聚類性能與K-means相當，CDAE-Kmeans和DDC均優(yōu)于DEC。由于COIL-100 的類別數(shù)比COIL-20 多，物體有較大的旋轉(zhuǎn)角度，導致區(qū)分某些類簇的難度增大，故DDC 算法在COIL-100上表現(xiàn)略差。

Fig.11 Distribution of two-dimensional feature extracted from MNIST dataset圖11 MNIST數(shù)據(jù)集的二維特征的分布

Table 3 Comparison of clustering performances of 4 clustering algorithms on 4 image datasets表3 在4個圖像數(shù)據(jù)集上對比4個聚類算法的聚類性能

最后一組實驗檢測樣本個數(shù)對DDC聚類精度的影響，結(jié)果列于表4?？梢杂^察到隨著樣本個數(shù)的增多，CDAE-Kmeans 的聚類性能緩慢提升；而DDC 算法在30 000 個樣本時有0.892 的聚類精度，隨后不再增長，說明在較簡單的MNIST 數(shù)據(jù)集上深度聚類模型DDC達到飽和。

Table 4 Influence of different number of data on clustering performances on MNIST表4 在MNIST上樣本個數(shù)對聚類性能的影響

4 結(jié)束語

本文提出了一種基于深度卷積降噪編碼器結(jié)合注意力的DDC 聚類模型，其中深度卷積自編碼器比堆疊自編碼器有更強的特征學習能力；注意力引導聚類模型獲取局部特征；聯(lián)合訓練使特征學習和聚類指派交疊完成。這些策略提升了DDC算法的聚類能力，很好地完成了對復雜圖像的聚類劃分。實驗結(jié)果也驗證了本文的DDC具有更好的聚類劃分能力。

自注意力算子提高了卷積特征的辨識能力，而DDC算法求解的核心思想是利用當前的聚類結(jié)果對卷積自編碼器進行“監(jiān)督”式微調(diào)，并更新聚類劃分。

DDC 算法顯著提升了聚類性能，但其性能受模型參數(shù)的影響較大。網(wǎng)絡(luò)參數(shù)的初始化、優(yōu)化方法、學習率的大小等對實驗結(jié)果都有影響。實驗中發(fā)現(xiàn)要根據(jù)數(shù)據(jù)和具體任務(wù)設(shè)計不同的網(wǎng)絡(luò)結(jié)構(gòu)，缺乏普遍適用性，這將是未來的研究工作之一。另外，當某一類的圖像具有不確定性，即某些個體和類簇內(nèi)的主體差別較大時，如何完成對它們正確歸類也是將要研究的問題。