陳曉云 陳 媛

自編碼器(Autoencoder,AE)[1]是一種非線性無監(jiān)督神經(jīng)網(wǎng)絡(luò),也是一種無監(jiān)督特征提取與降維方法,通過非線性變換將輸入數(shù)據(jù)投影到潛在特征空間中.AE 由編碼器和解碼器組成,可將輸入數(shù)據(jù)編碼為有意義的壓縮表示,然后對該表示進行解碼使得解碼輸出與原始輸入相同,即解碼器輸出和輸入數(shù)據(jù)間的重構(gòu)誤差最小.當(dāng)投影的潛在特征空間維數(shù)低于原始空間時,AE 可視為非線性主成分分析的一種表示形式[1].隨著深度學(xué)習(xí)的成功,其在多個領(lǐng)域取得了重要突破[2],而深度自編碼器作為一種無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)被用于數(shù)據(jù)降維[3-4]、圖像降噪[5]和信號處理[6-7]以提取數(shù)據(jù)的深層表示特征.例如深度子空間聚類(Deep subspace clustering,DSL-l1)[8]通過深度自編碼器對稀疏子空間聚類進行擴展,在深度自編碼器的編碼器和解碼器間引入自表達層,用反向傳播算法對編碼器的輸出進行自表示系數(shù)矩陣的學(xué)習(xí),以該自表示系數(shù)矩陣作為原始樣本的相似度矩陣.DSL-l1模型是全連接卷積神經(jīng)網(wǎng)絡(luò)并使用l1范數(shù),求解模型的反向傳播算法時間及空間復(fù)雜度較高.為提高計算效率,需先執(zhí)行主成分分析法對數(shù)據(jù)降維.

無監(jiān)督的極限學(xué)習(xí)機自編碼器(Extreme learning machine autoencoder,ELM-AE)[9]是一種單隱層前饋神經(jīng)網(wǎng)絡(luò),其輸入層到隱層的權(quán)值和偏置值隨機給定,學(xué)習(xí)過程只需通過優(yōu)化最小二乘誤差損失函數(shù)即可確定隱層到輸出層的權(quán)值.最小二乘損失函數(shù)的優(yōu)化問題有解析解,可轉(zhuǎn)化為Moore-Penrose 廣義逆問題求解[10].因此本質(zhì)上相當(dāng)于直接計算網(wǎng)絡(luò)權(quán)值而無需迭代求解,相比反向傳播和迭代求解的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法,學(xué)習(xí)速度快、泛化性能好,因此本文以ELM-AE 作為基礎(chǔ)自編碼器.

極限學(xué)習(xí)機自編碼器與極限學(xué)習(xí)機(Extreme learning machine,ELM)[11]類似,主要不同之處在于ELM-AE 的網(wǎng)絡(luò)輸出為輸入樣本的近似估計,ELM 的網(wǎng)絡(luò)輸出為輸入樣本的類標(biāo)簽.極限學(xué)習(xí)機自編碼器雖然學(xué)習(xí)速度快,但僅考慮數(shù)據(jù)全局非線性特征而未考慮面向聚類任務(wù)時數(shù)據(jù)本身固有的多子空間結(jié)構(gòu).

除極限學(xué)習(xí)機自編碼器以外,無監(jiān)督極限學(xué)習(xí)機(Unsupervised extreme learning machine,USELM)[12]也是一種重要的無監(jiān)督ELM 模型,它采用無類別信息的流形正則項替代ELM 模型中含類標(biāo)簽的網(wǎng)絡(luò)誤差函數(shù),經(jīng)US-ELM 投影后保持樣本間的近鄰關(guān)系不變.US-ELM 雖考慮了樣本分布的流形結(jié)構(gòu),但其流形正則項在高維空間中易出現(xiàn)測度 “集中現(xiàn)象”且未考慮不同聚簇樣本間的結(jié)構(gòu)差異.在US-ELM 模型基礎(chǔ)上,稀疏和近鄰保持的極限學(xué)習(xí)機降維方法(Extreme learning machine based on sparsity and neighborhood preserving,SNP-ELM)[13]引入全局稀疏表示及局部近鄰保持模型,可以自適應(yīng)地學(xué)習(xí)樣本集的相似矩陣及不同簇樣本集的子空間結(jié)構(gòu),其不足之處在于需迭代求解稀疏優(yōu)化問題,運行時間較長.

綜合上述分析,本文以ELM-AE 為基礎(chǔ)自編碼器,引入最小二乘回歸子空間模型(Least square regression,LSR)[14]對編碼器的輸出樣本進行多子空間結(jié)構(gòu)約束,提出子空間結(jié)構(gòu)保持的極限學(xué)習(xí)機自編碼器(Extreme learning machine autoencoder based on subspace structure preserving,SELM-AE)及其多層版本(Multilayer SELM-AE,ML-SELM-AE),使面向聚類任務(wù)的高維數(shù)據(jù)經(jīng)過ML-SELM-AE 降維后仍能保持原樣本數(shù)據(jù)的多子空間結(jié)構(gòu),并可獲取數(shù)據(jù)的更深層特征.

1 極限學(xué)習(xí)機自編碼器

極限學(xué)習(xí)機自編碼器降維方法通過將輸入作為網(wǎng)絡(luò)輸出學(xué)習(xí)極限學(xué)習(xí)機網(wǎng)絡(luò),其學(xué)習(xí)過程分為編碼和解碼過程,學(xué)習(xí)目標(biāo)是最小化重構(gòu)誤差.圖1給出ELM-AE 模型網(wǎng)絡(luò)結(jié)構(gòu).對于由n個樣本組成的聚類數(shù)據(jù)集xi是網(wǎng)絡(luò)輸入變量,網(wǎng)絡(luò)輸出為xi的近似估計.

ELM-AE 網(wǎng)絡(luò)的目標(biāo)是計算最優(yōu)的隱節(jié)點到輸出節(jié)點的權(quán)值矩陣β,使得在該權(quán)值下的網(wǎng)絡(luò)輸出與期望輸出xi間的誤差最小.對n個樣本xi(i=1,2,···,n)組成的數(shù)據(jù)集X,ELM-AE 網(wǎng)絡(luò)的優(yōu)化模型定義為:

h(xi)=(g(w1,b1,xi),···,g(wnh,bnh,xi))為隱層關(guān)于xi的輸出向量,nh為隱節(jié)點個數(shù);wj為第j個隱節(jié)點的輸入權(quán)值,bj為第j個隱節(jié)點的偏差,輸入權(quán)值wj和隱節(jié)點偏差bj均隨機產(chǎn)生,其取值區(qū)間為[-1,1];g(wj,bj,xi)為第j個隱節(jié)點的激勵函數(shù),本文采用Sigmoid 函數(shù):

模型(1)第1 項與ELM 模型相同,最小化隱層到輸出層的權(quán)值矩陣β的l2范數(shù),以控制模型的復(fù)雜度;模型第2 項為重構(gòu)誤差,表示ELM-AE網(wǎng)絡(luò)的輸出H(X)β與原始輸入數(shù)據(jù)X的誤差,重構(gòu)誤差越小,β越優(yōu).c為平衡模型復(fù)雜度和誤差項的參數(shù).理想情況下,ELM-AE 網(wǎng)絡(luò)的輸出H(X)β與真實值X相等,即X=H(X)β,此時誤差為零.

ELM-AE 模型與ELM 模型不同之處在于ELM 隱層到輸出層的最優(yōu)權(quán)矩陣β通過最小化網(wǎng)絡(luò)輸出H(X)β與真實類標(biāo)簽Y的誤差得到;而ELM-AE 隱層到輸出層的最優(yōu)權(quán)矩陣β通過最小化網(wǎng)絡(luò)輸出H(X)β與輸入數(shù)據(jù)矩陣X的誤差得到,因此ELM-AE 可以看成是對數(shù)據(jù)矩陣X的非線性特征表示.為實現(xiàn)數(shù)據(jù)降維,增加對輸入權(quán)向量w及偏置b的正交約束.當(dāng)樣本xi原始維數(shù)m大于隱節(jié)點個數(shù)nh時,輸入樣本可被投影到較低維特征空間,其對應(yīng)的隱含層輸出向量h(xi)為:

式(1)描述的ELM-AE 模型是凸優(yōu)化問題且該問題僅含單變量β,對其目標(biāo)函數(shù)關(guān)于β求導(dǎo)并令導(dǎo)數(shù)等于0,即可得到該問題的解析解如下:

其中,β*是nh×m矩陣.據(jù)文獻[9],ELM-AE 通過對原始高維數(shù)據(jù)X乘以隱含層與輸出層間的權(quán)值矩陣β實現(xiàn)降維,即X'=X(β*)T就是所需的降維后樣本.

2 子空間結(jié)構(gòu)保持多層極限學(xué)習(xí)機自編碼器

極限學(xué)習(xí)機自編碼器ELM-AE 雖然實現(xiàn)了無監(jiān)督非線性降維,但未考慮面向聚類任務(wù)的高維數(shù)據(jù)所蘊含的多子空間結(jié)構(gòu),難以保證降維結(jié)果與聚類目標(biāo)相匹配.因此,本文提出子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器SELM-AE,該模型在ELM-AE輸出層之后增加自表示層,使ELM-AE 輸出H(X)β保持輸入數(shù)據(jù)X的多子空間結(jié)構(gòu)不變.

2.1 子空間結(jié)構(gòu)的獲取

為獲取數(shù)據(jù)的子空間結(jié)構(gòu),通常采用樣本矩陣作為字典,得到數(shù)據(jù)自表示模型X=XZ(Z∈Rn×n),即每一樣本用所有其他樣本的線性組合表示,所有樣本的組合系數(shù)構(gòu)成自表示系數(shù)矩陣.由此學(xué)習(xí)到的自表示系數(shù)矩陣Z隱含了樣本間的相似關(guān)系與子空間結(jié)構(gòu),理想情況下多簇數(shù)據(jù)的自表示系數(shù)矩陣具有塊對角性.

文獻[15]已證明,在假設(shè)子空間獨立情況下,通過最小化Z的F范數(shù),可以保證Z具有塊對角結(jié)構(gòu),即當(dāng)樣本點xi和xj位于同一子空間時Zij≠0,位于不同子空間時Zij=0.關(guān)于Z的自表示優(yōu)化模型可采用最小二乘回歸(LSR)模型,即

在實際應(yīng)用中,觀測數(shù)據(jù)通常包含噪聲,噪聲情況下該模型可擴展為:

2.2 子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器(SELMAE)

由式(7)學(xué)習(xí)得到的自表示系數(shù)矩陣Z=[Z1,···,Zn] (Zi∈Rn為xi的表示系數(shù)),包含數(shù)據(jù)的子空間結(jié)構(gòu)信息.為使極限學(xué)習(xí)機自編碼器的網(wǎng)絡(luò)輸出=H(X)β仍保持這種子空間結(jié)構(gòu),在極限學(xué)習(xí)機自編碼器的輸出層之后增加自表示層,使得網(wǎng)絡(luò)輸出與輸入的自表示系數(shù)相同,即(H(X)β)T=(H(X)β)TZ.SELM-AE 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示,其中圖2(a)用于根據(jù)式(7)學(xué)習(xí)X的自表示系數(shù)矩陣Z;圖2(b)在 ELM-AE 網(wǎng)絡(luò)的輸出層之后增加網(wǎng)絡(luò)輸出H(X)β的自表示層,使網(wǎng)絡(luò)輸出H(X)β與輸入X有相同的子空間結(jié)構(gòu).

圖2 SELM-AE 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of SELM-AE

圖2(b)將輸入數(shù)據(jù)X的自表示系數(shù)矩陣Z引入子空間結(jié)構(gòu)保持的極限學(xué)習(xí)機自編碼器（SELAAE）的自表示層,其優(yōu)化模型如下:

模型前兩項與式(1)描述的 ELM-AE 模型相同,第3 項則為自表示誤差項,也稱子空間結(jié)構(gòu)保持項,用以使SELM-AE 的網(wǎng)絡(luò)輸出H(X)β保持原始數(shù)據(jù)的子空間結(jié)構(gòu),c是自編碼重構(gòu)誤差項的平衡參數(shù),λ是自表示誤差項的平衡參數(shù).

2.3 模型求解

為求解SELM-AE 模型即式(9),可令A(yù)=(IZ)(I-Z)T,則式(9)等價表示為

式(10)是凸優(yōu)化問題,對其目標(biāo)函數(shù)f(β)關(guān)于β求導(dǎo)并令導(dǎo)數(shù)為0 得到

最優(yōu)權(quán)值矩陣β*與隱層輸出H(X)相乘既可得到網(wǎng)絡(luò)的輸出H(X)β,該輸出是網(wǎng)絡(luò)對輸入X的最佳估計.網(wǎng)絡(luò)權(quán)值矩陣β是隱含層到網(wǎng)絡(luò)輸出層即輸入數(shù)據(jù)的線性變換,可通過最優(yōu)權(quán)值矩陣β*進行降維,降維后樣本為X'=X(β*)T.

2.4 多層極限學(xué)習(xí)機自編碼器(ML-SELM-AE)

由第2.3 節(jié)討論可知,通過SELM-AE 模型可以直接計算隱含層到輸出層的最優(yōu)權(quán)值矩陣β*,計算速度快,泛化性好.SELM-AE 網(wǎng)絡(luò)以數(shù)據(jù)降維表示為目標(biāo),其降維后樣本維數(shù)與隱層節(jié)點數(shù)相等,因此隱層節(jié)點數(shù)量通常遠(yuǎn)小于原始維數(shù)和樣本數(shù).但作為單層神經(jīng)網(wǎng)絡(luò),較少的隱層節(jié)點會降低其對非線性投影函數(shù)的逼近能力.受文獻[16]的深度有監(jiān)督極限學(xué)習(xí)機方法啟發(fā),本文擴展單層子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器SELM-AE 為多層子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器ML-SELMAE (如圖3),以獲取數(shù)據(jù)的深層特征.

圖3 所示的多層子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器相當(dāng)于多個SELM-AE 自編碼器的堆疊,利用上述式(11)計算每一層最優(yōu)權(quán)值矩陣β(l)(l=1,2,···,L),將上一層輸出X(l)(β(l))T作為下一層輸入.ML-SELM-AE 網(wǎng)絡(luò)第l層（l=1,2,...,L)隨機產(chǎn)生正交輸入權(quán)矩陣W(l)和偏置向量b(l);第1 層初始輸入為原始數(shù)據(jù)X(1)=X,第l層(l=1,2,···,L)的權(quán)值矩陣β(l)根據(jù)式(11)改寫為:

圖3 ML-SELM-AE 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of ML-SELM-AE

第l+1 層輸入X(l+1)可通過下式計算:

其中,β(l)為第l層解碼器的輸出權(quán)矩陣.若自編碼器有L層,則第L層的輸出X(L+1)=X(L)(β(L))T,即為降維后數(shù)據(jù),對降維后數(shù)據(jù)X(L+1)使用k-means算法完成聚類.

多層子空間結(jié)構(gòu)保持極限學(xué)習(xí)自編碼器MLSELM-AE 求解算法歸納如下:

算法1.ML-SELM-AE 算法

ML-SELM-AE 算法中步驟 1)的時間開銷主要用于矩陣乘法與n階矩陣逆的計算,時間復(fù)雜度分別為O(n2m)和O(n3);若多層極限學(xué)習(xí)機網(wǎng)絡(luò)層數(shù)為L,則步驟3)需循環(huán)L次計算每一層SELMAE 的輸出權(quán)值β(l)及輸出X(l),每次循環(huán)的時間開銷主要用于權(quán)值β(l)的計算,包括計算矩陣乘法與nh階矩陣的逆,矩陣乘法計算時間復(fù)雜度分別為O(nh2m)和O(nhnm),矩陣逆的計算時間復(fù)雜度為O(nh3).對于高維小樣本數(shù)據(jù)集,樣本數(shù)n遠(yuǎn)小于樣本維數(shù)m,故而當(dāng)樣本維數(shù)m小于隱層節(jié)點數(shù)nh時,算法總時間復(fù)雜度為O(Lnh3);當(dāng)樣本維數(shù)m大于隱層節(jié)點數(shù)nh時,算法總時間復(fù)雜度為O(Lnh2m).

3 實驗

3.1 實驗對比方法及參數(shù)設(shè)置

為驗證本文所提的子空間結(jié)構(gòu)保持單層極限學(xué)習(xí)機降維自編碼器SELM-AE 和多層極限學(xué)習(xí)機自編碼器ML-SELM-AE 的降維效果和有效性,本文對兩種方法進行數(shù)據(jù)可視化及高維數(shù)據(jù)降維聚類實驗.

實驗對比的其他降維方法有以下幾種:

1)線性無監(jiān)督降維

主成分分析法(Principal component analysis,PCA)[17]:以最大化投影方差為目標(biāo),方差雖可以刻畫全局分布散度,但無法描述樣本間的近鄰關(guān)系.

局部保持投影法(Locality preserving projections,LPP)[18]:以保持降維前后樣本間的近鄰關(guān)系不變?yōu)槟繕?biāo).

近鄰保持嵌入法(Neighborhood preserving embedding,NPE)[19]:以最小化k近鄰重構(gòu)誤差為目標(biāo),旨在保持降維前后樣本間的局部近鄰結(jié)構(gòu).

2)傳統(tǒng)無監(jiān)督ELM

US-ELM:無監(jiān)督極限學(xué)習(xí)機,利用無類別信息的流形正則項代替含類標(biāo)簽的誤差函數(shù),將有監(jiān)督極限學(xué)習(xí)機轉(zhuǎn)化為無監(jiān)督極限學(xué)習(xí)機,實現(xiàn)原始數(shù)據(jù)向低維空間的非線性映射,并能夠得到顯式的非線性映射函數(shù).但該方法預(yù)定義的近鄰矩陣不具有數(shù)據(jù)自適應(yīng)性.

ELM-AE:極限學(xué)習(xí)機自編碼器,用原始數(shù)據(jù)替代誤差函數(shù)中的類標(biāo)簽,將有監(jiān)督極限學(xué)習(xí)機轉(zhuǎn)化為無監(jiān)督式的極限學(xué)習(xí)機自編碼器,實現(xiàn)原始數(shù)據(jù)向低維空間的非線性映射.但該方法僅考慮數(shù)據(jù)全局非線性特征.

ELM-AE 的多層版本(Multilayer ELM-AE,ML-ELM-AE):其多層擴展的思想與本文提出的ML-SELM-AE 相同.目的在于和ML-SELM-AE(子空間結(jié)構(gòu)保持的多層極限學(xué)習(xí)機自編碼器)進行對比.

3)面向聚類的子空間結(jié)構(gòu)保持無監(jiān)督ELM

SNP-ELM:基于稀疏和近鄰保持的極限學(xué)習(xí)機降維算法,該方法引入稀疏及近鄰保持模型學(xué)習(xí)US-ELM 模型流形正則項所需的近鄰矩陣,具有較好的數(shù)據(jù)自適應(yīng)性.但需迭代求解稀疏優(yōu)化問題,運行時間較長.

SELM-AE:本文提出的子空間結(jié)構(gòu)保持極限學(xué)習(xí)機自編碼器.該模型在ELM-AE 模型基礎(chǔ)上,采用樣本自表示模型刻畫樣本數(shù)據(jù)的子空間結(jié)構(gòu)和樣本間近鄰關(guān)系,使網(wǎng)絡(luò)輸出數(shù)據(jù)保持子空間結(jié)構(gòu)不變,具有較好的數(shù)據(jù)自適應(yīng)性.

ML-SELM-AE:本文提出的SELM-AE 模型多層版本.

3.2 實驗數(shù)據(jù)集

實驗采用2 個腦電數(shù)據(jù)集、3 個高維基因表達譜數(shù)據(jù)及UCI 中的IRIS 數(shù)據(jù)集[20]進行測試,腦電數(shù)據(jù)集包括BCI 競賽II 數(shù)據(jù)集IIb 中的Session 10 和Session 11、BCI 競賽III 數(shù)據(jù)集II 中的Subject A 訓(xùn)練集[21],基因表達數(shù)據(jù)集包括DLBCL、Prostate0 和Colon[22].

研究表明,腦電數(shù)據(jù)中C3、Cz、C4、Fz、P3、Pz、P4、PO7、PO8 和Oz 這10 個電極的可分性更好[23],因此選取BCI 競賽II 數(shù)據(jù)集Data set IIb 的該10個電極通道每輪行或列刺激后600 ms 的腦電數(shù)據(jù)作為實驗數(shù)據(jù)并進行0.5～30 Hz 的巴特沃斯濾波;對BCI 競賽III 數(shù)據(jù)集Data set II 選取相同10 個電極通道每輪行或列刺激后1 s 的腦電數(shù)據(jù)作為實驗數(shù)據(jù)并進行0.1～20 Hz 的巴特沃斯濾波.數(shù)據(jù)集具體描述如表1 所示.

表1 數(shù)據(jù)集描述Table 1 The data set description

3.3 可視化實驗

本實驗分別用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM 和SELM-AE 七種方法將一個人造數(shù)據(jù)集和一個真實UCI 數(shù)據(jù)集投影到一維和二維空間,并選取每種降維方法的最優(yōu)結(jié)果進行展示.

數(shù)據(jù)可視化及數(shù)據(jù)降維聚類實驗采用相同的參數(shù)設(shè)置.LPP、NPE 和US-ELM 的近鄰數(shù)k均取5.ELM-AE、SNP-ELM 和SELM-AE 的平衡參數(shù)c和λ均采用網(wǎng)格搜索策略設(shè)置,統(tǒng)一參數(shù)搜索范圍為{10-3,10-2,···,103}.所有極限學(xué)習(xí)機算法的激勵函數(shù)均采用Sigmoid 函數(shù),含流形正則項的極限學(xué)習(xí)機降維方法US-ELM 和SNP-ELM 降維后樣本維數(shù)由特征方程的特征向量個數(shù)決定,其隱層節(jié)點數(shù)設(shè)為1000.極限學(xué)習(xí)機自編碼器降維方法ELM-AE 和SELM-AE 隱層節(jié)點數(shù)與降維后樣本維數(shù)相同.多層算法 ML-ELM-AE 和 ML-SELMAE 中每一層的隱節(jié)點數(shù)均與第1 層相同,隱含層層數(shù)為 3.

3.3.1 一維可視化

本實驗使用的二維人造雙月數(shù)據(jù)集如圖4 所示,該數(shù)據(jù)包含2 類,每類有150 個樣本.該實驗將雙月數(shù)據(jù)用7 種不同降維方法降至一維后的結(jié)果如圖5 所示.

圖4 人造雙月數(shù)據(jù)集Fig.4 Artificial double moon data set

從圖5 可以看出,PCA 以投影后的樣本方差最大為目標(biāo),其降維結(jié)果近似于把該數(shù)據(jù)投影到雙月數(shù)據(jù)方差最大的X軸方向,投影后2 類樣本交疊明顯、可分性差;基于流形思想的LPP、NPE 和USELM 均以降維后樣本保持原樣本的近鄰結(jié)構(gòu)為目的,但US-ELM 投影到 1 維后的可分性明顯優(yōu)于LPP 和NPE,其降維后不同類樣本的交疊程度較LPP 和NPE 更低.原因在于雙月數(shù)據(jù)是非線性數(shù)據(jù),而US-ELM 包含非線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其對非線性特征的表示能力比僅采用流形思想的LPP 和NPE 更強.ELM-AE 也是基于極限學(xué)習(xí)機的非線性降維方法,其通過自編碼網(wǎng)絡(luò)刻畫數(shù)據(jù)全局非線性特征,較之基于數(shù)據(jù)局部流形結(jié)構(gòu)的US-ELM 方法,其降維后樣本的可分性進一步改善.

圖5 人造雙月數(shù)據(jù)集一維可視化Fig.5 The 1D visualization of artificial double moon data set

SNP-ELM 和SELM-AE 也是非線性降維方法,均在極限學(xué)習(xí)機降維基礎(chǔ)上引入子空間結(jié)構(gòu)保持特性,SNP-ELM 使降維后樣本同時保持?jǐn)?shù)據(jù)的近鄰結(jié)構(gòu)和稀疏結(jié)構(gòu),SELM-AE 使自編碼網(wǎng)絡(luò)輸出數(shù)據(jù)保持子空間結(jié)構(gòu)不變,這兩種方法盡可能保持原樣本的潛在結(jié)構(gòu)使該數(shù)據(jù)投影到1 維后2 類樣本完全分離,不同類樣本間沒有交疊,且本文提出的 SELM-AE 方法投影后樣本的內(nèi)聚度較之SNPELM 更佳,類間可分性最優(yōu).

3.3.2 二維可視化

本實驗使用的IRIS 數(shù)據(jù)包含3 類150 個樣本,每個樣本有4 個特征.分別采用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM 和SELM-AE 七種降維方法將IRIS 數(shù)據(jù)投影至2 維后如圖6 所示.從圖6 可以看出,二維可視化與一維可視化實驗結(jié)論類似,即在七種降維方法中,SELM-AE 降維后樣本同類聚集性最好,不同類樣本交疊程度最低、可分性最優(yōu).

圖6 IRIS 數(shù)據(jù)集的二維可視化Fig.6 The 2D visualization of IRIS data set

3.4 降維聚類對比實驗

在6 個實驗數(shù)據(jù)集上分別采用本文方法SELMAE、ML-SELM-AE 與對比方法PCA、LPP、NPE、US-ELM、ELM-AE、ML-ELM-AE、SNP-ELM 進行降維.其中多層極限學(xué)習(xí)機自編碼器ML-ELMAE 和ML-SELM-AE 的層數(shù)L設(shè)為3,每層極限學(xué)習(xí)機的隱層節(jié)點數(shù)固定為降維維數(shù).所有模型的最優(yōu)參數(shù)均通過網(wǎng)格搜索得到,降維維數(shù)的搜索范圍為{21,22,23,···,210};參數(shù)c和λ的搜索范圍為{10-3,10-2,···,103};模型SNP-ELM 參數(shù)η和δ的搜索范圍為[-1,1],搜索步長為0.2.

3.4.1 k-means 聚類

對降維后樣本進行k-means 聚類,為避免kmeans 隨機選取初始中心導(dǎo)致聚類結(jié)果的隨機性,以10 次聚類的平均準(zhǔn)確率為最終準(zhǔn)確率[24].3 種傳統(tǒng)降維方法PCA、LPP 和NPE 的聚類準(zhǔn)確率(方差,維數(shù))如表2 所示,6 種ELM 降維方法的聚類準(zhǔn)確率(方差,維數(shù))如表3 所示.表2 和表3 是網(wǎng)格搜索最優(yōu)參數(shù)得到的最佳平均聚類準(zhǔn)確率、方差及對應(yīng)維數(shù).

表3 中粗體值代表9 種降維方法中聚類準(zhǔn)確率最高者,下劃線值代表第2 高者,第3 高者采用粗體加下劃線標(biāo)記.由記.由表2～ 3 可以看出:

表2 傳統(tǒng)降維方法的聚類準(zhǔn)確率(%)(方差,維數(shù))Table 2 Comparison of clustering accuracy of traditional methods (%)(variance,dimension)

表3 ELM 降維方法聚類準(zhǔn)確率(%)(方差,維數(shù))(參數(shù))Table 3 Comparison of clustering accuracy of ELM methods (%)(variance,dimension)(parameters)

1)經(jīng)3 種傳統(tǒng)方法降維后的聚類準(zhǔn)確率明顯低于6 種 ELM 降維方法.原因在于PCA、LPP 和NPE 是全局線性降維模型,其對非線性數(shù)據(jù)特征的描述能力低于非線性極限學(xué)習(xí)機降維方法.

2)本文提出的ML-SELM-AE 在5 個數(shù)據(jù)集上取得最高的聚類準(zhǔn)確率,在IRIS 數(shù)據(jù)集的準(zhǔn)確率也接近最高值.主要原因在于子空間結(jié)構(gòu)保持項和多層編碼器結(jié)構(gòu)分別揭示了原始數(shù)據(jù)的子空間結(jié)構(gòu)和非線性特征.ML-SELM-AE 對應(yīng)的單層方法SELM-AE 和未引入子空間結(jié)構(gòu)保持項的多層自編碼器ML-ELM-AE 聚類準(zhǔn)確率均低于ML-SELMAE,SELM-AE 低0.3%～ 3.1%,ML-ELM-AE 低1.6%～ 5.6%,說明在準(zhǔn)確率提升方面子空間結(jié)構(gòu)保持項的作用優(yōu)于編碼器層數(shù)的增加.多層MLSELM-AE 與單層SELM-AE 在多數(shù)數(shù)據(jù)集上的聚類準(zhǔn)確率不相上下,且單層SELM-AE 的計算速度更快.

3)對比方法SNP-ELM 的聚類準(zhǔn)確率略低于ML-SELM-AE,與SELM-AE 相當(dāng),但優(yōu)于未考慮子空間結(jié)構(gòu)保持項的其他降維方法,且優(yōu)勢明顯.進一步說明子空間結(jié)構(gòu)保持的重要性.

SNP-ELM 模型的局限在學(xué)習(xí)樣本的近鄰表示和稀疏表示存在迭代求解過程,耗時較長.而本文的SELM-AE 模型有解析解,計算效率明顯高于SNP-ELM,即使在多層情況下也快于SNP-ELM.從表4 給出的SNP-ELM、SELM-AE 和ML-SELMAE 運行時間便可以看出,SNP-ELM 的運行時間明顯高于SELM-AE 和ML-SELM-AE,是二者的100 倍～1 000 倍.因此,綜合考慮準(zhǔn)確率和效率,本文提出的SELM-AE 和ML-SELM-AE 較之SNPELM 更有優(yōu)勢.

表4 運行時間對比(s)Table 4 Comparison of running time (s)

4)對比ELM-AE、SELM-AE 和相應(yīng)的多層版本ML-ELM-AE、ML-SELM-AE,多層版本聚類準(zhǔn)確率均高于對應(yīng)的單層版本,差距普遍在0.2%～4.0%之間,說明增加網(wǎng)絡(luò)層數(shù)可以提取更豐富的非線性特征,提高降維樣本的聚類準(zhǔn)確率.

3.4.2 多種聚類方法對比實驗

為觀察不同聚類方法的影響,進一步對降維前后數(shù)據(jù)應(yīng)用三種子空間聚類方法進行聚類,包括最小二乘回歸子空間聚類(LSR)[14]、低秩表示子空間聚類(L R R)[25]和潛在低秩表示子空間聚類(LatLRR)[26].為取得最優(yōu)結(jié)果,3 種聚類模型的最優(yōu)參數(shù)λ均通過網(wǎng)格搜索得到,LSR 和LRR 的參數(shù)搜索范圍為{10-3,10-2,···,103},LatLRR 的參數(shù)搜索范圍為{10-5,10-4,···,1}.

在6 個實驗數(shù)據(jù)集上對未降維數(shù)據(jù)和采用MLSELM-AE 降至2 維后數(shù)據(jù)進行聚類實驗,不同聚類方法的聚類準(zhǔn)確率及方差如表5 所示.

從表5 可以看出,對于未降維高維數(shù)據(jù),子空間聚類方法 LSR 和 LRR 均優(yōu)于k-means 聚類.但經(jīng)過ML-SELM-AE 降維后,k-means 聚類的準(zhǔn)確率明顯高于三種子空間聚類方法,且比未降維時的聚類準(zhǔn)確率有顯著提高.該實驗結(jié)果進一步說明采用多層極限學(xué)習(xí)機和子空間結(jié)構(gòu)保持可使降維數(shù)據(jù)蘊含更豐富的聚簇信息,聚類劃分更容易.

3.4.3 多層極限學(xué)習(xí)機隱層節(jié)點數(shù)對聚類結(jié)果的影響

為觀察多層極限學(xué)習(xí)機隱層節(jié)點數(shù)的不同設(shè)置對聚類結(jié)果的影響,將ML-ELM-AE 和ML-SELMAE 兩種三層極限學(xué)習(xí)機自編碼器的隱層節(jié)點數(shù)分別設(shè)為500-100-2、500-100-10、500-100-100 及2-2-2、10-10-10、100-100-100,并對高維數(shù)據(jù)集Data set IIb、Data set II、DLBCL、Colon 和Prostate0 進行降維和聚類,取得的k-means 聚類準(zhǔn)確率如表6所示.

從表6 可以看出,在5 個實驗數(shù)據(jù)集上,無論是ML-ELM-AE 還是ML-SELM-AE,三層隱層節(jié)點數(shù)均取2 時的聚類準(zhǔn)確率最優(yōu).且隱層節(jié)點數(shù)取固定值與非固定值的聚類準(zhǔn)確率差別不明顯,固定隱層節(jié)點數(shù)的聚類準(zhǔn)確率總體略好于不固定隱層節(jié)點數(shù).

表6 三層極限學(xué)習(xí)機自編碼器隱層節(jié)點數(shù)與聚類準(zhǔn)確率(%)(方差)Table 6 The number of hidden layer nodes and clustering accuracy for three-layer extreme learning machine autoencoder (%)(variance)

3.5 SELM-AE 模型參數(shù)分析

由表5 的實驗結(jié)果可知,本文提的SELM-AE模型將數(shù)據(jù)投影到2 維時便能取得較高的k-means聚類準(zhǔn)確率,因此取固定維數(shù)2 情況下進行參數(shù)分析.SELM-AE 模型的參數(shù)c和λ,分別是目標(biāo)函數(shù)中自編碼重構(gòu)誤差項和子空間結(jié)構(gòu)保持項的平衡參數(shù).

表5 ML-SELM-AE 降維前后數(shù)據(jù)的聚類準(zhǔn)確率(%)(方差)Table 5 Clustering accuracy before and after ML-SELM-AE dimensionality reduction (%)(variance)

3.5.1 目標(biāo)函數(shù)值隨參數(shù)c 與λ 的變化情況

SELM-AE 模型以最小化目標(biāo)函數(shù)值為目標(biāo).本實驗?zāi)康脑谟谟^察模型的目標(biāo)函數(shù)值隨參數(shù)c和λ變化情況(如圖7),c和λ的取值范圍均為{10-3,10-2,···,103}.

由圖7 可以看出,參數(shù)λ的變化對目標(biāo)函數(shù)值的影響較小,而參數(shù)c的變化對目標(biāo)函數(shù)值的影響較大.總體來看,參數(shù)c和λ在區(qū)間[0.001,10]內(nèi)取值時,目標(biāo)函數(shù)值最小.

圖7 不同c 和λ 下的目標(biāo)函數(shù)值Fig.7 Objective function value under different c and λ

3.5.2 聚類準(zhǔn)確率隨參數(shù)c 與λ 的變化情況

為進一步觀察SELM-AE 模型聚類準(zhǔn)確率隨參數(shù)c和λ的變化情況,圖8 給出參數(shù)c和λ取不同值時的k-means 聚類準(zhǔn)確率,其中c和λ的變化范圍為{10-3,10-2,···,103}.由圖8 可以看出,參數(shù)c和λ在區(qū)間[0.001,10]內(nèi)取值時,能取得最高的聚類準(zhǔn)確率,該參數(shù)的最佳取值區(qū)間與圖7 的分析結(jié)論一致.

圖8 不同c 和λ 取值下的聚類準(zhǔn)確率Fig.8 Clustering accuracy under different values of c and λ

4 結(jié)束語

在極限學(xué)習(xí)機自編碼器ELM-AE 基礎(chǔ)上,本文提出子空間結(jié)構(gòu)保持的極限學(xué)習(xí)機自編碼器SELM-AE 及其多層版本ML-SELM-AE.SELMAE 在極限學(xué)習(xí)機自編碼器的輸出層增加自表示層,引入最小二乘回歸子空間結(jié)構(gòu)模型,使自編碼器輸出與輸入的自表示系數(shù)相同.多層子空間結(jié)構(gòu)保持極限學(xué)習(xí)自編碼器ML-SELM-AE 通過增加 SELMAE 自編碼器層數(shù)獲取數(shù)據(jù)的深層特征,提高網(wǎng)絡(luò)的特征提取能力.在6 個數(shù)據(jù)集上的實驗結(jié)果表明,經(jīng)SELM-AE 和ML-SELM-AE 降維后的聚類準(zhǔn)確率普遍優(yōu)于經(jīng)典降維方法和傳統(tǒng)的ELM 降維方法.同時多層ML-SELM-AE 因?qū)Ψ蔷€性投影函數(shù)的逼近能力優(yōu)于單層的SELM-AE 模型,其降維后數(shù)據(jù)的聚類準(zhǔn)確率更高.