李宏　王靜　李躍波　李富

摘 要 針對(duì)局部線性嵌入（Locally Linear Embedding，LLE）算法在挖掘數(shù)據(jù)結(jié)構(gòu)時(shí)未考慮特征權(quán)重且僅局限于數(shù)據(jù)的線性擬合關(guān)系，導(dǎo)致特征提取效果不佳的問題，提出一種基于熵權(quán)距離的圖正則局部線性嵌入（Graph Regular Local Linear Embedding Algorithm Based on Entropy Weight Distance，EWD?GLLE）算法。首先，采用信息熵加權(quán)的余弦距離劃分樣本鄰域，減小不重要特征對(duì)鄰域劃分的影響，提高了鄰域劃分的準(zhǔn)確性；然后，利用融合熱核權(quán)重與余弦權(quán)重的拉普拉斯圖約束低維嵌入，以保留更多的原始數(shù)據(jù)信息，進(jìn)而提取到更顯著的特征。在兩種軸承數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：EWD?GLLE算法的特征提取性能明顯優(yōu)于LLE、LTSA、LDA算法。

關(guān)鍵詞 局部線性嵌入 拉普拉斯特征映射 熵權(quán)距離 余弦高斯核函數(shù) 軸承故障診斷 特征提取

中圖分類號(hào) TP391? ?文獻(xiàn)標(biāo)識(shí)碼 A? ? 文章編號(hào) 1000?3932（2023）02?0216?08

隨著信息時(shí)代的到來，數(shù)據(jù)量常以指數(shù)形式增長，這將導(dǎo)致“維數(shù)災(zāi)難”［1，2］。因此有必要對(duì)高維數(shù)據(jù)進(jìn)行維數(shù)約減［3］。流形學(xué)習(xí)是基于拓?fù)淞餍胃拍畎l(fā)展而來的一類數(shù)據(jù)降維方法［4］，可以從原始高維數(shù)據(jù)中挖掘出低維流形結(jié)構(gòu)，是數(shù)據(jù)挖掘領(lǐng)域的一種重要方法。在圖像識(shí)別［5］、故障診斷［6］等領(lǐng)域，流形學(xué)習(xí)被學(xué)者們廣泛地應(yīng)用和研究。主成分分析（Principal Component Analysis，PCA）［7］、局部切空間（Locally Tangent Space Alignment，LTSA）［8］、線性判別分析（Linear Discriminant Analysis，LDA）［9］、拉普拉斯特征映射（Laplacian Eigenmaps，LE）［10］及局部線性嵌入（Locally Linear Embedding，LLE）［11］等都是流形學(xué)習(xí)的典型算法。其中，LLE算法利用鄰域內(nèi)樣本之間的線性關(guān)系，實(shí)現(xiàn)了數(shù)據(jù)從高維空間到低維空間的投影，算法具有實(shí)現(xiàn)簡單、計(jì)算復(fù)雜度小等優(yōu)點(diǎn)，在實(shí)際中應(yīng)用廣泛［12］。

然而LLE算法在實(shí)際應(yīng)用過程中也存在著缺點(diǎn)，它是一種無監(jiān)督的數(shù)據(jù)處理方法，對(duì)近鄰參數(shù)敏感［13，14］。為了解決上述問題，大量算法被相繼提出。為了解決不同的近鄰點(diǎn)參數(shù)k值對(duì)檢測效果影響較大的問題，文獻(xiàn)［15］通過引入確定合理k值的方法，利用更加合理的k值，提高運(yùn)行效果。文獻(xiàn)［16］采用以流形距離代替歐氏距離度量數(shù)據(jù)間相似度的方法，創(chuàng)建能夠正確反映流形內(nèi)部結(jié)構(gòu)的鄰域圖，解決以歐氏距離作為相似性度量時(shí)對(duì)鄰域參數(shù)敏感的問題。文獻(xiàn)［17］利用均勻化距離代替?zhèn)鹘y(tǒng)的歐氏距離，使樣本點(diǎn)的總體分布趨于均勻化，減少了相鄰點(diǎn)的影響，選擇有效鄰域點(diǎn)構(gòu)造權(quán)矩陣有助于降維，同時(shí)引入監(jiān)督學(xué)習(xí)機(jī)制。以上算法都取得了很大的成功，但未考慮不重要特征對(duì)鄰域劃分的影響以及如何保留更多數(shù)據(jù)信息的問題。

筆者提出了一種基于熵權(quán)距離的圖正則局部線性嵌入算法［18］。其中，熵權(quán)距離是由信息熵對(duì)特征進(jìn)行權(quán)重預(yù)評(píng)估后進(jìn)行加權(quán)的距離，能夠較好地區(qū)分特征的邊緣性，從而增強(qiáng)重要特征對(duì)數(shù)據(jù)的表征能力。因此，筆者引入熵權(quán)余弦距離進(jìn)行鄰域劃分以解決特征權(quán)重占比不應(yīng)相同的問題；另外，為了保留更多原始數(shù)據(jù)信息，利用改進(jìn)權(quán)值的拉普拉斯特征映射來重構(gòu)損失函數(shù)，在保持?jǐn)?shù)據(jù)間線性關(guān)系的同時(shí)保持?jǐn)?shù)據(jù)間的相似性，可以有效地表示非線性數(shù)據(jù)的流形結(jié)構(gòu)。從后續(xù)實(shí)驗(yàn)可以看出，筆者所提算法具有較好的特征提取效果。

3 實(shí)驗(yàn)數(shù)據(jù)及分析

為證實(shí)算法的有效性，分別在凱斯西儲(chǔ)大學(xué)（CWRU）軸承數(shù)據(jù)中心的數(shù)據(jù)集和東北石油大學(xué)軸承故障模擬平臺(tái)（OL）數(shù)據(jù)集上進(jìn)行可視化評(píng)估、定量聚類評(píng)估、聚類精度評(píng)估和魯棒性評(píng)估實(shí)驗(yàn)，驗(yàn)證筆者算法的優(yōu)良性能。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

數(shù)據(jù)集1。數(shù)據(jù)集是由凱斯西儲(chǔ)大學(xué)的軸承數(shù)據(jù)中心的測試平臺(tái)采集的。如圖1a所示，該測試平臺(tái)由一臺(tái)電機(jī)（左側(cè)）、一個(gè)轉(zhuǎn)矩傳感器（中間）、一個(gè)轉(zhuǎn)矩傳感器（右側(cè)）和電子控制設(shè)備組成。該數(shù)據(jù)在采樣頻率為12 kHz下獲得，分為4類：正常數(shù)據(jù)、滾珠故障、內(nèi)圈故障和外圈故障。每類數(shù)據(jù)采集100個(gè)樣本，1 024維特征。

數(shù)據(jù)集2。數(shù)據(jù)集2由實(shí)驗(yàn)室平臺(tái)采集，該平臺(tái)由電機(jī)、軸承和齒輪箱組成，如圖1b所示。該數(shù)據(jù)在采樣頻率為10 kHz下獲得，分為4類：正常數(shù)據(jù)、滾珠故障、內(nèi)圈故障和外圈故障。每類數(shù)據(jù)集采集100個(gè)樣本，1 024維特征。

3.2 可視化評(píng)估

嚴(yán)格按照對(duì)照原則，在數(shù)據(jù)集1上進(jìn)行了LDA、LTSA、LLE算法和筆者提出的EWD?GLLE算法的可視化實(shí)驗(yàn)。圖2為三維可視化結(jié)果，圖中紅點(diǎn)表示正常數(shù)據(jù)，綠點(diǎn)表示內(nèi)圈故障數(shù)據(jù)，藍(lán)點(diǎn)表示滾珠故障數(shù)據(jù)，黑點(diǎn)表示外圈故障數(shù)據(jù)。

從圖2可以看出，LTSA和LLE算法存在不同水平的類分性較差的情況，即不同類之間存在重疊。LDA算法類可分性較好，但類內(nèi)緊致程度稍遜色，且分類水平不穩(wěn)定。LTSA算法具有較好的類內(nèi)緊致性，不同類之間的分離性有待提高。筆者所提出的EWD?GLLE算法具有很好的類間分離性和類內(nèi)緊致性，優(yōu)于以上算法?；谝陨戏治觯c其他3種算法相比，EWD?GLLE算法具有更好的嵌入效果。

3.3 定量聚類評(píng)估

為了充分評(píng)估筆者所提算法的性能，引入Fisher測度作為評(píng)估指標(biāo)。該指標(biāo)由類間距離Sb和類內(nèi)距離Sw構(gòu)成，可用于衡量同一類別的靠近程度和不同類別樣本的區(qū)分程度。具體定義如下：

其中，C表示樣本的總類別數(shù)，x表示第i類樣本，n表示x的樣本數(shù)目，C表示第i類的樣本數(shù)，[x][-]表示x的樣本均值向量，[x][-]表示總樣本的均值向量。

F值與算法性能正相關(guān)。筆者分別在兩種數(shù)據(jù)集上，將所提出算法與其他經(jīng)典算法進(jìn)行了對(duì)比分析，結(jié)果見表1。

從表1中可以看出，筆者所提EWD?GLLE算法在兩種數(shù)據(jù)集上F值均最大，證明了該算法的優(yōu)越性。LDA、LTSA、LLE算法在不同程度上都存在特征分布稀疏、類間分離性差的現(xiàn)象，而EWD?GLLE算法在保持類內(nèi)緊致性的同時(shí)也能很好地處理類間可分性。

3.4 聚類精度實(shí)驗(yàn)

分別在兩種數(shù)據(jù)集上進(jìn)行4種算法的聚類精度實(shí)驗(yàn)，其中，每類樣本選擇80%進(jìn)行訓(xùn)練，剩余20%用于測試。實(shí)驗(yàn)結(jié)果如圖3、4所示，可以看出EWD?GLLE算法具有優(yōu)良的聚類精度。

3.5 魯棒性評(píng)估

傳統(tǒng)流形學(xué)習(xí)算法對(duì)樣本鄰域的選擇較為敏感，近鄰參數(shù)選取對(duì)低維空間的聚類效果會(huì)產(chǎn)生很大的影響，為全面衡量筆者提出的EWD?GLLE算法的魯棒性，在CWRU數(shù)據(jù)集上進(jìn)行不同k值的可視化評(píng)估，如圖5所示。

從圖5中可以看出，EWD?GLLE算法在CWRU數(shù)據(jù)集上表現(xiàn)出對(duì)鄰域參數(shù)的非敏感性，k值的變化沒有影響到低維空間的聚類效果，證明該算法對(duì)參數(shù)k具有較好的魯棒性。

4 結(jié)束語

筆者提出了一種基于熵權(quán)距離的圖正則局部線性嵌入算法，該算法使用熵權(quán)距離來度量數(shù)據(jù)之間的相似性，提高鄰域劃分的準(zhǔn)確性，此外，該算法利用拉普拉斯圖正則約束保持?jǐn)?shù)據(jù)間相似性。因此能夠獲得良好的效果。在CWRU和OL兩種軸承故障數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明，該算法具備較好的可視化、類內(nèi)聚集、類間分離的效果，且對(duì)鄰域參數(shù)具備魯棒性，明顯優(yōu)越于其他算法。

參 考 文 獻(xiàn)

［1］? 潘恪謹(jǐn)，胡建華，宋燕，等.不完整張量上基于流形學(xué)習(xí)和張量分解的特征提?。跩/OL］.小型微型計(jì)算機(jī)系統(tǒng)，2022：1-10［2022-04-21］.DOI：10.20009/j.cnki.21?1106/TP.2021?0573.

［2］? ? ZHOU Y H，WANG H F，LIU Y Y，et al.Accelerating MR Parameter Mapping Using Nonlinear Compressive Manifold Learning and Regularized Pre?Imaging［J］.IEEE Transactions on Biomedical Engineering，2022，69（10）：2996-3007.

［3］ WAN Z T，YANG R，HUANG M J，et al.EEG fading data classification based on improved manifold learning with adaptive neighborhood selection［J］.Neurocomputing，2022，482：186-196.

［4］ SHAH M，HU L，AHMED Z.Modified LPP based on Riemannian metric for feature extraction and fault detection［J］. Measurement， 2022， 193：110923?1-110923?18.

［5］? 汪明昕.基于圖像識(shí)別的一類工業(yè)組裝產(chǎn)品質(zhì)量檢測方法研究［D］.長春：吉林大學(xué)，2021.

［6］? 孫康，岳敏楠，金江濤，等.基于改進(jìn)變分模態(tài)分解與流形學(xué)習(xí)的滾動(dòng)軸承故障診斷［J］.熱能動(dòng)力工程，2022，37（3）：176-185.

［7］? 張穎，馬承澤，楊平，等.基于小波變換和改進(jìn)PCA的人臉特征提取算法［J］.吉林大學(xué)學(xué)報(bào)（理學(xué)版），2021，59（6）：1499-1503.

［8］? 佘博，田福慶，梁偉閣，等.增量式監(jiān)督局部切空間排列算法及齒輪箱故障診斷實(shí)驗(yàn)驗(yàn)證［J］.振動(dòng)與沖擊，2018，37（13）：105-110；129.

［9］? LI B，DING H Y，ZHOU M J.Semi?supervised LDA and Multi?distance Metric Learning for Person Reidentifi?cation［J］.Journal of Physics：Conference Series，2022，2171（1）：012054.

［10］? 李響，呂勇.結(jié)合拉普拉斯特征映射的權(quán)重樸素貝葉斯高光譜分類算法［J］.分析測試學(xué)報(bào)，2020，39（10）：1293-1298.

［11］? 王波，劉太安，樊建聰，等.基于局部線性嵌入極限學(xué)習(xí)機(jī)的人臉識(shí)別新方法［J］.計(jì)算機(jī)應(yīng)用與軟件，2020，37（3）：178-183.

［12］? HU Z B，YIN H S，LIU Y H.Locally linear embed ding vote：A novel filter method for feature selection［J］.Measurement，2022，190：110535.

［13］ NIU G，MA Z M.Tensor local linear embedding with global? subspace projection optimisation［J］.IET Com? puter Vision，2021，16（3）：241-254.

［14］? 劉均，宮子棟，吳力.基于信息熵度量的局部線性嵌入算法［J］.吉林大學(xué)學(xué)報(bào)（理學(xué)版），2022，60（1）：143-149.

［15］ 蔣濤.基于局部線性嵌入的免疫檢測模型研究［D］.哈爾濱：哈爾濱理工大學(xué)，2018.

［16］? 馬麗，董唯光，安志龍.流形距離與壓縮感知核稀疏投影的局部線性嵌入算法［J］.計(jì)算機(jī)與數(shù)字工程，2020，48（3）：523-527；727.

［17］ WANG G B，LUO J，HE Y L，et al.Fault Diagnosis of Supervision and Homogenization Distance Based on Local Linear Embedding Algorithm［J］. Mathematical Problems in Engineering：Theory，Methods and Appli?cations，2015（Pt.19）：981598.1-981598.8.

［18］? 張忠平，劉偉雄，張玉停，等.ERDOF：基于相對(duì)熵權(quán)密度離群因子的離群點(diǎn)檢測算法［J］.通信學(xué)報(bào)，2021，42（9）：133-143.

［19］? GAO T，MA Z M，GAO W X，et al.Dimensionality reduction of tensor data based on local linear embed?ding and mode product［J］. Journal of Intelligent & Fuzzy Systems，2021，41（2）：2779-2796.

［20］? MIAO J Y，YANG T J，SUN L J，et al.Graph regularized locally linear embedding for unsupervised feature selection［J］.Pattern Recognition，2022，122（6）：108299.

［21］? 楊鵬飛，陳梅，張忠?guī)洠?自適應(yīng)鄰居和圖正則的表示學(xué)習(xí)［J］.小型微型計(jì)算機(jī)系統(tǒng)，2023， 44（3）：553-559.

（收稿日期：2022-08-06，修回日期：2023-02-17）

Graph Regular Local Linear Embedding Algorithm Based on?Entropy Weight Distance

LI Hong1， WANG Jing1， LI Yue?bo2，LI Fu3

（1. School of Electrical and Information Engineering， Northeast Petroleum University；

2. Digital Operation and Maintenance Center，? No. 1 Oil Production Plant of Daqing Oilfield；

3. No.1 Drilling Company，? Daqing Drilling Engineering Company）

Abstract? ?Considering the fact that the locally linear embedding （LLE） algorithm doest consider the feature weight and is limited to the linear fitting relationship of data when mining the data structure and it results in poor effect in the feature extraction ， a graph regular local linear embedding algorithm based on e?ntropy weight distance（EWD?GLLE） algorithm was proposed. Firstly， it has the cosine distance which weighted by information entropy adopted to divide the sample neighborhood so as to reduce the influence of unimportant features on the neighborhood division and improve its accuracy thereof；? then， it has the Laplacian graph which combining the thermal kernel weight and cosine weight employed to constrain the low?dimensional embedding and to retain more original data information and extract more significant fea?

作者簡介：李宏（1969-），教授，從事油氣管道泄漏檢測和信號(hào)處理的研究。

通訊作者：王靜（1998-），碩士研究生，從事機(jī)器學(xué)習(xí)和軸承故障診斷的研究，wj446587180@163.com。

引用本文：李宏，王靜，李躍波，等.基于熵權(quán)距離的圖正則局部線性嵌入算法［J］.化工自動(dòng)化及儀表，2023，50（2）：216-222；261.