靳文哲 呂文濤 郭慶 徐羽貞 余潤(rùn)澤

DOI： 10.19398j.att.202308003

摘? 要：針對(duì)訓(xùn)練樣本數(shù)太少（訓(xùn)練樣本數(shù)量小于數(shù)據(jù)維數(shù)）導(dǎo)致的模型分辨能力下降問(wèn)題，提出了一種基于正則化改進(jìn)3E-LDA的織物圖像分類(lèi)算法（I3E-LDA算法）。首先利用類(lèi)加權(quán)中值代替樣本均值計(jì)算類(lèi)內(nèi)散點(diǎn)矩陣，削弱離群值和噪聲的影響，以此作為非參數(shù)加權(quán)特征提取法對(duì)類(lèi)內(nèi)散點(diǎn)矩陣進(jìn)行正則化。然后利用目標(biāo)組合的方法，通過(guò)引入平衡參數(shù)對(duì)目標(biāo)函數(shù)進(jìn)行正則化，來(lái)保留更具判別性的特征數(shù)據(jù)。通過(guò)不同織物圖像間更具判別性的特征數(shù)據(jù)可以更好地對(duì)其區(qū)分。結(jié)合改進(jìn)的零空間法解決類(lèi)內(nèi)散點(diǎn)矩陣奇異性和小樣本問(wèn)題，從而提高分類(lèi)準(zhǔn)確率。在阿里天池織物數(shù)據(jù)集和花色織物圖像上進(jìn)行訓(xùn)練和測(cè)試，將圖像按照正常圖像和非正常圖形（瑕疵圖像）進(jìn)行區(qū)分。實(shí)驗(yàn)結(jié)果表明，I3E-LDA算法有效實(shí)現(xiàn)了織物圖像分類(lèi)，且對(duì)于較少的訓(xùn)練樣本（20%～40%的樣本用于訓(xùn)練）提升了分類(lèi)精度。

關(guān)鍵詞：線性判別分析；織物；圖像分類(lèi)；正則化；小樣本

中圖分類(lèi)號(hào)：TP181

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-265X（2024）06-0089-08

收稿日期：20230831

網(wǎng)絡(luò)出版日期：20231102

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（U1709219， 61601410）；浙江省科技廳重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021C01047，2022C01079）；2021年產(chǎn)業(yè)技術(shù)基礎(chǔ)公共服務(wù)平臺(tái)項(xiàng)目（2021-0174-1-1）

作者簡(jiǎn)介：靳文哲（1998—），男，河北張家口人，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)方面的研究。

通信作者：呂文濤，E-mail：alvinlwt@zstu.edu.cn

在過(guò)去的幾十年中，紡織行業(yè)發(fā)展十分迅速。在紡織工業(yè)生產(chǎn)過(guò)程中，織物圖像分類(lèi)有著十分重要的地位［1］。依靠人工檢測(cè)和分類(lèi)耗時(shí)且費(fèi)力，無(wú)法滿足如今高質(zhì)量的織物生產(chǎn)要求。因此使用高效準(zhǔn)確的計(jì)算機(jī)視覺(jué)方法來(lái)代替?zhèn)鹘y(tǒng)的人工檢測(cè)法實(shí)現(xiàn)織物圖像分類(lèi)對(duì)于紡織行業(yè)的發(fā)展有著十分重要的作用［2］。

線性判別分析（Linear discriminant analysis， LDA）是一種考慮樣本類(lèi)別信息的有監(jiān)督分類(lèi)算法［3］，通過(guò)計(jì)算得到最優(yōu)判別矩陣，將高維數(shù)據(jù)映射到低維子空間中，使得樣本點(diǎn)之間的類(lèi)內(nèi)距離最小化、類(lèi)間距離最大化［4］，以此來(lái)對(duì)目標(biāo)進(jìn)行分類(lèi)。然而，傳統(tǒng)LDA在分類(lèi)過(guò)程中存在以下缺點(diǎn)：a）在散點(diǎn)矩陣和目標(biāo)函數(shù)的計(jì)算中采用了L2范數(shù)，會(huì)放大異常值的影響［5］；b）忽略了樣本集的局部幾何信息［6］；c）當(dāng)樣本數(shù)遠(yuǎn)小于數(shù)據(jù)維數(shù)時(shí)會(huì)出現(xiàn)小樣本［7］問(wèn)題。使得類(lèi)內(nèi)散點(diǎn)矩陣變成奇異陣。為了抑制異常值的影響，Li等［8］提出了一種基于F范數(shù)的二維線性判別分析法（F-norm two-dimensional linear discriminant analysis， F-2DLDA），通過(guò)無(wú)平方的F范數(shù)抑制了異常值和噪聲的影響。針對(duì)復(fù)雜和多模態(tài)數(shù)據(jù)，高云龍等［9］提出了一種動(dòng)態(tài)加權(quán)非參數(shù)判別分析方法（Dynamic weighted nonparametric discri-minant analysis， DWNDA），通過(guò)對(duì)邊緣樣本點(diǎn)的局部散布度進(jìn)行分析，突出了邊緣樣本點(diǎn)對(duì)的可分性，有效抑制了異常值和噪聲的影響。

為了保留數(shù)據(jù)的局部幾何信息，陸榮秀等［10］提出了改進(jìn)的自權(quán)值LDA算法，利用樣本對(duì)之間的權(quán)值代替樣本間的距離來(lái)區(qū)分樣本間的差異性。Huang等［11］提出了無(wú)參數(shù)局部判別分析（Parameter-free local linear discriminant analysis， Pf-LLDA），無(wú)需設(shè)置近鄰數(shù)，通過(guò)權(quán)重和變換矩陣的自適應(yīng)迭代更新得到數(shù)據(jù)的低維局部結(jié)構(gòu)。Nie等［12］提出了子流形保持判別分析（Sub-manifold preserving discriminant analysis），利用自優(yōu)化的K近鄰（KNN）圖提取數(shù)據(jù)的局部子流形結(jié)構(gòu)。

為了解決小樣本問(wèn)題，梁志貞等［13］提出了基于KL散度不確定集和混合范數(shù)的線性判別分析法，采用廣義Dinkelbach算法避免了矩陣求逆，克服了小樣本問(wèn)題；采用混合范數(shù)有效地抑制了異常值。Yu等［14］提出了一種稀疏逼近判別投影法（Sparse approximation to discriminant projection learning，SADPL），利用F范數(shù)和L2，1范數(shù)生成稀疏子空間，采用稀疏投影矩陣取代了傳統(tǒng)的Fisher準(zhǔn)則，從而避免了類(lèi)內(nèi)散點(diǎn)矩陣奇異性的問(wèn)題。

以上方法只針對(duì)傳統(tǒng)LDA在分類(lèi)過(guò)程中的一個(gè)或兩個(gè)缺點(diǎn)做出改進(jìn)，為了同時(shí)解決傳統(tǒng)LDA的三個(gè)缺點(diǎn)，Li等［15］提出了3E-LDA算法，采用加權(quán)中值代替樣本均值以抑制異常值；建立了新的散點(diǎn)矩陣，以嵌入局部幾何信息；通過(guò)改進(jìn)的零空間法計(jì)算矩陣零空間中的投影向量，克服了小樣本問(wèn)題，得到了較好的分類(lèi)結(jié)果。但是如果訓(xùn)練樣本太少，模型的分辨能力就會(huì)受到影響，最終會(huì)影響分類(lèi)精度。

因此本文提出了一種基于正則化改進(jìn)3E-LDA的織物圖像分類(lèi)算法，稱(chēng)為I3E-LDA算法，用于解決訓(xùn)練樣本數(shù)小于數(shù)據(jù)維數(shù)時(shí)導(dǎo)致的模型分辨能力下降問(wèn)題。該算法首先利用加權(quán)中值計(jì)算類(lèi)內(nèi)散點(diǎn)矩陣，通過(guò)正則化方法［16］作為NWFE方法來(lái)解決類(lèi)內(nèi)散點(diǎn)矩陣奇異性的問(wèn)題。然后采用目標(biāo)組合的方法利用加性原理［17］對(duì)目標(biāo)函數(shù)進(jìn)行正則化。以此保留更具判別性的樣本數(shù)據(jù)，增加了樣本的可分性。在阿里天池織物數(shù)據(jù)集和花色織物圖像上進(jìn)行訓(xùn)練和測(cè)試，將圖像按照正常圖像和非正常圖像（瑕疵圖像）進(jìn)行分類(lèi)，以驗(yàn)證該算法在較少的訓(xùn)練樣本的情況下能夠得到更高的分類(lèi)準(zhǔn)確率。

1? 3E-LDA的理論基礎(chǔ)

1.1? LDA簡(jiǎn)介

設(shè)樣本集為：X=［x1，x2，…，xn］T∈Rn×m，其中xs為m維向量，s=1，2，…，n，n表示樣本總數(shù)。設(shè)樣本集中包含C個(gè)類(lèi)。 xij表示第i類(lèi)的第j個(gè)樣本，i=1，2，…，C，j=1，2，…，ni，其中ni表示第i類(lèi)的樣本總數(shù)，則n=∑Ci=1ni。

第i類(lèi)樣本的均值定義為：μi=1ni∑nij=1xij，數(shù)據(jù)集的均值定義為：μ=1C∑Ci=1μi。由此可以計(jì)算出類(lèi)內(nèi)散點(diǎn)矩陣Sω、類(lèi)間散點(diǎn)矩陣Sb，分別如式（1）—（2）所示：

Sω=∑Ci=1∑nij=1（xij－μi）（xij－μi）T（1）

Sb=∑Ci=1ni（μi－μ）（μi－μ）T（2）

因此可以通過(guò)式（1）—（2）計(jì)算出最優(yōu)判別矩陣q，如式（3）所示：

q=argmaxqJ（q）=argmaxqqTSbqqTSωq（3）

最后對(duì)式（3）求導(dǎo)，可以將其轉(zhuǎn)化成S－1ωSbq=λq的特征值求解問(wèn)題，其中λ=J（q）為標(biāo)量。

1.2? 3E-LDA簡(jiǎn)介

針對(duì)傳統(tǒng)LDA的3個(gè)缺點(diǎn)，3E-LDA提出了如下改進(jìn)。

1.2.1? 利用加權(quán)中值處理異常值

設(shè)第i類(lèi)第j個(gè)樣本的權(quán)重向量為：wij=［abs（xij－μim）+β］－1。其中abs（·）表示給定向量在每個(gè)維度上的絕對(duì)值， β是一個(gè)補(bǔ)償因子向量，和向量xij齊次， μim是第i類(lèi)所有樣本的中值。 xij樣本的權(quán)重向量wij跟xij和μim之間的距離成反比。因此可以得到第i類(lèi)樣本的加權(quán)中值如式（4）所示：

μ～i=∑nij=1wij⊙ xij.∑nij=1wij（4）

1.2.2? 保留局部幾何信息

3E-LDA提出了新的散點(diǎn)矩陣框架：

a）類(lèi)內(nèi)散點(diǎn)矩陣Siω。設(shè)xij和xik是第i類(lèi)的兩個(gè)樣本，若xik是xij的K近鄰之一，則xij可以用xik近似線性表示為：x^ij=∑Kk=1wjkxik。將x^ij和加權(quán)中值μ～i代入到式（1）中，得到Siω，如式（5）所示：

Siω=∑Ci=1∑nij=1x^ij－μ～ix^ij－μ～iT（5）

b）類(lèi)間散點(diǎn)矩陣Sib。由式（2）可以看出：若μi-μ的值越大，則第i類(lèi)樣本在Sb中起主導(dǎo)作用，會(huì)導(dǎo)致具有相似距離的類(lèi)重疊。因此可以對(duì)式（2）進(jìn)行改寫(xiě)：

Sb=∑Ci=1ni（μi－μ）（μi－μ）Τ

=∑C－1i=1∑Cj=i+1ninjn（μi－μj）（μi－μj）T。

其中：ni和nj分別表示第i類(lèi)和第j類(lèi)的樣本總數(shù)。懲罰項(xiàng)設(shè)置為：cij=（μi-μ2+ε）-1。將加權(quán)中值μ～i和懲罰項(xiàng)cij代入到式（2）中，得到Sib，如式（6）所示：

Sib=∑C－1i=1∑Cj=i+1ninjncij（μ～i－μ～j）（μ～i－μ～j）T（6）

1.2.3? 解決小樣本問(wèn)題

采用改進(jìn)的零空間法來(lái)處理小樣本問(wèn)題以及類(lèi)內(nèi)散點(diǎn)矩陣奇異性的問(wèn)題：若Siω的秩r小于原始數(shù)據(jù)空間V的維數(shù)m，則必然存在一個(gè)子空間（零空間）V0V，使得V0=span{vi|Sωvi=0，i=1，2，…，m-r}。對(duì)Siω進(jìn)行奇異值分解，得到V=［v1，…，vr，vr+1，…，vm］，其中：V1V，V1=［vr+1，…，vm］。因此最優(yōu)判別矩陣q為V1VT1Sib（V1VT1）T在V0中的最大特征值集合；否則根據(jù)Fisher準(zhǔn)則進(jìn)行求解。

因此，3E-LDA的完整目標(biāo)函數(shù)可用式（7）所示：

argmaxJ（q）=qTSibqqTSiωq，r=m

qTV1VT1Sib（V1VT1）Tq，r

其中最優(yōu)判別矩陣q∈Rm×（C－1）。

2? 改進(jìn)的3E-LDA算法（I3E-LDA）

在3E-LDA算法中，分類(lèi)的結(jié)果往往比較依賴訓(xùn)練樣本的數(shù)量。如果訓(xùn)練樣本較少，模型的分辨能力易受影響，最終會(huì)降低分類(lèi)精度。基于此，本文提出了一種新的3E-LDA算法（I3E-LDA），通過(guò)引入正則項(xiàng)來(lái)改進(jìn)3E-LDA，以確保對(duì)于少量訓(xùn)練樣本所得到的分類(lèi)準(zhǔn)確率有一定的提升。I3E-LDA算法的改進(jìn)主要有正則化引入、算法模型、算法流程3部分。

2.1? 正則化引入

在利用LDA進(jìn)行分類(lèi)時(shí)，如果樣本數(shù)n遠(yuǎn)遠(yuǎn)小于數(shù)據(jù)維數(shù)m就會(huì)導(dǎo)致類(lèi)內(nèi)散點(diǎn)矩陣變得奇異。在這種情況下，參數(shù)估計(jì)可能會(huì)不穩(wěn)定，從而產(chǎn)生高方差。通過(guò)應(yīng)用正則化的方法可以減少這種方差，但是在計(jì)算時(shí)可能會(huì)因此產(chǎn)生新的偏差，從而影響最終的分類(lèi)精度。這種偏差變化的平衡通常是由一個(gè)或多個(gè)平衡參數(shù)進(jìn)行調(diào)節(jié)的，這些參數(shù)控制著對(duì)樣本數(shù)據(jù)的偏置強(qiáng)度。正則化可以減少模型的測(cè)試誤差，目的是讓模型在面對(duì)復(fù)雜數(shù)據(jù)或高模態(tài)數(shù)據(jù)時(shí)也能表現(xiàn)出優(yōu)異的性能。如果模型的參數(shù)過(guò)多就會(huì)導(dǎo)致模型變得復(fù)雜，容易產(chǎn)生過(guò)擬合現(xiàn)象，從而會(huì)影響模型的泛化能力，所以需要引入正則項(xiàng)來(lái)改善此現(xiàn)象。

因此對(duì)于LDA來(lái)說(shuō)，通過(guò)引入正則項(xiàng)，實(shí)現(xiàn)的是對(duì)類(lèi)內(nèi)散點(diǎn)矩陣更好的估計(jì)，并且最好使其達(dá)到無(wú)偏的結(jié)果。通過(guò)正則化可以削弱不太重要的特征向量，盡可能在所有特征向量中提取到最重要的（最具判別性的），由此可以更有效的計(jì)算出最優(yōu)判別矩陣，從而提高模型的分類(lèi)性能以及泛化能力。

2.2? 算法模型

在許多實(shí)際應(yīng)用當(dāng)中，通常會(huì)出現(xiàn)小樣本問(wèn)題，并且圖像數(shù)據(jù)受噪聲和異常值影響較大，從而影響分類(lèi)準(zhǔn)確率。為了抑制異常值并解決小樣本問(wèn)題，提出了如下算法模型。

設(shè)定樣本集為：X=［x1，x2，…，xn］T∈Rn×m，其中：xs表示每張圖像的特征數(shù)據(jù)向量，維度為m，s=1，2，…，n， n表示織物圖像總數(shù)。樣本集的原始標(biāo)簽定義為L(zhǎng)0∈Rn×1。假設(shè)樣本集包含C個(gè)類(lèi)，xij表示第i類(lèi)的第j個(gè)樣本，i=1，2，…，C，j=1，2，…，ni，其中：ni表示第i類(lèi)的樣本數(shù)，且有n=∑Ci=1ni。設(shè)第i類(lèi)X的樣本集為：Xi=［xi1，xi2，…，xini］T∈Rni×m。

設(shè)訓(xùn)練集比例為τ，測(cè)試集比例為1-τ。將樣本集X和原始標(biāo)簽L0按比例τ分成訓(xùn)練矩陣Xtrain∈Rn·τ」×m，訓(xùn)練標(biāo)簽Ltrain∈Rn·τ×1，其中

·」表示向下取整；測(cè)試矩陣Xtest∈R「n·（1－τ）×m，測(cè)試標(biāo)簽Ltest∈R「n·（1－τ）×1，其中「·表示向上取整。

2.2.1? 類(lèi)內(nèi)散點(diǎn)矩陣正則化

在圖像處理中最常用的分類(lèi)準(zhǔn)則是基于正態(tài)分布的，如式（8）所示：

fk（X）=（2π）－p2∑k－12e－12（X－μk）T∑－1k（X－μk）（8）

其中： μk為均值向量，協(xié)方差矩陣為∑^k=1NkSk=1Nk∑（xi－μ-k）（xi－μ-k）T。設(shè)樣本集的維度為m，在進(jìn)行分類(lèi)時(shí)若類(lèi)樣本量Nk小于樣本集的維度（Nk

針對(duì)此問(wèn)題可以通過(guò)正則化的方法來(lái)改進(jìn)。引入正則化參數(shù)α，取值范圍0≤α≤1。設(shè)樣本總數(shù)為N，且S=∑Kk=1Sk，N=∑Kk=1Nk，∑^k=1NkαSk（α）。其中：Sk（α）=（1-α）Sk+αS，Nk（α）=（1-α）Nk+αN。α控制收縮的程度即單類(lèi)協(xié)方差矩陣估計(jì)值向總體估計(jì)值的收縮程度。一般情況下，即使很小的正則化也可以消除十分劇烈的不穩(wěn)定性。

結(jié)合上述正則化方法，在這里不直接使用Siω，而是采用式（9）來(lái)計(jì)算類(lèi)內(nèi)散點(diǎn)矩陣Siω，作為NWFE方法用來(lái)解決類(lèi)內(nèi)散點(diǎn)矩陣奇異性的問(wèn)題：

Siω=0.5Siω+0.5diag（Siω）（9）

式（9）相當(dāng)于給正則化參數(shù)α賦值0.5進(jìn)行正則化。

2.2.2? 目標(biāo)函數(shù)正則化

傳統(tǒng)LDA的目標(biāo)函數(shù)式可以拆分成兩個(gè)目標(biāo)函數(shù)相除的形式，因此可以對(duì)式（7）添加正則化參數(shù)γ，用于平衡分別包含兩個(gè)散點(diǎn)矩陣的目標(biāo)函數(shù)。其中γ是一個(gè)非常小的常數(shù)，在這里設(shè)置為1×10-5，以防qTSiωq=0。因此，新的目標(biāo)函數(shù)式如式（10）所示：

J～（q）=qTSibqqTSiωq+γqTSibq（10）

根據(jù)式（10）可以對(duì)最優(yōu)判別矩陣q進(jìn)行求解，求解過(guò)程如下：

dJ～（q）dq=（qTSiωq+γqTSibq）·d（qTSibq）－qTSibq·d（qTSiωq+γqTSibq）=0

（qTSiωq+γqTSibq）·2Sibq－2qTSibq·（Siωq+γSibq）=0

Sibq－qTSibqqTSiωq+γqTSibq·（Siω+γSib）q=0

Sibq=J～（q）·（Siω+γSib）q

（Siω+γSib）－1·Sibq=J～（q）q

令λ=J～（q），則根據(jù)（Siω+γSib）-1Sibq=λq可以得出λ是（Siω+γSib）-1Sib的特征值矩陣。所以最優(yōu)判別矩陣q的解為（Siω+γSib）-1Sib的特征值對(duì)應(yīng)的特征向量組成的矩陣。

因此最優(yōu)判別矩陣q可以轉(zhuǎn)換成如式（11）所示的特征值求解問(wèn)題。

（Siω+γSib）-1Sibq=λq（11）

最后根據(jù)式（11）和Fisher準(zhǔn)則將tr［（Siω+γSib）-1Sib］最大化就可以得到最優(yōu)判別矩陣q。但是由于類(lèi)內(nèi)散點(diǎn)矩陣Siω奇異性的問(wèn)題，這里為了避免直接計(jì)算（Siω+γSib）-1Sib的特征向量，采用3E-LDA中改進(jìn)的零空間算法來(lái)進(jìn)行求解。

綜上所述，I3E-LDA的完整目標(biāo)函數(shù)可用式（12）表示：

argmaxqJ～（q）=qTSibqqTSiωq+γqTSibq，r=m

qTV1VT1SibV1VT1Tq，r

式中：r為類(lèi)內(nèi)散點(diǎn)矩陣Siω的秩。

2.2.3? 分類(lèi)實(shí)現(xiàn)

將訓(xùn)練矩陣Xtrain代入式（4）中計(jì)算出加權(quán)中值μ～i，并將μ～i和訓(xùn)練矩陣Xtrain中的xij通過(guò)式（5）和式（9）計(jì)算出正則化后的類(lèi)內(nèi)散點(diǎn)矩陣Siω。然后將每一類(lèi)訓(xùn)練樣本的加權(quán)中值代入式（6）中計(jì)算出類(lèi)間散點(diǎn)矩陣Sib。最后將Siω和Sib代入式（10）—（12）中計(jì)算出最優(yōu)判別矩陣q。

將訓(xùn)練矩陣Xtrain和測(cè)試矩陣Xtest分別和最優(yōu)判別矩陣q相乘得到更新后的訓(xùn)練樣本Ytrain=Xtrain·q∈Rn·τ」×（C－1）和測(cè)試樣本Ytest=Xtest·q∈R「n·（1－τ）×（C－1）。對(duì)Ytrain和Ytest中的樣本數(shù)據(jù)進(jìn)行最近鄰分類(lèi)。

首先計(jì)算出每個(gè)測(cè)試樣本中的數(shù)據(jù)點(diǎn)跟訓(xùn)練樣本各行對(duì)應(yīng)位置數(shù)據(jù)點(diǎn)之間的距離并求和，距離和即為每個(gè)測(cè)試樣本和訓(xùn)練樣本之間的距離。以此生成距離矩陣記為D∈R「n·（1－τ）×n·τ」，其中D的每一行數(shù)據(jù)代表一個(gè)測(cè)試樣本和每個(gè)訓(xùn)練樣本之間的距離值。然后對(duì)距離矩陣中每行數(shù)據(jù)排序并篩選出距離最小的K個(gè)點(diǎn)。最后將測(cè)試樣本點(diǎn)歸入K個(gè)點(diǎn)中占比最高的一類(lèi)，從而生成最終的測(cè)試標(biāo)簽，記為L(zhǎng)final∈R「n·（1－τ）×1。計(jì)算Lfinal與Ltest標(biāo)簽的重復(fù)率即可得到最終的分類(lèi)準(zhǔn)確率。

2.3? 算法流程

算法1：I3E-LDA

輸入：樣本集X和原始標(biāo)簽L0。

步驟1：將樣本集按比例τ分為訓(xùn)練集Xtrain和測(cè)試集Xtest，將原始標(biāo)簽L0按比例τ分為訓(xùn)練標(biāo)簽Ltrain與測(cè)試標(biāo)簽Ltest；

步驟2：利用訓(xùn)練矩陣Xtrain計(jì)算類(lèi)加權(quán)中值μ～i；

步驟3：計(jì)算類(lèi)內(nèi)散點(diǎn)矩陣Siω并進(jìn)行正則化改進(jìn)；

步驟4：計(jì)算類(lèi)間散點(diǎn)矩陣Sib；

步驟5：根據(jù)加性原理對(duì)式（7）進(jìn)行正則化改進(jìn)，得到J～（q）；

步驟6：如果類(lèi)內(nèi)散點(diǎn)矩陣Siω的秩r等于樣本維數(shù)m（r=m），則最優(yōu)判別矩陣q為（Siω+γSib）-1Sib的最大特征值所對(duì)應(yīng)的特征向量組成的矩陣；否則執(zhí)行 a）。

a）如果類(lèi)內(nèi)散點(diǎn)矩陣Siω的秩r小于樣本維數(shù)m（r

b）對(duì)Siω進(jìn)行奇異值分解：Siω=U∑VT，得到：V=［v1，…，vr，vr+1，…，vm］；

c）得到：V1=［vr+1，…，vm］，V1V，V0=span{vi|Siωvi=0，i=1，2，…，m-r}， V0為Siω的零空間；

d）計(jì)算S～ib=V1VT1Sib（V1VT1）T；

e）計(jì)算S～ib的最大特征值集對(duì)應(yīng)的最優(yōu)判別矩陣q。

步驟7：利用Xtrain和Xtest以及最優(yōu)判別矩陣q計(jì)算更新后的訓(xùn)練樣本Ytrain和測(cè)試樣本Ytest；

步驟8：對(duì)Ytrain和Ytest進(jìn)行最近鄰分類(lèi)。

輸出：分類(lèi)準(zhǔn)確率。

3? 實(shí)驗(yàn)

為了評(píng)估所提出的I3E-LDA算法的分類(lèi)性能，本文將I3E-LDA算法在素色織物和花色織物圖像上進(jìn)行實(shí)驗(yàn)，并將其與3E-LDA算法進(jìn)行比較。

3.1? 數(shù)據(jù)集

阿里天池織物數(shù)據(jù)集分為正常圖像和瑕疵圖像，圖像尺寸為2560×1920像素。本次實(shí)驗(yàn)選取48張正常圖像和48張瑕疵圖像作為實(shí)驗(yàn)數(shù)據(jù)集，對(duì)正常圖像和瑕疵圖像進(jìn)行分類(lèi)。

將圖像處理成.mat文件保存圖像數(shù)據(jù)，其中每行數(shù)據(jù)代表一張織物圖像的特征數(shù)據(jù)，行數(shù)代表圖像數(shù)量，共計(jì)96，維度降為600。織物圖像樣本集記為X，大小為96×600，如式（13）所示。原始標(biāo)簽即為L(zhǎng)0∈R96×1。

X=［x1，x2，…，x96］T∈R96×600（13）

其中：xs表示每張圖像的特征數(shù)據(jù)向量，s=1，2，…，96，大小為1×600的行向量。所有圖像均為素色織物圖像。選取了部分圖像如圖1所示，其中第一行為瑕疵圖像，第二行為正常圖像。

由于素色織物均為簡(jiǎn)單圖像，為了驗(yàn)證算法的有效性，因此補(bǔ)充了幾類(lèi)同等數(shù)量的花色織物圖像用于實(shí)驗(yàn)?；ㄉ椢锿瑯臃殖烧D像和瑕疵圖像，如圖2所示。其中第一行為瑕疵圖像，第二行為正常圖像。

本文將素色織物和花色織物圖像合成一個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對(duì)于檢測(cè)出的正?？椢飯D像算作第一類(lèi)，對(duì)于非正常圖像即有瑕疵的圖像算作第二類(lèi)，以此對(duì)織物圖像進(jìn)行區(qū)分。

3.2? 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)操作系統(tǒng)為Windows，顯卡為NVIDIA GeForce RTX 3060 Laptop GPU，顯存大小為6 GB。CPU為AMD Ryzen 7 5800 HZ，系統(tǒng)內(nèi)存為16 GB。編譯環(huán)境為MATLAB 2017b。在上述實(shí)驗(yàn)環(huán)境下對(duì)素色織物和花色織物圖像進(jìn)行訓(xùn)練和測(cè)試。

4? 結(jié)果與分析

本文利用素色織物和花色織物圖像生成樣本集X，將樣本集分別按照20%、30%和40%的比例生成訓(xùn)練矩陣Xtrain和測(cè)試矩陣Xtest。按照2.3節(jié)I3E-LDA的算法流程計(jì)算出最終的分類(lèi)準(zhǔn)確率，并將其與3E-LDA算法得到的分類(lèi)準(zhǔn)確率進(jìn)行對(duì)比。為了評(píng)估所提出的I3E-LDA算法的分類(lèi)性能，在實(shí)驗(yàn)中列舉了不同訓(xùn)練樣本比例下兩種算法的分類(lèi)準(zhǔn)確率，所有實(shí)驗(yàn)重復(fù)15次，取平均結(jié)果如表1所示。

表1給出了素色織物和花色織物圖像在不同訓(xùn)練樣本比例下每種算法的分類(lèi)準(zhǔn)確率?？梢钥闯觯S著訓(xùn)練樣本比例的增加，兩種算法的分類(lèi)性能都有所提高。本文提出的I3E-LDA算法在20%、30%和40%的訓(xùn)練樣本下的分類(lèi)準(zhǔn)確率相比3E-LDA算法分別提高了2.30%、2.55%以及3.68%。由此可以看出，通過(guò)式（9）—（12）對(duì)類(lèi)內(nèi)散點(diǎn)矩陣和目標(biāo)函數(shù)的改進(jìn)效果十分明顯，I3E-LDA算法的分類(lèi)準(zhǔn)確率相比3E-LDA算法有了顯著的提升。

為了更直觀的看到I3E-LDA算法的分類(lèi)結(jié)果，在15組實(shí)驗(yàn)中挑選了4組不同訓(xùn)練樣本比例下兩種算法的分類(lèi)準(zhǔn)確率進(jìn)行對(duì)比，結(jié)果如圖3所示。

由圖3可以更直觀看出與3E-LDA算法相比，本文所提出的I3E-LDA算法在較低比例（20%～40%）訓(xùn)練樣本的情況下能夠得到更高的分類(lèi)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果很好地印證了式（9）—（12）所采用的正則化方法的合理性和有效性，其效率和性能是不言而喻的。

綜上所述，I3E-LDA算法不僅獲得了較高的分類(lèi)準(zhǔn)確率，而且很好地保留了樣本點(diǎn)的局部幾何信息。實(shí)驗(yàn)結(jié)果表明，I3E-LDA算法在素色織物和花色織物圖像上達(dá)到了更好的分類(lèi)精度，所有的實(shí)驗(yàn)結(jié)果都可以合理地觀察到I3E-LDA算法是一種有效的分類(lèi)算法。

5? 結(jié)論

本文提出了一種基于正則化改進(jìn)3E-LDA的織物圖像分類(lèi)算法。借鑒3E-LDA算法，用類(lèi)加權(quán)中值μ～i代替樣本均值，增強(qiáng)了模型的魯棒性，抑制了異常值的影響；通過(guò)改進(jìn)的零空間算法解決類(lèi)內(nèi)散點(diǎn)矩陣Siω奇異性的問(wèn)題以及小樣本問(wèn)題。I3E-LDA算法采用正則化方法得到新的類(lèi)內(nèi)散點(diǎn)矩陣Siω以及目標(biāo)函數(shù)式J～（q），有效的實(shí)現(xiàn)了織物圖像分類(lèi)。結(jié)論如下：

a）與3E-LDA算法相比，I3E-LDA算法通過(guò)正則化方法平衡了計(jì)算最優(yōu)判別矩陣時(shí)的偏差，有效的解決了小樣本問(wèn)題以及類(lèi)內(nèi)散點(diǎn)矩陣Siω奇異性的問(wèn)題。同時(shí)保留了樣本的類(lèi)間和類(lèi)內(nèi)局部幾何信息，且保留了樣本更具判別性的特征，可以更好地對(duì)樣本進(jìn)行分類(lèi)，提高了模型的分類(lèi)性能和泛化能力。

b）在素色織物和花色織物圖像上進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，I3E-LDA算法對(duì)于較低比例（20%～40%）訓(xùn)練樣本的分類(lèi)準(zhǔn)確率以及算法穩(wěn)定性等方面都優(yōu)于3E-LDA算法。

參考文獻(xiàn)：

［1］呂文濤，林琪琪，鐘佳瑩，等.面向織物疵點(diǎn)檢測(cè)的圖像處理技術(shù)研究進(jìn)展［J］.紡織學(xué)報(bào)，2021，42（11）：197-206.

L Wentao， LIN Qiqi， ZHONG Jiaying， et al. Research progress of image processing technology for fabric defect detection［J］. Journal of Textile Research， 2021， 42（11）： 197-206.

［2］田宸瑋，王雪純，楊嘉能，等.織物瑕疵檢測(cè)方法研究進(jìn)展［J］.計(jì)算機(jī)工程與應(yīng)用，2020，56（12）：8-18.

TIAN Chenwei， WANG Xuechun， YANG Jianeng， et al. Research progress on fabric defect detection methods［J］. Computer Engineering and Applications， 2020， 56（12）： 8-18.

［3］YIN W， MA Z. High order discriminant analysis based on Riemannian optimization［J］. Knowledge-Based Systems， 2020， 195： 105630.

［4］LU R， CAI Y， ZHU J， et al. Dimension reduction of multimodal data by auto-weighted local discriminant analysis［J］. Neurocomputing， 2021， 461： 27-40.

［5］HU X， SUN Y， GAO J， et al. Probabilistic linear discriminant analysis based on L1-norm and its Bayesian variational inference［J］. IEEE Transactions on Cybernetics， 2022， 52（3）： 1616-1627.

［6］CHANG W， NIE F， WANG Z， et al. Self-weighted learning framework for adaptive locality discriminantanalysis［J］. Pattern Recognition， 2022， 129： 108778.

［7］YAN C， CHANG X， LUO M， et al. Self-weighted robust LDA for multiclass classification with edge classes［J］. ACM Transactions on Intelligent Systems and Technology， 2020， 12（1）： 1-19.

［8］LI C N， QI Y F， ZHAOD， et al. F F-norm two-dimensional linear discriminant analysis and its application on face recognition［J］. International Journal of Intelligent Systems， 2022， 37（11）： 8327-8347.

［9］高云龍，王志豪，丁柳，等.動(dòng)態(tài)加權(quán)非參數(shù)判別分析［J］.控制與決策，2020，35（8）：1866-1872.

GAO Yunlong，WANG Zhihao， DING Liu， et al. Dynamic weighted nonparametric discriminant analysis［J］.Control and Decision， 2020， 35（8）： 1866-1872.

［10］陸榮秀，蔡瑩杰，朱建勇，等.基于自權(quán)值線性判別分析算法的圖像處理研究［J］.華東交通大學(xué)學(xué)報(bào)，2020，37（3）：135-142.

LU Rongxiu， CAI Yingjie， ZHU Jianyong，et al. Application of self-weight linear discriminant analysis in dimension reduction［J］. Journal of East China Jiaotong University， 2020， 37（3）： 135-142.

［11］HUANG Libo， LING Yongquan. A parameter-free local linear discriminant analysis method［J］. Computer Science and Application， 2021， 11（4）： 1042-1052.

［12］NIE F， ZHAO X， WANG R， et al. Fast locality discriminant analysis with adaptive manifold embedding［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（12）： 9315-9330.

［13］梁志貞，張磊.面向Kullback-Leibler散度不確定集的正則化線性判別分析［J］.自動(dòng)化學(xué)報(bào)，2022，48（4）：1033-1047.

LIANG Zhizhen， ZHANG Lei. Regularized linear discri-minant analysis based on uncertainty sets from kullback-leibler divergence［J］. Acta Automatica Sinica， 2022， 48（4）： 1033-1047.

［14］YU Y F， REN C X， JIANG M， et al. Sparse approximation to discriminant projection learning and application to image classification［J］. Pattern Recognition， 2019， 96： 106963.

［15］LI Y， LIU B， YU Y， et al. 3E-LDA：Three enhancements to linear discriminant analysis［J］. ACM Transactions on Knowledge Discovery from Data， 2021， 15（4）： 1-20.

［16］GAO J， LI L. A robust geometric mean-based subspace discriminant analysis feature extraction approach for image set classification［J］. Optik， 2019， 199： 163368.

［17］ZHENG N， GUO X， TIE Y， et al. Incremental genera-lized multiple maximum scatter difference with applications to feature extraction［J］. Journal of Visual Communication and Image Representation， 2018， 55： 67-79.

Fabric image classification algorithm based on improved 3E-LDA

JIN Wenzhe1， L Wentao1， GUO Qing2， XU Yuzhen2， YU Runze3

（1.Key Laboratory of Intelligent Textile and Flexible Interconnection of Zhejiang Province， Zhejiang Sci-Tech University，

Hangzhou 310018， China; 2.Zhejiang Technical Innovation Service Center， Hangzhou 310007， China;

3.China Mobile Group Design Institute Co.， Ltd. Zhejiang Branch， Hangzhou 310012， China）

Abstract：

Textiles are one of the three physical elements of clothing. In recent years， with the development of computer technology， the classification and recognition of fabric images and intelligent manufacturing have played a very important role in the textile field. In the process of production， traditional manual detection methods are still widely used for fabric defect detection， which is time-consuming and laborious， and the efficiency is very low. It is easy to cause false detection and missed detection due to fatigue， and it will also affect the quality and price of textiles. Therefore， the use of digital image processing technology to complete the recognition and classification of fabric images has become a hot issue in recent years.

Relying on machine vision， spots， pits， scratches， color differences and defects on the fabric surface can be detected. Lineardiscriminant analysis （LDA） is a supervised dimensionality reduction and classification algorithm that can effectively classify fabric images. LDA classifies by calculating the optimal discriminant matrix to minimize the intra-class distance and maximize the inter-class distance. However， LDA is sensitive to outliers， ignores local geometric information and small sample size （SSS）， which affects the classification accuracy. The 3E-LDA （three enhancements to linear discriminant analysis） algorithm improves the above three problems on the basis of LDA and improves the classification accuracy. However， when the number of training samples is smaller than the data dimension， it will reduce the model's resolution ability and ultimately affect the classification accuracy.

A fabric image classification algorithm based on improved 3E-LDA， called I3E-LDA algorithm （Improved 3E-LDA）， was proposed to address the problem of reduced model resolution caused by training samples being smaller than the data dimension. Firstly， the nonparametric weighted feature extraction （NWFE） method was used to regularize the intra-class scatter matrix， and then the goal combination method was used to introduce equilibrium parameters to regularize the objective function， so as to weaken the influence of outliers and noise， retain more discriminative feature data， and rely on these feature data to better classify fabric images. It is necessary to combine the improved null space learning method to solve the singularity and small sample problems of intra-class scatter matrices and improve classification efficiency， and to train and test on the Alibaba Tianchi fabric dataset and pattern fabric images to distinguish between normal and abnormal patterns （defect images）. The experimental results show that the I3E-LDA algorithm effectively achieves fabric image classification， and improves classification accuracy for a small number of training samples （20%-40% of the samples are used for training）.

Keywords：

linear discriminant analysis; fabric; image classification; regularization; small sample size