摘" 要：針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)檢測(cè)織物材質(zhì)精確度低、檢測(cè)速度慢的問題，提出一種融合空間分割注意力的織物材質(zhì)識(shí)別算法。首先對(duì)多種材質(zhì)的織物風(fēng)吹視頻進(jìn)行分幀處理，得到織物圖像。接著進(jìn)行數(shù)據(jù)預(yù)處理，并采集織物圖像的時(shí)序信息，利用歐氏距離計(jì)算織物圖像中同一像素點(diǎn)在時(shí)間前后的位移量，將織物圖像進(jìn)行區(qū)域劃分。將處理后的圖像輸入到注意力網(wǎng)絡(luò)中進(jìn)行特征提取，采取深度可分離卷積（DSC）替代普通卷積，以減少網(wǎng)絡(luò)參數(shù)與計(jì)算量，增強(qiáng)網(wǎng)絡(luò)的特征提取能力。然后在每個(gè)卷積層后引入空間分割注意力模塊（SPAM）來增強(qiáng)重要特征，防止特征圖信息丟失過多，提升網(wǎng)絡(luò)精度。最后通過全局平均池化層和softmax層實(shí)現(xiàn)織物材質(zhì)的識(shí)別。結(jié)果表明：所提出的織物材質(zhì)識(shí)別算法能夠快速、有效地對(duì)織物材質(zhì)進(jìn)行分類識(shí)別，準(zhǔn)確率達(dá)到93.9％，單張圖片檢測(cè)時(shí)間為83.14 ms，在保證識(shí)別精度的同時(shí)具有較強(qiáng)的實(shí)時(shí)性。

關(guān)鍵詞：織物材質(zhì)識(shí)別；空間分割注意力模塊；區(qū)域劃分；卷積神經(jīng)網(wǎng)絡(luò)；深度可分離卷積

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-265X（2024）12-0058-10

DOI： 10.19398j.att.202403002

收稿日期：20240229

網(wǎng)絡(luò)出版日期：20240608

基金項(xiàng)目：山西省自然科學(xué)基金項(xiàng)目（202103021224218）

作者簡(jiǎn)介：南科良（2000—），男，山西運(yùn)城人，碩士研究生，主要從事圖像圖形處理方面的研究。

通信作者：靳雁霞，E-mail：zjc991109@163.com

織物材質(zhì)識(shí)別在紡織工業(yè)［1-2］、服裝設(shè)計(jì)［3-4］等領(lǐng)域應(yīng)用廣泛。傳統(tǒng)紡織行業(yè)中，利用人工檢測(cè)或復(fù)雜的機(jī)器裝置對(duì)織物材質(zhì)進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率和工作效率均比較低，無法滿足當(dāng)今環(huán)境下對(duì)紡織行業(yè)高質(zhì)量、高效率的要求。隨著織物種類的增多，這些織物材質(zhì)識(shí)別的難度也加大，因此需探索一種高效率、低成本的織物材質(zhì)識(shí)別分類方法。

目前織物材質(zhì)的識(shí)別方法大多關(guān)注織物本身的紋理結(jié)構(gòu)和纖維特征。邢寅初等［5］通過量化織物的紋理特征實(shí)現(xiàn)參數(shù)化建模，并進(jìn)一步使用卷積神經(jīng)網(wǎng)絡(luò)來提取織物質(zhì)感圖像的底層特征，提高了織物材質(zhì)識(shí)別的精度。此外，基于織物視頻的織物材質(zhì)識(shí)別方法也應(yīng)運(yùn)而生，彭濤等［6］基于織物視頻的時(shí)序信息生成帶有粒子間相互作用力的織物力流圖，并建立織物力模型，共同探索各類織物節(jié)點(diǎn)間的邊來構(gòu)建織物圖結(jié)構(gòu)，最終利用圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了織物材質(zhì)識(shí)別。Peng等［7］通過采集織物被風(fēng)吹動(dòng)時(shí)的運(yùn)動(dòng)信息，如光流軌跡和密集軌跡來反映織物特征，利用雙流網(wǎng)絡(luò)實(shí)現(xiàn)了織物的材質(zhì)識(shí)別，但該方法在保證識(shí)別精度的同時(shí)未考慮網(wǎng)絡(luò)的時(shí)間復(fù)雜度。

普通卷積網(wǎng)絡(luò)無法提取織物豐富的特征信息，且卷積的過量堆疊導(dǎo)致網(wǎng)絡(luò)參數(shù)量過大，時(shí)間復(fù)雜度過高。因此需要探究一種低參數(shù)量、能夠增強(qiáng)提取特征的卷積方式。Xu等［8］提出將transformer編碼器中的線性投影層替換為DSC，利用多頭注意力進(jìn)一步提取纖維特征，并進(jìn)行多標(biāo)簽的織物纖維識(shí)別。Cheng等［9］將DSC加入到神經(jīng)網(wǎng)絡(luò)中，并將Densenet網(wǎng)絡(luò)作為基線網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)的參數(shù)量，最后融合注意力機(jī)制，實(shí)現(xiàn)小樣本織物材質(zhì)的識(shí)別。但該方法的注意力機(jī)制壓縮了通道信息，可能導(dǎo)致通道信息丟失，損失圖像特征信息。

融合注意力機(jī)制的圖像識(shí)別是近年的研究熱點(diǎn)之一，被廣泛應(yīng)用于人臉表情識(shí)別［10-12］、織物疵點(diǎn)檢測(cè)［13］等領(lǐng)域。將注意力機(jī)制融入神經(jīng)網(wǎng)絡(luò)，能自動(dòng)關(guān)注圖像中的重要區(qū)域特征，提高網(wǎng)絡(luò)的準(zhǔn)確性與魯棒性。但大部分注意力機(jī)制普遍依賴于直接壓縮空間維度來建模通道關(guān)系，可能導(dǎo)致空間信息丟失，如CBAM等混合注意力機(jī)制，通過通道融合或壓縮的方式獲取特征圖的空間重要性信息，減小了計(jì)算量，但損失了空間信息。

基于以上分析，本文提出一種融合空間分割注意力的織物材質(zhì)識(shí)別算法，在數(shù)據(jù)預(yù)處理階段提取織物圖像的時(shí)序信息，采用歐氏距離計(jì)算圖像像素點(diǎn)時(shí)間前后的位移量；將織物圖像劃分為平坦區(qū)域與褶皺區(qū)域，以選擇最佳實(shí)驗(yàn)數(shù)據(jù)集；將普通卷積層替換為DSC，以解決網(wǎng)絡(luò)參數(shù)量過多導(dǎo)致檢測(cè)速度過慢的問題；并融合空間分割注意模塊，實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)特征圖空間信息的保護(hù)；同時(shí)縮減特征圖的尺寸減小計(jì)算量，以此提高網(wǎng)絡(luò)的運(yùn)算速率。本文網(wǎng)絡(luò)根據(jù)各參數(shù)對(duì)織物識(shí)別準(zhǔn)確率的影響以確定最佳網(wǎng)絡(luò)，以期實(shí)現(xiàn)對(duì)多類織物圖像的智能識(shí)別與分類。

1" 融合空間分割注意力的織物材質(zhì)識(shí)別算法

針對(duì)檢測(cè)準(zhǔn)確度低，檢測(cè)速度慢這一問題，采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜結(jié)構(gòu)下的織物進(jìn)行材質(zhì)識(shí)別。

織物材質(zhì)識(shí)別主要分為以下幾個(gè)步驟：1）按幀分割織物視頻得到織物圖像，建立織物圖像庫;2）對(duì)織物圖像進(jìn)行預(yù)處理，劃分織物圖像為褶皺區(qū)域與平坦區(qū)域，確定實(shí)驗(yàn)數(shù)據(jù)集;3）構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，調(diào)整參數(shù)使網(wǎng)絡(luò)性能達(dá)到最優(yōu)，并提取織物特征;4）將提取的織物特征經(jīng)過普通卷積層和全局平均池化層，最后輸入到softmax分類器中得到分類結(jié)果。

1.1" 圖像預(yù)處理

從Yang等［14］公開的織物數(shù)據(jù)集中選擇棉、牛仔、亞麻、錦綸、絲綢、皮革6種類型織物組成本文數(shù)據(jù)集，并對(duì)數(shù)據(jù)集進(jìn)行色彩弱化、數(shù)據(jù)增強(qiáng)和區(qū)域劃分操作。

1.1.1" 色彩弱化與數(shù)據(jù)增強(qiáng)

對(duì)數(shù)據(jù)集采用YUV（顏色編碼）方法進(jìn)行預(yù)處理，將RGB 3個(gè)通道的像素值分別賦予權(quán)重，并與其對(duì)應(yīng)權(quán)重相乘，得到新圖像Image，如式（1）所示：

VImage=R×0.295+G×0.578+B×0.127（1）

式中：VImage表示Image值；R表示紅色通道數(shù)；G表示綠色通道數(shù)；B表示藍(lán)色通道數(shù)。

將數(shù)據(jù)集的6類圖像進(jìn)行尺寸歸一化，所有圖像像素設(shè)置為224 px×224 px，并進(jìn)行平移、旋轉(zhuǎn)、隨機(jī)擾動(dòng)等數(shù)據(jù)增強(qiáng)操作。數(shù)據(jù)增強(qiáng)后訓(xùn)練集中每個(gè)類別的織物圖像數(shù)量增加到1000張。原始圖像、色彩弱化和數(shù)據(jù)增強(qiáng)后的對(duì)比結(jié)果如圖1所示。數(shù)據(jù)增強(qiáng)操作會(huì)對(duì)后續(xù)實(shí)驗(yàn)產(chǎn)生一些細(xì)微影響，因此之后對(duì)數(shù)據(jù)集進(jìn)行區(qū)域劃分操作，將底色與目標(biāo)物體分割開，以消除數(shù)據(jù)增強(qiáng)對(duì)特征學(xué)習(xí)的不良干擾。

1.1.2" 圖像區(qū)域劃分

在織物材質(zhì)識(shí)別任務(wù)中，織物圖像所包含的特征信息至關(guān)重要，所提取到的特征信息越多，織物的識(shí)別準(zhǔn)確率越高。當(dāng)織物被風(fēng)吹動(dòng)時(shí)，產(chǎn)生的褶皺區(qū)域蘊(yùn)含的特征信息更多，因此將織物圖像劃分為平坦區(qū)域與褶皺區(qū)域。

圖像區(qū)域劃分處理方法：

一段時(shí)長(zhǎng)為T的織物視頻，按幀分割后形成帶有時(shí)序信息的織物圖像數(shù)據(jù)集，將當(dāng)前時(shí)刻圖像tk與前一時(shí)刻圖像tk-1進(jìn)行對(duì)照，某處像素位移超過設(shè)置的形變參數(shù)q時(shí)，將該像素標(biāo)記為形變點(diǎn)，由形變點(diǎn)組成的點(diǎn)集稱為形變集S1。某處像素位移未超過設(shè)置的形變參數(shù)q時(shí)，將該像素標(biāo)記為未形變點(diǎn)，由未形變點(diǎn)組合成的點(diǎn)集稱為未形變集S2。如式（2）—（3）所示：

T = T0+T1+…+Tk-1+Tk+…+Tn（2）

Sk-Sk－1≥q，

Sk-Sk－1＜q， Sk∈S1

Sk∈S2（3）

式中：Sk表示Tk時(shí)刻的織物圖像tk中的某一像素點(diǎn)；q為形變參數(shù)。采用歐氏距離來計(jì)算像素點(diǎn)的位移，如式（4）所示：

d=（xk-xk－1）2+（yk-yk－1）2（4）

式中：d表示像素點(diǎn)的位移量；xk、yk表示像素點(diǎn)在圖像中的位置。

織物圖像的褶皺區(qū)域、平坦區(qū)域和全區(qū)域的預(yù)處理結(jié)果如圖2所示。

預(yù)處理后，整合4個(gè)備選數(shù)據(jù)集，分別是數(shù)據(jù)集1—原數(shù)據(jù)集，數(shù)據(jù)集2—褶皺數(shù)據(jù)集，數(shù)據(jù)集3—平坦數(shù)據(jù)集，數(shù)據(jù)集4—全區(qū)域數(shù)據(jù)集。

1.1.3" 數(shù)據(jù)集實(shí)驗(yàn)

本文實(shí)驗(yàn)的硬件環(huán)境為：內(nèi)存為16 GB，處理器為Intel（R）Core（TM）i5－13600KF（4.90 GHz）的計(jì)算機(jī)上。采用PyTorch框架構(gòu)建網(wǎng)絡(luò)，編程語言選擇Python。實(shí)驗(yàn)Batch Size設(shè)置為8，學(xué)習(xí)率初始化0.0001，計(jì)算交叉熵?fù)p失時(shí)選擇衰減因子為0.98，優(yōu)化器選擇Adam。Epoch設(shè)置為500。6種類型織物各1000張，共6000張，選取了4800張作為訓(xùn)練樣本，1200張作為測(cè)試樣本集，改變網(wǎng)絡(luò)參數(shù)進(jìn)行多次實(shí)驗(yàn)。

本文在圖像預(yù)處理中整合了4個(gè)數(shù)據(jù)集，為了選取最佳的實(shí)驗(yàn)數(shù)據(jù)集，以Densenet121作為基準(zhǔn)網(wǎng)絡(luò)對(duì)每個(gè)數(shù)據(jù)集進(jìn)行5折交叉驗(yàn)證，數(shù)據(jù)集的第1折作為初始訓(xùn)練集。數(shù)據(jù)集1、數(shù)據(jù)集2、數(shù)據(jù)集3、數(shù)據(jù)集4的識(shí)別準(zhǔn)確率分別是87.22%、92.78%、89.85%、89.25%。結(jié)果表明，數(shù)據(jù)集2的識(shí)別準(zhǔn)確率比其他3個(gè)數(shù)據(jù)集高2.93%～5.56%，因此選擇數(shù)據(jù)集2為實(shí)驗(yàn)數(shù)據(jù)集。數(shù)據(jù)集3的識(shí)別準(zhǔn)確率為89.85%，這是因?yàn)榭椢锲教箙^(qū)域的紋理特征相對(duì)于織物褶皺區(qū)域的紋理特征不夠豐富。

1.2" 織物材質(zhì)識(shí)別網(wǎng)絡(luò)

1.2.1" 織物材質(zhì)識(shí)別網(wǎng)絡(luò)的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)有較高的精度和魯棒性，但隨著網(wǎng)絡(luò)層數(shù)的加深，其結(jié)構(gòu)復(fù)雜度和時(shí)間復(fù)雜度會(huì)逐漸增加，使得織物材質(zhì)識(shí)別速度過慢；且卷積神經(jīng)網(wǎng)絡(luò)僅通過普通卷積并不能很好的提取織物圖像中豐富的特征，無法保證較高的織物材質(zhì)識(shí)別準(zhǔn)確率。

本文提出融合空間分割注意力的織物材質(zhì)識(shí)別網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)分為4個(gè)部分：圖像預(yù)處理、數(shù)據(jù)集選取、特征提取和織物分類識(shí)別，織物材質(zhì)識(shí)別網(wǎng)絡(luò)框架圖如圖3所示。在特征提取階段設(shè)計(jì)了混合深度可分離卷積模塊，并搭建織物材質(zhì)識(shí)別網(wǎng)絡(luò)MDW-CNN。MDW-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

MDW-CNN首先經(jīng)過1個(gè)3×3卷積提取底層特征，學(xué)習(xí)空間信息及通道間的相關(guān)性。同時(shí)在卷積層后引入空間分割注意力模塊（SPAM）模塊，強(qiáng)化網(wǎng)絡(luò)內(nèi)部各層之間的特征關(guān)聯(lián)性。其次經(jīng)過4個(gè)

結(jié)構(gòu)一致的階段，每個(gè)階段分別由3個(gè)基礎(chǔ)塊和1個(gè)最大池化層構(gòu)成。每個(gè)基礎(chǔ)塊中所有的DSC均采用3×3卷積核，步長(zhǎng)設(shè)定為1，起始通道數(shù)64，并隨著網(wǎng)絡(luò)深度的增加，最終可提升至1024個(gè)通道。經(jīng)過卷積層后連接批量歸一化、SeLU激活函數(shù)和SPAM模塊進(jìn)行處理。為減小特征圖的尺寸，網(wǎng)絡(luò)在每個(gè)階段的最后一步加入窗口大小為3、步長(zhǎng)為2的最大池化層執(zhí)行下采樣操作。最后利用3×3卷積層進(jìn)行特征映射，利用全局平均池化層進(jìn)行特征信息求和，得到6個(gè)數(shù)值，輸入到softmax分類器中，得到對(duì)應(yīng)織物類別預(yù)測(cè)結(jié)果。

1.2.2" 混合深度可分離卷積模塊

本文設(shè)計(jì)的混合深度可分離卷積模塊由DSC與SPAM組成，該模塊結(jié)構(gòu)圖如圖5所示。首先經(jīng)過1個(gè)卷積核為1×1大小的普通卷積，通過對(duì)輸入特征圖每個(gè)位置的每個(gè)通道進(jìn)行加權(quán)求和，實(shí)現(xiàn)關(guān)鍵特征的提取。其次對(duì)輸出特征圖進(jìn)行分組操作，按通道維度均勻劃分為8個(gè)部分，各部分獨(dú)立使用3×3大小、通道數(shù)為原始通道數(shù)1/8的小型卷積核拓寬感受野，進(jìn)一步提升特征表達(dá)能力。然后通過2個(gè)可學(xué)習(xí)參數(shù)α和β進(jìn)行自適應(yīng)池化，最后將8個(gè)具有不同通道特征的部分執(zhí)行拼接操作，合并后的特征通過分組卷積來重建通道維度，將帶有注意力權(quán)重的像素塊進(jìn)行重標(biāo)定，標(biāo)定后尺寸與原始圖像大小一致，實(shí)現(xiàn)對(duì)重要通道的增強(qiáng)。

1.2.2.1" 深度可分離卷積

DSC將卷積過程拆分為2個(gè)階段，其流程如圖6所示。第1階段是逐點(diǎn)卷積，假設(shè)輸入DF×DF×M大小的特征圖，在特征提取階段，采用M個(gè)卷積核為DK×DK的深度卷積對(duì)每個(gè)通道獨(dú)立進(jìn)行卷積操作，提取各個(gè)通道內(nèi)的特征信息，并產(chǎn)生與輸入通道數(shù)數(shù)量相同的特征圖，特征圖大小變?yōu)镈′F×D′F×M。第2階段是逐通道卷積，采用N個(gè)卷積核為1×1的通道卷積對(duì)第1階段得到的各通道特征圖進(jìn)一步整合，組成D′F×D′F×N的新特征圖。普通卷積與DSC在最終輸出結(jié)構(gòu)上保持一致，但DSC能有效提升網(wǎng)絡(luò)運(yùn)行計(jì)算效率，減少參數(shù)量。DSC與普通卷積所產(chǎn)生的參數(shù)量之比見式（5）：

DK·DK·M·DF·DF+M·N·DF·DFDK·DK·M·N·DF·DF=1N+1DK2（5）

式中：DK表示深度卷積核的邊長(zhǎng)；DF表示特征圖的邊長(zhǎng)；M表示輸入通道數(shù)；N表示輸出通道數(shù)。

1.2.2.2" 空間分割注意力

在混合深度可分離卷積模塊中引入SPAM。SPAM針對(duì)特征圖進(jìn)行壓縮，不考慮每一像素點(diǎn)與其他像素點(diǎn)的關(guān)系，而是考慮其在特征圖中的重要程度，盡可能地保留空間信息，通過縮減特征圖的尺寸減少計(jì)算量，滿足網(wǎng)絡(luò)的實(shí)時(shí)性要求。SPAM模塊結(jié)構(gòu)如圖7所示。輸入特征圖采取對(duì)應(yīng)操作后會(huì)得到重標(biāo)定后的特征圖。

SPAM處理過程如下，輸入尺寸為H（高度）×W（寬度）×C（通道數(shù)）的特征圖F。

第一步，利用自適應(yīng)機(jī)制加入池化層獲取初始特征。為了確保網(wǎng)絡(luò)能夠整合不同的特征信息，引入2個(gè)可學(xué)習(xí)參數(shù)α和β，α控制全局最大池化，β控制全局平均池化，利用這2個(gè)參數(shù)將最大池化特

征和平均池化特征進(jìn)行融合，增強(qiáng)圖像特征提取階段的多樣性表達(dá)能力。經(jīng)過上述操作得到FAvg、FMax2組特征圖，此時(shí)特征圖尺寸變?yōu)閔×w×C，其中h=H」，w=W」，」表示向下取整操作，該池化操作有效降低了空間維度且保留了關(guān)鍵特征，得到該階段特征F1。處理過程見式（6）：

F1=α×FAvg+β×FMax（6）

式中：α和β為可學(xué)習(xí)參數(shù)；FAvg為經(jīng)過平均自適應(yīng)池化后的特征圖；FMax為經(jīng)過最大自適應(yīng)池化后的特征圖。

第二步，首先，使用IN層獲取注意力特征圖，IN層具備全局強(qiáng)化或抑制的能力，有助于進(jìn)一步凸顯特征差異。其次，使用DSC以有效節(jié)省參數(shù)和計(jì)算資源。最后，采用Sigmoid激活函數(shù)將所學(xué)到的權(quán)重進(jìn)行歸一化處理，并乘以輸入F1，得到F2。處理過程見式（7）：

F2=σ （DSC（IN（F1）））×F1（7）

式中：DSC為深度可分離卷積；σ為Sigmoid激活函數(shù)。

第三步，通道維度重建。利用分組卷積獲取特征圖的通道維度并進(jìn)行重建，分組卷積數(shù)量為C/16」，將重建好的特征圖通過激活函數(shù)得到歸一化權(quán)重，獲得特征權(quán)重圖F3。處理過程見式（8）：

F3=σ （GroupConv（F2））（8）

式中：GroupConv表示分組卷積。

第四步，最近鄰插值。F3的特征圖尺寸為h×w×C。關(guān)注特征圖的所有通道，計(jì)算所有像素的注意力權(quán)重。將特征圖尺寸與原特征圖尺寸恢復(fù)一致，選擇最近鄰插值，特征圖尺寸變?yōu)镠×W×C，與輸入特征圖F相乘，得到特征圖F4，處理過程見式（9）：

F4=Interpolate（F3）×F（9）

式中：Interpolate表示插值恢復(fù)。

1.2.3" 激活函數(shù)

網(wǎng)絡(luò)采用SeLU激活函數(shù)引入非線性轉(zhuǎn)換。SeLU函數(shù)能促進(jìn)網(wǎng)絡(luò)實(shí)現(xiàn)自我歸一化，使網(wǎng)絡(luò)在數(shù)據(jù)傳播過程中自動(dòng)保持均值接近0、方差接近1，解決深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失和梯度爆炸問題，保證輸入數(shù)據(jù)的穩(wěn)定分布。SeLU函數(shù)見式（10）。

SeLU（x）=λx，

α·（ex-1），" x＞0

x≤0（10）

式中：x為輸入值，λ與α通常是2個(gè)常數(shù)：λ=1.05，α=1.67。

1.2.4" 損失函數(shù)

網(wǎng)絡(luò)采用交叉熵?fù)p失函數(shù)衡量真實(shí)類別與預(yù)測(cè)類別的差距。損失函數(shù)在訓(xùn)練過程中能不斷優(yōu)化網(wǎng)絡(luò)性能，使預(yù)測(cè)概率分布盡可能接近真實(shí)分布。交叉熵?fù)p失越小，網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確率越高。交叉熵?fù)p失函數(shù)見式（11）：

H（p，q）=-∑ni=1p（xi）logq（xi）（11）

式中：xi為輸入樣本；p（xi）為輸入樣本的真實(shí)概率；q（xi）為網(wǎng)絡(luò)輸出預(yù)測(cè)值的概率。

2" 實(shí)驗(yàn)結(jié)果與分析

2.1" 網(wǎng)絡(luò)訓(xùn)練結(jié)果

為檢驗(yàn)本文提出的織物材質(zhì)識(shí)別網(wǎng)絡(luò)在織物材質(zhì)識(shí)別上的效果，本文選擇交叉熵?fù)p失值與識(shí)別準(zhǔn)確率為評(píng)價(jià)指標(biāo)，得到網(wǎng)絡(luò)交叉熵?fù)p失曲線圖和網(wǎng)絡(luò)識(shí)別準(zhǔn)確率曲線圖分別如圖8—圖9所示，實(shí)驗(yàn)結(jié)果表明，網(wǎng)絡(luò)的交叉熵?fù)p失值隨著迭代次數(shù)增加而逐步降低，網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率隨著迭代次數(shù)增加而逐步增加。

2.2" 消融實(shí)驗(yàn)

為驗(yàn)證本文數(shù)據(jù)集預(yù)處理方式的有效性，選取6個(gè)織物材質(zhì)識(shí)別效果較好的網(wǎng)絡(luò)：C+L（CNN+LSTM）、Times（Timesformer）、雙流網(wǎng)絡(luò)、ViViT 、v5（YOLOv5）、v8（YOLOv8），與本文網(wǎng)絡(luò)MDW-CNN進(jìn)行對(duì)比實(shí)驗(yàn)，輸入本文預(yù)處理后的數(shù)據(jù)集，比較各網(wǎng)絡(luò)識(shí)別準(zhǔn)確率，得到數(shù)據(jù)集預(yù)處理方式效果對(duì)比圖如圖10所示。

由圖10可知，加入本文預(yù)處理的數(shù)據(jù)集后，7種網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率提高了2.4％～5.6％。相比于其他6種網(wǎng)絡(luò)，C+L網(wǎng)絡(luò)識(shí)別準(zhǔn)確率提升最大，為5.6％，這是因?yàn)镃+L網(wǎng)絡(luò)使用本文預(yù)處理后的數(shù)據(jù)集后，增強(qiáng)了后續(xù)網(wǎng)絡(luò)流程中對(duì)織物重要特征區(qū)域的提取。證明本文的數(shù)據(jù)預(yù)處理方法能夠關(guān)注織物圖像重點(diǎn)區(qū)域，對(duì)于織物材質(zhì)識(shí)別準(zhǔn)確率的提升有較大作用。

為驗(yàn)證SPAM模塊的有效性，本文在MDW-CNN和其他6個(gè)網(wǎng)絡(luò)中加入SPAM模塊，數(shù)據(jù)集選擇原數(shù)據(jù)集，卷積層選擇普通卷積。并與未加入SPAM模塊的7個(gè)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，比較其識(shí)別準(zhǔn)確率，得到SPAM效果對(duì)比圖如圖11所示。

由圖11可知，加入SPAM模塊后，7種網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率提升了1.6％～6.6％。證明了SPAM模塊通過自適應(yīng)池化與壓縮特征圖的方式對(duì)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率提升有較大作用。

為驗(yàn)證DSC的有效性，本文將MDW-CNN和其他6個(gè)網(wǎng)絡(luò)中的大部分卷積層由普通卷積替換為DSC，數(shù)據(jù)集選擇原數(shù)據(jù)集，不加入SPAM模塊。并與未加入DSC進(jìn)行對(duì)比實(shí)驗(yàn)，比較其識(shí)別準(zhǔn)確率，得到DSC效果對(duì)比圖如圖12所示。

由圖12可知，將7種網(wǎng)絡(luò)的普通卷積替換為DSC后，網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率提升了0.7％～1.4％。

為了更直觀地展示各模塊對(duì)網(wǎng)絡(luò)性能提升的影響，將本文數(shù)據(jù)預(yù)處理方法、DSC與SPAM模塊以MDW-CNN為基線網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，得到消融實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。

由表1可知，僅使用普通的MDW-CNN網(wǎng)絡(luò)，識(shí)別準(zhǔn)確率為86.7％，效果一般。加入本文數(shù)據(jù)預(yù)處理方法后，網(wǎng)絡(luò)精度提高為90.3％，提高幅度為3.6％；將普通卷積替換為DSC后，網(wǎng)絡(luò)精度提高為87.5％，提高幅度為0.8％；加入SPAM模塊，網(wǎng)絡(luò)精度提高為89.5％，提高幅度為2.8％。同時(shí)加入數(shù)據(jù)預(yù)處理、DSC與SPAM模塊時(shí)，網(wǎng)絡(luò)精度最高，識(shí)別準(zhǔn)確率為93.9％，較普通的MDW-CNN網(wǎng)絡(luò)在準(zhǔn)確率上提高了7.2％。上述實(shí)驗(yàn)表明，本文數(shù)據(jù)預(yù)處理方法將織物圖像分為褶皺區(qū)域與平坦區(qū)域，并選擇褶皺數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)集，能有效增強(qiáng)數(shù)據(jù)集中織物的紋理信息表達(dá)，提升織物材質(zhì)識(shí)別準(zhǔn)確率；將普通卷積替換為DSC，并加入SPAM模塊來關(guān)注重要通道，在不損失通道信息的前提下對(duì)特征圖進(jìn)行壓縮處理，能有效增強(qiáng)織物紋理特征的重要通道信息表達(dá)，減少特征信息丟失。3部分結(jié)合后能夠有效增強(qiáng)網(wǎng)絡(luò)性能，提高網(wǎng)絡(luò)識(shí)別精度。

本文引入DSC與SPAM模塊，將2部分組合成混合深度可分離卷積模塊，在MDW-CNN網(wǎng)絡(luò)中，基礎(chǔ)塊疊加了4個(gè)階段，每個(gè)階段的網(wǎng)絡(luò)結(jié)構(gòu)相同。為了探究疊加基礎(chǔ)塊的最佳數(shù)量，進(jìn)行了不同數(shù)量基礎(chǔ)塊的網(wǎng)絡(luò)性能對(duì)比實(shí)驗(yàn)，得到結(jié)果如表2所示。

由表2可知，隨著基礎(chǔ)塊的增加，網(wǎng)絡(luò)所產(chǎn)生的參數(shù)量逐漸上升，與之相對(duì)應(yīng)的單張圖片檢測(cè)時(shí)間也隨之上升。但是當(dāng)基礎(chǔ)塊的數(shù)量超過12時(shí)，識(shí)別準(zhǔn)確率開始下降。綜合網(wǎng)絡(luò)3方面的評(píng)價(jià)標(biāo)準(zhǔn)，選擇疊加4個(gè)階段，每個(gè)階段內(nèi)基礎(chǔ)塊數(shù)量為3，使網(wǎng)絡(luò)的參數(shù)量、單張圖片檢測(cè)時(shí)間相對(duì)較低，識(shí)別準(zhǔn)確率達(dá)到最高。

確定基礎(chǔ)塊數(shù)量為3后，為了驗(yàn)證本文網(wǎng)絡(luò)的優(yōu)越性，將本文網(wǎng)絡(luò)MDW-CNN與其他6個(gè)近年來織物材質(zhì)識(shí)別效果好的網(wǎng)絡(luò)進(jìn)行性能實(shí)驗(yàn)，得到不同網(wǎng)絡(luò)的性能對(duì)比結(jié)果如表3所示。

由表3可知，本文方法相比于C+L、Times、雙流網(wǎng)絡(luò)、VIVIT、v5和v8在參數(shù)量方面降低了3.3％、48.5％、56.7％、29.3％、26.1％和12.7％，保持了低參數(shù)量。在識(shí)別準(zhǔn)確率上，本文方法明顯高于其他網(wǎng)絡(luò)，識(shí)別準(zhǔn)確率達(dá)到93.9%。且單張圖片檢測(cè)時(shí)間相較其他方法耗時(shí)最短，檢測(cè)時(shí)間為83.14 ms。通過網(wǎng)絡(luò)參數(shù)量、單張圖片檢測(cè)時(shí)間與識(shí)別準(zhǔn)確率表明，本文方法能夠在低參數(shù)量與低耗時(shí)下，保持高識(shí)別準(zhǔn)確率，證明了MDW-CNN網(wǎng)絡(luò)在織物材質(zhì)識(shí)別任務(wù)上的優(yōu)越性。

3" 結(jié)論

本文將融合空間分割注意力的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于織物材質(zhì)識(shí)別。首先按幀分割織物視頻得到織物圖像。其次對(duì)織物圖像進(jìn)行預(yù)處理，并提取織物圖像的時(shí)序信息，將織物圖像處理為平坦區(qū)域與褶皺區(qū)域，在4類預(yù)處理數(shù)據(jù)集中選擇出實(shí)驗(yàn)數(shù)據(jù)集。最后網(wǎng)絡(luò)方面采用DSC代替普通卷積，優(yōu)化運(yùn)算參數(shù)量，增強(qiáng)了織物圖像對(duì)空間變換的魯棒性，在DSC后加入SPAM模塊，針對(duì)特征圖進(jìn)行自適應(yīng)池化，關(guān)注織物重要特征通道信息，避免織物通道信息丟失。主要得出以下結(jié)論：

a）MDW-CNN網(wǎng)絡(luò)識(shí)別速度快，單張圖片檢測(cè)時(shí)間達(dá)到83.14 ms，與其他6個(gè)網(wǎng)絡(luò)相比檢測(cè)時(shí)間降低了0.65～12.29 ms。

b）運(yùn)算參數(shù)量下降為7941056，與其他6個(gè)網(wǎng)絡(luò)相比參數(shù)量降低了3.3%～56.7%。

c）識(shí)別準(zhǔn)確率達(dá)到93.9％，與其他6個(gè)網(wǎng)絡(luò)相比識(shí)別準(zhǔn)確率提高了8.5%～27.2%。

d）在織物材質(zhì)識(shí)別任務(wù)中，織物圖像的紋理特征非常多，SPAM模塊能夠最大可能避免通道信息的丟失，具有一定的優(yōu)勢(shì)。

但本文方法僅考慮6類織物，對(duì)于某些相似度高的織物類型識(shí)別效果不佳，在之后的工作中，會(huì)進(jìn)一步研究相似度高的織物類型識(shí)別。

參考文獻(xiàn)：

［1］王凱.探析計(jì)算機(jī)技術(shù)在紡織行業(yè)中的應(yīng)用［J］.紡織報(bào)告，2020（1）： 26-27.

WANG Kai. Application of computer technology in textile industry［J］. Textile Reports， 2020（1）： 26-27.

［2］GAO X， JIN F. Limiter identification model of color difference amp; bias based on the RGB distribution of fabric image［J］. International Journal of Simulation： Systems， Science amp; Technology， 2016，17（11）.

［3］韓曙光， 姜?jiǎng)P文， 趙麗妍. 基于深度學(xué)習(xí)的服裝三要素識(shí)別［J］. 服裝學(xué)報(bào)，2022，7（5）：399-407.

HAN Shuguang， JIANG Kaiwen， ZHAO Liyan. Recognition of clothing \"three elements\" based on deep learning［J］. Journal of Clothing Research，2022，7（5）：399-407.

［4］付國定，陳樺，劉紅，等.數(shù)字圖像處理技術(shù)在紡織服裝領(lǐng)域的研究進(jìn)展［J］.絲綢，2011，48（12）：22-25.

FU Guoding， CHEN Hua， LIU Hong， et al. Overview of research on image processing technology in textile and clothing field［J］. Journal of Silk， 2011， 48（12）：22-25.

［5］邢寅初，劉驪，付曉東，等.結(jié)合面料屬性和觸覺感測(cè)的織物識(shí)別［J］.中國圖象圖形學(xué)報(bào)，2020， 25（9）：1800-1812.

XING Yinchu， LIU Li， FU Xiaodong， et al. Cloth reco-gnition based on fabric properties and tactile sensing［J］. Journal of Image and Graphics， 2020， 25（9）：1800-1812.

［6］彭濤，彭迪，劉軍平，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)的織物分類研究［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（5）：1581-1585.

PENG Tao， PENG Di， LIU Junping， et al. Fabric classifi-cation based on graph convolutional network［J］. Appli-cation Research of Computers， 2021， 38（5）： 1581-1585.

［7］PENG T， ZHOU X， LIU J， et al. A textile fabric classi-fication framework through small motions in videos［J］. Multimedia Tools and Applications， 2021， 80：7567-7580.

［8］XU L， LI F， CHANG S. Incorporating convolutions into transformers for textile fiber identification from fabric images［J］. Textile Research Journal， 2023， 93（23/24）：5380-5390.

［9］CHENG L， YI J， CHEN A， et al. Fabric material identification based on Densenet variant networks［J］. The Journal of the Textile Institute， 2023， 114（10）：1527-1538.

［10］陳港，張石清，趙小明.采用Transformer網(wǎng)絡(luò)的視頻序列表情識(shí)別［J］.中國圖象圖形學(xué)報(bào)，2022，27（10）：3022-3030.

CHEN Gang， ZHANG Shiqing， ZHAO Xiaoming. Video sequence-based human facial expression recognition using Transformer networks［J］. Journal of Image and Graphics， 2022， 27（10）：3022-3030.

［11］陳公冠，張帆，王樺，等.區(qū)域增強(qiáng)型注意力網(wǎng)絡(luò)下的人臉表情識(shí)別［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2024，36（1）：152-160.

CHEN Gongguan， ZHANG Fan， WANG Hua， et al. Facial expression recognition based on region enhanced attention network［J］. Journal of Computer-Aided Design amp; Computer Graphics，2024，36（1）：152-160.

［12］CHEN Z， LIANG M， XUE Z， et al. STRAN： Student expression recognition based on spatio-temporal residual attention network in classroom teaching videos［J］. Applied Intelligence，2023，53（21）：25310-25329.

［13］陳夢(mèng)琦， 余靈婕， 支超， 等. 融合注意力機(jī)制和Faster R-CNN的織物疵點(diǎn)檢測(cè)算法［J］. 紡織高?；A(chǔ)科學(xué)學(xué)報(bào)， 2021， 34（4）： 46-52.

CHEN Mengqi， YU Lingjie， ZHI Chao， et al. Fabric defect detection algorithm based on attention mechanism and Faster R-CNN［J］. Basic Sciences Journal of Textile Universities， 2021， 34（4）： 46-52.

［14］YANG S， LIANG J， LIN M C. Learning-based cloth material recovery from video［C］//IEEE Interna-tional Conference on Computer Vision （ICCV）. Venice， Italy. IEEE， 2017： 4393-4403.

A fabric material recognition method based on spatially partitioned attention

NAN" Keliang，" JIN" Yanxia，" WANG" Songsong，" WANG" Ting，" ZHANG" Xiaozhu，" ZHANG "Zhuangwei

（a.School of Computer Science and Technology； b.Institute of Artificial Intelligence and Computer

Vision， North University of China， Taiyuan 030051， China）

Abstract：

To achieve high-precision identification of fabric materials， reduce identification time， and improve production efficiency， it is of great significance to develop a system capable of accurately distinguishing between various fabric types. In this paper， we proposed a fabric material recognition network that incorporates spatial segmentation attention. We utilized the pre-trained DenseNet121 network for experimental dataset selection and combined depthwise separable convolution （DSC） with the spatial partitioned attention module （SPAM） to create a network structure that fulfills the demands of swift recognition and high precision.

To obtain the best performance of the network， the dataset was preprocessed by color weakening， data augmentation and region division. We collected a series of fabric images with temporal sequence information from videos showing fabrics being blown by the wind. The RGB values of critical regions were weighted and recalibrated， and random perturbations， flips， and translations were applied to the images， enhancing clarity in critical regions while suppressing irrelevant ones. The Euclidean distance was used to calculate the displacement amount around the same pixel time of the fabric image， and the image region was divided into wrinkled area and flat areas. We obtained 6，000 grayscale images of 224x224 pixels， with 1，000 fabric images per class across six categories. We constructed the proposed mixed depthwise separable convolutional neural network （MDW-CNN） using Python. Firstly， the fabric video was segmented to obtain the fabric image for data preprocessing. Then， the improved convolutional neural network was used for feature extraction， and the ordinary convolution was replaced by the DSC， which enhanced the ability of the network to extract features and reduced the network parameters and calculation. Secondly， SPAM was introduced after each convolutional layer to enhance the saliency features， prevent the loss of too much information of the feature map， and improve the accuracy of the network. Finally， fabric material recognition was achieved through the global average pooling layer and the softmax layer.

The 224 px×224 px fabric image was used to complete the experiment on the Intel processor， and the CNN+LSTM， Timesformer， two-stream network， ViViT， YOLOv5， YOLOv8 and the network proposed in this paper were compared. The results show that the proposed MDW-CNN can maintain good recognition accuracy while ensuring a low number of parameters. The network proposed in this study shows strong performance in fabric material recognition， achieving a recognition accuracy of 93.9%. Regarding network parameters， the proposed method reduced them by 3.3%， 48.5%， 56.7%， 29.3%， 26.1%， and 12.7% when compared with CNN+LSTM， Timesformer， the two-stream network， ViViT， YOLOv5， and YOLOv8， respectively.

In this study， the improved convolutional network method has been applied to the task of fabric recognition. Experimental results indicate that the improved network offers faster detection speeds， significantly reduces the number of network parameters， achieves a recognition accuracy of 93.9%， and has a detection time of 83.14 ms for a single image. Thus， it achieves real-time performance while maintaining high recognition accuracy.

Keywords：

fabric material identification; spatially partitioned attention module （SPAM）; regional division; convolutional neural network; depthwise separable convolution （DSC）