摘" 要： 現(xiàn)階段布匹缺陷種類(lèi)繁雜，且包含大量人眼難以辨別的小目標(biāo)缺陷和長(zhǎng)寬比極端不平衡缺陷，使得在復(fù)雜背景下的布匹缺陷檢測(cè)成為一項(xiàng)艱巨任務(wù)。為此，提出一種改進(jìn)YOLOv5的布匹缺陷檢測(cè)方法。首先，在YOLOv5的C3模塊中增加注意力機(jī)制NAM，設(shè)計(jì)為C3NAM模塊，其可以抑制特征值中不顯著的權(quán)重，在保持性能的同時(shí)進(jìn)行高效計(jì)算；其次，采用一個(gè)新的CNN模塊SPD?Conv，以解決大部分的布匹缺陷檢測(cè)在分辨率較低或者瑕疵較小時(shí)性能迅速下降的問(wèn)題；最后，在檢測(cè)端引入新的損失函數(shù)Alpha?IoU，促進(jìn)真實(shí)框和預(yù)測(cè)框的擬合，并提升對(duì)缺陷預(yù)測(cè)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明：改進(jìn)的YOLOv5網(wǎng)絡(luò)模型較原YOLOv5網(wǎng)絡(luò)模型mAP@0.5值提高了5.4%，mAP@0.5：0.95值提高了2.2%，且檢測(cè)效果優(yōu)于原網(wǎng)絡(luò)模型和其他主流目標(biāo)檢測(cè)模型。

關(guān)鍵詞： 布匹缺陷檢測(cè)； YOLOv5； 注意力機(jī)制； 小目標(biāo)缺陷； 卷積操作； 消融實(shí)驗(yàn)

中圖分類(lèi)號(hào)： TN911.73?34； TP391.7" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " nbsp; " " " 文章編號(hào)： 1004?373X（2024）20?0109?09

Method of fabric defect detection based on improved YOLOv5

ZHANG Kaixuan1， 3， DU Jinglin2

（1. College of Computer Science， Nanjing University of Information Science and Technology， Nanjing 210044， China;

2. School of Artificial Intelligence， Nanjing University of Information Science and Technology， Nanjing 210044， China;

3. NUIST?TianChang Research Institute， Tianchang 239300， China）

Abstract： There are various types of fabric defects， including a large number of small target defects that are difficult for the human eye to distinguish and extremely imbalanced aspect ratio defects， making fabric defect detection in complex backgrounds a daunting task. Therefore， a method of fabric defect detection based on improved YOLOv5 method is proposed. The C3NAM （normalization?aware mechanism） module is designed by adding attention mechanism NAM to the C3 module of YOLOv5， which can suppress the insignificant weights in the characteristic value and perform efficient computation while maintaining performance. A new CNN （convolutional neural networks） module SPD?Conv （space?to?depth?convolution）， is adopted to solve the problem of rapid performance degradation in most fabric defect detection when the resolution is low or the defects are small. A new loss function Alpha?IoU is introduced in the detection side to facilitate the fitting of the real box and the prediction box， and improve the accuracy of the defect prediction. The experimental results show that， in comparison with the original YOLOv5 network model， the improved YOLOv5 network model has an increase of 5.4% mAP@0.5 and 2.2% mAP@0.5：0.95， and the detection effect is superior to the original network model and other mainstream target detection models.

Keywords： fabric defect detection; YOLOv5; attention mechanism; small object detection; convolution operation; ablation experiment

0" 引" 言

紡織品是一種廣泛應(yīng)用于工業(yè)和生活中的衣物原料，對(duì)人類(lèi)社會(huì)具有重要的價(jià)值。中國(guó)在紡織品的生產(chǎn)和出口方面位居世界第一，紡織業(yè)是中國(guó)國(guó)民經(jīng)濟(jì)的支柱產(chǎn)業(yè)之一，對(duì)國(guó)家發(fā)展起著關(guān)鍵性作用。布匹在工業(yè)生產(chǎn)和加工過(guò)程中，會(huì)出現(xiàn)多種多樣的表面缺陷，這些缺陷有80多種不同的分類(lèi)，它們不僅直接影響了紡織品的質(zhì)量水平，也限制了紡織行業(yè)的快速進(jìn)步[1?2]。因此，紡織品生產(chǎn)中，對(duì)布匹表面缺陷實(shí)施精準(zhǔn)檢測(cè)是不可或缺的一環(huán)[3]。

早期的缺陷檢測(cè)主要依賴(lài)人工肉眼識(shí)別，效率低下且成本高昂，易產(chǎn)生漏檢和誤判。目前的檢測(cè)方法一部分基于傳統(tǒng)機(jī)器視覺(jué)，主要分為空間統(tǒng)計(jì)法、模型分析法和頻域分析法；另一部分為基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。基于深度學(xué)習(xí)的布匹缺陷檢測(cè)方法已經(jīng)成為當(dāng)前研究的重點(diǎn)。

深度學(xué)習(xí)在檢測(cè)任務(wù)中的應(yīng)用，依據(jù)其運(yùn)作機(jī)制，可以劃分為兩大流派：一種是基于區(qū)域建議的雙階段檢測(cè)網(wǎng)絡(luò)，另一種是基于直接回歸的單階段檢測(cè)模型。雙階段檢測(cè)網(wǎng)絡(luò)的檢測(cè)過(guò)程分為兩個(gè)步驟：首步，利用網(wǎng)絡(luò)生成潛在區(qū)域；隨后，另一網(wǎng)絡(luò)對(duì)這些區(qū)域進(jìn)行分類(lèi)和坐標(biāo)的精準(zhǔn)調(diào)整。雙階段檢測(cè)網(wǎng)絡(luò)的典型模型有Faster?RCNN[4]、Cascade RCNN[5]和DETR[6]等。單階段檢測(cè)網(wǎng)絡(luò)不需要生成候選區(qū)域，而是直接用一個(gè)網(wǎng)絡(luò)完成分類(lèi)和精確坐標(biāo)回歸的任務(wù)，典型模型有SSD[7]、RetinaNet[8]和YOLO[9?11]系列等。相較于雙階段網(wǎng)絡(luò)，單階段網(wǎng)絡(luò)在檢測(cè)速度上更為迅捷，在實(shí)現(xiàn)實(shí)時(shí)檢測(cè)的同時(shí)可維持較高精度，因此已成為當(dāng)前織物缺陷檢測(cè)領(lǐng)域的主要研究焦點(diǎn)。陳康等人通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，利用Faster R?CNN進(jìn)行改進(jìn)，顯著提高了檢測(cè)精度。但由于傳統(tǒng)CNN網(wǎng)絡(luò)的計(jì)算復(fù)雜度高且對(duì)小目標(biāo)檢測(cè)不足，檢測(cè)速度完全不能滿足工業(yè)化需求，不能對(duì)瑕疵點(diǎn)進(jìn)行分類(lèi)檢測(cè)[12]。周君等人采用K?means算法優(yōu)化YOLOv3的候選框數(shù)量與尺寸，同時(shí)精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行剪枝，實(shí)現(xiàn)模型壓縮與加速，以滿足工業(yè)化應(yīng)用的高效需求，但是同樣沒(méi)有在公開(kāi)數(shù)據(jù)集進(jìn)行訓(xùn)練，不具有泛化能力[13]。文獻(xiàn)[14]在傳統(tǒng)CNN網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)圖像直方圖均衡、降噪和邊緣檢測(cè)對(duì)織物圖像進(jìn)行增強(qiáng)，進(jìn)一步提高了檢測(cè)精度，但依舊沒(méi)有解決速度問(wèn)題。孫浩東等人設(shè)計(jì)出新的SimAM注意力機(jī)制增強(qiáng)缺陷提取能力，提高小尺寸缺陷精度，在檢測(cè)端運(yùn)用新的損失函數(shù)CIoU提高了檢測(cè)精度，但對(duì)布匹缺陷只分了6類(lèi)，不符合現(xiàn)代工業(yè)化對(duì)于缺陷更細(xì)致的分類(lèi)要求[15]。

綜上所述，現(xiàn)有的深度學(xué)習(xí)布匹缺陷檢測(cè)算法在速度與精度間常需權(quán)衡，且數(shù)據(jù)集多局限于顯著缺陷和簡(jiǎn)單背景，導(dǎo)致小目標(biāo)檢測(cè)中準(zhǔn)確率低、漏檢、誤檢等問(wèn)題頻發(fā)。本文為解決圖像背景噪聲大、小目標(biāo)及極度長(zhǎng)寬比瑕疵的檢測(cè)難題，并擴(kuò)展缺陷種類(lèi)的識(shí)別范圍，顯著提升YOLO網(wǎng)絡(luò)對(duì)布匹缺陷的檢測(cè)精度，提出了一種基于YOLOv5的布匹缺陷檢測(cè)方法。本文主要工作與創(chuàng)新如下。

1） 提出了一種新型的C3NAM模塊，將原有的C3模塊進(jìn)行改進(jìn)，加入了NAM（Normalization? Aware Mechanism）[16]注意力機(jī)制并嵌入原主干網(wǎng)絡(luò)中。針對(duì)缺陷較小時(shí)其特征易與周?chē)卣鳟a(chǎn)生融合，使得在卷積過(guò)程中難以提取到小目標(biāo)瑕疵的特征，導(dǎo)致網(wǎng)絡(luò)中出現(xiàn)信息丟失的現(xiàn)象，NAM注意力機(jī)制增強(qiáng)對(duì)小目標(biāo)缺陷的提取能力，強(qiáng)化對(duì)缺陷區(qū)域的關(guān)注度。

2） 由于布匹背景的復(fù)雜性及其與缺陷的融合現(xiàn)象，小目標(biāo)缺陷通常表現(xiàn)為較低的分辨率，這在進(jìn)行卷積和池化操作時(shí)易導(dǎo)致細(xì)粒度信息丟失，進(jìn)而影響學(xué)習(xí)效率。為解決這一問(wèn)題，本文加入了一種新的CNN模塊，稱(chēng)為SPD?Conv[17]，以取代原有的卷積層和池化層。SPD?Conv由SPD（space?to?depth）層和Conv（non?strided convolution）層組成。

3） 在檢測(cè)端采用新的Alpha?IoU[18]損失來(lái)加強(qiáng)真實(shí)框和檢測(cè)框擬合，提高對(duì)布匹瑕疵小目標(biāo)檢測(cè)的精度。

1" YOLOv5s的目標(biāo)檢測(cè)方法

YOLOv5?v6.2目標(biāo)檢測(cè)是v5系列最新版本[19]，它包含n、s、m、l、x五個(gè)小版本，檢測(cè)精度隨版本遞升而提升，但訓(xùn)練與推理時(shí)間也相應(yīng)增加。為平衡工業(yè)應(yīng)用的效率與準(zhǔn)確性，本文選用YOLOv5s作為基準(zhǔn)模型。該模型由輸入端、Backbone、Neck和Head四部分構(gòu)成，網(wǎng)絡(luò)框架如圖1所示。

1） 輸入端：YOLOv5的輸入端是CNN，能處理任意大小圖像并轉(zhuǎn)換為特征圖。它根據(jù)輸入分辨率選擇模型變體，并利用預(yù)訓(xùn)練參數(shù)提升通用性和效率。

2） Backbone網(wǎng)絡(luò)：Backbone網(wǎng)絡(luò)融合了Conv、C3與SPPF模塊，用于提取圖像特征。Conv層調(diào)整特征通道；C3模塊是關(guān)鍵，汲取CSPNet精髓，含標(biāo)準(zhǔn)卷積層、多BottleNeck及拼接模塊；SPPF[20]由SPP改進(jìn)，利用最大池化整合局部與全局信息，增強(qiáng)特征表達(dá)。C3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

3） Neck網(wǎng)絡(luò)：YOLOv5的Neck模塊由FPN和PANet雙塔結(jié)構(gòu)組成，融合多尺度特征提升檢測(cè)性能。FPN構(gòu)建特征金字塔，PANet[21]結(jié)合上下采樣實(shí)現(xiàn)多層次特征融合，優(yōu)化特征表達(dá)。

4） Head輸出層：Head部分包含三個(gè)檢測(cè)器，確保精確檢測(cè)。對(duì)于640×640的圖像，Head層對(duì)Neck層三個(gè)輸出執(zhí)行卷積，在20×20、40×40和80×80特征圖上生成預(yù)測(cè)框。

目前，YOLOv5作為工業(yè)上廣泛使用的目標(biāo)檢測(cè)方法，雖兼容性強(qiáng)，但布匹上小目標(biāo)缺陷檢測(cè)面臨諸多挑戰(zhàn)。復(fù)雜背景與缺陷融合、拍攝條件限制導(dǎo)致輕微缺損與背景融合，使模型識(shí)別困難。缺陷種類(lèi)、形狀、大小的變化進(jìn)一步加劇了檢測(cè)難度，且小目標(biāo)缺陷信息量少，易在卷積中丟失。此外，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，計(jì)算資源需求高，對(duì)硬件要求嚴(yán)苛。

2" 改進(jìn)YOLOv5的布匹缺陷檢測(cè)方法

本文基于YOLOv5進(jìn)行布匹缺陷檢測(cè)改進(jìn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。改進(jìn)后的模型保留原架構(gòu)，實(shí)現(xiàn)高效目標(biāo)檢測(cè)。

2.1" 基于NAM的注意力機(jī)制的C3NAM模塊

在原有的基準(zhǔn)模型中，由于復(fù)雜的背景和小目標(biāo)缺陷與布匹紋理交織，導(dǎo)致原本不顯著的特征信息受到其他信息的干擾，難以發(fā)揮檢測(cè)作用。為了解決這一問(wèn)題，本文受到卷積注意力模塊（NAM）的啟發(fā)，將其嵌入到主干網(wǎng)絡(luò)的C3模塊中。這樣做可以加強(qiáng)模型對(duì)布匹缺陷細(xì)節(jié)的提取能力，并減少其他無(wú)關(guān)細(xì)節(jié)的影響，從而提升檢測(cè)效果。

以往的注意力機(jī)制多聚焦于顯著特征的提取，但忽視了權(quán)重在抑制噪聲中的作用。SE機(jī)制將空間信息引入至通道特征，通過(guò)多層感知器計(jì)算注意力。CBAM則按照順序嵌入通道和空間子模塊。這些機(jī)制雖考慮了空間與通道特征，但常忽視權(quán)重因素，難以有效抑制無(wú)關(guān)信道或像素。

CBAM注意力機(jī)制擁有空間與通道注意力兩個(gè)模塊，它們分別進(jìn)行通道和空間上的特征捕捉，減少了參數(shù)和注意力計(jì)算，保證其能夠很好地嵌入到模型網(wǎng)絡(luò)當(dāng)中。以通道注意力機(jī)制為例，具體流程為：將輸入的特征圖在空間維度進(jìn)行壓縮，分別送入基于長(zhǎng)寬的全局最大池化和全局平均池化中，聚合特征映射的空間信息；得到處理后的特征圖，再分別送入共享雙層神經(jīng)網(wǎng)絡(luò)，而后將共享雙層神經(jīng)網(wǎng)絡(luò)輸出的特征圖經(jīng)過(guò)加和操作送入Sigmoid進(jìn)行激活操作，最終得到輸出特征。通過(guò)平均池化操作可以對(duì)圖像中每一個(gè)像素點(diǎn)進(jìn)行操作；而進(jìn)行最大池化是為了保證在梯度反向操作時(shí)，模型能夠?qū)μ卣鲌D中響應(yīng)最大的地方有反饋。對(duì)于輸入的操作，CBAM會(huì)沿著通道和空間兩個(gè)獨(dú)立的維度進(jìn)行操作，最后分別將得到的注意力圖與輸入的圖相乘進(jìn)行優(yōu)化。

NAM作為一種高效輕量的注意力機(jī)制，創(chuàng)新性地融合了CBAM模塊，對(duì)通道與空間注意力子模塊進(jìn)行了精巧的重新設(shè)計(jì)。這種設(shè)計(jì)使得NAM能夠在特征圖的通道維度與空間維度上精準(zhǔn)地實(shí)施注意力機(jī)制。為了達(dá)到這一目的，本文引入了權(quán)重的影響因素來(lái)優(yōu)化注意機(jī)制。特別地，采用了批歸一化的比例因子，通過(guò)標(biāo)準(zhǔn)差來(lái)量化權(quán)重的重要性，從而實(shí)現(xiàn)更精準(zhǔn)的注意力分配。使用批處理歸一化（BN）中的比例因子計(jì)算，定義為：

[Bout=BN（Bin）=γBin-μBσ2B+ε+β]" " " （1）

式中：[μB]為小批量B的值；[σB]為小批量B的偏差度量值；[γ]、[β]為可調(diào)整的仿射變換因子（包括縮放與偏移量）；[ε]為趨近于0的量，確保分母非0。

通道注意力機(jī)制結(jié)構(gòu)如圖4所示，圖中[Mc]表征輸出特性，[γ]是每個(gè)通道的權(quán)重因子，權(quán)值計(jì)算公式如下：

[Wi=γij=0γj]" " " " " （2）

在空間層面上，融入一個(gè)縮放系數(shù)BN，用于評(píng)估像素的權(quán)重。此過(guò)程稱(chēng)為標(biāo)準(zhǔn)化，對(duì)應(yīng)的空間注意子模塊如圖5所示，圖中的輸出為[Ms]，[λ]為比例因子，權(quán)值計(jì)算方法公式為：

[Wi=λij=0λj]" " " " " " "（3）

為削弱非關(guān)鍵權(quán)重的影響，在損失函數(shù)中增加了正則化項(xiàng)，公式如下：

[Ms=Sigmoid（Wλ（BN（F2）））]" （4）

[Mc=Sigmoid（Wγ（BN（F1）））]" （5）

[L=（x，y）lf（x，W），y+pg（γ）+pg（λ）]" （6）

式中：[x]為布匹瑕疵的特征輸入；[y]為布匹瑕疵的特征輸出；[W]為網(wǎng)絡(luò)的權(quán)值；[l]為損失函數(shù)；[g]為[L1]范數(shù)。

2.2" SPD?Conv

布匹表面常會(huì)出現(xiàn)肉眼難以識(shí)別的小目標(biāo)缺陷，這些小目標(biāo)缺陷在原模型中由于占據(jù)的位置小，攜帶的特征信息少，常常面臨檢測(cè)困難。在YOLOv5模型的卷積操作過(guò)程中，隨著不斷的下采樣，輸入的特征圖大小逐漸減小，導(dǎo)致原本有限的小目標(biāo)特征信息在特征圖中出現(xiàn)嚴(yán)重缺失。此外，由于YOLOv5采用跨層連接技術(shù)，不同尺度的特征被直接相加或拼接，這進(jìn)一步加劇了小目標(biāo)信息的退化現(xiàn)象。為了解決這一問(wèn)題，本文提出使用新的卷積池化層來(lái)替代原有的卷積操作，以期在連續(xù)的卷積過(guò)程中保留更多的有效信息，從而提升小目標(biāo)缺陷的檢測(cè)效果。本文采用SPD?Conv模塊替代傳統(tǒng)的卷積步長(zhǎng)和池化層，減少特征信息的損失，進(jìn)而提高布匹缺陷在復(fù)雜背景下的檢測(cè)準(zhǔn)確度。SPD?Conv結(jié)構(gòu)如圖6所示。

在SPD中，假如輸入尺寸為[s×s×C1]的特征圖[X]，可將它分塊為 [i+x]和 [j+y]各種子圖[fx，y]，生成的每個(gè)子圖都會(huì)對(duì)[X]下采樣。圖6中比例因子為2，那么每個(gè)子圖尺寸為 [（s2）×（s2）×C1]。最后本文將處理過(guò)的子圖進(jìn)行拼接獲得特征圖[X]，可以得到一個(gè)新的尺寸為[（s2）×（s2）×22C1]的圖像。通過(guò)將輸入模型的布匹圖像的特征信息重組進(jìn)入深度通道，增加了通道的個(gè)數(shù)，解決了在原有模型中小目標(biāo)經(jīng)常丟失精細(xì)目標(biāo)的現(xiàn)象，保留了更加豐富的特征信息進(jìn)入新的非步長(zhǎng)卷積層中。

在Conv中使用了一個(gè)步長(zhǎng)為1的卷積層，這意味著相較于傳統(tǒng)的卷積操作將特征圖不斷變小，新的卷積操作會(huì)在特征圖中以像素級(jí)進(jìn)行移動(dòng)，對(duì)特征圖中的每一個(gè)像素信息都進(jìn)行采集操作，確保特征圖中每一個(gè)位置都能夠進(jìn)行卷積操作，最大程度地保留了布匹缺陷信息，形成信息豐富的特征圖。非步長(zhǎng)卷積層用來(lái)處理經(jīng)過(guò)池化操作重新排列的特征信息，由于本文設(shè)置步長(zhǎng)為1，所以在下采樣環(huán)節(jié)并不會(huì)造成圖像的分辨率降低，這就使得可以在不丟失布匹信息的同時(shí)降低特征圖的通道數(shù)量。

根據(jù)上述分析，SPD?Conv模塊相較于傳統(tǒng)卷積運(yùn)算，在保留信息方面更具優(yōu)勢(shì)，有助于提升對(duì)小目標(biāo)的特征提取能力。在本文模型Conv部分，SPD?Conv模塊使用了一個(gè)步長(zhǎng)為1的卷積層將特征X′的尺寸變?yōu)閇s2×s2×C2]，令[C2lt;22C1]，以盡可能地保存布匹缺陷的重要信息，并且使用一個(gè)步長(zhǎng)為1的卷積層，較好地控制模型參數(shù)的增加，避免過(guò)度復(fù)雜化，有效提升模型推理速度。

2.3" 改進(jìn)損失函數(shù)

基準(zhǔn)模型YOLOv5的損失函數(shù)是采用基于回歸損失的GIoU[22]，實(shí)際框和預(yù)測(cè)框在水平方向或者豎直方向重合，或者預(yù)測(cè)框被包含在實(shí)際框中，那么它們之間的相對(duì)位置關(guān)系就無(wú)法正常確定，此時(shí)GIoU和普通的IoU擁有相同值，GIoU就會(huì)退化變成普通的IoU。

為了解決原有基礎(chǔ)模型不完善的缺點(diǎn)，在改進(jìn)的布匹缺陷檢測(cè)方法中引入了α?IoU，這個(gè)損失函數(shù)的優(yōu)點(diǎn)在于可以完全地保留原有損失函數(shù)的優(yōu)點(diǎn)。α?IoU能夠檢測(cè)布匹的小缺陷目標(biāo)，提高了檢測(cè)的準(zhǔn)確性，并且可以將原有的GIoU更換為CIoU[23]，增加了長(zhǎng)和寬的Loss，讓預(yù)測(cè)框更加符合真實(shí)框。α?IoU是在原有的基礎(chǔ)上加上了一個(gè)冪指數(shù)，以[α]為冪，公式如下：

[Lossα?IoU=1-IoUαα，" αgt;0]" " " " "（7）

在保持原有損失函數(shù)優(yōu)點(diǎn)的同時(shí)，α?IoU能夠不增加額外的參數(shù)和訓(xùn)練時(shí)間，通過(guò)對(duì)其參數(shù)進(jìn)行調(diào)節(jié)，達(dá)到參數(shù)和速度的雙向優(yōu)化。

本文方法采用效果較好的α?IoU，其公式如下所示：

[Lossα?CIoU=1-IoU+ρ2α（b，bgt）c2α+（βv）α]" "（8）

[v=4π2arctanwgthgt-arctanwh2] （9）

[β=v（1-IoU）+v]" " " " " " " " " " （10）

式中：[b]、[bgt]用以描述預(yù)測(cè)框與真實(shí)框中心之間的距離；[ρ2α]代表兩中心點(diǎn)間的歐氏距離，為其間距標(biāo)識(shí)；[c]為包含預(yù)測(cè)框與真實(shí)框的最小封閉區(qū)間對(duì)角長(zhǎng)度；[wgthgt]表示目標(biāo)框的寬高比；[wh]表示預(yù)測(cè)框各自的寬高比。

3" 實(shí)驗(yàn)結(jié)果處理與分析

3.1" 數(shù)據(jù)集介紹和評(píng)價(jià)指標(biāo)

本文選用阿里的布匹瑕疵數(shù)據(jù)集，含4 774張圖像，按4∶1比例劃分為訓(xùn)練集與驗(yàn)證集。該數(shù)據(jù)集圖像背景復(fù)雜，瑕疵目標(biāo)小且難識(shí)別。布匹瑕疵種類(lèi)繁多，本文整合相似部分，將檢測(cè)任務(wù)細(xì)致劃分為21個(gè)類(lèi)別，具體包括無(wú)疵點(diǎn)、破洞、污漬、三絲、結(jié)頭、花板跳、百腳、毛粒、粗經(jīng)、松經(jīng)、斷經(jīng)、吊經(jīng)、粗維、緯縮、漿斑、整經(jīng)結(jié)、星跳、斷氨綸、稀密檔、磨痕、死皺。為了方便查看，將按照0～20進(jìn)行排序。缺陷織物圖像如圖7所示。

為驗(yàn)證算法的有效性，采用精度（P）、召回率（R）、平均精度（AP）及平均精度均值（mAP）來(lái)評(píng)估模型性能。同時(shí)，考慮模型復(fù)雜度，通過(guò)參數(shù)量和大小衡量；以計(jì)算量評(píng)估檢測(cè)速度。本文基于COCO數(shù)據(jù)集，以mAP@0.5和mAP@0.5：0.95為主要評(píng)估基準(zhǔn)，其中mAP@0.5是在IoU閾值為0.5時(shí)的mAP，用于衡量模型性能。具體計(jì)算公式如下：

[P=TPTP+FP×100%]" " " " " " " （11）

[R=TPTP+FN×100%]" " " " " " "（12）

[AP=01P（R）dR]" " " " " " （13）

[mAP=1Ki=1KAP（i）]" " " " " （14）

式中：TP為成功檢測(cè)數(shù)；FP為錯(cuò)誤檢測(cè)數(shù)；FN為未檢測(cè)數(shù)；TN為檢測(cè)到的背景值；K為缺陷類(lèi)別總數(shù)。布匹缺陷分析結(jié)果如圖8所示，布匹缺陷以污漬、斷經(jīng)、整經(jīng)結(jié)為主，這些缺陷易與背景融合，且存在小破損難以識(shí)別，給檢測(cè)任務(wù)帶來(lái)了極大挑戰(zhàn)。真實(shí)瑕疵點(diǎn)標(biāo)簽框顯示缺陷長(zhǎng)寬比極不平衡，因此，一個(gè)具有更強(qiáng)適應(yīng)能力的損失函數(shù)對(duì)于提升真實(shí)框與預(yù)測(cè)框的擬合效果至關(guān)重要。

3.2" 實(shí)驗(yàn)環(huán)境和參數(shù)配置

實(shí)驗(yàn)環(huán)境為Windows 10系統(tǒng)，配備12 GB顯存的NVIDIA GeForce RTX3060顯卡。平臺(tái)結(jié)合Anaconda與Pycharm，確保環(huán)境穩(wěn)定。環(huán)境配置包括CUDA 11.3、Python 3.8、PyTorch 1.10.1及Torchvision 0.11.0，以?xún)?yōu)化性能與兼容性。參數(shù)配置方面，初始學(xué)習(xí)率為0.01，采用余弦退火策略調(diào)整；動(dòng)量為0.937，加速收斂；權(quán)重衰減系數(shù)為5×10-4，防止過(guò)擬合。實(shí)驗(yàn)批量處理大小為32，使用SGD優(yōu)化器迭代訓(xùn)練300次，確保模型充分學(xué)習(xí)。

3.3" 消融實(shí)驗(yàn)

為探究本文改進(jìn)的YOLOv5s模型中各模塊對(duì)布匹缺陷檢測(cè)性能的影響，在統(tǒng)一環(huán)境下進(jìn)行消融實(shí)驗(yàn)。表1展示了實(shí)驗(yàn)結(jié)果，其中“√”表示該模塊被使用，Id編號(hào)表示的含義具體如下。

① 為未經(jīng)改進(jìn)的基準(zhǔn)模型進(jìn)行了實(shí)驗(yàn)，以其結(jié)果作為后續(xù)實(shí)驗(yàn)的參照基準(zhǔn)，旨在對(duì)比各改進(jìn)模塊的性能提升效果。

② 為在主干網(wǎng)絡(luò)的C3中添加NAM注意力機(jī)制，形成C3NAM模塊，顯著增強(qiáng)了模型對(duì)小目標(biāo)的識(shí)別能力，有效減少了缺陷邊緣與紋理的交織。因此，P值提升5.1%，mAP@0.5提高2.7%，mAP@0.5：0.95增加0.4%。

③ 在網(wǎng)絡(luò)模型中引入SPD?Conv模塊替代卷積步長(zhǎng)和池化層，有效減少主干網(wǎng)絡(luò)中的卷積特征損失。實(shí)驗(yàn)結(jié)果顯示，P值提升4.3%，mAP@0.5提高2.2%，mAP@0.5：0.95增加0.8%，同時(shí)參數(shù)量略有增加。

④ 為僅引入損失函數(shù)，參數(shù)量未增加且使得P值提升了5.3%，mAP@0.5值提高了2.2%，而mAP@0.5：0.95值也增加了0.6%。這證實(shí)了Alpha?IoU損失函數(shù)在提升布匹缺陷檢測(cè)準(zhǔn)確性方面的有效性。

⑤ 為同時(shí)添加了C3NAM模塊和SPD?Conv。與實(shí)驗(yàn)②相比，引入SPD?Conv后，mAP@0.5值提升了1.3%，而mAP@0.5：0.95值也增加了0.4%，說(shuō)明SPD?Conv能夠有效降低在卷積過(guò)程中的特征損失。

⑥ 為結(jié)合C3NAM模塊與α?IoU損失函數(shù)。α?IoU的引入使P值提升5.2%，mAP@0.5提高3.3%，mAP@0.5：0.95增加1.3%，證實(shí)其有助于預(yù)測(cè)框更貼合真實(shí)框，提升檢測(cè)準(zhǔn)確性。

⑦ 為引入SPD?Conv和α?IoU損失函數(shù)的實(shí)驗(yàn)，mAP@0.5和mAP@0.5：0.95值分別提高了4.7%和1.7%。

⑧ 相較于基準(zhǔn)網(wǎng)絡(luò)YOLOv5s，準(zhǔn)確率P提升3.5%，召回率提升6.7%，mAP@0.5提升5.4%，且未顯著增加模型參數(shù)量。消融實(shí)驗(yàn)驗(yàn)證了各改進(jìn)點(diǎn)及其組合的有效性，尤其在小目標(biāo)檢測(cè)方面表現(xiàn)突出，凸顯了本文方法在布匹缺陷檢測(cè)中的高效性和實(shí)用性。

3.4" 對(duì)比實(shí)驗(yàn)

首先，通過(guò)實(shí)驗(yàn)驗(yàn)證C3NAM模塊在主干網(wǎng)絡(luò)中的適用性，并與四種主流注意力機(jī)制進(jìn)行對(duì)比；其次，多角度對(duì)比改進(jìn)模型與基準(zhǔn)模型的性能；最后，將本文方法與五種經(jīng)典檢測(cè)方法進(jìn)行比較。

3.4.1" 不同注意力機(jī)制對(duì)比實(shí)驗(yàn)

為驗(yàn)證C3模塊中NAM注意力機(jī)制的先進(jìn)性，選用四種主流注意力機(jī)制嵌入C3模塊進(jìn)行對(duì)比實(shí)驗(yàn)。如表2所示，本次實(shí)驗(yàn)在同樣位置的C3模塊融入通道注意力機(jī)制SE[24]、卷積塊注意力機(jī)制CBAM[25]、坐標(biāo)注意力機(jī)制CA[26]、高效通道注意機(jī)制ECA[27]，并同時(shí)訓(xùn)練300次Epoch進(jìn)行對(duì)比。

表2顯示，在C3模塊中融入NAM注意力機(jī)制后，顯著提升了小目標(biāo)缺陷的定位及布匹缺陷檢測(cè)能力。與主流注意力機(jī)制相比，NAM在提升mAP@0.5（2.7%）和mAP@0.5：0.95（0.4%）方面表現(xiàn)卓越，驗(yàn)證了其在提升檢測(cè)精度方面的顯著優(yōu)勢(shì)及在布匹缺陷檢測(cè)任務(wù)中的有效性。

3.4.2" 改進(jìn)模型和基準(zhǔn)模型性能對(duì)比

為驗(yàn)證改進(jìn)模型的優(yōu)越性，進(jìn)行了對(duì)比實(shí)驗(yàn)。如圖9、圖10所示，改進(jìn)模型在mAP@0.5和mAP@0.5：0.95上均優(yōu)于原模型，精度高且波動(dòng)小，訓(xùn)練收斂更平滑。同時(shí)，α?IoU損失相較于CIoU損失下降更快，全程損失值更低，提升了訓(xùn)練與推理效率。因此，引入α?IOU損失函數(shù)顯著提升了模型性能。CIoU與α?IoU損失衰減趨勢(shì)對(duì)比圖如圖11所示。

為直觀地評(píng)估改進(jìn)模型對(duì)小目標(biāo)缺陷及不清晰缺陷的檢測(cè)能力，引入熱力圖進(jìn)行可視化對(duì)比。圖12展示了改進(jìn)前后模型在檢測(cè)器上的缺陷定位熱力圖，灰色區(qū)域深淺反映定位準(zhǔn)確度。通過(guò)對(duì)比，可評(píng)估模型改進(jìn)對(duì)小目標(biāo)及復(fù)雜背景下缺陷檢測(cè)的效果。在圖12a）中由于極度長(zhǎng)寬比的缺陷對(duì)于普通缺陷有更大的尺度變換，模型沒(méi)有很好的泛化能力，改進(jìn)前沒(méi)有很好地注意到缺陷整體，改進(jìn)后的模型能夠更好地注意到缺陷整體。圖12b）中的缺陷不清晰，當(dāng)在進(jìn)行卷積操作時(shí)，原有模型由于不斷地下采樣導(dǎo)致模型丟失了特征信息，使得熱力圖呈現(xiàn)出散狀；改進(jìn)后的模型由于加入了SPD?Conv，使得在卷積過(guò)程中能夠保留更多的信息，在改進(jìn)后的熱力圖中模型對(duì)缺陷區(qū)域有了更多的關(guān)注。圖12c）為原有模型很難處理的小目標(biāo)缺陷，小目標(biāo)缺陷攜帶更少的信息使得模型無(wú)法采集足夠多的信息，模型無(wú)法對(duì)缺陷進(jìn)行精準(zhǔn)識(shí)別；在加入了SPD?Conv后模型能夠保留更多特征信息，并且加入了注意力機(jī)制后模型能夠更加關(guān)注缺陷本身。圖12d）中缺陷邊緣紋理產(chǎn)生融合，由于布匹缺陷通常與布匹紋理很相似，多數(shù)紋理會(huì)在邊緣部分與紋理產(chǎn)生融合，并且由于其攜帶信息很少導(dǎo)致原模型無(wú)法很好識(shí)別缺陷；在加入NAM注意力機(jī)制后，考慮到了權(quán)重影響，不僅加強(qiáng)了對(duì)于缺陷本身的關(guān)注，還減少了布匹缺陷附近的紋理影響，說(shuō)明本文改進(jìn)后的模型增強(qiáng)了對(duì)缺陷的檢測(cè)精度。

其次，由圖13的典型缺陷改進(jìn)效果對(duì)比顯示，本文模型在解決缺陷與背景融合問(wèn)題上有顯著優(yōu)勢(shì)，能更準(zhǔn)確地形成預(yù)測(cè)框。針對(duì)小目標(biāo)缺陷，改進(jìn)后模型有效減少了漏檢現(xiàn)象；對(duì)于極度長(zhǎng)寬比缺陷，模型明顯改善了錯(cuò)檢情況。特別在缺陷邊緣與周?chē)y理易融合的場(chǎng)景中，本文模型能更好地處理缺陷與紋理關(guān)系，成功檢測(cè)出改進(jìn)前模型的漏檢缺陷，展現(xiàn)出其優(yōu)越性能。綜上所述，本文模型在處理小目標(biāo)、極度長(zhǎng)寬比及與背景融合的缺陷時(shí)均表現(xiàn)出良好的性能。

最后，直觀地展示了改進(jìn)模型對(duì)20種缺陷的檢測(cè)效果，如圖14所示。

分析圖14可知，對(duì)于本數(shù)據(jù)集的20類(lèi)缺陷（除無(wú)疵點(diǎn)），大部分類(lèi)別的檢測(cè)精度在改進(jìn)模型上實(shí)現(xiàn)顯著增長(zhǎng)。特別是在花板跳、百腳、漿斑等小目標(biāo)及背景融合缺陷上，改進(jìn)效果尤為突出。這表明本文的改進(jìn)模型對(duì)布匹缺陷檢測(cè)具有實(shí)質(zhì)性提升，顯著增強(qiáng)了多分類(lèi)布匹缺陷的檢測(cè)效果。

3.4.3" 主流檢測(cè)方法對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文改進(jìn)方法在織物缺陷檢測(cè)上的實(shí)際效果及優(yōu)越性，選用經(jīng)典檢測(cè)方法作為對(duì)比對(duì)象，整理成表3以供分析。

深入分析表3數(shù)據(jù)，改進(jìn)方法在性能上較YOLOv5基準(zhǔn)模型顯著提升，mAP@0.5和mAP@0.5：0.95分別高出5.4%和2.2%，在織物缺陷檢測(cè)中尤為突出。與其他模型相比，本文方法優(yōu)勢(shì)顯著，mAP@0.5高出4.8%～11.2%，mAP@0.5：0.95高出2.2%～6.9%。盡管FPS值略有下降，但精度顯著增強(qiáng)，這一損失可接受。實(shí)際應(yīng)用中，精度提升尤為重要。綜合比較，本文模型在精度指標(biāo)上優(yōu)于YOLOv3、YOLOv5、YOLOv6和YOLOv7等模型，對(duì)小目標(biāo)和融合紋理缺陷檢測(cè)效果出色。

4" 結(jié)" 論

針對(duì)現(xiàn)階段小目標(biāo)缺陷檢測(cè)及極度長(zhǎng)寬比缺陷檢測(cè)的難點(diǎn)，尤其是在復(fù)雜布匹背景和低分辨率條件下，缺陷易與周?chē)y理融合導(dǎo)致檢測(cè)困難的問(wèn)題，本文提出了基于改進(jìn)YOLOv5的布匹缺陷檢測(cè)方法。通過(guò)在主干網(wǎng)絡(luò)的C3模塊中引入NAM注意力機(jī)制，提升了模型對(duì)小目標(biāo)缺陷的提取能力，有效解決了其與周?chē)y理融合的問(wèn)題。同時(shí)，引入了新的CNN模塊SPD?Conv，以解決布匹瑕疵較小或低分辨率情況下，因不斷下采樣導(dǎo)致的特征信息丟失和性能下降問(wèn)題。此外，在檢測(cè)端采用了新的損失函數(shù)，在保持原有損失函數(shù)優(yōu)點(diǎn)的同時(shí)，優(yōu)化了極度長(zhǎng)寬比缺陷的檢測(cè)，促進(jìn)了模型擬合并提升了預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)YOLOv5檢測(cè)方法在性能上明顯優(yōu)于其他經(jīng)典檢測(cè)方法。無(wú)論是mAP@0.5值還是mAP@0.5：0.95值，以及其他關(guān)鍵指標(biāo)，本文方法均展現(xiàn)出更高的性能表現(xiàn)，相較于YOLOv5模型，mAP@0.5提升了5.4%，mAP@0.5：0.95提升了2.2%。該方法有效解決了缺陷紋理交織和特征信息丟失的問(wèn)題，并成功完成了多分類(lèi)缺陷檢測(cè)任務(wù)。

注：本文通訊作者為杜景林。

參考文獻(xiàn)

[1] 賈小軍，葉利華，鄧洪濤，等.基于卷積神經(jīng)網(wǎng)絡(luò)的藍(lán)印花布紋樣基元分類(lèi)[J].紡織學(xué)報(bào)，2020，41（1）：110?117.

[2] WANG X B， FANG W J， XIANG S. Fabric defect detection based on anchor?free network [J]. Measurement science and technology， 2023， 34（12）： 12.

[3] 張露，朱文俊，祝雙武.織物疵點(diǎn)自動(dòng)檢測(cè)方法及應(yīng)用進(jìn)展[J].紡織科技進(jìn)展，2022（2）：21?26.

[4] HTET K S， SEIN M M. Event analysis for vehicle classification using fast RCNN [C]// 2020 IEEE 9th Global Conference on Consumer Electronics. Kobe， Japan： IEEE， 2020： 403?404.

[5] CAI Z， VASCONCELOS N. Cascade R?CNN： delving into high quality object detection [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 6154?6162.

[6] PRANGEMEIER T， REICH C， KOEPPL H. Attention?based transformers for instance segmentation of cells in microstructures [C]// 2020 IEEE International Conference on Bioinformatics and Biomedicine. Seoul， South Korea， 2020： 700?707.

[7] DING B Q， GUO J M， HU J H. Container number localization based on SSD algorithm [C]// 2019 34rd Youth Academic Annual Conference of Chinese Association of Automation. Jinzhou， China： ACM， 2019： 460?463.

[8] WANG Y Y， LI W D， LI X， et al. Ship detection by modified RetinaNet [C]// 2018 10th IAPR Workshop on Pattern Recognition in Remote Sensing. Beijing， China： IAPR， 2018： 1?5.

[9] SHI T C， NIU Y， LIU M Y， et al. Underwater dense targets detection and classification based on YOLOv3 [C]// 2019 IEEE International Conference on Robotics and Biomimetics. Dali， China： IEEE， 2019： 2595?2600.

[10] ZHENG L， WANG X， WANG Q， et al. Fabric defect detection method based on improved YOLOv5 [C]// 2021 7th International Conference on Computer and Communications. Chengdu， China： ICCC， 2021： 620?624.

[11] HONG X， WANG F， MA J. Improved YOLOv7 model for insulator surface defect detection [C]// 2022 IEEE 5th Advanced Information Management， Communicates， Electronic and Automation Control Conference. Chongqing， China： IEEE， 2022： 1667?1672.

[12] 陳康，朱威，任振峰，等.基于深度殘差網(wǎng)絡(luò)的布匹疵點(diǎn)檢測(cè)方法[J].小型微型計(jì)算機(jī)系統(tǒng)，2020，41（4）：800?806.

[13] 周君，景軍鋒，張緩緩，等.基于S?YOLOV3模型的織物實(shí)時(shí)缺陷檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展，2020，57（16）：55?63.

[14] YU W， LAI D， LIU H， et al. Research on CNN algorithm for monochromatic fabric defect detection [C]// 2021 6th International Conference on Image， Vision and Computing. Qingdao， China： IEEE， 2021： 20?25.

[15] 孫浩東，周其洪，陳鵬，等.基于改進(jìn)YOLOv5s的經(jīng)編織物缺陷檢測(cè)[J].棉紡織技術(shù)，2023，51（7）：46?52.

[16] LIU Y C， SHAO Z R， TENG Y Y， et al. NAM： normalization?based attention module [EB/OL]. [2023?08?19]. https：//www.xueshufan.com/publication/3215233137.

[17] RAJA S， TIE L. No more strided convolutions or pooling： a new CNN building block for low?resolution images and small objects [EB/OL]. [2023?07?14]. https：//blog.csdn.net/bryant_meng/article/details/129682524.

[18] HE J B， ERFANI S， MA X J， et al. Alpha?IoU： a family of power intersection over union losses for bounding box regression [EB/OL]. [2023?11?09]. https：//www.xueshufan.com/publication/3212339910.

[19] 趙磊，矯立寬，翟冉，等.基于YOLOv5的瓶蓋封裝缺陷輕量化檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展，2023，60（22）：139?148.

[20] HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. Pattern analysis amp; machine intelligence IEEE transactions on， 2015， 37（9）： 1904?1916.

[21] ZHOU L， RAO X， LI Y， et al. A lightweight object detection method in aerial images based on dense feature fusion path aggregation network [J]. ISPRS international journal of geo?information， 2022， 11（3）： 189.

[22] REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression [EB/OL]. [2023?11?04]. https：//ui.adsabs.harvard.edu/abs/2019arXiv190209630R/.

[23] ZHENG Z H， WANG P， REN D， et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation [J]. IEEE transactions on cybernetics， 2021， 52（8）： 8574?8586.

[24] HU J， SHEN L， SUN G， et al. Squeeze?and?excitation networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2020， 42（8）： 2011?2023.

[25] WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision. [S.l.]： IEEE， 2018： 3?19.

[26] HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville， TN， USA： IEEE， 2021： 13713?13722.

[27] WANG Q， WU B， ZHU P， et al. ECA?Net： efficient channel attention for deep convolutional neural networks [C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 11531?11539.

作者簡(jiǎn)介：張凱旋（2000—），男，江蘇淮安人，碩士研究生，主要研究方向?yàn)槟繕?biāo)檢測(cè)、疵點(diǎn)檢測(cè)。

杜景林（1976—），男，河北承德人，博士研究生，副教授，碩士生導(dǎo)師，主要從事氣象大數(shù)據(jù)、物聯(lián)網(wǎng)方面的研究。

DOI：10.16652/j.issn.1004?373x.2024.20.017

引用格式：張凱旋，杜景林.改進(jìn)YOLOv5的布匹缺陷檢測(cè)方法[J].現(xiàn)代電子技術(shù)，2024，47（20）：109?117.

收稿日期：2024?04?26" " " " " "修回日期：2024?05?28

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（41575155）