摘要：針對(duì)鋼材表面缺陷檢測(cè)算法存在精度低、參數(shù)多等問(wèn)題，提出一種改進(jìn)的YOLOv5s的鋼材表面檢測(cè)算法。首先，在主干網(wǎng)絡(luò)SPPF（spatial pyramid pooling-fast）上一層引入CA（coordinate attention）注意力機(jī)制，以提高檢測(cè)精度，增強(qiáng)網(wǎng)絡(luò)的檢測(cè)性能；其次，將原來(lái)的主干網(wǎng)絡(luò)替換為EfficientNetV2結(jié)構(gòu)，以提高模型檢測(cè)速度，減小參數(shù)量，降低計(jì)算復(fù)雜度；最后，在Neck層加入Biformer注意力機(jī)制，以減小背景對(duì)檢測(cè)結(jié)果的影響，高效地獲得更多特征，提高檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv5s在NEU-DET數(shù)據(jù)集上的平均精度均值（mAP@0.5）達(dá)到81.7%，相較于基準(zhǔn)模型提升了6.4%。與其他熱門(mén)的目標(biāo)檢測(cè)算法相比，改進(jìn)算法具有更高的檢測(cè)精度，可以滿(mǎn)足工業(yè)檢測(cè)中的實(shí)際需求。

關(guān)鍵詞：缺陷檢測(cè); YOLOv5s; Biformer; EfficientnetV2; CA

中圖分類(lèi)號(hào)：TP391.41文獻(xiàn)標(biāo)志碼：A

doi：10.3969/j.issn.1673-5862.2024.05.014

Optimization of steel defect detection algorithm based on YOLOv5

WU Di， LI Ruizhi， CONG Zhiwei

（College of Physics Science and Technology， Shenyang Normal University， Shenyang 110034， China）

Abstract：

Aiming at the problems of low accuracy and large parameters of steel surface defect detection algorithm， a steel surface detection algorithm with improved YOLOv5s is proposed. Firstly， the CA（coordinate attention）attention mechanism is introduced in the upper layer of the backbone network SPPF（spatial pyramid pooling-fast）， which improves the detection accuracy and enhances the detection performance of the network; secondly， the original backbone network is replaced with the EfficientNetV2 structure，which improves the detection speed of the model， reduces the number of parameters， and lowers the computational complexity; lastly， Biformer's attention mechanism is added in the Neck layer， which reduces the influence of the background on the detection results and efficiently obtains more features and improves the detection results. Finally， the Biformer attention mechanism is added to the Neck layer to reduce the influence of the background on the detection results， obtain more features efficiently， and improve the detection accuracy. The experimental results show that the improved YOLOv5s achieves an average accuracy of 81.7% on the NEU-DET dataset（mAP@0.5）， which is 6.4% higher than that of the benchmark model. For other popular target detection algorithms， the improved algorithm in this paper has higher detection accuracy and can meet the needs in industrial inspection.

Key words：

defect detection; YOLOv5s; Biformer; EfficientNetV2; coordinate attention

2023年，中國(guó)粗鋼產(chǎn)量為10.19億t。預(yù)計(jì)2024年國(guó)內(nèi)鋼鐵行業(yè)供需雙增，粗鋼需求將會(huì)增加0.19億t［1］。鋼材生產(chǎn)過(guò)程中，受限于生產(chǎn)設(shè)備，加工工藝等因素，鋼材表面會(huì)出現(xiàn)裂紋、斑塊、麻點(diǎn)等不同類(lèi)型的缺陷［2］，影響鋼材的美觀，減少鋼材的使用壽命，甚至可能造成嚴(yán)重的安全事故。傳統(tǒng)的人工檢測(cè)方法存在效率低、判斷標(biāo)準(zhǔn)不一致、勞動(dòng)強(qiáng)度大等缺點(diǎn)，難以滿(mǎn)足不斷發(fā)展的市場(chǎng)需求。

深度學(xué)習(xí)技術(shù)的快速發(fā)展提供了高效、高精度的缺陷檢測(cè)方法。目前，主流的檢測(cè)算法有單階段和雙階段目標(biāo)檢測(cè)算法。單階段目標(biāo)檢測(cè)算法主要有SSD［3］和YOLO［4］等。雙階段目標(biāo)檢測(cè)算法主要有Faster R-CNN［5］和FPN［6］等。雙階段目標(biāo)檢測(cè)算法生成一系列樣本的候選框，然后在卷積神經(jīng)網(wǎng)絡(luò)里分類(lèi)。雙階段目標(biāo)檢測(cè)算法精度比較高，但檢測(cè)速度慢。單階段目標(biāo)檢測(cè)算法只需要一次特征提取就可以實(shí)現(xiàn)目標(biāo)檢測(cè)，速度快，即使精度降低了，但仍滿(mǎn)足工業(yè)需求，被廣泛地應(yīng)用［7］。

近年來(lái)，YOLO（you only look once）算法憑借優(yōu)秀的精確度以及快速的檢測(cè)速度，被廣泛應(yīng)用到表面缺陷檢測(cè)中。Li等［8］提出了一種基于YOLO算法的改進(jìn)方法，改進(jìn)后的算法模型具有更好的泛化性，大幅改進(jìn)了表面缺陷檢測(cè)的精度和速度。孫連山等［9］通過(guò)K-means聚類(lèi)算法得到了更精確的錨框參數(shù)，增加了一個(gè)大尺度特征圖用來(lái)提高模型對(duì)小目標(biāo)缺陷的檢測(cè)精度，引入五分支卷積塊和SE block（squeeze and excitation networks）構(gòu)成的注意力模塊提升了網(wǎng)絡(luò)特征提取能力。張寶朋等［10］提出一種輕量化的YOLOv4算法，通過(guò)改進(jìn)主干網(wǎng)絡(luò)ShuffleNet V2減小參數(shù)量，再擴(kuò)大卷積核并替換激活函數(shù)提高精度。李鑫等［11］提出一種輕量化的YOLOv5算法，通過(guò)替換主干網(wǎng)絡(luò)GhostNet實(shí)現(xiàn)模型輕量化，引入 SE 注意力機(jī)制強(qiáng)化網(wǎng)絡(luò)的特征通道，增加一個(gè)小尺度檢測(cè)層，提升網(wǎng)絡(luò)特征提取能力，最后用DW（depth wise convolution）卷積替代部分標(biāo)準(zhǔn)卷積，減小運(yùn)算量，改進(jìn)后的算法模型在提高精度的同時(shí)減少模型體積。

鋼材數(shù)據(jù)集存在缺陷尺度不一、缺陷位置分散的特性，本文提出一種改進(jìn)的YOLOv5算法，提高了鋼材表面缺陷識(shí)別的準(zhǔn)確率和檢測(cè)速度，并在NEU-DET數(shù)據(jù)集上驗(yàn)證了鋼材表面缺陷識(shí)別的有效性。

1YOLOv5算法

YOLOv5目標(biāo)檢測(cè)算法是Ultralytics公司于2020年5月發(fā)布的。根據(jù)模型深度和寬度的不同，YOLOv5具有YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x這4個(gè)權(quán)重，大小依次增大。越復(fù)雜的模型識(shí)別精確度越高，同時(shí)速度也越慢，本文選用YOLOv5s作為基準(zhǔn)模型。

2算法改進(jìn)

本文提出一種基于YOLOv5s算法的鋼材缺陷檢測(cè)模型，圖1是改進(jìn)后的算法模型框架YOLOv5s-ECB。

基準(zhǔn)模型Backbone（主干網(wǎng)絡(luò)）由6層卷積網(wǎng)絡(luò)、4層C3模塊、1層SPPF層構(gòu)成，計(jì)算量大且對(duì)小目標(biāo)缺陷檢測(cè)精度較低，難以滿(mǎn)足缺陷檢測(cè)需求。使用EfficientNetV2替換主干網(wǎng)絡(luò)改進(jìn)模型，可以減小模型運(yùn)算量并實(shí)現(xiàn)輕量化。

主干網(wǎng)絡(luò)中引入CA注意力機(jī)制，可提升模型對(duì)小目標(biāo)缺陷的檢測(cè)能力，提高檢測(cè)精度。CA注意力具體分為位置信息嵌入和坐標(biāo)注意區(qū)域，輸入特征由水平方向和垂直方向的池化核對(duì)不同通道進(jìn)行編碼，水平方向使用H×1的池化核，將H×W×C的輸入特征通過(guò)全局平均池化操作得到H×1×C的信息特征圖，垂直方向使用1×W的池化核，將H×W×C的輸入特征通過(guò)平均池化操作得到1×W×C 的信息特征圖，計(jì)算公式如下：

zhc（h）=1W∑0≤i≤Wxc（h，i）（1）

zwc（w）=1H∑0≤j≤Wxc（j，w）（2）

通過(guò)激活函數(shù)和卷積操作將這2個(gè)張量轉(zhuǎn)化為空間子方向的注意力權(quán)重gh和gw，計(jì)算公式如下：

gh=σ（Fh（fh））（3）

gw=σ（Fw（fw））（4）

最后，將注意力權(quán)重與輸入特征圖進(jìn)行乘法加權(quán)計(jì)算，得到帶有注意力權(quán)重的特征圖，輸出計(jì)算公式如下：

yc（i，j）=xc（i，j）×ghc（i）×gw（j）（5）

改進(jìn)前后對(duì)比結(jié)果見(jiàn)表1。替換主干網(wǎng)絡(luò)后網(wǎng)絡(luò)mAP（mean average precision）為 78.6%，較原算法提升3.3%，參數(shù)量下降20%，計(jì)算量下降65%，實(shí)現(xiàn)了模型輕量化。增加 CA注意力后網(wǎng)絡(luò)mAP為78%，提升2.7%，運(yùn)算參數(shù)下降，F(xiàn)PS（frames per second）為147，運(yùn)算速度得到提升。

為了減小鋼材數(shù)據(jù)集背景對(duì)缺陷檢測(cè)精度的影響，在Neck層中引入Biformer注意力。Biformer注意力的金字塔網(wǎng)絡(luò)可以實(shí)現(xiàn)計(jì)算資源的有效分配，增強(qiáng)模型對(duì)全局信息的理解能力，優(yōu)化復(fù)雜背景對(duì)小目標(biāo)檢測(cè)的影響，提高模型對(duì)鋼材缺陷檢測(cè)的精度和魯棒性，對(duì)比結(jié)果見(jiàn)表2。引入Biformer后注意力模型mAP為77.7%，較原算法提升2.4%，參數(shù)量和運(yùn)算量小幅上升。

使用先進(jìn)的K-means++聚類(lèi)算法，可以?xún)?yōu)化初始聚類(lèi)中心的選擇，避免傳統(tǒng)K-means算法容易陷入局部最優(yōu)解的問(wèn)題。K-means++提升模型關(guān)注小目標(biāo)信息的能力，抑制非相關(guān)信息干擾，提高了小缺陷目標(biāo)的檢測(cè)精度；幫助算法能更好地適應(yīng)各種尺寸的缺陷，提高算法在檢測(cè)不同形狀和大小缺陷時(shí)的精度；通過(guò)優(yōu)化初始聚類(lèi)中心的選擇，減少了算法對(duì)初始條件敏感的問(wèn)題，從而提高了聚類(lèi)結(jié)果的穩(wěn)定性和準(zhǔn)確性。如圖2所示，改進(jìn)后的YOLOv5網(wǎng)絡(luò)使用K-means++聚類(lèi)9組先驗(yàn)框，均勻分布在3個(gè)特征輸出層上，先驗(yàn)框具體參數(shù)見(jiàn)表3。

3實(shí)驗(yàn)分析

3.1數(shù)據(jù)集

本文使用東北大學(xué)公開(kāi)數(shù)據(jù)集NEU-DET進(jìn)行訓(xùn)練，驗(yàn)證所提出改進(jìn)方案的有效性。該數(shù)據(jù)集包含6種類(lèi)別的缺陷，缺陷類(lèi)別包含麻點(diǎn)、斑塊、壓入氧化鐵皮、夾雜、劃痕、裂紋，每類(lèi)各300張圖片，一共1800張，圖片為200×200像素的灰度圖。本實(shí)驗(yàn)按照8∶1∶1 的比例將數(shù)據(jù)集分為訓(xùn)練集，驗(yàn)證集和測(cè)試集，其中訓(xùn)練集1440張，驗(yàn)證集和測(cè)試集各180張。

3.2訓(xùn)練環(huán)境

實(shí)驗(yàn)中算法模型的訓(xùn)練和測(cè)試基于Win10操作系統(tǒng)、1.13.1版本的PyTorch框架。硬件配置為Inter Core i9-12900KF@ 3.2GHz，NVIDIA GeForce GTX 3080Ti-12G。實(shí)驗(yàn)采用隨機(jī)梯度下降算法（stochastic gradient descent，SGD）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減系數(shù)設(shè)置為0.0005，批量輸入圖片設(shè)置為16，輸入圖片尺寸大小設(shè)置為640×640，訓(xùn)練次數(shù)設(shè)置為300輪。

3.3評(píng)價(jià)指標(biāo)

采用平均精度均值（mAP）評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)性能，模型檢測(cè)幀數(shù)（FPS）評(píng)價(jià)模型檢測(cè)的速度，參數(shù)量（Params）及計(jì)算量（floating-point operations，F(xiàn)LOPs）評(píng)估模型運(yùn)算量大小。

3.4改進(jìn)前后模型對(duì)比

本文分別對(duì)改進(jìn)前后的YOLOv5s模型進(jìn)行訓(xùn)練，得到的結(jié)果對(duì)比見(jiàn)表4。改進(jìn)部分包括在Backbone 引入CA注意力、用EfficientNetV2替換主干網(wǎng)絡(luò)、在Neck層引入Biformer注意力、使用K-means++ 聚類(lèi)算法優(yōu)化Anchor，實(shí)驗(yàn)結(jié)果得到的精度為81.7%，較基準(zhǔn)模型提高6.4%，參數(shù)量下降18.8%，計(jì)算量下降60.2%，檢測(cè)速度達(dá)到了91 FPS，實(shí)現(xiàn)模型輕量化的同時(shí)提高了精度，基本滿(mǎn)足工業(yè)需求。

3.5消融實(shí)驗(yàn)

將采用的優(yōu)化方法分別添加到Y(jié)OLOv5s中，在數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，算法參數(shù)、實(shí)現(xiàn)環(huán)境保持一致。由表5可看出，引入單個(gè)CA，Biformer注意力可以提高模型精度，但無(wú)法降低模型運(yùn)算量，使用EfficientNet V2替換主干網(wǎng)絡(luò)可以減小模型運(yùn)算量，實(shí)現(xiàn)模型輕量化，還可以提高精度，將單個(gè)注意力與替換主干網(wǎng)絡(luò)的方式改進(jìn)網(wǎng)絡(luò)，實(shí)現(xiàn)模型精度上升的同時(shí)還能減少運(yùn)算量，但精度還有提升的空間，同時(shí)引入CA，Biformer注意力并使用EfficientNet V2替換主干網(wǎng)絡(luò)實(shí)現(xiàn)更高的精度。由此可見(jiàn)，本文對(duì)YOLOv5的改進(jìn)優(yōu)化算法具備有效性。

3.6對(duì)比實(shí)驗(yàn)

為了進(jìn)一步評(píng)估本文提出的YOLOv5s-ECB的性能，在同樣實(shí)驗(yàn)環(huán)境和同一數(shù)據(jù)集下，選擇YOLOv3，YOLOv3-SPP，YOLOv6s，YOLOv7s，YOLOv7-x，YOLOv8n，YOLOv8s這7種主流模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表6。

對(duì)比實(shí)驗(yàn)數(shù)據(jù)可見(jiàn)，本文提出的YOLOv5s-ECB模型較其他目標(biāo)檢測(cè)算法，平均精度均值明顯提高，參數(shù)量和運(yùn)算量明顯下降，檢測(cè)速度滿(mǎn)足工業(yè)檢測(cè)需求，達(dá)到輕量化的鋼材缺陷檢測(cè)標(biāo)準(zhǔn)。

3.7可視化檢測(cè)結(jié)果

從測(cè)試集中隨機(jī)選取不同場(chǎng)景下的小目標(biāo)缺陷圖片，通過(guò)YOLOv5s-ECB算法進(jìn)行測(cè)試驗(yàn)證，部分實(shí)驗(yàn)結(jié)果如圖3所示。在相同尺寸下，YOLOv5s-ECB對(duì)缺陷檢測(cè)有較好的效果，在圖3（a）與圖3（b）中，算法可準(zhǔn)確檢測(cè)到壓入氧化鐵皮、劃痕、夾雜缺陷類(lèi)型和位置，但算法仍有較大提升空間。如圖3（c）與圖3（d）所示，雖然檢測(cè)出劃痕缺陷類(lèi)型和位置，但未檢測(cè)出圖片中還存在的劃痕缺陷。

隨機(jī)抽取部分檢測(cè)結(jié)果做熱力圖可視化，結(jié)果如圖4所示，YOLOv5s-ECB算法能對(duì)圖像中的缺陷精準(zhǔn)識(shí)別并且定位，具有良好的檢測(cè)結(jié)果。

4結(jié)論與展望

本文采用改進(jìn)的YOLOv5s優(yōu)化算法來(lái)檢測(cè)鋼材表面缺陷，彌補(bǔ)了目前檢測(cè)算法存在的模型結(jié)構(gòu)復(fù)雜、體積較大、檢測(cè)精度較低等不足。改進(jìn)YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)包括在Backbone層引入CA注意力、將主干網(wǎng)絡(luò)替換為EfficientNet V2、在Neck層引入Biformer注意力、使用更先進(jìn)的K-means++聚類(lèi)算法得到Anchor。在NEU-DET數(shù)據(jù)集中驗(yàn)證了改進(jìn)算法YOLOv5s-ECB的有效性，實(shí)驗(yàn)結(jié)果得到的精度為81.7%，較基準(zhǔn)模型提高6.4%，參數(shù)量下降18.8%，計(jì)算量下降60.2%，提高精度的同時(shí)還實(shí)現(xiàn)了模型輕量化。以后將進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)提高檢測(cè)精度和速度，最終完成特定設(shè)備部署。

參考文獻(xiàn)：

［1］KRAJCINOVIC D，F(xiàn)ONSEKA G U.The continuous damage theory of brittle materials［J］.J Appl Mech，1981，48（4）：809-824.

董添.2023年我國(guó)鋼材產(chǎn)量超13.6億噸［N］.中國(guó)證券報(bào)，2024-01-19（A06）.

［2］彭向前.產(chǎn)品表面缺陷在線(xiàn)檢測(cè)方法研究及系統(tǒng)實(shí)現(xiàn)［D］.武漢：華中科技大學(xué)，2009.

［3］LIU W，ANGUELOV D，ERHAN D，et al.SSD：Single shot MultiBox detector ［C］// Proceedings of the 2014 European Conference on Computer Vision，LNCS 9905.Cham：Springer，2016：21-37.

［4］REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection［C］//The IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：779-788.

［5］GIRSHICK R.Fast R-CNN：Towards real-time object detection with region proposal networks［C］// Proceedings of The IEEE International Conference on Computer Vision.Boston：ICCV，2015：1440-1448.

［6］LIN T Y，DOLLAR P，GIRSHICK R B，et al.Feature pyramid networks for object detection［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Honolulu，USA：IEEE，2017：2117-2125.

［7］張陽(yáng)婷，黃德啟，王東偉，等.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法研究與應(yīng)用綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2023，59（18）：1-13.

［8］LI J，SU Z，GENG J，et al.Real-time detection of steel strip surface defects based on improved YOLO detection network［J］.IFAC-PapersOnLine，2018，51（21）：76-81.

［9］孫連山，魏婧雪，朱登明，等.基于AM-YOLOv3模型的鋁型材表面缺陷檢測(cè)算法［J］.激光與光電子學(xué)進(jìn)展，2021，58（24）：360-370.

［10］張寶朋，康謙澤，李佳萌，等.輕量化的YOLOv4目標(biāo)檢測(cè)算法［J］.計(jì)算機(jī)工程，2022，48（8）：206-214.

［11］李鑫，汪誠(chéng)，李彬，等.改進(jìn)YOLOv5的鋼材表面缺陷檢測(cè)算法［J］.空軍工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，23（2）：26-33.

【責(zé)任編輯：封文江】

收稿日期：2024-05-21

基金項(xiàng)目：遼寧省教育廳科學(xué)研究經(jīng)費(fèi)項(xiàng)目（LZD202003）

作者簡(jiǎn)介：

吳迪（1979—），男，遼寧沈陽(yáng)人，沈陽(yáng)師范大學(xué)副教授，博士；通信作者：李睿智（1997—），男，山西臨汾人，沈陽(yáng)師范大學(xué)在讀碩士研究生。