陳東亮，師素雙，房立慶，蔡猛，師占群

基于機器視覺的金屬絲網(wǎng)缺陷識別方法

陳東亮1，師素雙1，房立慶1，蔡猛2，師占群1

（1.河北工業(yè)大學 機械工程學院，天津 300130；2.中國民航大學 機械工程學院，天津 300300）

提升金屬絲網(wǎng)的檢測效率與檢測精度。提出一種應用于金屬絲網(wǎng)表面缺陷識別的EfficientNetV2改進網(wǎng)絡，首先更改了網(wǎng)絡的骨干結構，在特征提取模塊前后分別引入通道拆分與通道轉換等操作，以增大網(wǎng)絡容量，提高特征利用率；其次重新設計網(wǎng)絡的分類器，通過對提取的高級語義信息進行逐層分步壓縮，以減小特征損失，提高分類精度；最后搭建圖像采集系統(tǒng)，構造金屬絲網(wǎng)缺陷數(shù)據(jù)集。實驗結果表明，文中改進的網(wǎng)絡模型在數(shù)據(jù)集上的準確率、精確度和特異度分別達到99.43%、99.42%和99.88%，圖像識別耗時為27.5 ms，增強了缺陷識別效果。該方法具有較高的準確率，在金屬絲網(wǎng)缺陷檢測上具有較好的實用性，也可為其他類似產品的缺陷檢測提供參考。

缺陷檢測；深度學習；EfficientNetV2；金屬絲網(wǎng)；遷移學習

產品質量至關重要，它代表著企業(yè)的信譽，只有高質量的產品才能長期在市場上取勝[1]。在包裝行業(yè)，金屬絲網(wǎng)作為熱收縮包裝機的重要組成部分，其質量影響產品的包裝效果，因此，對金屬絲網(wǎng)表面缺陷精準識別是產品生產過程中不可或缺的一環(huán)，對保證金屬絲網(wǎng)的生產質量具有重要意義。

目前，國內大多采用人工目測的方式對金屬絲網(wǎng)進行缺陷檢測與識別，不僅檢測效率低、強度高，而且難以滿足高效的生產需求。隨著人工智能在計算機視覺領域的廣泛應用，機器學習和深度學習被廣泛應用于物體檢測與圖像分類[2]。針對絲網(wǎng)的早期檢測研究[3]，前人大多采用圖像處理與機器學習的方法對絲網(wǎng)進行質量檢測，雷洋等[4]結合現(xiàn)代圖像處理，提出了一種試驗篩網(wǎng)經絲和緯絲夾角的自動檢測方法。王延年等[5]提出了一種基于傅里葉變換和改進閾值分割的印刷絲網(wǎng)布疵點的檢測算法，實現(xiàn)了對常見缺陷的快速檢測。許悅等[6]提出了一種網(wǎng)片缺陷在線檢測及分類方法，實現(xiàn)了對3種缺陷進行分類。雖然傳統(tǒng)的機器學習方法有效地避免了人工檢測的弊端，但是上述的方法都需要針對不同的任務手工制作不同的特征，因此模型的泛化性能低。

如今，卷積神經網(wǎng)絡已廣泛應用于圖像分類、對象檢測和圖像分割等任務[7]。相比于傳統(tǒng)的圖像處理方法，卷積神經網(wǎng)絡可以發(fā)揮其自動學習的優(yōu)勢，避免了復雜的手工設計特征，在工業(yè)[8-9]、農業(yè)[10-11]、醫(yī)療產業(yè)[12-13]等領域均有所應用?；诖耍琇i等[14]設計了一種檢測織物缺陷的網(wǎng)絡結構，與主流網(wǎng)絡相比，模型小、分類準確度高。Chakraborty等[15]構造了印花織物缺陷庫，并應用深度卷積神經網(wǎng)絡對印花織物進行缺陷檢測。He等[16]提出了一種新的基于卷積神經網(wǎng)絡的分層學習框架，用于熱軋缺陷分類。為了實現(xiàn)可靠的分類，Habibpour等[17]引入了不確定性估計，提出了鑄件缺陷檢測的不確定性感知深度學習框架，增強了鑄件生產質量的保證?？紤]到絲網(wǎng)缺陷的多樣性、變化性以及訓練數(shù)據(jù)相對較少等情況，為加快網(wǎng)絡的擬合速度，可以使用遷移學習[18]進行網(wǎng)絡訓練。Cheng等[19]提出了一種新的基于遷移學習的表面缺陷檢測方法，有效地解決了缺陷類別不平衡分布的問題。Ragb等[20]提出了一種基于深度卷積神經網(wǎng)絡的算法來幫助從超聲圖像中準確識別乳腺癌，并通過遷移學習加快了收斂速度。Hohlfeld等[21]針對啤酒瓶分類問題提出了一種深度學習模型，達到了100%的準確率。盡管深度學習在公共數(shù)據(jù)集以及工業(yè)場景的分類問題上取得了很好的結果[16]，但是尚未發(fā)現(xiàn)其在金屬絲網(wǎng)缺陷檢測中的應用。

為此，文中在EfficientNetV2[22]網(wǎng)絡的基礎上，提出一種應用于金屬絲網(wǎng)表面缺陷識別的方法。通過加入通道拆分與通道轉換等結構，對網(wǎng)絡骨干進行重新布局，以增強網(wǎng)絡對特征的提取能力。調整網(wǎng)絡分類器的結構，以減小特征損失的同時增強網(wǎng)絡分類精度。搭建圖像采集系統(tǒng)，構建金屬絲網(wǎng)缺陷數(shù)據(jù)集并進行相應實驗，獲得較好的識別效果。

1 網(wǎng)絡模型

圖1為典型的卷積神經網(wǎng)絡結構，其中卷積層的數(shù)學表達式為：

式中：為輸出；f、k和b分別為第個通道上的特征圖、卷積核與偏差；*為卷積操作。通常使用Relu作為激活函數(shù)，表達式為：

式中：為卷積層的輸出。最大池化層數(shù)學表達式為：

式中：為區(qū)域內的最大值；R為第（，）個池化區(qū)域。

由于金屬絲網(wǎng)表面缺陷復雜多樣，簡單的卷積神經網(wǎng)絡結構對其進行缺陷識別的效果不佳，故提出了一種基于EfficientNetV2網(wǎng)絡的改進模型。

圖1 典型卷積神經網(wǎng)絡結構

1.1 EfficientNetV2網(wǎng)絡模型介紹

EfficientNetV2網(wǎng)絡的基本結構見圖2a，該網(wǎng)絡由大量的倒殘差結構組成。圖2b為MBConv模塊，該模塊通過點卷積、深度卷積、通道注意力機制等卷積運算，對輸入的特征圖進行增維、特征提取、自適應通道權重、降維等操作，不僅減少了網(wǎng)絡的運算量，也增強了網(wǎng)絡的特征提取性能。此外，當深度卷積步長為1且倒殘差結構中輸入與輸出維度相同時，主分支與捷徑分支的和將作為下一步操作的輸入。雖然深度卷積理論上計算量很小，但在淺層網(wǎng)絡中應用會使訓練速度變慢，故引入Fused–MBConv結構，見圖2c。該結構將MBConv模塊中的深度卷積和點卷積替換成了卷積核為3×3的卷積層，通過此操作可以提取更多細節(jié)信息并提升準確率。倒殘差結構中的SE為簡單有效的注意力模塊，結構見圖3。該模塊通過壓縮操作，將特征圖壓縮為1×1×向量，在經過激勵操作后得到各通道權重，最后原有特征向量與通道權重相乘，以突出不同通道的重要性。

此外，為了避免模型過擬合，在倒殘差結構中引入Dropout和批規(guī)范化（Batch Normalization，BN）策略。Dropout以一定概率隨機失活神經元，得到更加精簡的網(wǎng)絡模型。各個神經節(jié)點的輸入為：

式中：以漸進學習方法進行賦值。

BN策略就是對數(shù)據(jù)做批規(guī)范化處理，以緩解梯度消失現(xiàn)象，加快網(wǎng)絡收斂速度。算法表達式為：

式中：和為可學習的參數(shù)；為趨近于0的常數(shù)；y為x處理后的值。

圖2 EfficientNetV2結構

Fig.2 EfficientNetV2 structure

注：為Fused–MBConv；為MBConv。

圖3 SE注意力模塊

1.2 網(wǎng)絡骨干改進

EfficientNetV2網(wǎng)絡骨干由圖2b、c所示模塊堆疊而成，特征提取模塊中雖然存在倒殘差結構，但整個網(wǎng)絡深度過深，以至于提取的特征信息利用效果不佳，并且網(wǎng)絡存在密集卷積以及特征圖元素相加等操作，導致運算成本增加，影響模型精度，因此，為提高特征的利用率，增強網(wǎng)絡的運行速度與識別精度，對網(wǎng)絡骨干進行改進。首先在各個特征提取模塊之前增加了通道拆分操作，將特征通道拆分為2個分支，一個作為捷徑分支，另一個作為主分支進行卷積操作提取特征信息。其中一半的特征通道直接連到下一模塊，從而實現(xiàn)特征重用以獲得較高的精度。之后將2個分支輸出的特征圖沿著通道方向進行拼接，代替了特征圖元素相加的操作，從而減小模型運算成本、提高運行速度。最后應用通道轉換操作，即將合并的2個分支通道各劃分為若干個子組，然后將不同子組按順序進行填充，以實現(xiàn)各通道之間的信息交流。特征圖通道操作流程見圖4。改進后的特征提取模塊見圖5a、b，其中3×3卷積步距全為1。空間下采樣模塊見圖5c，特征圖經過2個卷積分支分別進行特征提取，之后再合并2個分支特征，其中3×3卷積步距全為2。該模塊應用在特征提取模塊之前，使輸入特征圖寬高減半、通道擴增，達到下采樣的效果。

圖4 通道操作流程

圖5 改進后各模塊結構

1.3 分類器改進

EfficientNetV2通過網(wǎng)絡骨干提取目標的高級語義信息，并根據(jù)信息利用分類器對目標進行分類識別。通常在遷移學習過程中只需修改分類器輸出的類別個數(shù)便可直接應用。由于EfficientNetV2網(wǎng)絡針對的是ImageNet[23]數(shù)據(jù)集上的1 000多種類別，而文中僅針對6種金屬絲網(wǎng)目標。如果直接修改分類器輸出的類別數(shù)量，可能會損失高層網(wǎng)絡的語義信息，進而影響分類精度，因此，為了增強網(wǎng)絡對金屬絲網(wǎng)缺陷識別的穩(wěn)定性，將網(wǎng)絡的分類器進行重新設計，具體結構見表1。

表1 分類器參數(shù)

Tab.1 Classifier parameters

由于骨干網(wǎng)絡提取的特征維度與分類器輸出的類別差異較大，首先使用2個卷積核大小為1×1的卷積層對提取的特征進行分步降維，避免了數(shù)據(jù)因降維較大而造成語義信息的丟失。然后通過全局池化層對特征圖尺寸進行壓縮，進一步提煉語義信息。最后應用全連接層進行分類輸出。

1.4 改進后網(wǎng)絡總體結構

改進后網(wǎng)絡結構見表2，其中Conv2d、Avgpool和FC分別為卷積、最大池化和全連接操作，F(xiàn)used–MBConv和MBConv為特征提取模塊，Spa–Down為空間下采樣模塊，為通道拓展因子，為輸出通道，為當前層的操作重復次數(shù)，為步距，e為SE模塊縮放因子。

2 圖像采集設備

文中以目數(shù)為10、絲徑為0.5 mm的不銹鋼方孔網(wǎng)為采集對象。絲網(wǎng)以0.4 m/min的速度打卷包裝，并在打包之前進行圖像采集。金屬絲網(wǎng)圖像采集設備由工業(yè)相機、照明系統(tǒng)、黑色橡膠板、計算機組成，見圖6。工業(yè)相機與絲網(wǎng)的視距為20 cm，通過外部輸入的信號來控制相機對絲網(wǎng)進行連續(xù)采集。為了能夠保證連續(xù)采集圖像的精度要求，最終選擇維視圖像的Mako G–223 CMOS工業(yè)相機。該相機具有2 048×1 088的分辨率，最大幀速率為50幀/s，有效工作溫度范圍為?10～70 ℃，能夠滿足實際使用要求，并使用千兆以太網(wǎng)連接到計算機進行數(shù)據(jù)傳輸。照明系統(tǒng)由環(huán)形LED燈組成，由于金屬絲網(wǎng)表面易反光，采用光照均勻的環(huán)形光源能夠避免出現(xiàn)局部高光，從而獲得高質量的金屬絲網(wǎng)圖像。

表2 網(wǎng)絡結構

Tab.2 Network structure

圖6 圖像采集設備示意圖

3 實驗設計與分析

實驗硬件環(huán)境為：Intel Cote i7?10700F CPU、16 GB RAM、Nvidia GeForce RTX 3080 Ti 12 G GPU。軟件環(huán)境為：Win10專業(yè)版操作系統(tǒng)、Python 3.7、CUDA 11.4、cuDNN 11.4、Pytorch1.7。

3.1 金屬絲網(wǎng)缺陷數(shù)據(jù)集

由于有關金屬絲網(wǎng)表面缺陷的公共數(shù)據(jù)集較少，因此文中創(chuàng)建了一個目標缺陷數(shù)據(jù)集，所有圖像均通過第3節(jié)介紹的圖像采集系統(tǒng)進行收集。數(shù)據(jù)集共涉及6類目標樣本，1類正常樣本和5類缺陷樣本，加入正常樣本主要是為了提高網(wǎng)絡模型對缺陷樣本的識別能力。圖7顯示了金屬絲網(wǎng)的部分圖像，其中5種缺陷類型分別為缺經絲、缺緯絲、較大孔洞、經向細密道、緯向細密道。在圖7中，圖7a與圖7b、圖7d與圖7e缺陷非常相似，但在方向上有所差異，因此作為不同缺陷類型進行處理。本次實驗共包含5 294張金屬絲網(wǎng)圖像，隨機選擇其中4 767張樣本圖像作為訓練集，其余527張樣本圖像作為測試集。各種缺陷類型的數(shù)量見表3。

圖7 絲網(wǎng)圖像

表3 絲網(wǎng)樣本數(shù)量

Tab.3 Quantity of wire mesh samples

3.2 實驗設置

所有分類網(wǎng)絡均訓練500個周期。在訓練過程中采用隨機梯度下降（SGD）優(yōu)化器更新網(wǎng)絡參數(shù)，其中衰減因子、動量分別設為0.01、0.9，batch_size設為16，并遵循余弦學習率衰減函數(shù)將學習率從初始值0.01降為0，學習率計算公式為：

式中：為總批次數(shù)量；為單批次數(shù)量；為初始學習率。

網(wǎng)絡模型的有效性可以通過各種標準的性能指標進行評估，綜合考慮最終選擇準確率、精確度、特異度作為評判依據(jù)。各指標定義如下：

式中：、和分別為待評估模型的準確率、精確度和特異度；P、P、N和N分別為真陽性、假陽性、真陰性和假陰性的百分比。其中真陽性表示預測是正樣本，實際也是正樣本；假陽性表示預測是正樣本，實際是負樣本；真陰性表示預測是負樣本，實際也是負樣本；假陰性表示預測是負樣本，實際是正樣本。例如，缺絲徑為正樣本，則非缺絲徑全為負樣本，其他類別以此類推。

3.3 實驗結果與分析

網(wǎng)絡模型改進前后性能指標對比見表4。

表4 不同方法的評估結果

Tab.4 Evaluation results of different methods

注：A為原始EfficientNetV2網(wǎng)絡；B為使用文中分類器的EfficientNetV2網(wǎng)絡；C為使用文中分類器和骨干的EfficientNetV2網(wǎng)絡。

由表4可知，改進分類器的網(wǎng)絡與原始網(wǎng)絡相比準確率提升了0.6%、精確度提升了0.46%、特異度提升了0.36%，單張圖像的識別耗時提升了2.8%，由于改進后的分類器添加了一些卷積操作，從而增加了識別耗時。由此可見新的分類器對網(wǎng)絡骨干提取的高級語義信息更加敏感，提高了網(wǎng)絡對金屬絲網(wǎng)表面缺陷的識別精度，卻增加了識別時間；同時相較于原始網(wǎng)絡，改進分類器和骨干的網(wǎng)絡的準確率、精確度和特異度分別提高了2.5%、2.4%和1.4%，識別耗時降低了18.3%；與僅改進分類器的網(wǎng)絡相比，改進分類器和骨干的網(wǎng)絡的準確率、精確度和特異度分別提高了1.9%、2%和1%，識別耗時降低了20.7%。由此可知改進后的網(wǎng)絡能夠更好地提取特征語義信息，進一步增強了網(wǎng)絡缺陷的識別效果。

改進的網(wǎng)絡模型訓練結果見圖8。隨著迭代的進行，在200步之前網(wǎng)絡模型總交叉熵損失降幅較大，在200～400步之間緩慢下降，之后模型便趨于收斂，最終在訓練集和驗證集上的準確率分別達到97.8%和99.4%。觀察模型在數(shù)據(jù)集上的曲線可知，改進后的網(wǎng)絡快速收斂，沒有出現(xiàn)明顯的過擬合現(xiàn)象。圖9為模型在測試集上的混淆矩陣，由圖9可知改進后的模型僅3例樣本出現(xiàn)誤檢，表明模型檢測效果良好、誤檢率低。

綜上所述，改進后的EfficientNetV2網(wǎng)絡模型提高了特征的利用率，增強了網(wǎng)絡識別精度，同時降低了模型單張圖像的識別耗時。

圖8 網(wǎng)絡模型曲線

圖9 測試集混淆矩陣

3.4 不同模型對比實驗

為了進一步展示文中改進模型的實驗結果，在相同的硬件配置下，分別使用VGG、GoogLeNet和MobileNetV3網(wǎng)絡模型在同一數(shù)據(jù)集上進行對比。其中VGG用多個小的卷積核來代替大尺度卷積核，以減少網(wǎng)絡參數(shù)增大感受野。GoogLeNet網(wǎng)絡引入Inception結構充分發(fā)揮其融合不同尺度特征信息的優(yōu)點。MobileNetV3網(wǎng)絡因其體積小、模型復雜度低，被廣泛部署在移動設備上。以上3種模型在圖像分類任務中性能優(yōu)異、應用廣泛，因此作為本次實驗的對比方法。表5為不同分類模型的識別效果。

表5 不同模型的識別效果

Tab.5 Recognition effects of different models

由表5可知，文中改進的網(wǎng)絡模型在準確率方面相較于VGG、GoogLeNet和MobileNetV3分別提升了13.5%、12.1%和10.2%，在精確度方面分別提升了13.6%、18.5%和16.3%。由于改進的網(wǎng)絡模型深度較深，從而導致單張圖像的識別耗時大幅增加?？紤]到產品的生產速度為0.4 m/min，而文中方法的單張圖像識別耗時為27.5 ms，符合實際的工業(yè)需求。綜上所知，文中方法在識別精度上具有較大優(yōu)勢，能夠滿足實際檢測需求。

4 結語

文中以金屬絲網(wǎng)為對象，研究了基于機器視覺的缺陷檢測方法，在EfficientNetV2網(wǎng)絡的基礎上提出了一種新的改進網(wǎng)絡，并取得了較好的識別效果。主要結論如下：

1）在網(wǎng)絡模型骨干中引入通道拆分與通道轉換操作可以增強各個通道之間的信息交流、擴大網(wǎng)絡模型的容量，并在一定程度上提高了模型的特征學習能力。

2）在分類器中逐層有序地降低特征的維度，可以有效減少高層語義信息的丟失，提高模型分類精度。

3）通過自主構建的缺陷數(shù)據(jù)集進行網(wǎng)絡訓練，結果表明模型缺陷識別能力良好、準確率較高，能夠滿足實際檢測需求。

由于金屬絲網(wǎng)生產環(huán)境復雜可能會產生新的缺陷類型，后續(xù)會采集更多的缺陷圖像進行數(shù)據(jù)擴增，用以優(yōu)化網(wǎng)絡模型，從而更好地將文中改進的模型應用于金屬絲網(wǎng)表面缺陷檢測。

[1] JING J, WANG Z, RTSCH M, et al. Mobile-Unet: An Efficient Convolutional Neural Network for Fabric Defect Detection[J]. Textile Research Journal, 2020, 38(1): 142-158.

[2] YANG D M, CUI Y R, YU Z Y, et al. Deep Learning Based Steel Pipe Weld Defect Detection[J]. AppliedArtificial Intelligence, 2021, 35(3): 1237-1249.

[3] 王曉飛, 裘祖榮, 楊聰, 等. 基于影像測量儀的試驗篩自動測量方法[J]. 數(shù)據(jù)采集與處理, 2013, 28(2): 257-260.

WANG Xiao-fei, QIU Zu-rong, YANG Cong, et al. Calibration Method for Test Sieves Based on Video Measuring Machine[J]. Journal of Data Acquisition & Processing, 2013, 28(2): 257-260.

[4] 雷洋, 張建正. 一種試驗篩網(wǎng)孔角度的自動檢測方法[J]. 華東理工大學學報(自然科學版), 2014, 40(3): 315-320.

LEI Yang, ZHANG Jian-zheng. An Automatic Angular Measurement Algorithm of Mesh of Test Sieve[J]. Journal of East China University of Science and Technology (Natural Science Edition), 2014, 40(3): 315-320.

[5] 王延年, 楊萬里. 一種改進的印刷絲網(wǎng)布疵點快速檢測算法[J]. 國外電子測量技術, 2017, 36(1): 35-37.

WANG Yan-nian, YANG Wan-li. Improved Fast Printing Mesh Fabric Defect Detection Method[J]. Foreign Electronic Measurement Technology, 2017, 36(1): 35-37.

[6] 顧寄南, 唐良穎, 許悅, 等. 機器視覺在網(wǎng)片缺陷檢測與分類中的應用[J]. 機械設計與制造, 2019(S1): 47-49.

GU Ji-nan, TANG Liang-ying, XU Yue, et al. Application of Machine Vision in Detection and Classification of Mesh Defects[J]. Machinery Design & Manufacture, 2019(S1): 47-49.

[7] LU Yang. Artificial Intelligence: A Survey on Evolution, Models, Applications and Future Trends[J]. Journal of Management Analytics, 2019, 6(1): 1-29.

[8] CHEON S, LEE Han-kang, KIM C O, et al. Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 163-170.

[9] KANG G, GAO S, YU L, et al. Deep Architecture for High-Speed Railway InsulatorSurface Defect Detection: Denoising Autoencoder With Multitask Learning[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(8): 2679-2690.

[10] HASAN A S M M, SOHEL F, DIEPEVEEN D, et al. A Survey of Deep Learning Techniques for Weed Detection from Images[J]. Computers and Electronics in Agriculture, 2021,184(5): 1067-1084.

[11] ANDREASEN C. Deep Neural Networks to Detect Weeds from Crops in AgriculturalEnvironments in Real-Time: A Review[J]. Remote Sensing, 2021, 13(21): 44-86.

[12] LOU An-ge, GUAN Shu-yue, LOEW M. CFPNet-M: A Light-Weight Encoder-Decoder Based Network for Multimodal Biomedical Image Real-Time Segmentation[J]. Electrical Engineering and Systems Science, 2021, 5(4): 31-42.

[13] XIE Y, ZHANG J, SHEN C, et al. CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation[J]. Computers and Electronics in Agriculture, 2021, 3(3): 24-37.

[14] LI Y, ZHANG D, LEE D J. Automatic Fabric Defect Detection with a Wide-and-Compact Network[J]. Neurocomputing, 2019, 329(1): 329-338.

[15] CHAKRABORTY S, MOORE M, PARRILLO- CHAPMAN L. Automatic Defect Detection of Print Fabric Using Convolutional Neural Network[J]. ArXiv, 2021, 13(20): 325-337.

[16] HE D, XU K, WANG D. Design of Multi-Scale Receptive Field Convolutional Neural Network for Surface Inspection of Hot Rolled Steels[J]. Image and Vision Computing, 2019, 89(1): 12-20.

[17] HABIBPOUR M, GHAROUN H, TAJALLY A, et al. An Uncertainty-Aware Deep Learning Framework for Defect Detection in Casting Products[J]. ArXiv, 2021, 11(6): 43-52.

[18] YOSINSKI J, CLUNE J, BENGIO Y, et al. How Transferable are Features in Deep Neural Networks?[J]. Advances in Neural Information Processing Systems, 2014, 45(5): 3320-3328.

[19] CHENG J, GOU B, LIU J, et al. TL-SDD: A Transfer Learning-Based Method for Surface DefectDetection with Few Samples[C]// 2021 7th International Conference on Big Data Computing and Communications (BigCom), 2021: 136-143.

[20] RAGB H, ALI R, JERA E, et al. Convolutional Neural Network Based on Transfer Learning for Breast Cancer Screening[J]. ArXiv, 2021, 16(6): 16-25.

[21] HOHLFELD P, OSTERMEIER T, BRANDL D. Classification of Beer Bottles Using Object Detection and Transfer Learning[J]. arXiv, 2022, 3(7): 91-96.

[22] TAN MINGXING, LE Q V. EfficientNetV2: Smaller Models and Faster Training[J]. ArXiv, 2021, 4(6): 298-309.

[23] JIA D, WEI D, SOCHER R, et al. ImageNet: A Large-Scale Hierarchical Image DataBase[C]// Computer Vision and Pattern Recognition, Miami FL USA, 2009: 248-255.

Defect Recognition Method of Wire Mesh Based on Machine Vision

CHEN Dong-liang1, SHI Su-shuang1, FANG Li-qing1, CAI Meng2, SHI Zhan-qun1

(1. School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China; 2. School of Mechanical Engineering, China Civil Aviation University, Tianjin 300300, China)

The work aims to improve the detection efficiency and accuracy of wire mesh. An improved network EfficientNetV2 for wire mesh surface defect recognition was proposed. Firstly, the backbone structure of the network was changed, and operations such as channel splitting and channel conversion were introduced before and after the feature extraction module to increase network capacity and improve feature utilization. Secondly, the classifier of the network was redesigned, and the extracted high-level semantic information was compressed layer by layer to reduce the feature loss and improve the classification accuracy. Finally, an image acquisition system was built to construct a wire mesh defect data set. According to the experimental results, the accuracy, precision and specificity of the improved network model on the data set were 99.43%, 99.42% and 99.88% respectively, and the image recognition time was 27.5 ms, which enhanced the defect recognition effect. The method has high accuracy and good practicability in wire mesh defect detection, and can also provide reference for defect detection of other similar products.

defect detection; deep learning; EfficientNetV2; wire mesh; transfer learning

TP391.4

A

1001-3563(2023)03-0164-08

10.19554/j.cnki.1001-3563.2023.03.020

2022?04?13

陳東亮（1996—），男，碩士生，主攻機電系統(tǒng)智能檢測。

師占群（1963—），男，博士，教授，主要研究方向為智能診斷。

責任編輯：曾鈺嬋