摘 要：為實現(xiàn)對鑄件各種不同缺陷的自動診斷，設(shè)計一種視覺檢測系統(tǒng)對鑄造產(chǎn)品進(jìn)行外觀檢測。利用多頭自注意力模塊對圖像識別網(wǎng)絡(luò)的下采樣過程進(jìn)行增強(qiáng)，使得經(jīng)典圖像分類網(wǎng)絡(luò)能夠獲得全局特征信息，以提升模型對鑄件體外觀上細(xì)小裂紋和大范圍毛刺的識別能力。實驗結(jié)果表明：改進(jìn)得到的卷積網(wǎng)絡(luò)對鑄件缺陷具有較高的識別準(zhǔn)確率，能夠較準(zhǔn)確地判斷鑄件缺陷類型。

關(guān)鍵詞：缺陷檢測；圖像識別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；自注意力機(jī)制

中圖分類號：TP391.4" 文獻(xiàn)標(biāo)志碼：A" 文章編號：1671-5276（2024）05-0229-05

Casting Visual Detection Based on improved Convolutional Network

Abstract：For automatical diagnosing different defects in castings， a visual inspection system is designed to inspect the appearance of casting products. The multi-head self-attention module is used to enhance the downsampling process of the image recognition network， enabling the classic image classification network to obtain global feature information and promote the model's ability to identify small cracks and large-scale burrs on the appearance of castings. The experimental results show that the improved convolutional network has a higher recognition accuracy for casting defects， and can more accurately determine the type of casting defects.

Keywords：defect detection；image recognition；convolutional neural network；deep learning；self-attention mechanism

0 引言

鑄件是用各種鑄造方法獲得的金屬或者合金材料成型零件，常用作機(jī)械、建筑、航空航天和汽車等領(lǐng)域的主要零部件。由于鑄件的特殊成型方式，在制造過程中常出現(xiàn)氣孔、裂紋和夾渣等質(zhì)量問題。這些問題不僅影響機(jī)械零件的性能，還可能導(dǎo)致它的使用壽命大大縮短。為及時發(fā)現(xiàn)鑄件的缺陷，基于X射線的無損檢測［1］廣泛應(yīng)用于鑄件檢測中，能夠準(zhǔn)確診斷鑄件內(nèi)部缺陷。但是由于X射線的無損檢測效率較低、成本較高，通常會采用外觀檢查等人工方式進(jìn)行初步篩選。為了高效、準(zhǔn)確地篩選出有缺陷的鑄件，可通過圖像分類網(wǎng)絡(luò)對所有鑄件進(jìn)行分類，實現(xiàn)對氣孔、細(xì)小裂紋和毛刺等缺陷的初步篩選。相比人工外觀檢查等低效的篩選方式，圖像檢測系統(tǒng)［2］能夠更加高效、準(zhǔn)確地檢測鑄件的外觀缺陷。

隨著計算機(jī)視覺技術(shù)和深度學(xué)習(xí)方法的快速發(fā)展，通過圖像數(shù)據(jù)對物體進(jìn)行準(zhǔn)確分類已成為可能。2012年ILSVRC圖像分類大賽中，深度卷積結(jié)構(gòu)實現(xiàn)的AlexNet［3］一舉奪冠，2014年GoogLeNet［4］實現(xiàn)了74.8%的top-1準(zhǔn)確率，并且VGGNet［5］也實現(xiàn)了相同的精度。此外，ResNet［6］提出的殘差連接使得訓(xùn)練這些極深的網(wǎng)絡(luò)更加容易，表現(xiàn)也更好。

近幾年來，研究者們利用不同的改進(jìn)方法來提升圖像分類網(wǎng)絡(luò)的準(zhǔn)確率。Transformer［7］是一種與卷積結(jié)構(gòu)不同的模型，最開始用于解決自然語言處理（NLP）任務(wù)，因其表現(xiàn)出的卓越性能而迅速成為主流架構(gòu)。ViT［8］是視覺任務(wù)中應(yīng)用Transformer結(jié)構(gòu)的先驅(qū)，它通過直接堆疊的方式，在不重疊圖像塊上運(yùn)行Transformer塊來實現(xiàn)圖像識別的卓越性能。BoTNet［9］則將Transformer引入卷積結(jié)構(gòu)中，提出帶有MHSA層的ResNet瓶頸結(jié)構(gòu)的Transformer塊。Conformer［10］是CNN和Transformer并行的混合網(wǎng)絡(luò)，通過特征耦合模塊對每個階段的局部特征和全局特征之間進(jìn)行信息交互，使得Conformer同時兼具兩者的優(yōu)勢。在分類任務(wù)中，Conformer以更小的參數(shù)取得更高的準(zhǔn)確率。

基于此，本文對Conformer結(jié)構(gòu)中的Transformer分支進(jìn)行簡化和改進(jìn)，提出增強(qiáng)型Transformer（enhance transformer， ET）架構(gòu)，并將其插入到ResNet和其他深度卷積網(wǎng)絡(luò)中，實現(xiàn)對網(wǎng)絡(luò)性能的增強(qiáng)以及網(wǎng)絡(luò)準(zhǔn)確率的提升。

本文主要工作有：

1）使用深度卷積網(wǎng)絡(luò)對鑄件的外觀缺陷進(jìn)行識別，搜集鑄件圖像數(shù)據(jù)集，對孔狀缺陷、毛刺和細(xì)小裂紋等圖像進(jìn)行分類處理；細(xì)化缺陷數(shù)據(jù)類別，使得缺陷診斷網(wǎng)絡(luò)能夠更加準(zhǔn)確地判斷缺陷種類，以便后期對鑄造方法進(jìn)行分析和改進(jìn)；

2）為提升深度卷積網(wǎng)絡(luò)對細(xì)小裂紋的識別準(zhǔn)確率，將Conformer中的方法加以簡化和改進(jìn)，提出增強(qiáng)Transformer結(jié)構(gòu)，將該結(jié)構(gòu)插入ResNet的下采樣模塊中能夠顯著提升準(zhǔn)確率；并對此方法進(jìn)行對比試驗，以找到最佳融合方式。

1 缺陷診斷模型

視覺診斷系統(tǒng)能夠自動地對鑄件進(jìn)行外觀缺陷檢測，檢測的精度由圖像分類網(wǎng)絡(luò)的準(zhǔn)確率決定。通過比對大量缺陷圖片發(fā)現(xiàn)，鑄件毛刺特征和細(xì)小裂紋表現(xiàn)出的尺寸相差較大，這要求圖像分類網(wǎng)絡(luò)能夠捕捉到圖像中的全局特征和局部特征。因此，將能夠捕捉全局特征的Transformer結(jié)構(gòu)對深度卷積結(jié)構(gòu)進(jìn)行增強(qiáng)，使得網(wǎng)絡(luò)模型的局部特征和全局特征都能進(jìn)行信息交互。

如圖1所示，在一般的深度卷積結(jié)構(gòu)中插入一個Transformer模塊，與卷積計算分支組成并行的結(jié)構(gòu)，使得網(wǎng)絡(luò)模型能夠利用卷積實現(xiàn)局部特征交互，也能通過Transformer進(jìn)行全局特征信息交互。實驗結(jié)果表明： 增強(qiáng)Transformer放在下采樣層的前面會獲得更好的表現(xiàn)。因為這種方法還能增強(qiáng)特征信息，使得網(wǎng)絡(luò)在下采樣過程中保留更多的特征信息。

詳細(xì)計算過程如圖2所示。在第3個Stage和第4個Stage中間加上一個Transformer模塊。從第4個Stage開始，進(jìn)行特征圖下采樣，Transformer模塊通過捕捉全局特征后合并信息流實現(xiàn)對特征信息進(jìn)行增強(qiáng)。

將第3個Stage最后一個3×3卷積的輸出特征圖分別經(jīng)過主干卷積層和增強(qiáng)Transformer結(jié)構(gòu)。該特征圖X首先經(jīng)過一個1×1卷積層，再進(jìn)行重組，變成一個B×C×H×W尺寸的特征圖X。特征圖X依次經(jīng)過多頭自注意力層（multi head self-attention， MHSA）、layer normalization（LN）層和多層感知機(jī)（multi layer perceptron， MLP），計算過程如式（1）所示。

XT=MLP（LN（MHSA（X）））（1）

多頭自注意力層中的特征圖X分別生成query、key和value，再經(jīng)過計算得到同維度的輸出結(jié)果，計算過程如式（2）所示。這個過程中，特征圖上的全局特征會進(jìn)行信息交互，并對感興趣的特征進(jìn)行加權(quán)，從而捕捉到特征圖上的全局關(guān)鍵信息。

Attention（Q，K，V）=softmax（QKT）V（2）

特征圖XT重新變形重組為B×C×H×W的特征圖，再經(jīng)過一個3×3卷積層后和主干特征圖相加。這個卷積層的作用是將特征圖XT的維度變?yōu)楹椭鞲商卣鲌D的維度一致。整個計算過程可以由式（3）表示，其中C（·）表示卷積操作，Xl和Xl－1分別表示當(dāng)前卷積層的輸出特征圖和前一個卷積層的輸出特征圖，Y表示雙分支的合并結(jié)果。

Y=XT+C1×1（Xl+C1×1（Xl－1））（3）

通過這種雙分支的方式，網(wǎng)絡(luò)模型在第4個Stage能夠感受到圖片上的局部特征和全局特征，因此對大范圍的毛刺和小尺寸的裂紋都能有較好的識別效果。并且，增強(qiáng)Transformer結(jié)構(gòu)只在低分辨率階段與卷積進(jìn)行融合，不會導(dǎo)致計算速度大幅下降。實驗結(jié)果表明：增強(qiáng)Transformer帶來準(zhǔn)確率提升的同時，并沒有大幅度降低吞吐率，這種方法可以為圖像缺陷診斷系統(tǒng)帶來更好的檢測性能。

2 實驗

2.1 實驗設(shè)置

實驗中每個網(wǎng)絡(luò)均使用SGD優(yōu)化器進(jìn)行訓(xùn)練，優(yōu)化器的weight decay和momentum分別設(shè)置為0.000 1和0.9。在訓(xùn)練過程中，Batchsize設(shè)置為128，初始學(xué)習(xí)率固定為0.1，隨著實驗進(jìn)行，學(xué)習(xí)率逐漸衰退。

在各種網(wǎng)絡(luò)的訓(xùn)練過程中，對所有訓(xùn)練圖像運(yùn)用相同的數(shù)據(jù)增強(qiáng)方法。這里用到的數(shù)據(jù)增強(qiáng)方法為隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)。所有實驗代碼基于pytorch框架實現(xiàn)，訓(xùn)練和測試過程在多張NVIDIA GeForce RTX 3090上采用并行計算完成。

2.2 對比實驗

1）診斷模型對比實驗

為了讓診斷模型能夠準(zhǔn)確判斷出鑄件缺陷的類型，以便后期能針對性地加以改進(jìn)，需制作包含不同類型缺陷的訓(xùn)練數(shù)據(jù)集。從各相關(guān)數(shù)據(jù)集中挑選各種不良鑄造軸承圖片，將其鑄造缺陷類別主要分為孔狀缺陷、毛刺和細(xì)微劃痕等3類，加上正常鑄件類別組成一共4個類別的數(shù)據(jù)集。其中，每個類別的訓(xùn)練圖片為190張，驗證圖片都是10張，另外準(zhǔn)備少量跨域場景圖片對診斷模型進(jìn)行泛化能力測試。

采用2.1節(jié)中的實驗參數(shù)設(shè)置，將ResNet、VGG、ResNeXt［11］、DenseNet［12］等主流分類網(wǎng)絡(luò)和這里的ResNet（ET）在鑄件診斷訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗證，其中BoT為CNN和Transformer結(jié)合網(wǎng)絡(luò)，主要特點(diǎn)為精度和計算速度表現(xiàn)都較好，實驗結(jié)果如表1所示。相比ResNet和VGG等分類網(wǎng)絡(luò)，具有ET結(jié)構(gòu)的ResNet網(wǎng)絡(luò)實現(xiàn)了更高的準(zhǔn)確率和更快的計算速度，表明ET結(jié)構(gòu)可以作為缺陷檢測系統(tǒng)的增強(qiáng)方法，能使模型準(zhǔn)確、快速地對鑄件缺陷類型進(jìn)行分類判斷。

此外，為了驗證本文方法對細(xì)小劃痕缺陷識別的增強(qiáng)效果，隨機(jī)選擇包含細(xì)小劃痕的鑄件圖片進(jìn)行驗證和分析。將缺陷鑄件圖片輸入改進(jìn)診斷模型計算，并得到計算時的熱力圖，如圖3所示。圖3（a）為原圖，圖3（b）是網(wǎng)絡(luò)發(fā)現(xiàn)毛刺和細(xì)小氣孔缺陷區(qū)域的熱力圖，這正說明它依賴于這些特征進(jìn)行缺陷分類。

2）公開數(shù)據(jù)集對比實驗

為進(jìn)一步驗證改進(jìn)方法對分類網(wǎng)絡(luò)的有效性，讓ResNet、VGG、ResNeXt、DenseNet等分類網(wǎng)絡(luò)和ResNet（ET）分別在公開分類數(shù)據(jù)集上進(jìn)行對比實驗。實驗數(shù)據(jù)集主要包括：CIFAR［13］和Tiny-ImageNet。訓(xùn)練參數(shù)與2.1節(jié)中的一致，為了讓分類網(wǎng)絡(luò)適應(yīng)小分辨率數(shù)據(jù)的尺寸，將深度卷積模型都進(jìn)行相同的修改，將下采樣次數(shù)由原本的5次減少為3次。

實驗結(jié)果如表2所示，提出的ResNet-50（ET）在CIFAR10、CIFAR100和Tiny-ImageNet上分別比ResNet-50高0.52個百分點(diǎn)、0.85個百分點(diǎn)和0.02個百分點(diǎn)。并且在一系列公開數(shù)據(jù)集中，ResNet-101（ET）也比ResNet-101表現(xiàn)出更高的準(zhǔn)確率。此外，DenseNet在CIFAR10和CIFAR100兩個數(shù)據(jù)集上的表現(xiàn)都稍優(yōu)于ResNet（ET），但是在Tiny-ImageNet數(shù)據(jù)集上的準(zhǔn)確率表現(xiàn)較差，并且從表1可以看出它的計算速度較慢。

改進(jìn)方法能夠提升分類網(wǎng)絡(luò)的準(zhǔn)確率，但是也會引入更多參數(shù)量和計算量，因此只在第4個Stage使用改進(jìn)方法。為了對比改進(jìn)方法在網(wǎng)絡(luò)不同層插入帶來的改變，將改進(jìn)方法分別插入ResNet-50第4個Stage的第1、第2、第3個Bottleneck中，并在CIFAR100和Tiny-ImageNet上訓(xùn)練和驗證。實驗結(jié)果如表3所示。增強(qiáng)Transformer的位置放在下采樣Bottleneck的前面能得到較好的準(zhǔn)確率，并且插入位置越靠近頂部，模型的準(zhǔn)確率會越低。

3 結(jié)語

通過在ResNet下采樣過程中添加增強(qiáng)Transformer得到改進(jìn)模型，利用圖像識別對鑄件外觀缺陷檢測。實驗表明改進(jìn)后的圖像識別模型能夠更精確地對缺陷圖像進(jìn)行分類。在深度卷積結(jié)構(gòu)中插入Transformer模塊，使得網(wǎng)絡(luò)可以進(jìn)行局部或全局特征信息交互，從而增強(qiáng)特征信息，對大范圍毛刺和細(xì)小劃痕缺陷都能準(zhǔn)確識別。ResNet（ET）不僅能夠在圖像識別任務(wù)中獲得較高的準(zhǔn)確率，同時它的計算速度并未下降，ResNet（ET）相比同類型的網(wǎng)絡(luò)架構(gòu)表現(xiàn)出更好的泛化性能。

參考文獻(xiàn)：

［1］ 張國寶，楊為，趙恒陽，等. 基于X射線三維成像技術(shù)的在役GIS盆式絕緣子缺陷檢測［J］. 高壓電器，2022，58（10）：230-236.

［2］ 周祺智，馬萬太. 基于局部分類的鋁合金低倍組織圖像分割［J］. 機(jī)械制造與自動化，2022，51（4）：129-132.

［3］ KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［4］ SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston，MA，USA： IEEE，2015：1-9.

［5］ SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-10-20］. http：//arxiv. org/abs/1409.1556.

［6］ HE K M，ZHANG X Y，REN S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA： IEEE，2016：770-778.

［7］ VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You need［EB/OL］. （2017-06-12）［2022-10-20］. https：//arxiv.org/abs/1706.03762.

［8］ DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al. An image is worth 16x16 words：transformers for image recognition at scale［EB/OL］. （2020-10-22）［2022-10-20］. https：//arxiv.org/abs/2010.11929.

［9］ SRINIVAS A，LIN T Y，PARMAR N，et al. Bottleneck transformers for visual recognition［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville，TN，USA： IEEE，2021：16514-16524.

［10］ PENG Z L，HUANG W，GU S Z，et al. Conformer：local features coupling global representations for visual recognition［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，QC，Canada： IEEE，2022：357-366.

［11］ XIE S N，GIRSHICK R，DOLLR P，et al. Aggregated residual transformations for deep neural networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA： IEEE，2017：5987-5995.

［12］ HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA： IEEE，2017：2261-2269.

［13］ KRIZHEVSKY A. Learning multiple layers of features from tiny images［R］.Toronto， Canada： University of Toronto，2009.