叢 明,孫心海,武曉軒

(大連理工大學(xué)機(jī)械工程學(xué)院,大連 116024)

0 引言

隨著輕量化技術(shù)的發(fā)展,鋁合金壓鑄件已廣泛應(yīng)用于汽車(chē)、航空航天等領(lǐng)域。在壓鑄過(guò)程中,鑄件產(chǎn)生氣泡、縮孔、裂紋等缺陷是不可避免的。對(duì)于此類(lèi)鋁合金鑄件內(nèi)部的缺陷,通常通過(guò)射線成像進(jìn)行無(wú)損檢測(cè)[1]。傳統(tǒng)的檢測(cè)算法以手工設(shè)計(jì)特征為主,對(duì)于復(fù)雜的工業(yè)場(chǎng)景,這種方法的泛化能力較弱不具有普適性[2]。

在鋁合金鑄件X-ray圖像缺陷檢測(cè)的最新研究中,FERGUSON等[3]基于Mask R-CNN是一種可同時(shí)檢測(cè)和分割X射線圖像中缺陷的鑄件缺陷檢測(cè)系統(tǒng)[4],通過(guò)使用遷移學(xué)習(xí)來(lái)減少訓(xùn)練所需的數(shù)據(jù)集規(guī)模并獲得更高的檢測(cè)精度。DU等[5]通過(guò)在Faster R-CNN的基礎(chǔ)上引入特征金字塔(feature pyramid networks,FPN)網(wǎng)絡(luò)[6],提高了模型對(duì)X射線圖像中小尺度缺陷的檢測(cè)精度。但是缺陷簡(jiǎn)單識(shí)別單一。REN等[7]提出了一種三階段深度學(xué)習(xí)算法,該算法可以準(zhǔn)確識(shí)別汽車(chē)發(fā)動(dòng)機(jī)X射線圖像中的氣泡缺陷,準(zhǔn)確率可達(dá)到90%以上。TANG等[8]提出了一種將空間注意力機(jī)制和雙線性池結(jié)合的卷積神經(jīng)網(wǎng)絡(luò),提高了網(wǎng)絡(luò)對(duì)細(xì)微缺陷的學(xué)習(xí)能力。然而,對(duì)鋁合金鑄件X射線圖像的缺陷檢測(cè)工作仍存在缺陷檢測(cè)種類(lèi)單一、對(duì)多尺度缺陷檢測(cè)性能較差以及各類(lèi)缺陷樣本分布不均勻等問(wèn)題。

針對(duì)上述問(wèn)題,本文制作了含有14 640張鋁合金鑄件內(nèi)部X射線圖像缺陷數(shù)據(jù)集ALU-Xray,提出了一種基于深度學(xué)習(xí)的缺陷檢測(cè)算法,采用橫向連接的方式將淺層特征與上采樣后的深層語(yǔ)義信息自上而下依次融合,實(shí)現(xiàn)了模型對(duì)氣泡、裂紋等尺度較小的缺陷和復(fù)雜背景下的疏松、縮孔等缺陷的高精度檢測(cè)。

1 缺陷檢測(cè)算法模型

1.1 RetinaNet-AACIDD算法結(jié)構(gòu)

鋁合金鑄件X射線圖像缺陷檢測(cè)算法RetinaNet-AACIDD主要是基于RetinaNet算法[9]進(jìn)行改進(jìn),如圖1所示。算法的主干網(wǎng)絡(luò)采用ResNet-50[10],使用深層次的網(wǎng)絡(luò)可以獲取缺陷圖像更深層的語(yǔ)義特征,并且ResNet網(wǎng)絡(luò)使用的殘差塊結(jié)構(gòu)可以克服學(xué)習(xí)效率和準(zhǔn)確率隨網(wǎng)絡(luò)深度加深而無(wú)法有效提高的問(wèn)題,相對(duì)于傳統(tǒng)的VGG等分類(lèi)網(wǎng)絡(luò)可以獲得更高準(zhǔn)確度。為了減少X射線圖像噪聲以及復(fù)雜背景的干擾,在Conv3_x、Conv4_x、Conv5_x后加入將通道注意力機(jī)制和空間注意力機(jī)制混合的注意力模塊CS-Block,通過(guò)對(duì)特征圖中不同通道和空間上的特征信息進(jìn)行進(jìn)一步篩選,來(lái)抑制無(wú)關(guān)信息,進(jìn)而增加缺陷所在區(qū)域和有效的特征信息在特征圖中所占權(quán)重,降低背景、噪聲等其他信息對(duì)缺陷檢測(cè)的干擾。為了更充分地利用提取出的特征,進(jìn)一步提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)精度,在CS-Block模塊后加入使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的多尺度特征融合模塊(multid-scale feature integration module,MFIM),采用橫向連接的方式將淺層特征與上采樣后的深層語(yǔ)義信息自上而下依次融合,構(gòu)建出兼具各級(jí)語(yǔ)義信息和缺陷位置信息的多尺度融合特征圖。再通過(guò)Conv3×3的卷積層對(duì)生成的特征圖再次進(jìn)行特征提取,以消除上采樣過(guò)程可能帶來(lái)的混疊效應(yīng)。之后再將多尺度融合后的特征圖輸入到分類(lèi)和回歸模塊。

圖1 RetinaNet-AACIDD算法結(jié)構(gòu)圖

在分類(lèi)和回歸階段,在P3、P4、P5預(yù)測(cè)特征層(prediction layer)上分別得到經(jīng)過(guò)Conv3×3的卷積層再次卷積融合后的Mp3、Mp4、Mp5三個(gè)多尺度特征圖。其中,Mp3對(duì)應(yīng)圖像的淺層紋理特征,Mp4對(duì)應(yīng)中間層的過(guò)渡特征,Mp5對(duì)應(yīng)圖像較深層的語(yǔ)義特征。在Mp5的基礎(chǔ)上,依次通過(guò)Conv3×3,stride=2的卷積層得到Mp6、Mp7,對(duì)應(yīng)圖像的深層語(yǔ)義特征。最后,在P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層上進(jìn)行缺陷的檢測(cè)。

RetinaNet-AACIDD缺陷檢測(cè)算法的預(yù)測(cè)器由分類(lèi)子網(wǎng)絡(luò)(class subnet)和定位子網(wǎng)絡(luò)(box subnet)兩部分組成。其中class subnet負(fù)責(zé)預(yù)測(cè)目標(biāo)類(lèi)別,box subnet負(fù)責(zé)預(yù)測(cè)目標(biāo)邊界框回歸參數(shù)。兩個(gè)子網(wǎng)絡(luò)均由4個(gè)Conv3×3,stride=1,channel=256的卷積層和一個(gè)Conv3×3,stride=1,channel=36的卷積層組成。

1.2 注意力機(jī)制CS-Block

鋁合金鑄件X射線圖像中存在大量噪聲,而且缺陷所在的背景復(fù)雜,會(huì)影響網(wǎng)絡(luò)對(duì)缺陷的檢測(cè)。為了減少圖像中噪聲和復(fù)雜背景的干擾,在RetinaNet-AACIDD主干網(wǎng)絡(luò)的Conv1和Conv5_x后加入混合注意力機(jī)制,即卷積注意力模塊(CBAM),以增加缺陷相關(guān)特征在特征圖中的權(quán)重,從而降低背景等信息對(duì)缺陷檢測(cè)的干擾。CBAM模塊由通道注意力模塊(channel attention module,CAM)和空間注意力模塊(spatial attention module,SAM)組成,相比于只關(guān)注通道的注意力機(jī)制SENet(squeeze and excitation networks)可以取得更好的檢測(cè)效果,其模型結(jié)構(gòu)如圖2所示。

(a) CS-Block-A

Conv1和Conv5_x輸出的結(jié)果作為CBAM的輸入特征圖,首先經(jīng)過(guò)CAM模塊:在空間維度進(jìn)行基于寬度和高度的平均池化和最大池化來(lái)壓縮空間尺寸,然后將池化后的結(jié)果分別輸入多層感知機(jī)MLP中來(lái)學(xué)習(xí)通道維度的特征,再將MLP輸出的特征進(jìn)行add操作,接著經(jīng)過(guò)Sigmoid函數(shù)進(jìn)行激活,得到最終的通道注意力特征圖;然后作為SAM模塊的輸入特征圖,在通道維度進(jìn)行平均池化和最大池化來(lái)對(duì)通道進(jìn)行壓縮,然后將提取的兩個(gè)單通道圖合并得到一個(gè)channel=2的特征圖,接著通過(guò)Conv7×7的卷積層進(jìn)行卷積操作,再經(jīng)過(guò)Sigmoid函數(shù)激活,最后加權(quán)得到調(diào)整后的特征。

1.3 多尺度特征融合MFIM模塊

經(jīng)過(guò)注意力機(jī)制CS-Block模塊共生成Ocs3、Ocs4、Ocs5三個(gè)特征圖,其中Ocs5是低分辨率、具有較大的感受野和深層語(yǔ)義+特征的深層特征,用于檢測(cè)尺度較大的缺陷;Ocs3是高分辨率、具有淺層紋理而缺少深層語(yǔ)義信息的淺層特征,用于檢測(cè)小尺度的缺陷;Ocs4介于二者之間,是具有圖像過(guò)渡特征的中間層。為了更充分地利用提取出的特征,提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)性能,在CS-Block模塊后加入多尺度特征融合模塊,該模塊使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)。首先Ocs3、Ocs4、Ocs5三個(gè)特征圖分別通過(guò)Conv1×1,通道為256的卷積層,在不改變特征圖原有寬高兩個(gè)維度的情況下,將所有輸出特征圖的通道數(shù)進(jìn)行降維,都統(tǒng)一變?yōu)?56。再采用橫向連接,即將淺層紋理位置等特征與上采樣后的深層語(yǔ)義信息自上而下地依次融合,完成深層語(yǔ)義信息的向下傳遞。進(jìn)而在Ocs3、Ocs4上構(gòu)建出兼具各級(jí)語(yǔ)義信息和缺陷位置信息的多尺度融合特征圖,如圖3所示。

圖3 多尺度特征融合模塊結(jié)構(gòu)圖

由于上采樣后的深層特征圖在與橫向連接的淺層特征圖疊加過(guò)程中可能導(dǎo)致特征不連續(xù),使得融合后的特征圖失真,所以需要使用3×3的卷積核對(duì)生成的多尺度特征融合特征圖再次進(jìn)行卷積融合,即對(duì)特征進(jìn)行再次提取,保證特征的穩(wěn)定性,以消除上采樣過(guò)程可能帶來(lái)的混疊效應(yīng)。之后再將多尺度融合后的特征圖輸入到分類(lèi)和回歸模塊,在P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層上進(jìn)行分類(lèi)和回歸。最終提高模型對(duì)多尺度缺陷,尤其是小尺度缺陷的檢測(cè)性能。

1.4 預(yù)測(cè)特征層上的錨框尺寸設(shè)計(jì)

在RetinaNet-AACIDD網(wǎng)絡(luò)中,P3、P4、P5、P6、P7等5個(gè)預(yù)測(cè)特征層用于缺陷檢測(cè)。每個(gè)位置都采用由3個(gè)尺度和3個(gè)比例組成的共9組錨點(diǎn)進(jìn)行預(yù)測(cè)。在預(yù)測(cè)時(shí),每個(gè)錨點(diǎn)根據(jù)目標(biāo)缺陷的Ground Truth與其交并比(intersection over union,IoU)的大小來(lái)衡量缺陷檢測(cè)的準(zhǔn)確度。為了獲得適合X射線圖像數(shù)據(jù)集的錨點(diǎn)尺寸,提高模型對(duì)ALU-Xray數(shù)據(jù)集中不同尺度缺陷檢測(cè)的準(zhǔn)確率,對(duì)ALU-Xray數(shù)據(jù)集中所有缺陷的Ground Truth邊界通過(guò)K-means聚類(lèi)算法進(jìn)行了統(tǒng)計(jì)分析,得到氣泡、裂紋、縮孔、疏松等4類(lèi)缺陷的聚類(lèi)中心分別為[13,13]、[17,15]、[32,55]、[68,21],結(jié)合其尺寸分布散點(diǎn)圖(如圖4所示),設(shè)計(jì)如表1所示的錨點(diǎn)的尺度和比例,以獲得錨點(diǎn)與缺陷的Ground Truth間最大的IoU。

表1 預(yù)測(cè)特征層錨點(diǎn)尺度及比例

圖4 ALU-Xray數(shù)據(jù)集缺陷尺寸分布散點(diǎn)圖

1.5 遷移學(xué)習(xí)

RetinaNet-AACIDD檢測(cè)算法采用ResNet-50作為主干網(wǎng)絡(luò),其Conv1_x、Conv2_x、Conv3_x等卷積層主要用來(lái)提取圖像的紋理信息、邊緣信息等淺層特征,對(duì)不同的檢測(cè)目標(biāo)具有一定的通用性。而深層網(wǎng)絡(luò)Conv5_x是用來(lái)提取圖像更深層的語(yǔ)義信息的,這種深層特征的提取通常針對(duì)的是具體的數(shù)據(jù)集。為此,在模型訓(xùn)練時(shí)利用ResNet-50網(wǎng)絡(luò)在ImageNet大型數(shù)據(jù)集上訓(xùn)練好的權(quán)重來(lái)進(jìn)行模型初始化。在訓(xùn)練過(guò)程中將淺層網(wǎng)絡(luò)的權(quán)重固定保持不變,對(duì)深層的網(wǎng)絡(luò)權(quán)重進(jìn)行微調(diào),即使用遷移學(xué)習(xí)的方式進(jìn)行模型訓(xùn)練,如圖5所示。

圖5 遷移學(xué)習(xí)原理框圖

由于是使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型預(yù)訓(xùn)練權(quán)重基礎(chǔ)上訓(xùn)練,大大縮短了模型的訓(xùn)練時(shí)間,提高了計(jì)算資源的利用率。同時(shí),通過(guò)遷移學(xué)習(xí)利用不同任務(wù)間淺層特征的共性,可以提高模型對(duì)淺層一般特征的提取能力,在樣本數(shù)量有限的情況下提高模型的分類(lèi)精度。

2 數(shù)據(jù)集制作及模型評(píng)價(jià)指標(biāo)

2.1 數(shù)據(jù)集制作

數(shù)據(jù)集中鋁合金鑄件內(nèi)部缺陷圖像來(lái)源于一家汽車(chē)零部件工廠,包括汽車(chē)散熱板、鏈條罩蓋、油底殼、曲軸箱體、離合器殼體、變速器殼體等零部件的X射線缺陷圖像。制作數(shù)據(jù)集時(shí),采用LabelImg軟件進(jìn)行圖像中缺陷的標(biāo)注和類(lèi)標(biāo)簽的生成,并將每個(gè)圖像中的缺陷類(lèi)別、位置等信息以Pascal VOC格式保存在對(duì)應(yīng)的XML文件中。原始缺陷圖像分辨率為1140×1192像素,調(diào)整為512×512像素,即本文所制作的鋁合金鑄件X射線圖像缺陷數(shù)據(jù)集ALU-Xray的圖像分辨率大小。最終制作成的ALU-Xray數(shù)據(jù)集中具體包括的缺陷有氣孔、縮孔、疏松、裂紋等,共計(jì)14 640張,數(shù)據(jù)集中部分缺陷圖像展示如圖6所示。

(a) 氣泡 (b) 縮孔

隨機(jī)劃分?jǐn)?shù)據(jù)集為訓(xùn)練集、驗(yàn)證集、測(cè)試集3個(gè)部分,所占比例為8:1:1,數(shù)據(jù)集各缺陷的數(shù)量等信息如表2所示。

表2 ALU-Xray數(shù)據(jù)集信息

2.2 模型評(píng)價(jià)指標(biāo)

精確率(precision,P)和召回率(recall,R)是目標(biāo)檢測(cè)任務(wù)中模型性能常用的評(píng)價(jià)的指標(biāo),計(jì)算公式為:

(1)

(2)

式中:TP(true positive)指被正確劃分為正樣本的個(gè)數(shù),FP(false positive)指被錯(cuò)誤劃分為正樣本的個(gè)數(shù),FN(false negative)指被錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù)。

因此,精確率也被稱(chēng)為查準(zhǔn)率,側(cè)重考察在預(yù)測(cè)結(jié)果中為正樣本的準(zhǔn)確程度,召回率也可被稱(chēng)為查全率,側(cè)重考察真實(shí)的正樣本被正確預(yù)測(cè)的全面程度。將模型對(duì)每一類(lèi)樣本檢測(cè)結(jié)果的Precision作為橫坐標(biāo),Recall作為縱坐標(biāo)所得到的圖像稱(chēng)為P-R曲線,P-R曲線與橫縱坐標(biāo)軸所圍成的面積就是這類(lèi)樣本的平均精度(average precision,AP)值,計(jì)算公式如下:

(3)

但是AP只是針對(duì)一個(gè)缺陷類(lèi)別計(jì)算所得的評(píng)價(jià)指標(biāo),為了在與Faster R-CNN、YOLOv5、YOLOv3以及RetinaNet基準(zhǔn)模型等網(wǎng)絡(luò)進(jìn)行對(duì)比時(shí)更好的評(píng)估RetinaNet-AACIDD網(wǎng)絡(luò)模型對(duì)多個(gè)缺陷類(lèi)別檢測(cè)的性能,本文選擇的模型評(píng)價(jià)指標(biāo)為目標(biāo)檢測(cè)任務(wù)中最常用的評(píng)估指標(biāo)mAP,即所有類(lèi)別AP的平均值,計(jì)算公式為:

(4)

式中:n表示數(shù)據(jù)集中類(lèi)別的個(gè)數(shù)。

在目標(biāo)檢測(cè)任務(wù)中還有一個(gè)與召回率相對(duì)的常用評(píng)價(jià)指標(biāo),反映的是模型沒(méi)有正確預(yù)測(cè)出的正樣本占所有正樣本的比例,即漏檢率(miss rate,MR),計(jì)算公式為:

(5)

此外,對(duì)于目標(biāo)檢測(cè)任務(wù),模型的性能好壞還有一個(gè)重要評(píng)測(cè)標(biāo)準(zhǔn)就是檢測(cè)速度。本文采用幀率(frame rate)作為模型檢測(cè)速度的度量標(biāo)準(zhǔn),測(cè)量單位為每秒鐘模型所能檢測(cè)的圖像的數(shù)量(frame per second,FPS),計(jì)算公式為:

(6)

式中:ImageNum表示檢測(cè)圖像的總數(shù)量,Time表示檢測(cè)所用的總時(shí)間。

3 實(shí)驗(yàn)

3.1 鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)

本文采用的鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)由高頻X射線機(jī)、控制臺(tái)、工業(yè)級(jí)數(shù)字平板探測(cè)器、計(jì)算機(jī)圖像處理系統(tǒng)、機(jī)械傳動(dòng)控制系統(tǒng)、鉛房防護(hù)系統(tǒng)等組成。檢測(cè)內(nèi)容包括氣泡、疏松、縮孔、裂紋等,檢測(cè)節(jié)拍為1.2～15幀,可分辨的最小深孔為0.3～0.4 mm,X射線機(jī)在實(shí)時(shí)成像時(shí)對(duì)鋁合金的透照能力可以達(dá)到80 mm。檢測(cè)時(shí)工件置于X射線源和工業(yè)級(jí)數(shù)字平板探測(cè)器中間的工作平臺(tái)上,如圖7所示。

圖7 鋁合金鑄件X射線數(shù)字平板成像檢測(cè)系統(tǒng)

3.2 缺陷檢測(cè)算法的軟件和硬件環(huán)境

本實(shí)驗(yàn)的深度學(xué)算法在Ubuntu16.04的操作系統(tǒng)下進(jìn)行訓(xùn)練,GPU選用NVIDIA GeForce RTX 3090,軟件環(huán)境采用CUDA11.1和cuDNN8.0,處理器使用Intel Core i9-10900X,如表3所示,所提出的缺陷檢測(cè)算法模型基于PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)[11]。

3.3 模型設(shè)置

根據(jù)本文鋁合金鑄件X-ray缺陷圖像數(shù)據(jù)集的特點(diǎn),對(duì)網(wǎng)絡(luò)的相關(guān)模型參數(shù)進(jìn)行了相應(yīng)設(shè)置,以達(dá)到模型最佳的檢測(cè)性能。RetinaNet-AACIDD缺陷檢測(cè)算法在訓(xùn)練過(guò)程中,為了減少模型中的參數(shù),將輸入圖片大小調(diào)整為512×512。采用BN(batch normalization)對(duì)數(shù)據(jù)進(jìn)行批量初始化,來(lái)提高模型的收斂數(shù)速度。并綜合考慮GPU內(nèi)存利用率和參數(shù)調(diào)整速度,將模型的批處理大小(batch size)設(shè)置為4。在訓(xùn)練中,采用隨機(jī)梯度下降法(stochastic gradient descent,SGD)優(yōu)化網(wǎng)絡(luò)參數(shù),最大迭代次數(shù)(epoch)設(shè)為15。為防止模型過(guò)擬合,對(duì)模型的初始學(xué)習(xí)率(learning rate)、動(dòng)量(momentum)、權(quán)重衰減系數(shù)(weight decay)等非網(wǎng)絡(luò)訓(xùn)練所得的超參數(shù)取值進(jìn)行了多次實(shí)驗(yàn),并對(duì)以上超參數(shù)設(shè)置如下:學(xué)習(xí)率設(shè)置為0.005,動(dòng)量設(shè)置為0.9,權(quán)重衰減系數(shù)設(shè)置為0.000 5。

3.4 錨框改進(jìn)前后對(duì)比實(shí)驗(yàn)結(jié)果

在模型改進(jìn)的過(guò)程中,為了更好的驗(yàn)證針對(duì)ALU-Xray數(shù)據(jù)集,使用改進(jìn)的K-means聚類(lèi)算法重新設(shè)計(jì)的錨框?qū)鶞?zhǔn)模型RetinaNet網(wǎng)絡(luò)性能提升的效果,在錨框改進(jìn)前后設(shè)計(jì)了算法對(duì)氣泡、疏松、縮孔、裂紋等不同尺度缺陷的檢測(cè)性能對(duì)比實(shí)驗(yàn),以及算法整體檢測(cè)性能的對(duì)比。以每類(lèi)缺陷的檢測(cè)平均精度和所有類(lèi)別的均值平均精度作為模型性能評(píng)價(jià)指標(biāo),對(duì)比結(jié)果如表4、圖8和圖9所示。

表4 錨框改進(jìn)前后對(duì)比實(shí)驗(yàn)結(jié)果(mAP)

圖8 錨框改進(jìn)前后平均精度對(duì)比圖 圖9 錨框改進(jìn)前后mAP對(duì)比圖

可以看出錨框通過(guò)使用改進(jìn)的K-means聚類(lèi)算法重新設(shè)后,對(duì)不同尺度的缺陷平均檢測(cè)精度都有明顯的提升,均值平均精度由原來(lái)的91.15%提升到93.28%,提升了2.13%。其中,錨點(diǎn)的改進(jìn)對(duì)小尺度缺陷檢測(cè)性能提升更明顯,如尺度最小的氣泡類(lèi)缺陷,平均檢測(cè)精度提升了4%,對(duì)于數(shù)據(jù)集中小尺度缺陷較多的裂紋類(lèi)缺陷提升幅度也相對(duì)較大,提升了2.3%。此外,對(duì)于疏松、縮孔類(lèi)尺度相對(duì)較大的缺陷,其平均檢測(cè)精度也有所提升?？梢?jiàn),對(duì)特定的數(shù)據(jù)集如ALU-Xray,使用改進(jìn)的K-means聚類(lèi)算法重新設(shè)計(jì)與數(shù)據(jù)集中待檢測(cè)目標(biāo)大小相近的錨框,對(duì)檢測(cè)算法的檢測(cè)精度提升是有效的。對(duì)于待檢測(cè)目標(biāo)尺度差距較大的數(shù)據(jù)集,這種改進(jìn)的對(duì)模型檢測(cè)精度的提升效果更顯著。

3.5 混合注意力模塊CS-Block對(duì)比實(shí)驗(yàn)分析

在模型錨框改進(jìn)的基礎(chǔ)上,為了驗(yàn)證混合注意力模塊CS-Block,對(duì)于提高模型在圖像噪聲和復(fù)雜背景環(huán)境下對(duì)缺陷檢測(cè)性能提升的效果,在RetinaNet+NewAnchor的基礎(chǔ)上,設(shè)計(jì)了加入混合注意模塊CS-Block和未加入CS-Block進(jìn)行訓(xùn)練的兩組模型的對(duì)比實(shí)驗(yàn)。在保證模型所有訓(xùn)練參數(shù)相同的前提下,以?xún)山M模型分別對(duì)各類(lèi)型缺陷檢測(cè)的平均精度和所有類(lèi)別的均值平均精度作為指標(biāo)進(jìn)行了對(duì)比,如表5所示。其中各類(lèi)型缺陷檢測(cè)的平均精度和所有類(lèi)別的均值平均精度對(duì)比如圖10和圖11所示,噪聲和復(fù)雜背景下兩個(gè)模型檢測(cè)效果的對(duì)比如圖12所示。

表5 混合注意力模塊CS-Block加入前后模型性能對(duì)比(mAP)

圖10 混合注意力模塊CS-Block加入前后各類(lèi)型缺陷的AP對(duì)比圖 圖11 混合注意力模塊CS-Block加入前后mAP對(duì)比圖

圖12 噪聲和復(fù)雜背景下模型檢測(cè)效果對(duì)比圖

通過(guò)未加入CS-Block和加入CS-Block訓(xùn)練的算法模型的實(shí)驗(yàn)結(jié)果對(duì)比可以看出,對(duì)于噪聲和背景復(fù)雜的鋁合金鑄件X射線圖像,在模型中加入將通道注意力和空間注意力機(jī)制混合的注意力模塊CS-Block對(duì)檢測(cè)算法性能的性能有顯著地提升效果,均值平均精度從93.28%提升到96.53%,模型整體檢測(cè)精度提升了3.25%。其中,對(duì)氣泡類(lèi)缺陷的檢測(cè)精度提升效果明顯,從87.9%提升到了92.3%,提升了4.4%。對(duì)疏松、縮孔、裂紋類(lèi)缺陷也分別提升了2.9%、3.6%、2.1%。

在設(shè)計(jì)混合注意力模塊CS-Block的過(guò)程中,為了驗(yàn)證由通道注意力模塊C-Block和空間注意力模塊S-Block組成的CS-Block模塊,相比于只關(guān)注特征通道的通道注意力機(jī)制SENet、ECANet對(duì)模型性能提升的效果,以RetinaNet+NewAnchor作為基準(zhǔn)模型,設(shè)計(jì)了分別加入混合注意力模塊CS-Block、SENet、ECANet的3組模型進(jìn)行對(duì)比實(shí)驗(yàn),以所有類(lèi)別缺陷的均值平均精度作為評(píng)價(jià)指標(biāo),在保證所有訓(xùn)練參數(shù)相同的情況下,實(shí)驗(yàn)結(jié)果如表6所示。

表6 加入不同注意力模塊的模型檢測(cè)性能對(duì)比

可以看出不同注意力模塊對(duì)模型在鋁合金鑄件X射線圖像中缺陷檢測(cè)的精度都有一定的提升效果,但是相對(duì)于只關(guān)注特征圖通道間信息的通道注意力機(jī)制SENet、ECANet等模型,CS-Block對(duì)模型的提升效果更明顯,模型整體檢測(cè)精度提升了3.25%。這是因?yàn)镃S-Block在通道注意力后加入的空間注意力機(jī)制可以使模型對(duì)缺陷的空間位置信息的特征進(jìn)行更好提取,可以進(jìn)一步提高對(duì)處于復(fù)雜結(jié)構(gòu)背景中缺陷特征的提取能力。

3.6 與經(jīng)典模型和基準(zhǔn)模型的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)模型的檢測(cè)性能,將RetinaNet-AACIDD網(wǎng)絡(luò)模型與常用的目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比實(shí)驗(yàn),包括近年提出的模型精度、速度相對(duì)工業(yè)中使用廣泛的YOLOv3目標(biāo)檢測(cè)算法都有所改進(jìn)的一階段檢測(cè)算法YOLOv5,以及經(jīng)典的二階段檢測(cè)算法Faster R-CNN。同時(shí),也加入了與基線模型RetinaNet的對(duì)比實(shí)驗(yàn)。以更好的對(duì)比RetinaNet-AACIDD模型改進(jìn)后檢測(cè)性能提升的效果。

在實(shí)驗(yàn)過(guò)程中,分別改變各個(gè)檢測(cè)算法的模型參數(shù)進(jìn)行了多組實(shí)驗(yàn),最終分別取各組效果最好的一組參數(shù)訓(xùn)練出的模型進(jìn)行檢測(cè)性能的對(duì)比。模型性能對(duì)比指標(biāo)包括對(duì)各類(lèi)型缺陷檢測(cè)的平均精度、漏檢率,所有類(lèi)別的均值平均精度和檢測(cè)速度,實(shí)驗(yàn)結(jié)果如表7、表8所示。各檢測(cè)算法的檢測(cè)效果對(duì)比如圖13所示。

表7 各個(gè)檢測(cè)算法性能對(duì)比(mAP)

表8 各個(gè)檢測(cè)算法性能對(duì)比(MR)

圖13 各檢測(cè)算法的檢測(cè)效果對(duì)比圖

通過(guò)各個(gè)檢測(cè)算法的性能對(duì)比不難看出RetinaNet-AACIDD在保證了檢測(cè)速度的前提下,實(shí)現(xiàn)了對(duì)各個(gè)類(lèi)型缺陷更高的檢測(cè)精度。模型整體檢測(cè)性能mAP為96.53%,相對(duì)于YOLOv5、Faster R-CNN分別高出30.4%、15.8%,并具有更低的漏檢率,平均漏檢率為4.55%,相對(duì)YOLOv5、Faster R-CNN分別低了48.4%、25.98%。尤其是在小尺度缺陷的檢測(cè)性能上RetinaNet-AACIDD的檢測(cè)性能的表現(xiàn)更優(yōu)異,如對(duì)于氣泡類(lèi)缺陷RetinaNet-AACIDD檢測(cè)的平均精度相對(duì)于YOLOv5、Faster R-CNN分別高出31.1%、28.4%,漏檢率則低了44.7%、40.8%。此外,RetinaNet-AACIDD對(duì)基準(zhǔn)模型RetinaNet的檢測(cè)性能提升效果也很顯著,模型總體檢測(cè)精度mAP提升了5.38%,漏檢率則降低了6.93%。對(duì)氣泡、裂紋、疏松、縮孔4類(lèi)缺陷的檢測(cè)精度分別提升了8.4%、3.9%、4.8%、4.4%。漏檢率則分別降低了8.9%、5.4%、6.2%、7.2%。

這是因?yàn)镽etinaNet-AACIDD的特征提取網(wǎng)絡(luò)采用了更深的ResNet-50殘差網(wǎng)絡(luò),更有利于對(duì)缺陷深層特征的提取,并且加入的CB-Block模塊,通過(guò)對(duì)特征圖的通道特征和空間特征進(jìn)行進(jìn)一步的特征提取,可以更好地抑制噪聲、復(fù)雜背景對(duì)不同種類(lèi)缺陷檢測(cè)的干擾,在CS-Block注意力模塊后加入的多尺度特征整合模塊,則可以通過(guò)將淺層紋理位置等特征與深層語(yǔ)義信息進(jìn)行融合,完成深層語(yǔ)義信息的向下傳遞,結(jié)合多尺度特征預(yù)測(cè),最終使得模型對(duì)氣泡、裂紋等尺度較小的缺陷以及復(fù)雜背景下缺陷的檢測(cè)精度顯著提升。RetinaNet-AACIDD檢測(cè)算法對(duì)各類(lèi)缺陷的檢測(cè)效果展示如圖14所示。

(a) 氣泡 (b) 縮孔

4 結(jié)論

本文制作了一個(gè)大型的鋁合金鑄件內(nèi)部X射線圖像缺陷數(shù)據(jù)集ALU-Xray,并根據(jù)缺陷的類(lèi)型分別進(jìn)行了標(biāo)注,包括氣泡類(lèi)4672張、縮孔類(lèi)3056張、疏松類(lèi)4832張、裂紋類(lèi)2080張,共計(jì)14 640張。同時(shí),提出一種基于深度學(xué)習(xí)的面向鋁合金鑄件X射線圖像的缺陷檢測(cè)算法RetinaNet-AACIDD。該算法基于RetinaNet算法進(jìn)行改進(jìn),通過(guò)加入由通道注意力模塊C-Block和空間注意力模塊S-Block組成的混合注意力模塊CS-Block,將計(jì)算出的通道注意力權(quán)重和空間注意力權(quán)重對(duì)特征圖的特征信息進(jìn)行進(jìn)一步整合,有效降低了噪聲、背景等無(wú)關(guān)信息對(duì)RetinaNet-AACIDD算法檢測(cè)精度的影響,并通過(guò)在CS-Block注意力模塊后加入多尺度特征整合模塊,采用橫向連接的方式將淺層特征與上采樣后的深層語(yǔ)義信息自上而下依次融合,完成了深層語(yǔ)義信息的向下傳遞,結(jié)合多尺度特征預(yù)測(cè),最終使得模型對(duì)氣泡、裂紋等尺度較小的缺陷以及復(fù)雜背景下缺陷的檢測(cè)精度顯著提升。并通過(guò)對(duì)比實(shí)驗(yàn),證明了RetinaNet-AACIDD算法有著優(yōu)異的檢測(cè)性能,在IoU=0.5時(shí)其mAP為96.53%,相對(duì)于YOLOv5、Faster R-CNN、RetinaNet分別高出30.4%、15.8%、5.38%,并具有更低的漏檢率,平均漏檢率為4.55%,相對(duì)YOLOv5、Faster R-CNN分別低了48.4%、25.98%、6.93%。同時(shí),在本文的實(shí)驗(yàn)環(huán)境下RetinaNet-AACIDD檢測(cè)算法的檢測(cè)速度為13 fps,可以有效實(shí)現(xiàn)工業(yè)生產(chǎn)環(huán)境中的鋁合金鑄件內(nèi)部缺陷實(shí)時(shí)檢測(cè)。