周 繁，廖義奎

（廣西民族大學(xué)電子信息學(xué)院，南寧 530006）

0 引言

鋼材作為國(guó)民經(jīng)濟(jì)的基礎(chǔ)產(chǎn)業(yè)，在工業(yè)建設(shè)和社會(huì)發(fā)展中都發(fā)揮重要的作用。隨著鋼材產(chǎn)量的增大，鋼材質(zhì)量檢測(cè)成為其中重要的一環(huán)。盡管在鋼材的瑕疵檢測(cè)方面、生產(chǎn)設(shè)備方面的技術(shù)得到一定程度的發(fā)展，但對(duì)于鋼材表面多類瑕疵的檢測(cè)問(wèn)題還是無(wú)法得到徹底的解決［1］。因此，提升工業(yè)鋼材瑕疵檢測(cè)的效率和準(zhǔn)確率對(duì)提高工業(yè)鋼材質(zhì)量有重要的意義。

目前，一些傳統(tǒng)的檢測(cè)技術(shù)已得到應(yīng)用。例如，朱柳忠［2］結(jié)合超聲波檢測(cè)技術(shù)，進(jìn)行了鋼材檢測(cè)領(lǐng)域的應(yīng)用研究，并解釋了其技術(shù)原理及已有的應(yīng)用實(shí)例。蘇伯泰等［3］設(shè)計(jì)了基于渦流成像的鋼材表面裂紋檢測(cè)平臺(tái)，利用平臺(tái)驗(yàn)證分析了對(duì)渦流熱成像檢測(cè)鋼材裂痕效果的多種內(nèi)部影響因素，從而更加高效地檢測(cè)鋼材裂痕。董寧琛等［4］在對(duì)鋼材表面裂痕檢測(cè)時(shí)，利用了脈沖激光光源熱成像原理，將熱量在裂縫缺陷處傳遞并形成表面溫度差，使用熱成像儀實(shí)現(xiàn)裂痕的可視化。

為解決傳統(tǒng)的瑕疵檢測(cè)技術(shù)存在的效率低、檢測(cè)精確度不高等問(wèn)題，目前在瑕疵檢測(cè)領(lǐng)域，深度學(xué)習(xí)技術(shù)得到應(yīng)用。因其工作量小、學(xué)習(xí)能力強(qiáng)等特點(diǎn)已成為熱門(mén)的研究方法。例如，劉洋［5］通過(guò)改進(jìn)Tiny-YOLOv3（You Only Look Once）算法，來(lái)實(shí)現(xiàn)對(duì)鋼材瑕疵檢測(cè)速度的提升。Zhao 等［6］通過(guò)重構(gòu)Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)，加強(qiáng)對(duì)目標(biāo)特征的提取，有效提高了檢測(cè)精度。Ferguson 等［7］提出基于CNN（Convolutional Neural Network）的檢測(cè)方法，主要對(duì)圖像進(jìn)行分割，并進(jìn)行遷移學(xué)習(xí)來(lái)提升網(wǎng)絡(luò)模型精度。Zhang 等［8］對(duì)YOLOv3 算法進(jìn)行改動(dòng)，在原始的基礎(chǔ)上增加小目標(biāo)識(shí)別層，從而增強(qiáng)網(wǎng)絡(luò)檢測(cè)能力。上述研究表明，深度學(xué)習(xí)技術(shù)已在鋼材瑕疵檢測(cè)領(lǐng)域得到應(yīng)用，且現(xiàn)階段主要將檢測(cè)速度以及精度的提升作為主要目標(biāo)。

1 YOLOv5算法

YOLOv5算法相比同系列其他算法具有較好的性能。YOLOv5 算法有四個(gè)主要的組成結(jié)構(gòu)：輸入端，Backbone 骨干網(wǎng)絡(luò)，路徑聚合網(wǎng)絡(luò)（Path Aggregation Networks，PANet）和輸出檢測(cè)層。其中，第一部分輸入端主要增強(qiáng)圖像數(shù)據(jù)，同時(shí)豐富背景也減少對(duì)圖片批量處理需求［9］，顯著提升訓(xùn)練速度。

第二部分Backbone骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)由Focus模塊、CBL（Conv Bn LeakRelu）、CSP（Cross Stage Paritial）和SPP（Spatial Pyramid Pooling）結(jié)構(gòu)組成，主要作用是從圖像中提取豐富的信息特征。其中Focus 模塊對(duì)圖片進(jìn)行切片處理，在減少模型的計(jì)算量的同時(shí)，還不會(huì)發(fā)生信息丟失。CBL 結(jié)構(gòu)在YOLOv5 中使用Conv 結(jié)構(gòu)替代，新的結(jié)構(gòu)主要替換原始的激活函數(shù)為SiLU［10］。CSP結(jié)構(gòu)由C3結(jié)構(gòu)替代，C3主要由Conv結(jié)構(gòu)和BottleNeck 結(jié)構(gòu)組成，即去掉了原始的Bottle-Neck 結(jié)構(gòu)后的卷積層操作。SPP 結(jié)構(gòu)的主要作用是進(jìn)行多尺度融合，并分離出上下文的重要特征。第三部分為路徑聚合網(wǎng)絡(luò)，其主要特征就是將圖像的不同特征層的相應(yīng)尺度的特征圖進(jìn)行相互融合。第四部分輸出檢測(cè)層，該部分有三種不同的檢測(cè)頭，分別實(shí)現(xiàn)對(duì)大中小目標(biāo)的檢測(cè)識(shí)別。

2 算法改進(jìn)

2.1 協(xié)同注意力機(jī)制

為了提升網(wǎng)絡(luò)對(duì)瑕疵特征的學(xué)習(xí)能力，本文應(yīng)用協(xié)同注意力機(jī)制［11］（Coordinate Attention，CA）。在對(duì)圖像中目標(biāo)特征的提取過(guò)程中，往往會(huì)忽視重要的位置信息，CA 注意力機(jī)制在通道注意力中嵌入位置信息，使網(wǎng)絡(luò)能夠更準(zhǔn)確定位特征信息以及參與較大的區(qū)域的空間選擇。主要結(jié)構(gòu)如圖1所示。

圖1 CA注意力機(jī)制結(jié)構(gòu)

CA 注意力機(jī)制的主要步驟為坐標(biāo)信息嵌入和坐標(biāo)信息特征圖的生成。首先坐標(biāo)信息的嵌入，即具體在兩個(gè)獨(dú)立的空間方向上分別采用一維全局池化操作，將輸入信息聚合成該方向的感知特征。然后將這兩個(gè)特征映射分別編碼成兩個(gè)注意映射，協(xié)調(diào)注意編碼橫向和縱向空間方向上的遠(yuǎn)程依賴關(guān)系和位置信息，然后進(jìn)行特征聚合。其次坐標(biāo)信息特征圖生成，即先對(duì)上述兩個(gè)變換在空間維度上進(jìn)行拼接，再通過(guò)卷積變換函數(shù)F1進(jìn)行信息變換。變換公式如式（1）所示：

其中δ為非線性激活函數(shù)。再將f分解成兩個(gè)獨(dú)立的張量fh和fw，之后利用卷積Fh和Fw變換得到與輸入相同的通道數(shù)，其變換操作如式（2）、式（3）所示：

其中σ為Sigmoid 函數(shù)。然后擴(kuò)展上述結(jié)果，作為注意力權(quán)重，得到輸出y。如式（4）所示，其中xc(i,j)表示輸入特征圖，ghc(i)和gwc(i)表示兩個(gè)空間方向的注意力權(quán)重。

2.2 邊框回歸損失函數(shù)

原始算法邊框回歸損失為GIoU，其解決了傳統(tǒng)IoU存在的當(dāng)預(yù)測(cè)框和目標(biāo)框沒(méi)有重疊部分時(shí)，所出現(xiàn)的梯度消失的問(wèn)題，但其同時(shí)也存在收斂慢及回歸不準(zhǔn)確的問(wèn)題。其中GIoU 計(jì)算公式如式（5）所示：

其中A和B分別為目標(biāo)框和預(yù)測(cè)框的面積，C為能夠包圍住A和B的最小的框的面積。本文將采用CIoU Loss［12］作為邊框回歸損失函數(shù)，CIoU 引入中心點(diǎn)距離，解決了當(dāng)兩框出現(xiàn)包含時(shí)，兩框的距離變化但其損失不變的問(wèn)題。同時(shí)考慮了長(zhǎng)寬比的差異問(wèn)題，解決了當(dāng)兩框中心點(diǎn)發(fā)生重合，但兩框的長(zhǎng)寬比不同時(shí)其損失不變的問(wèn)題。CIoU Loos 能夠很好地解決GIoU Loss的不足，從而提升邊框回歸預(yù)測(cè)能力，其公式如式（6）所示：

其中兩框的中心點(diǎn)分別為b，bgt。式（7）中w，wgt分別代表了兩框的寬度，h，hgt分別代表兩框的高度。式（8）中α表示權(quán)重參數(shù)，v表示預(yù)測(cè)框與目標(biāo)框的長(zhǎng)寬比差異。

2.3 Ghost模塊

2.3.1 Ghost卷積

Ghost 模塊是華為諾亞方舟實(shí)驗(yàn)室在Ghost-Net［13］網(wǎng)絡(luò)中提出的。其卷積操作主要由一般卷積層和線性變化層組成，Ghost 卷積操作如圖2所示。

圖2 Ghost卷積結(jié)構(gòu)

如圖2所示，Ghost 卷積先經(jīng)過(guò)普通卷積，然后分別經(jīng)過(guò)一次恒等映射和m次線性變換。其中Φ1、Φ2、Φ3表示對(duì)應(yīng)的線性操作，最后將恒等映射和線性變換后的特征圖拼接后輸出。

假設(shè)原始的輸入特征為X∈?W×H×C，經(jīng)過(guò)普通卷積的輸出為Y∈?W'×H'×M。其中W'×H'為普通卷積輸出尺寸，M為通道數(shù)，同時(shí)令卷積核大小為k×k，則普通卷積運(yùn)算后的計(jì)算量F1可表示如式（9）所示：

與普通卷積不同，Ghost 卷積對(duì)于同樣的輸入特征圖，首先經(jīng)過(guò)一個(gè)普通卷積運(yùn)算轉(zhuǎn)化為輸出Y'∈?H'×W'×m。再對(duì)Y'進(jìn)行m 次線性操作，每個(gè)線性操作輸出通道數(shù)為s，則共生成M=m×s個(gè)特征圖［14］。同時(shí)令每個(gè)線性操作的卷積核大小為d×d，則一般卷積計(jì)算量F1和Ghost卷積的計(jì)算量F2比值如式（10）所示：

由式（10）可知，Ghost 卷積計(jì)算量大概是普通卷積的1s。

2.3.2 C3Ghost模塊

C3Ghost 模塊是通過(guò)對(duì)C3 模塊中的Bottleneck進(jìn)行修改得到的，結(jié)合Ghost模塊的特點(diǎn)得到新的Ghost-BottleNeck結(jié)構(gòu)，其結(jié)構(gòu)如圖3所示。

圖3 Ghost-BottleNeck結(jié)構(gòu)

Ghost-BottleNeck 結(jié)構(gòu)由兩個(gè)分支組成，首先是左分支經(jīng)過(guò)一個(gè)Ghost模塊進(jìn)行卷積運(yùn)算減少特征通道數(shù)，然后通過(guò)深度卷積（Depthwise Convolution，DWConv）執(zhí)行下采樣操作，改變特征尺度，再通過(guò)Ghost 模塊增加特征的通道數(shù)。右邊經(jīng)過(guò)一個(gè)深度卷積減少特征尺度，再通過(guò)一個(gè)Conv 結(jié)構(gòu)的卷積層增加通道數(shù)，此時(shí)左右分支得到相同的通道數(shù)再相加［15］。結(jié)合了Ghost 模塊在卷積過(guò)程中的特點(diǎn)得到新的C3Ghost結(jié)構(gòu)，其結(jié)構(gòu)如圖4所示。

如圖4所示，C3Ghost 為了提高特征的重用性，首先復(fù)制輸入特征圖，然后分別送入上下兩條支路進(jìn)行操作。其中下面的支路主要是實(shí)現(xiàn)通道數(shù)縮減，上面的支路首先經(jīng)過(guò)Conv 結(jié)構(gòu)減少通道數(shù)，然后進(jìn)入Ghost-BottleNeck 進(jìn)行多次操作。隨后將兩支路輸出進(jìn)行拼接，再進(jìn)行一次Conv卷積層的操作，以調(diào)整輸出通道數(shù)。

圖4 C3Ghost結(jié)構(gòu)

結(jié)合以上三點(diǎn)的改進(jìn)，最終的改進(jìn)算法的結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)后算法結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

本文實(shí)驗(yàn)環(huán)境配置：顯卡為GeForce RTX 2080 Ti，11 G 顯存，CPU 為Intel（R）Xeon（R）Platinum 8255C，操作系統(tǒng)為ubuntu20.04。實(shí)驗(yàn)框架為Pytorch1.9.1，開(kāi)發(fā)環(huán)境Python3.8，CUDA11.1版本，訓(xùn)練迭代次數(shù)為300次。

數(shù)據(jù)集采用東北大學(xué)（NEU）的鋼材表面缺陷數(shù)據(jù)集。整個(gè)數(shù)據(jù)集總共包含了鋼材表面常見(jiàn)瑕疵的6 個(gè)類別，每個(gè)類別300 個(gè)樣本。分別為軋制氧化皮（Rolled-in Scale，RS）、銀紋（Crazing，Cr）、斑塊（Patches，Pa）、雜質(zhì)（Inclusion，In）、劃痕（Scratches，Sc）、點(diǎn)蝕表面（Pitted_Surface，PS），訓(xùn)練之前隨機(jī)按照80%訓(xùn)練集、10%驗(yàn)證集和10%測(cè)試集劃分。

3.2 評(píng)價(jià)指標(biāo)

為了驗(yàn)證改進(jìn)后算法的性能，需要選擇合適的評(píng)價(jià)指標(biāo)進(jìn)行系統(tǒng)模型的評(píng)價(jià)。本文選取的評(píng)價(jià)指標(biāo)包括：準(zhǔn)確率（Precision，P）、召回率（Recall，R）、平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP），網(wǎng)絡(luò)參數(shù)量大小（Parameters）等。

由式（11）和式（12）可知，對(duì)應(yīng)本文數(shù)據(jù)集的檢測(cè)識(shí)別種類，以銀紋（Crazing）樣本為例，TP為模型檢測(cè)銀紋類別正確識(shí)別的數(shù)量，F(xiàn)P表示識(shí)別錯(cuò)誤或者沒(méi)有識(shí)別的數(shù)量，F(xiàn)N表示將銀紋識(shí)別成其他類別的數(shù)量。AP為PR曲線下方面積，mAP為所有AP求和取平均后的值。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 對(duì)比實(shí)驗(yàn)分析

為了體現(xiàn)CA 注意力機(jī)制對(duì)模型性能的提升，以及對(duì)比其他的注意力機(jī)制的優(yōu)勢(shì)?，F(xiàn)與CBAM［16］、SE［17］以及ECA［18］注意力機(jī)制進(jìn)行對(duì)比實(shí)驗(yàn)，分別添加至主干網(wǎng)絡(luò)的相同位置。結(jié)果記錄如表1所示。

由表1結(jié)果可知，CA 注意力機(jī)制對(duì)網(wǎng)絡(luò)的提升性能比其他注意力機(jī)制更好，其檢測(cè)的準(zhǔn)確率、召回率以及mAP值都是最高的。CA 注意力機(jī)制與SE 注意力機(jī)制相比，在基礎(chǔ)上考慮了空間位置信息，能夠更好地定位瑕疵的位置。檢測(cè)準(zhǔn)確率提高1.7 個(gè)百分點(diǎn)，mAP值高0.7 個(gè)百分點(diǎn)。與其他注意力機(jī)制檢測(cè)效果單獨(dú)對(duì)比，CA 注意力機(jī)制對(duì)大部分瑕疵類別的檢測(cè)準(zhǔn)確率要高。其中mAP最高為73.3%，較CBAM和ECA 注意力機(jī)制分別高1.2 和0.7 個(gè)百分點(diǎn)，較YOLOv5提升了1.4個(gè)百分點(diǎn)。

表1 不同注意力機(jī)制對(duì)比

為了驗(yàn)證使用CIOU Loss 做為損失函數(shù)時(shí)檢測(cè)性能的提升，進(jìn)行了幾種主流的邊框回歸損失DIoU［19］，EIoU［20］的對(duì)比實(shí)驗(yàn)，驗(yàn)證其對(duì)模型性能提升優(yōu)勢(shì)。結(jié)果如表2所示。

由表2可知，原始的邊框回歸損失函數(shù)，其檢測(cè)對(duì)模型的性能提升有限。相對(duì)于使用其他損失函數(shù)，大部分瑕疵類別的檢測(cè)能力有限。使用CIoU Loss 作為邊框回歸損失函數(shù)，其對(duì)檢測(cè)性能有較好的提升。其引入中心點(diǎn)之間的距離、考慮長(zhǎng)寬比，能夠做到更好地回歸。其中mAP值較GIoU、DIoU 以及EIoU 分別提升了2.2、0.3和1個(gè)百分點(diǎn)。

表2 不同邊框回歸損失函數(shù)對(duì)比

為了驗(yàn)證各改進(jìn)點(diǎn)對(duì)本文算法的提升，在原始YOLOv5 網(wǎng)絡(luò)的基礎(chǔ)上分別使用各改進(jìn)點(diǎn)，記錄各瑕疵類別的平均檢測(cè)精度，并將其作為評(píng)價(jià)指標(biāo)，結(jié)果如表3所示。同時(shí)消融實(shí)驗(yàn)結(jié)果如表4所示。

表3 各改進(jìn)點(diǎn)對(duì)比實(shí)驗(yàn)

表4 消融實(shí)驗(yàn)

由上表3可知，改進(jìn)點(diǎn)1 能夠有效地提升系統(tǒng)的性能，加強(qiáng)主干網(wǎng)絡(luò)的提取能力，對(duì)比各瑕疵的檢測(cè)平均精度，除點(diǎn)蝕表面（pitted_surface）、軋制氧化皮（rooled-in_scale）兩個(gè)類別的檢測(cè)能力沒(méi)有提升，其他類別的檢測(cè)精度都有顯著的提升。其中mAP值提升了1.4 個(gè)百分點(diǎn)。改進(jìn)點(diǎn)2提升預(yù)測(cè)框的回歸定位能力，有效地提升了系統(tǒng)的性能，檢測(cè)精度提升較大，有0.9 個(gè)百分點(diǎn)，召回率提高2.5個(gè)百分點(diǎn)以及mAP值提升1.4 個(gè)百分點(diǎn)。改進(jìn)點(diǎn)3 使用輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)，能夠有效地減少網(wǎng)絡(luò)模型的模型參數(shù)量。

由表4可知，原始的YOLOv5 網(wǎng)絡(luò)檢測(cè)精度以及召回率各參數(shù)值都較低，參數(shù)量較高。添加CA 注意力機(jī)制后，提高檢測(cè)精度但同時(shí)也增加了算法的參數(shù)量，參數(shù)量增加0.01 M。提升主干特征提取能力的同時(shí)改變邊框回歸損失方式，有效地提升檢測(cè)精度，相比單獨(dú)使用CA 注意力機(jī)制提升了1.5 個(gè)百分點(diǎn)，mAP值提升1.9個(gè)百分點(diǎn)，參數(shù)量并未增加。最后引入C3Ghost模塊，檢測(cè)精度有少許的降低，參數(shù)量在前者基礎(chǔ)上減少，一定程度上抵消了注意力機(jī)制帶來(lái)的網(wǎng)絡(luò)參數(shù)量的提升。相較于原始的YOLOv5算法，本文改進(jìn)算法在各評(píng)價(jià)指標(biāo)上都有一定的提升，同時(shí)網(wǎng)絡(luò)模型參數(shù)量更少。

為了體現(xiàn)本文算法相比與其他檢測(cè)算法的性能優(yōu)勢(shì)，進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。得到各目標(biāo)檢測(cè)算法的平均檢測(cè)精度及mAP值，另外引入在測(cè)試集檢測(cè)后的模型的平均推理時(shí)間（Inference time）作為模型的速度對(duì)比。

由表5可知，使用Faster-RCNN 算法檢測(cè)，其推理時(shí)間最長(zhǎng)為170.36 ms。本文算法推理時(shí)間最短為4.8 ms，極大地提升了檢測(cè)速度。相對(duì)于同為單階段目標(biāo)檢測(cè)算法的SSD 以及YOLOv3算法，本文算法的參數(shù)量較少，僅為6.1 M，為較輕量的網(wǎng)絡(luò)。同時(shí)本文算法的mAP值最高達(dá)74.5%。

3.3.2 檢測(cè)結(jié)果顯示

為了直觀地體現(xiàn)改進(jìn)后的YOLOv5算法對(duì)工業(yè)鋼材瑕疵檢測(cè)的效果，經(jīng)過(guò)對(duì)測(cè)試集的數(shù)據(jù)測(cè)試后得到測(cè)試結(jié)果，選取各瑕疵類別的測(cè)試結(jié)果進(jìn)行對(duì)比顯示。檢測(cè)結(jié)果如圖6所示。

對(duì)比圖6（a）和圖6（b）可知，改進(jìn)后的算法的檢測(cè)能力及檢測(cè)準(zhǔn)確率有顯著的提升，如瑕疵類別：雜質(zhì)（inclusion），點(diǎn)蝕表面（Pitted_Surface）等，在原始算法中檢測(cè)精度較低，而且存在檢測(cè)不全及檢測(cè)范圍不全的問(wèn)題。改進(jìn)后的算法參與了更大的空間檢測(cè)，對(duì)瑕疵的定位更加準(zhǔn)確，且解決了存在的漏檢的問(wèn)題，對(duì)存在的瑕疵檢測(cè)更全面。檢測(cè)結(jié)果很好地展示了改進(jìn)后的算法能實(shí)現(xiàn)對(duì)工業(yè)鋼材檢測(cè)更好的檢測(cè)效果和識(shí)別率。

圖6 對(duì)比結(jié)果圖

4 結(jié)語(yǔ)

本文提出的基于YOLOv5的改進(jìn)算法，解決在工業(yè)鋼材缺陷檢測(cè)過(guò)程中的檢測(cè)效率低，檢測(cè)精度不高等問(wèn)題。通過(guò)使用CA 注意力機(jī)制，弱化對(duì)無(wú)用信息的關(guān)注，加強(qiáng)對(duì)目標(biāo)的定位能力。再改變邊界框回歸損失函數(shù)為CIoU Loss，加強(qiáng)預(yù)測(cè)框的回歸預(yù)測(cè)能力，以及使用C3Ghost結(jié)構(gòu)簡(jiǎn)化模型大小，并進(jìn)行對(duì)比實(shí)驗(yàn)和融合實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，改進(jìn)后的算法性能得到提升，參數(shù)量更少，算法推理時(shí)間較短。其中mAP值提升了2.6%，參數(shù)量減少了13.3%，在工業(yè)鋼材缺陷檢測(cè)中有較大的檢測(cè)精度和速度。但同時(shí)由于本文是對(duì)已有數(shù)據(jù)集的訓(xùn)練和測(cè)試，實(shí)際工業(yè)生產(chǎn)過(guò)程中可能會(huì)考慮較多的外部因素。所以還需不斷地完善數(shù)據(jù)庫(kù)，并且開(kāi)發(fā)出配套的硬件設(shè)施為實(shí)際的工業(yè)鋼材生產(chǎn)及質(zhì)量檢測(cè)提供更好的輔助。