陳榮演，邱天，楊創(chuàng)富

（五邑大學(xué) 智能制造學(xué)部，廣東 江門(mén) 529020）

磁瓦是各種電子產(chǎn)品線圈、電動(dòng)機(jī)以及變壓器等的重要組成部件，其質(zhì)量的好壞直接影響相關(guān)產(chǎn)品的品質(zhì). 磁瓦缺陷檢測(cè)具有較大的復(fù)雜性和多樣性，從早期人工檢測(cè)方式發(fā)展到目前主流的基于機(jī)器視覺(jué)的檢測(cè)方式，雖然提高了檢測(cè)效率，但是受限于人為設(shè)定規(guī)則劃分缺陷的檢測(cè)思想和人工設(shè)定規(guī)則難度大、魯棒性差等缺點(diǎn)，基于視覺(jué)的檢測(cè)方式一直局限于一些特定使用場(chǎng)合，雖有不少研究成果[1-5]，但仍然無(wú)法滿足現(xiàn)代化生產(chǎn)需要. 隨著人工智能的興起，利用深度學(xué)習(xí)這種通過(guò)數(shù)據(jù)驅(qū)動(dòng)來(lái)自動(dòng)提取特征的方式在工業(yè)缺陷檢測(cè)中取得了很多不錯(cuò)的結(jié)果[6-10]，基于以上成果，本文采用Unet 深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)對(duì)磁瓦表面孔洞和裂痕缺陷分割進(jìn)行研究，針對(duì)磁瓦數(shù)據(jù)集數(shù)量較少和缺陷不明顯等情況，構(gòu)建一種密集連接的改進(jìn)Unet 網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)對(duì)磁瓦表面孔洞和裂痕缺陷的分割算法，以提高磁瓦缺陷分割精度.

1 基于Unet 網(wǎng)絡(luò)算法改進(jìn)

Unet 作為圖像分割的經(jīng)典網(wǎng)絡(luò)，已經(jīng)在醫(yī)學(xué)、工業(yè)以及自然圖像等方面廣泛應(yīng)用. Unet 之所以會(huì)被廣泛使用，是因?yàn)槠洫?dú)特的U 形編碼—解碼結(jié)構(gòu)，其左邊部分為編碼部分，是通過(guò)多次卷積下采樣獲取不同尺度特征的網(wǎng)絡(luò)結(jié)構(gòu). 編碼部分得到的特征會(huì)通過(guò)跳躍連接送到解碼部分，使得高層語(yǔ)義信息和底層信息進(jìn)行融合，解碼部分會(huì)通過(guò)上采樣和卷積以融合不同的層次特征，并恢復(fù)回原圖大小. 由于Unet 交互、融合了多層次的特征，故其對(duì)特征的表示能力較好，但是Unet 對(duì)細(xì)節(jié)處理不足以及對(duì)小物體分割效果不理想. 本文為了加強(qiáng)特征的表述和對(duì)小物體缺陷的分割，構(gòu)建了密集連接的改進(jìn)U 型卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)模型如圖1 所示，改進(jìn)主要包括以下幾個(gè)方面：解碼階段的密集連接、增加注意力機(jī)制CBAM、使用混合空洞取代下采樣池化.

圖1 改進(jìn)密集連接Unet 模型

1.1 解碼階段的密集連接

一般來(lái)說(shuō)，在進(jìn)行磁瓦缺陷檢測(cè)時(shí)所能采集到的數(shù)據(jù)是非常有限的，所以要在有限的數(shù)據(jù)中盡可能地充分利用數(shù)據(jù)，而密集卷積連接[11]可以有效提高特征的利用和傳播，還可以解決梯度消失等問(wèn)題，從而提高分割的準(zhǔn)確性. 本文在網(wǎng)絡(luò)中把編碼階段的每一層的特征都進(jìn)行級(jí)聯(lián)，并且通過(guò)一個(gè)1 ×1 的卷積對(duì)級(jí)聯(lián)后的數(shù)據(jù)進(jìn)行降維，另外在每個(gè)下采樣前的卷積層添加批歸一化（Batch Normalizing，BN）. 采用密集連接不僅可以通過(guò)復(fù)用特征來(lái)獲得較高的利用率，而且可以起到正則化的作用，也可以在小樣本中防止過(guò)擬合的發(fā)生.

1.2 增加注意力機(jī)制CBAM

注意力機(jī)制的主要思想是通過(guò)給特征進(jìn)行加權(quán)，使得有效特征的權(quán)重增大，抑制無(wú)效特征或者噪聲. 本文在特征提取的開(kāi)始位置嵌入如圖2 所示的CBAM 模塊[12]，特征經(jīng)過(guò)通道注意力和空間注意力模塊生成注意力圖，然后以注意力圖為權(quán)重將輸入的特征進(jìn)行加權(quán)操作，使受關(guān)注的特征能夠更突出地表達(dá)出來(lái).

圖2 CBAM 模塊

在通道注意力模塊中，特征分別經(jīng)過(guò)最大池化和平均池化后送到多層感知網(wǎng)絡(luò)，然后將多層感知網(wǎng)絡(luò)的兩個(gè)輸出特征進(jìn)行加和，最后通過(guò)sigmoid 函數(shù)進(jìn)行激活. 在空間注意力模塊中，將從通道注意力模塊得到的輸出分別進(jìn)行最大池化和平均池化，然后在空間的維度上進(jìn)行拼接，并使用1×1卷積進(jìn)行降維，最后通過(guò)sigmoid 函數(shù)進(jìn)行激活.

1.3 使用混合空洞卷積代替下采樣池化

磁瓦的孔洞缺陷很小，而過(guò)多的下采樣池化會(huì)造成特征和細(xì)節(jié)信息的丟失，因此在編碼階段的最后一個(gè)下采樣用空洞卷積代替池化層，同時(shí)因?yàn)榭斩淳矸e是間隔采樣，因此會(huì)造成感受域圖像不連續(xù)的現(xiàn)象，也就是網(wǎng)格效應(yīng)的發(fā)生，從而導(dǎo)致一些細(xì)節(jié)丟失. 所以在檢測(cè)中使用混合空洞卷積（Hybrid Dialated Convolution），也就是用空洞率為[1,2,5,1,2,5]的卷積，這樣的設(shè)計(jì)可以把原本間隔采樣的點(diǎn)補(bǔ)齊，從而達(dá)到感受野覆蓋全圖的目的.

2 實(shí)驗(yàn)與分析

在進(jìn)行實(shí)驗(yàn)前，首先對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)和預(yù)處理，然后搭建網(wǎng)絡(luò)和定義損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練，最后對(duì)網(wǎng)絡(luò)輸出的分割結(jié)果進(jìn)行客觀評(píng)價(jià)，從而判斷分割網(wǎng)絡(luò)的優(yōu)劣.

2.1 數(shù)據(jù)增強(qiáng)和預(yù)處理

文中采用的磁瓦缺陷數(shù)據(jù)來(lái)源于中科院自動(dòng)化所收集的磁瓦數(shù)據(jù)集[13]，里面包含了6 種常見(jiàn)磁瓦缺陷的圖像. 因?yàn)榭锥春土押凼谴磐咧凶畛Ｒ?jiàn)也是最難被檢測(cè)出來(lái)的表面缺陷，因此選取這兩項(xiàng)來(lái)進(jìn)行實(shí)驗(yàn). 數(shù)據(jù)集里面含有標(biāo)注的孔洞缺陷圖像共有115 張，含有裂痕缺陷標(biāo)注的圖像共57 張. 為了擴(kuò)大訓(xùn)練樣本，對(duì)原數(shù)據(jù)集的圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、移位、調(diào)節(jié)亮度等一系列增強(qiáng)數(shù)據(jù)操作，使得孔洞和裂痕數(shù)據(jù)都擴(kuò)大到300 張，并保持高寬地把圖像調(diào)整到256 ×256大小和進(jìn)行歸一化處理. 其中270 張圖片數(shù)據(jù)用于訓(xùn)練，30 張圖片數(shù)據(jù)用來(lái)測(cè)試.

2.2 損失函數(shù)

磁瓦缺陷的分割屬于二分類問(wèn)題，由于磁瓦的缺陷占圖像的比例比較小，樣本分布不均衡. 正樣本所占比例很少，這會(huì)使模型更傾向于判斷其為負(fù)樣本. 為了平衡正負(fù)樣本的不均衡，需要在交叉熵?fù)p失函數(shù)上進(jìn)行加權(quán)，使占比多的樣本擁有的權(quán)重低、占比少的樣本擁有權(quán)重高，以此平衡樣本. 加權(quán)交叉熵?fù)p失如公式（1）所示：

式中，Yi表示目標(biāo)，P(Yi)表示屬于目標(biāo)的概率，α表示平衡樣本的權(quán)重.

2.3 評(píng)價(jià)指標(biāo)

本文采用的模型評(píng)價(jià)指標(biāo)如下：TP 表示預(yù)測(cè)為目標(biāo)真實(shí)也為目標(biāo)；TN 表示預(yù)測(cè)為背景真實(shí)也為背景；FP 表示預(yù)測(cè)為目標(biāo)真實(shí)為背景；FN 表示預(yù)測(cè)為背景真實(shí)為目標(biāo).

MIoU：用來(lái)評(píng)價(jià)分割每個(gè)類真實(shí)結(jié)果和預(yù)測(cè)值之間的交集和并集比例的平均值.

Dice：用來(lái)衡量預(yù)測(cè)集和真實(shí)集的相似度.

Precision（精確度）：反映真實(shí)為正例所占的比例.

Sensitive（靈敏度）：反映被正確分成正例所占的比例.

2.4 分割結(jié)果對(duì)比分析

本文算法主要針對(duì)磁瓦的孔洞和裂痕缺陷進(jìn)行分割，分割結(jié)果對(duì)比如圖3 所示，評(píng)價(jià)指標(biāo)得分如表1 所示. 其中MIoU、Dice 系數(shù)用來(lái)衡量分割結(jié)果和標(biāo)簽數(shù)據(jù)集合的相似程度，精確度是衡量模型分割正確的指標(biāo)，靈敏度是衡量模型找出缺陷目標(biāo)像素能力的指標(biāo). 表1 中，Res Unet 靈敏度約為64%，而精確度約為92%，說(shuō)明分割結(jié)果中屬于FN（假負(fù)）的比例高，表明Res Unet 不能很好地找出屬于缺陷目標(biāo)的像素. Unet 的各項(xiàng)指標(biāo)在表1 中都比較平均，說(shuō)明Unet 能夠較好的完成分割任務(wù)，但從圖3 中可以看出Unet 分割結(jié)果的邊界存在模糊不清. 本文改進(jìn)算法的MIoU 和Dice相比于Unet 分別有2.692%和3.342%的提升，因此本文算法分割目標(biāo)在一定程度上優(yōu)于U-net，從圖3 中也可以看出本文算法的邊界都比較清晰，且更加接近于真實(shí)缺陷的形狀.

圖3 磁瓦孔洞缺陷分割效果圖

表1 磁瓦孔洞缺陷不同模型分割對(duì)比

在裂痕缺陷圖片分割中，分割效果對(duì)比如圖4 所示，評(píng)價(jià)指標(biāo)得分如表2 所示. 文獻(xiàn)[9]算法的精確度約為57%，而靈敏度約為93%，說(shuō)明分割結(jié)果中屬于FN（假正）的比例高，表明該算法把屬于背景的像素錯(cuò)誤劃分為目標(biāo)像素的情況較多. Unet 的分割情況與文獻(xiàn)[9]算法類似，但分割后的圖像邊緣略顯模糊，整體上優(yōu)于文獻(xiàn)[9]算法. 本文改進(jìn)算法的MIoU 和Dice 系數(shù)都比較高，在分割精確度較高的情況下，靈敏度也處于較高水平，因此說(shuō)明本文算法能較好找出缺陷目標(biāo). 從圖4 可以看出，本文算法可以清晰分割較小的缺陷目標(biāo)，分割效果更接近真實(shí)情況.

圖4 磁瓦裂痕缺陷分割效果圖

表2 磁瓦裂痕缺陷不同模型分割對(duì)比

3 結(jié)論

本文通過(guò)在Unet 算法的基礎(chǔ)上構(gòu)建了密集連接的U 型改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)算法，完成了對(duì)磁瓦的孔洞和裂痕缺陷分割. 實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)算法可以提高磁瓦孔洞和裂痕缺陷分割的精確度.為了使改進(jìn)算法可以真正部署到工業(yè)上，下一步工作將對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化修剪，采集和制作包含多種缺陷類型的磁瓦數(shù)據(jù)集并進(jìn)行訓(xùn)練，以增強(qiáng)算法的魯棒性.