李雪露, 儲茂祥, 楊永輝, 劉光虎

(遼寧科技大學(xué) 電子與信息工程學(xué)院,遼寧 鞍山 114051)

鋼板在生產(chǎn)和加工過程中,受設(shè)備和環(huán)境等不可控因素的影響,表面易出現(xiàn)麻點(diǎn)、劃痕、壓入氧化鐵皮等缺陷,這些缺陷嚴(yán)重降低了鋼材產(chǎn)品的外觀、質(zhì)量和使用性能[1-3]。 傳統(tǒng)的鋼板缺陷檢測算法依賴于主觀臆斷,識別率低,誤判和錯(cuò)判的概率大大增加。 因此,使用深度學(xué)習(xí)技術(shù)對鋼板表面缺陷進(jìn)行檢測十分重要[4]。

隨著深度學(xué)習(xí)理論和人工智能技術(shù)的不斷發(fā)展與完善,其檢測精度較傳統(tǒng)檢測算法有了顯著的提升,并在機(jī)器視覺領(lǐng)域取得令人矚目的結(jié)果[5]。 文獻(xiàn)[6]提出一種基于DMSA-YOLOv3模型的缺陷檢測,用于檢測微小鋼板缺陷;文獻(xiàn)[7]提出使用GoogLeNet作為骨干網(wǎng)絡(luò)和添加映射的卷積神經(jīng)網(wǎng)絡(luò)缺陷分類算法;文獻(xiàn)[8]提出使用尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)和神經(jīng)網(wǎng)絡(luò)相結(jié)合的檢測算法;文獻(xiàn)[9]提出一種基于模板匹配的帶鋼表面缺陷檢測算法;文獻(xiàn)[10]提出一種基于U-Net的鋼板缺陷分割網(wǎng)絡(luò);文獻(xiàn)[11]改進(jìn)了YOLOv3的骨干網(wǎng)絡(luò),并引入空洞卷積和Inception模塊用于鋼板檢測;文獻(xiàn)[12]提出使用改進(jìn)的Mask 區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural networks,R-CNN)模型鋼板表面缺陷檢測;文獻(xiàn)[13]進(jìn)一步提出ResNet50的Faster R-CNN檢測網(wǎng)絡(luò)。

為了彌補(bǔ)傳統(tǒng)檢測算法的不足,本文提出一種基于Cascade R-CNN[14]的遞歸特征金字塔ResNeXt-101-64×4d(Cascade R-CNN-recursive feature pyramid ResNeXt-101-64×4d,CR-RFPR101)

的檢測算法。 為了解決隨著網(wǎng)絡(luò)層數(shù)的加深,進(jìn)行特征提取時(shí)產(chǎn)生的梯度消失和梯度爆炸等問題,提出使用ResNeXt-101-64×4d網(wǎng)絡(luò)作為Cascade R-CNN算法的骨干網(wǎng)絡(luò)。 為了增加全局特征,引入遞歸特征金字塔(recursive feature pyramid,RFP)[15]代替原主干網(wǎng)絡(luò)的經(jīng)典特征金字塔。 使用可切換的空洞卷積(switchable atrous convolution,SAC)代替?zhèn)鹘y(tǒng)卷積層,使用不同空洞率的卷積層對相同的輸入特征做卷積。 為了實(shí)現(xiàn)準(zhǔn)確高效的鋼板表面缺陷檢測,利用線性加權(quán)形式的軟化非極大值抑制(soft non-maximum suppression,Soft-NMS)[16]算法對模型的非極大值抑制(non-maximum suppression,NMS)結(jié)構(gòu)[17]進(jìn)行優(yōu)化,提高準(zhǔn)確性。

1 Cascade R-CNN

1.1 Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Cascade R-CNN模型主要由特征提取網(wǎng)絡(luò)ResNet101[18]、區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)和級聯(lián)檢測器組成。 Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。 采用ResNet101網(wǎng)絡(luò)對鋼板表面缺陷圖像進(jìn)行特征提取,然后將提取的缺陷特征輸入到RPN進(jìn)行候選區(qū)域選擇,最后使用級聯(lián)檢測器實(shí)現(xiàn)缺陷的定位和分類。

圖1 Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 級聯(lián)結(jié)構(gòu)

Cascade R-CNN具有獨(dú)特的級聯(lián)結(jié)構(gòu),實(shí)現(xiàn)了更加準(zhǔn)確地定位缺陷信息。 3個(gè)級聯(lián)結(jié)構(gòu)的IoU閾值依次設(shè)置為[0.5,0.6,0.7]。

首先將預(yù)測框送入IoU閾值為0.5的檢測網(wǎng)絡(luò),若此時(shí)預(yù)測框與真實(shí)框之間的IoU閾值>0.5,則判斷該框?yàn)檎?引入邊框回歸損失B1調(diào)整預(yù)測框的邊框位置,同時(shí)生成第1個(gè)分類得分C1。

將B1修正后的新區(qū)域經(jīng)過篩選的候選框送入IoU閾值為0.6的檢測網(wǎng)絡(luò),若此時(shí)IoU閾值>0.6,則仍判斷該框?yàn)檎?同時(shí)利用邊框回歸損失B2調(diào)整預(yù)測框的邊框位置并生成第2個(gè)分類得分C2;依此類推,最后得到鋼板表面缺陷的最終分類得分以及定位信息。

2 改進(jìn)的Cascade R-CNN

改進(jìn)后的Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

首先,將采集到的鋼板表面缺陷圖像輸入到基于ResNeXt-101-64×4d的特征提取網(wǎng)絡(luò)。 然后,利用特征金字塔結(jié)構(gòu)代替?zhèn)鹘y(tǒng)特征金字塔結(jié)構(gòu)進(jìn)行特征融合。

其次,引入SAC模塊,利用空洞卷積改變卷積核感受野的大小,使用不同空洞率的卷積層對相同的輸入特征做卷積,提高特征之間的相關(guān)性。

最后,將帶有置信度的錨框送入級聯(lián)檢測器,通過Soft-NMS模塊獲取置信度最高的預(yù)測框,實(shí)現(xiàn)缺陷的定位和分類。

2.1 特征提取網(wǎng)絡(luò)

本文選取ResNeXt-101-64×4d網(wǎng)絡(luò)代替Cascade R-CNN模型的ResNet101網(wǎng)絡(luò),完成模型的特征提取功能。 ResNeXt-101-64×4d網(wǎng)絡(luò)將ResNet101網(wǎng)絡(luò)的單個(gè)卷積改為多支路的卷積,通過增加卷積基數(shù)提高模型的準(zhǔn)確率,并采用恒等映射的方式完成特征提取。 ResNeXt-101-64×4d的模型結(jié)構(gòu)如圖3所示。

圖3 ResNeXt-101-64×4d模型結(jié)構(gòu)

圖3中,每一個(gè)方框代表一層網(wǎng)絡(luò),其中的3個(gè)數(shù)據(jù)從左到右依次為輸入數(shù)據(jù)的通道數(shù)目、卷積核大小和輸出數(shù)據(jù)的通道數(shù)目,共64條路徑,即基數(shù)cardinality=64。 在不改變計(jì)算量的前提下,ResNeXt-101-64×4d網(wǎng)絡(luò)增加了路徑的數(shù)量,各個(gè)模塊的輸出通過求和進(jìn)行匯總,較好地提高了網(wǎng)絡(luò)的特征提取能力。

ResNeXt-101-64×4d網(wǎng)絡(luò)采用ReLU函數(shù)作為激活函數(shù),計(jì)算公式如下:

(1)

2.2 遞歸特征金字塔

特征金字塔(feature pyramid networks,FPN)[19]主要利用深度卷積神經(jīng)網(wǎng)絡(luò)解決目標(biāo)檢測過程中存在的多尺度問題。 本文采用的遞歸特征金字塔則是在特征金字塔的基礎(chǔ)上,增加反饋機(jī)制和重復(fù)應(yīng)用主干模塊,迭代融合輸出特征圖[20],提升對小目標(biāo)缺陷的檢測性能。

遞歸特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)如圖2中RFP模塊所示。 設(shè)Dn為主干網(wǎng)絡(luò)自底向上的第n階段特征提取過程;Fn為第n階段自上而下的FPN運(yùn)算;fn為遞歸特征金字塔輸出的特征圖,其中n=1,2,…,S;S為特征層數(shù);Hn表示自頂向下傳輸?shù)阶缘紫蛏系倪^程的預(yù)處理操作;xn為第1次遞歸時(shí)主干網(wǎng)絡(luò)輸出的第n階段特征圖,則fn表達(dá)式為:

fn=Fn(fn+1,xn),xn=Dn(xn-1,Hn(fn))

(2)

多次迭代后的特征圖輸出為:

(3)

其中,r為迭代次數(shù)。

2.3 可切換的空洞卷積

鋼板表面缺陷圖像進(jìn)行特征提取的過程中,因?yàn)殇摪灞砻嫒毕輬D像之間的差異較大,沒有統(tǒng)一的劃分標(biāo)準(zhǔn),需要進(jìn)行多尺度檢測,所以選擇合適的卷積核至關(guān)重要,以適應(yīng)不同的感受野。 本文選用可切換的空洞卷積SAC代替主干網(wǎng)絡(luò)的傳統(tǒng)卷積層,從而在不同的空洞率之間實(shí)現(xiàn)對卷積計(jì)算的軟切換,實(shí)現(xiàn)準(zhǔn)確高效的檢測。 基于SAC的總體架構(gòu)如圖4所示,從圖4可以看出,SAC架構(gòu)主要由基于SAC的空洞卷積結(jié)構(gòu)、全局上、下文模塊3個(gè)模塊組成。

圖4 基于SAC的總體架構(gòu)

SAC模塊的計(jì)算公式如下:

Conv(v,w,1)→Y(x)·Conv(v,w,1)+(1-Y(x))·Conv(v,w+Δw,e)

(4)

其中:v為輸入;w為模型權(quán)重;e為空洞卷積的空洞率;Δw為可訓(xùn)練的權(quán)重;函數(shù)Y(x)由5*5的平均池化層和1*1卷積層組成。

2.4 非極大值的優(yōu)化

在檢測過程中,由于鋼板表面缺陷圖像之間的差異較大,RPN網(wǎng)絡(luò)會產(chǎn)生大量冗余的錨框,Cascade R-CNN模型利用NMS將重疊的框?yàn)V除。 然而,經(jīng)典的NMS算法直接將置信度低的錨框過濾掉,只保留一定數(shù)量的質(zhì)量較高的建議框,很容易造成漏檢和誤檢的問題。 因此,本文選用基于線性加權(quán)形式的Soft-NMS算法解決以上問題,將IoU閾值設(shè)置為0.7。

當(dāng)?shù)玫捷^低分?jǐn)?shù)時(shí),不是直接過濾掉,而是進(jìn)行下一次級聯(lián)檢測,降低漏檢的概率,提高模型的檢測精度。 基于線性加權(quán)形式的Soft-NMS的計(jì)算公式如下:

(5)

其中:M為得分最高的框;bk為待檢測的框;Ik為最終得分;Nm為設(shè)定的閾值,即Nm=0.7。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺

實(shí)驗(yàn)運(yùn)行平臺及參數(shù)設(shè)置見表1所列。

表1 實(shí)驗(yàn)運(yùn)行平臺及參數(shù)

3.2 缺陷數(shù)據(jù)集分析與圖像增強(qiáng)

本文采用東北大學(xué)發(fā)布的NEU-DET數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),其中共計(jì)1 800張圖片,對于6類鋼板表面缺陷檢測是不足的,而數(shù)據(jù)的缺少會導(dǎo)致訓(xùn)練過擬合以及檢測泛化性能較差等問題。

為了解決以上問題,本文采用仿射變換、伽馬增強(qiáng)、鏡像變換和添加色調(diào)和飽和等方式對原始數(shù)據(jù)進(jìn)行增強(qiáng),既增加了數(shù)據(jù)量,又提高了圖像的魯棒性。 增強(qiáng)后的圖像為5 400張,數(shù)量為原來的3倍。

數(shù)據(jù)增強(qiáng)示例圖如圖5所示。

圖5 鋼板表面缺陷圖像數(shù)據(jù)增強(qiáng)示例

鋼板缺陷圖片采用矩形框進(jìn)行標(biāo)注,采用utf-8的編碼格式,200×200的分辨率,使用json記錄有關(guān)數(shù)據(jù),按照6∶2∶2的比例隨機(jī)分配缺陷圖像。

3.3 實(shí)驗(yàn)訓(xùn)練

CR-RFPR101模型使用隨機(jī)梯度下降(stochastic gradient descent,SGD)優(yōu)化器,每迭代50次紀(jì)錄1次損失函數(shù)值,訓(xùn)練共迭代350次,損失函數(shù)隨迭代次數(shù)的變化如圖6所示。

圖6 損失函數(shù)隨迭代次數(shù)的變化

從圖6可以看出,CR-RFPR101模型的損失函數(shù)值收斂至0.18左右趨于穩(wěn)定,滿足訓(xùn)練要求。

3.4 評價(jià)指標(biāo)

本文選用準(zhǔn)確率A(accuracy)、精確率P(precision)和召回率R(recall)評價(jià)模型性能,A、P、R計(jì)算公式為:

(6)

(7)

(8)

其中:TP為鋼板無缺陷,預(yù)測為無缺陷;FP為鋼板有缺陷,預(yù)測為無缺陷;FN為鋼板無缺陷,預(yù)測為有缺陷;TN為鋼板有缺陷,預(yù)測為有缺陷。

3.5 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證改進(jìn)的特征提取網(wǎng)絡(luò)、RFP、SAC和Soft-NMS幾個(gè)模塊對CR-RFPR101算法檢測效果的影響,設(shè)計(jì)實(shí)驗(yàn)結(jié)果見表2所列。 4種不同算法的檢測結(jié)果見表3所列。

表2 改進(jìn)算法對比

表3 經(jīng)典算法性能對比

表2,表3中:Cz為裂紋缺陷;Is為夾雜缺陷;Pc為斑塊缺陷;PS為麻點(diǎn)缺陷;RS為壓入氧化鐵皮缺陷;St為劃痕缺陷;mAP為平均精度均值;AP為平均精度。 從表2可以看出,數(shù)據(jù)增強(qiáng)后的算法mAP值為78.8%,較原始算法提高了2.7%,有效提高了算法的泛化性能。 利用SAC代替?zhèn)鹘y(tǒng)空洞卷積的操作使得mAP值增加了1.5%,能結(jié)合不同尺寸的空洞卷積,擴(kuò)大感受野,提高算法的檢測性能。

基于ResNeXt-101-64×4d網(wǎng)絡(luò)的Cascade R-CNN算法mAP值為81.8%,在不增加參數(shù)復(fù)雜度的前提下,提高了算法的準(zhǔn)確率。 利用線性加權(quán)的Soft-NMS代經(jīng)典NMS,mAP值提高了0.5%,較好地提高準(zhǔn)確性。 使用RFP代替?zhèn)鹘y(tǒng)特征金字塔的操作使得CR-RFPR101算法的mAP值提高了1.1%,相比于原始Cascade R-CNN提高了7.3%,有效提高了檢測的精度和魯棒性。

由表3可知,CR-RFPR101算法有著顯著的檢測優(yōu)勢,本文算法與YOLOv3、SSD、Faster R-CNN算法相比,精確度分別提高了3.7%、3.9%、1.9%,并且6種缺陷的AP值均獲得最高值。

5種檢測算法的P-R曲線如圖7所示,由圖7可知,CR-RFPR101算法的總體檢測性能較好。

圖7 各模型的P-R曲線對比結(jié)果

YOLOv3、SSD、Faster RCNN、Cascade RCNN和C-RRFPR101算法檢測結(jié)果的混淆矩陣如圖8所示。

圖8 不同模型的混淆矩陣結(jié)果

通過比較混淆矩陣,可以看出,CR-RFPR101在6種缺陷中的Pc、PS、St 3種上產(chǎn)生了較好的分類性能,表明所提出的CR-RFPR101算法的可行性和適用性。

為了更加直觀地比較不同算法的檢測性能,本文增加了可視化實(shí)驗(yàn),檢測結(jié)果如圖9所示。 其中:綠色框代表實(shí)際結(jié)果;橙色框表示檢測結(jié)果。

圖9 缺陷檢測對比結(jié)果示例

從圖9可以看出,CR-RFPR101算法的檢測框與實(shí)際標(biāo)簽的貼合程度最高,優(yōu)于其他對比缺陷檢測算法。

4 結(jié) 論

本文提出了一種基于CR-RFPR101的目標(biāo)檢測算法,該算法使用ResNeXt-101-64×4d作為Cascade R-CNN模型的骨干網(wǎng)絡(luò),采用恒等映射的方式優(yōu)化特征提取功能;利用遞歸特征金字塔代替經(jīng)典特征金字塔,以反饋的方式優(yōu)化主干網(wǎng)絡(luò),實(shí)現(xiàn)多尺度的目標(biāo)檢測;采用可切換的空洞卷積改變主干網(wǎng)絡(luò)的卷積層,通過改變空洞率以確定適合鋼板表面缺陷的感受野,提高模型的檢測性能;利用線性加權(quán)形式的Soft-NMS對非極大值抑制進(jìn)行優(yōu)化,以降低誤檢和漏檢率,提高模型的準(zhǔn)確率。

通過消融實(shí)驗(yàn)和與經(jīng)典的檢測算法相比較,CR-RFPR101算法在鋼板表面缺陷檢測問題上具有明顯的檢測優(yōu)勢。