韓 明,吳慶祥,2,曾雄軍

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

1 引言

隨著人工智能的不斷發(fā)展,人工智能技術(shù)被廣泛地應(yīng)用在各個(gè)領(lǐng)域,不斷推進(jìn)社會(huì)的進(jìn)步[1].其中,深度學(xué)習(xí)領(lǐng)域的發(fā)展,加快了人工智能的步伐.深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究分支,該算法可分為監(jiān)督式學(xué)習(xí)、非監(jiān)督式學(xué)習(xí)、半監(jiān)督式學(xué)習(xí)、以及強(qiáng)化學(xué)習(xí)[2].其中,監(jiān)督式學(xué)習(xí)是指通過人工標(biāo)記的數(shù)據(jù)來(lái)推測(cè)出目標(biāo)函數(shù).目前的分類,目標(biāo)檢測(cè)等任務(wù)大多均采取的是監(jiān)督式的學(xué)習(xí)方式.基于深度學(xué)習(xí)算法的Mask R-CNN 網(wǎng)絡(luò)亦是通過監(jiān)督式的學(xué)習(xí)方式來(lái)對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行迭代更新.

近年來(lái),針對(duì)齒輪齒形缺陷檢測(cè)已存在一些檢測(cè)方案.2019 年,李凱等通過將齒輪圖像二值化來(lái)獲取齒輪中心點(diǎn)坐標(biāo),利用中心點(diǎn)坐標(biāo)構(gòu)建環(huán)形濾波器獲取只含輪齒部分的感興趣區(qū)域,最終通過對(duì)灰度均值小于閾值的輪齒進(jìn)行細(xì)分來(lái)判定該輪齒是否為缺齒[3].2018 年,楊亞等通過檢測(cè)得到的關(guān)鍵點(diǎn)將標(biāo)準(zhǔn)齒輪與待檢測(cè)齒輪進(jìn)行配準(zhǔn),對(duì)配準(zhǔn)圖像采用絕對(duì)差分的方式得到絕對(duì)差分圖像,通過絕對(duì)差分圖像判定待檢測(cè)齒輪是否存在缺齒[4].2017 年,鄭碩文等構(gòu)建基于機(jī)器視覺與多傳感器的齒輪缺陷檢測(cè)系統(tǒng)[5].上述的齒輪缺陷檢測(cè)方法以及張鈺婷、李盼等[6,7]更早提出的缺陷檢測(cè)方案大多是圍繞傳統(tǒng)的圖像處理算法來(lái)進(jìn)行展開的.采用深度學(xué)習(xí)算法實(shí)現(xiàn)齒輪缺陷檢測(cè)的特點(diǎn)在于神經(jīng)網(wǎng)絡(luò)可以自主對(duì)齒輪圖像進(jìn)行特征提取,通過將提取到的低層特征進(jìn)行組合形成高層具有較深語(yǔ)意的特征,使得網(wǎng)絡(luò)模型可以自動(dòng)學(xué)習(xí)到從樣本圖像輸入到結(jié)果輸出的復(fù)雜映射關(guān)系[8].鑒于Mask R-CNN[9]網(wǎng)絡(luò)具有對(duì)微小目標(biāo)進(jìn)行有效檢測(cè)的優(yōu)勢(shì),在原網(wǎng)絡(luò)基礎(chǔ)上,針對(duì)齒輪微小視覺缺陷檢測(cè)目標(biāo)對(duì)原網(wǎng)絡(luò)進(jìn)行改進(jìn),提高了Mask R-CNN 網(wǎng)絡(luò)對(duì)于缺齒對(duì)象的召回率指標(biāo).基于改進(jìn)的Mask R-CNN 齒輪缺齒檢測(cè)方法可應(yīng)用到對(duì)流水線上齒輪視覺缺陷或者類似的產(chǎn)品進(jìn)行檢測(cè),具有廣闊的應(yīng)用場(chǎng)景.

2 Mask R-CNN 網(wǎng)絡(luò)架構(gòu)及優(yōu)化

Mask R-CNN 架構(gòu)(見圖1)主要由兩部分構(gòu)成,第一部分為區(qū)域候選網(wǎng)絡(luò),用于獲取候選框.第二部分利用RoIAlign 網(wǎng)絡(luò)層對(duì)感興趣區(qū)域進(jìn)行池化操作,產(chǎn)生固定尺寸的特征圖,后續(xù)網(wǎng)絡(luò)層通過對(duì)該固定尺寸特征圖進(jìn)行處理,實(shí)現(xiàn)對(duì)目標(biāo)的分類、檢測(cè)、以及分割.本文通過理論分析并結(jié)合實(shí)驗(yàn)結(jié)果對(duì)共享特征提取過程進(jìn)行優(yōu)化,并針對(duì)標(biāo)注方案中標(biāo)注框的大小對(duì)候選區(qū)域網(wǎng)絡(luò)中的錨框大小進(jìn)行重新設(shè)計(jì).

(1)共享特征提取網(wǎng)絡(luò)

Mask R-CNN 的共享特征提取網(wǎng)絡(luò)采用殘差神經(jīng)網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)的組合,對(duì)輸入圖像進(jìn)行特征提取.

1)殘差神經(jīng)網(wǎng)絡(luò)

為了盡可能提高網(wǎng)絡(luò)的缺齒檢出率,同時(shí)兼顧網(wǎng)絡(luò)的訓(xùn)練與檢測(cè)速度,應(yīng)優(yōu)選一種殘差神經(jīng)網(wǎng)絡(luò).通用的殘差神經(jīng)網(wǎng)絡(luò)[10]主要有5 種,分別為:ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152,缺齒檢出率公式表達(dá)如下:

在通用的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)中,一般采用召回率與精確率是兩個(gè)指標(biāo),計(jì)算方法如表1.

圖1 Mask R-CNN 結(jié)構(gòu)

表1 精確率與召回率

表1 中,P表示缺陷輪齒對(duì)象,N表示為正常輪齒對(duì)象,T與F表示檢測(cè)結(jié)果是否正確.TP:缺陷輪齒對(duì)象被正確識(shí)別為缺陷輪齒對(duì)象的數(shù)量;FP:正常輪齒對(duì)象被錯(cuò)誤識(shí)別為缺陷輪齒對(duì)象的數(shù)量;FN:缺陷輪齒對(duì)象被錯(cuò)誤識(shí)別為正常輪齒對(duì)象的數(shù)量.精確率與召回率表達(dá)式如下:

由于檢測(cè)目標(biāo)為缺陷輪齒,故將缺陷輪齒視為正樣本.召回率與缺齒檢出率兩個(gè)指標(biāo)在數(shù)值上是完全相等的,其中,TP等于檢出缺齒的總個(gè)數(shù),TP與FN之和等于缺齒的總個(gè)數(shù).由于訓(xùn)練的樣本標(biāo)注類別只有缺齒這一類,因此FP的值將趨近于0,Precision(精確度)將趨近于1 這個(gè)常數(shù).故實(shí)驗(yàn)從通用的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)角度,還可使用召回率來(lái)對(duì)網(wǎng)絡(luò)的檢測(cè)效果進(jìn)行評(píng)價(jià).

實(shí)驗(yàn)比較5 種通用殘差神經(jīng)網(wǎng)絡(luò)作為共享特征提取網(wǎng)絡(luò)的檢測(cè)效果,采用遷移學(xué)習(xí)方式對(duì)Mask RCNN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練,網(wǎng)絡(luò)初始權(quán)重為基于coco 數(shù)據(jù)集訓(xùn)練得到的權(quán)重.訓(xùn)練集數(shù)量為200 張,缺齒標(biāo)注個(gè)數(shù)為500 個(gè),測(cè)試集的數(shù)量為150 張,總齒數(shù)為1800 個(gè),缺齒數(shù)為280 個(gè),檢測(cè)結(jié)果如表2.

表2 5 種殘差神經(jīng)網(wǎng)絡(luò)檢測(cè)結(jié)果比較

由以上檢測(cè)結(jié)果可以得出,隨著殘差神經(jīng)網(wǎng)絡(luò)深度的增加,召回率表現(xiàn)為遞增,更深的網(wǎng)絡(luò)同時(shí)需要更多的訓(xùn)練時(shí)間,且測(cè)試時(shí)間也相應(yīng)增加.實(shí)驗(yàn)結(jié)果顯示,ResNet-101 與ResNet-152 召回率指標(biāo)的差距相對(duì)不是很大,綜合召回率與網(wǎng)絡(luò)耗時(shí)考量,選擇使用ResNet-101 作為特征提取網(wǎng)絡(luò).

2)特征金字塔網(wǎng)絡(luò)

高層特征圖雖然含有較深語(yǔ)意的特征表達(dá),其分辨率卻很低,當(dāng)對(duì)小尺度目標(biāo)進(jìn)行特征提取時(shí),重要的特征信息容易丟失.特征金字塔網(wǎng)絡(luò)[11]利用自上而下通道以及側(cè)向連接將高層高語(yǔ)意低分辨率特征圖與低層低語(yǔ)意高分辨率的特征圖進(jìn)行融合,從而獲得不同尺度兼具高語(yǔ)意與高分辨率的特征圖.圖像共享特征提取過程如圖2,ResNet-101 具有5 個(gè)階段,每個(gè)階段是根據(jù)輸出特征圖的大小是否改變進(jìn)行劃分.分別將各個(gè)階段最后網(wǎng)絡(luò)層輸出的特征圖稱為{C1,C2,C3,C4,C5},圖2 中,C5是經(jīng)過ResNet-101 第五階段生成的特征圖,也是網(wǎng)絡(luò)學(xué)習(xí)到的具有最深語(yǔ)意的特征圖,該特征圖未進(jìn)行融合操作,分辨率較低.

特征金字塔網(wǎng)絡(luò)將C5進(jìn)行1×1 卷積操作得到P5,對(duì)P5進(jìn)行上采樣操作與C4經(jīng)過1×1 卷積得到的特征圖進(jìn)行融合,得到P4,P4既具有P5的深層語(yǔ)意而且還保留了C4中微小對(duì)象較高分辨率特征.P3,P2的獲取方式與P4相同.最后,還需對(duì)融合得到的特征圖進(jìn)行一次3×3 卷積操作,目的是降低對(duì)特征圖進(jìn)行上采樣操作之后的混疊效應(yīng).在此,實(shí)驗(yàn)對(duì)用于后續(xù)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的特征圖進(jìn)行優(yōu)化調(diào)整,剔除對(duì)P5進(jìn)行的3×3 卷積操作,如圖3,分析如下:①P5并非是經(jīng)過上采樣與融合得到,既對(duì)P5而言不存在混疊效應(yīng).② 該3×3 卷積操作采用“padding=same”的方式,即卷積前后特圖的尺寸不發(fā)生改變,剔除該3×3 卷積對(duì)后續(xù)特征圖尺寸匹配不會(huì)造成影響.③ 經(jīng)實(shí)驗(yàn)測(cè)試,該3×3 卷積操作的剔除相應(yīng)地提高了網(wǎng)絡(luò)的缺齒檢出率指標(biāo).

圖2 圖像特征提取過程

圖3 優(yōu)化的圖像特征提取過程

(2)候選區(qū)域網(wǎng)絡(luò)

候選區(qū)域網(wǎng)絡(luò)[12]實(shí)質(zhì)是一個(gè)基于滑窗的無(wú)類別目標(biāo)檢測(cè)器.用于生成目標(biāo)候選框.候選區(qū)域網(wǎng)絡(luò)始應(yīng)用于Faster R-CNN 中,作用對(duì)象為單尺度特征圖.具體操作:將一個(gè)3×3 的滑窗置于單尺度特征圖上進(jìn)行滑動(dòng),在滑窗滑過的位置上以滑窗的中心作為錨點(diǎn),產(chǎn)生k個(gè)錨框.Faster R-CNN 中,k參數(shù)為9,以像素為單位,大小為{1282,2562,5122},在該3 種尺寸的基礎(chǔ)上分配{1:2,1:1,2:1}寬高比.通過計(jì)算錨框與標(biāo)注框的IoU值來(lái)判斷錨框與標(biāo)注框的重疊度,數(shù)值越大表示重疊度越高,最大值為1,其計(jì)算公式如下:

即錨框與標(biāo)注框交集和錨框與標(biāo)注框并集的比值.

Mask R-CNN 中候選區(qū)域網(wǎng)絡(luò)的作用對(duì)象為由特征金字塔網(wǎng)絡(luò)生成的具有金字塔層次的多尺度特征圖,分別為{P2,P3,P4,P5,P6},其中P6是對(duì)P5進(jìn)行降采樣得到的,尺寸縮小了一倍.與Faster R-CNN 不同的是,對(duì)每個(gè)層次的特征圖僅分配一種尺寸的錨框,這樣可以有效減少冗余錨框的數(shù)量.以像素為單位,Mask RCNN 網(wǎng)絡(luò)將{P2,P3,P4,P5,P6}錨框的尺寸分別設(shè)置為{322,642,1282,2562,5122},每個(gè)尺寸的錨框均分配以{1:2,1:1,2:1}的寬高比,故每個(gè)層次特征圖的錨框的尺寸種數(shù)為3 種,5 種具有金字塔層次特征圖的錨框尺寸的種數(shù)為15 種,采用式(4)來(lái)計(jì)算錨框與標(biāo)注框的IoU數(shù)值.

實(shí)驗(yàn)檢測(cè)對(duì)象為有缺陷的輪齒,齒輪樣本如圖4.

圖4 齒輪樣本

當(dāng)齒輪旋轉(zhuǎn)以及缺陷存在于輪齒位置的不同使得對(duì)有微小缺陷的輪齒進(jìn)行標(biāo)注的尺寸會(huì)發(fā)生改變,即標(biāo)注框的尺寸發(fā)生改變.但無(wú)論齒輪轉(zhuǎn)動(dòng)多少角度,標(biāo)注框的尺寸最大值不會(huì)超過圖5 中線段1 與線段2 的長(zhǎng)度,實(shí)際標(biāo)注框的寬與高最大值分別為線段1、線段2 長(zhǎng)度的正弦、余弦值,通過計(jì)算得到,以像素為單位,線段1 與線段2 的長(zhǎng)度為32 個(gè)像素.根據(jù)標(biāo)注框的尺寸,假設(shè)各層次特征圖使用錨框的尺寸為{322,642,1282,2562,5122},設(shè)標(biāo)注框的尺寸為最大值32×32,則錨框的尺寸均大于等于標(biāo)注框的尺寸.當(dāng)標(biāo)注框包含于錨框時(shí)會(huì)有最大IoU值,位置關(guān)系如圖6,各尺寸錨框與標(biāo)注框的最大IoU值如表3.特別地,當(dāng)錨框尺寸為32×32,錨框與標(biāo)注框完全重合時(shí),IoU數(shù)值取得最大值1.

圖5 標(biāo)注尺寸波動(dòng)示意圖

圖6 IoU 達(dá)到最大值時(shí)錨框與標(biāo)注框的包含關(guān)系

表3 5 種錨框尺寸對(duì)應(yīng)最大IoU 數(shù)值

計(jì)算各個(gè)尺寸錨框與標(biāo)注框的IoU數(shù)值與設(shè)定閾值0.7 做比較,IoU數(shù)值大于0.7 的錨框被分配一個(gè)正標(biāo)簽,IoU數(shù)值小于0.3 的錨框被分配一個(gè)負(fù)標(biāo)簽,介于0.3 與0.7 之間的錨框?qū)⒅苯颖簧釛?由表3 可得僅有P2特征圖的錨框會(huì)被分配正標(biāo)簽,通過對(duì)分配正標(biāo)簽的錨框進(jìn)行修正使得訓(xùn)練候選區(qū)域網(wǎng)絡(luò)的損失值達(dá)到最低.訓(xùn)練候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)如下:

其中,Lcls表達(dá)式如下:

其中,ti代表對(duì)錨框進(jìn)行不斷修正得到的候選框的4 個(gè)參數(shù)化坐標(biāo),pi代表錨框中含有目標(biāo)的概率或置信度,i代表錨框索引.當(dāng)錨框被賦予正標(biāo)簽時(shí),為1,此時(shí)Lreg函數(shù)值對(duì)損失函數(shù)值L有效,通過反向傳輸與梯度下降的優(yōu)化方法,對(duì)ti進(jìn)行不斷修正,最終得到較理想的候選框坐標(biāo),使得損失值L降到最低;當(dāng)錨框均被賦予負(fù)標(biāo)簽時(shí),為0,Lreg函數(shù)值對(duì)損失函數(shù)值L無(wú)效,即ti不影響L值,此時(shí)將式(6)代入式(5)中得:

式中,Ncls為常數(shù),此時(shí)的L隨pi同增同減,為使L優(yōu)化為最低,pi應(yīng)為最低,此時(shí)錨框i均被視為背景來(lái)對(duì)候選區(qū)域網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

根據(jù)以上推導(dǎo),針對(duì)標(biāo)注框可能的最大尺度32×32(圖5),僅有尺寸為32×32 的錨框會(huì)被分配正標(biāo)簽,但當(dāng)標(biāo)注框的尺寸為圖5 中A 框(20×10)時(shí),此時(shí)使用32×32 的錨框得到最大的IoU值為0.4,既A 框中對(duì)象即使參與了候選區(qū)域網(wǎng)絡(luò)的訓(xùn)練,也是以一種不存在缺齒對(duì)象的身份來(lái)對(duì)候選區(qū)域網(wǎng)絡(luò)訓(xùn)練的,這種問題導(dǎo)致的最終結(jié)果是造成Mask R-CNN 網(wǎng)絡(luò)更高的漏檢率.針對(duì)以上問題,將圖5 中標(biāo)注框A 框的尺寸設(shè)為錨框的最小尺寸,將圖5 中線段1 與線段2 的長(zhǎng)度設(shè)為錨框的最大尺寸,以像素為單位,A 框尺寸近似為為20×10,則以1:1 的錨框?qū)捀弑?使用的最小錨框尺寸20×20,最大錨框尺寸為32×32.同樣對(duì)每個(gè)尺寸的錨框分配{1:2,1:1,2:1}的寬高比,則各個(gè)層次特征圖錨框尺寸分配情況如表4,選擇表4 中的錨框尺寸提高了可容忍標(biāo)注框尺寸的下限,從而實(shí)現(xiàn)對(duì)候選區(qū)域網(wǎng)絡(luò)進(jìn)行更加有效的訓(xùn)練.

表4 根據(jù)標(biāo)注框尺寸設(shè)計(jì)相應(yīng)的錨框尺寸

(3)多任務(wù)訓(xùn)練

采用多任務(wù)訓(xùn)練機(jī)制,利用Mask R-CNN 的掩膜分支損失函數(shù),使得微小目標(biāo)檢測(cè)效果更加精確.多任務(wù)訓(xùn)練損失函數(shù)公式定義如下:

式中,Lcls為分類損失函數(shù),Lbox為邊框損失函數(shù),Lmask為掩膜損失函數(shù).

3 制作數(shù)據(jù)集與樣本標(biāo)注方案設(shè)計(jì)

(1)數(shù)據(jù)集制作

目前缺乏公共的齒輪數(shù)據(jù)集,且數(shù)量較少.因此采用數(shù)據(jù)擴(kuò)增的手段來(lái)建立數(shù)據(jù)集.采用的數(shù)據(jù)擴(kuò)增方式為對(duì)缺齒齒輪圖像平移、360 度隨機(jī)旋轉(zhuǎn)、添加隨機(jī)椒鹽噪聲.對(duì)圖像進(jìn)行平移與隨機(jī)旋轉(zhuǎn)是為了實(shí)現(xiàn)Mask R-CNN 網(wǎng)絡(luò)能夠?qū)D像內(nèi)任意位置、旋轉(zhuǎn)任意角度的缺齒齒輪進(jìn)行有效的檢測(cè),添加隨機(jī)椒鹽噪聲是為了提高網(wǎng)絡(luò)對(duì)含有椒鹽噪聲干擾的齒輪圖像的魯棒性.本實(shí)驗(yàn)齒輪圖像數(shù)據(jù)集統(tǒng)一為273×265(像素)RGB 圖像,含有缺齒的樣本展示如圖7.

圖7 缺齒樣本展示

(2)標(biāo)注方案設(shè)計(jì)

訓(xùn)練集使用VGG Image Annotator(VIA)進(jìn)行標(biāo)注,標(biāo)注完另存后綴名為json 文件.在進(jìn)行齒輪圖像標(biāo)注時(shí),設(shè)計(jì)兩種標(biāo)注方案,針對(duì)不同的標(biāo)注方案使用對(duì)應(yīng)的錨框尺寸.方案1:對(duì)整個(gè)齒輪對(duì)象進(jìn)行標(biāo)注,然后二分類,既對(duì)標(biāo)注對(duì)象分類為合格齒輪與不合格齒輪.不合格的齒輪是指帶有缺齒等缺陷的齒輪(如圖8).方案2:直接對(duì)齒輪缺陷部分進(jìn)行標(biāo)注(如圖8).方案1的優(yōu)點(diǎn)在于可忽略具體缺陷類型,分類類別單一,但是利用方案1 訓(xùn)練得到的Mask R-CNN 網(wǎng)絡(luò)在精度判別方面存在一個(gè)問題,對(duì)于有微小缺陷的齒輪,其判別能力較差.具體來(lái)說(shuō),一個(gè)有幾個(gè)像素缺齒的齒輪,其對(duì)于整個(gè)齒輪而言是微不足道的,從而導(dǎo)致微小缺陷容易被忽略,將不合格齒輪判定為合格.采用方案2 對(duì)缺陷部分進(jìn)行標(biāo)注,就好比在提醒網(wǎng)絡(luò)更應(yīng)該關(guān)注微小缺陷本身,使得處于像素級(jí)別缺陷可以被檢測(cè)出來(lái).兩種標(biāo)注方案在設(shè)計(jì)理念上各有優(yōu)缺點(diǎn),只是方案一的標(biāo)注思路使得帶有像素級(jí)別缺齒的齒輪與合格齒輪相比并無(wú)明顯差別,召回率較低,且標(biāo)注工作量更大,而方案2 相對(duì)于方案1 而言應(yīng)當(dāng)注意的是,當(dāng)待檢測(cè)工件缺陷類型較多時(shí),需要對(duì)缺陷類別進(jìn)行逐一分類,既多分類.綜合樣本標(biāo)注工作量以及網(wǎng)絡(luò)檢測(cè)效果考量,針對(duì)微小缺陷對(duì)象,實(shí)驗(yàn)采用第2 種樣本標(biāo)注方案.

圖8 缺齒樣本標(biāo)注

4 實(shí)驗(yàn)與分析

特征提取網(wǎng)絡(luò)采用ResNet-101 與FPN 的組合,加載基于coco 數(shù)據(jù)集預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型權(quán)重文件,使用經(jīng)過樣本擴(kuò)增的齒輪數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí).實(shí)驗(yàn)訓(xùn)練集為200 張微小缺齒圖像,圖像規(guī)格統(tǒng)一為273×265 的三通道RGB 圖像,每張齒輪圖像至少有一個(gè)帶有缺陷的輪齒,同時(shí)部分齒輪圖片含有多個(gè)不同尺度的微小缺齒,保證訓(xùn)練得到的模型能同時(shí)對(duì)多種尺度范圍的微小缺齒進(jìn)行檢測(cè).

使用顯卡型號(hào)為1080Ti 的服務(wù)器對(duì)Mask RCNN 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,顯卡顯存11 GB.Python 版本3.6.0、Tensorflow-gpu 版本1.6.0、Keras 版本2.1.6.網(wǎng)絡(luò)一次迭代訓(xùn)練讀取兩張圖像,一個(gè)epoch 迭代次數(shù)為100 次,經(jīng)過一次epoch 訓(xùn)練之后,訓(xùn)練集中的200 張圖像對(duì)網(wǎng)絡(luò)模型進(jìn)行了一次完整訓(xùn)練,參數(shù)epoch 設(shè)置為500 次,每訓(xùn)練完一個(gè)epoch,便將最后一次迭代訓(xùn)練得到的損失值保存在日志中,經(jīng)過500 次epoch 訓(xùn)練之后,改進(jìn)的Mask R-CNN 網(wǎng)絡(luò)損失值得到有效收斂,使用tensorboard 對(duì)損失函數(shù)曲線進(jìn)行顯示,如圖9.

圖9 損失函數(shù)曲線

5 實(shí)驗(yàn)結(jié)果

部分檢測(cè)結(jié)果如圖10,圖中上側(cè)為使用未經(jīng)調(diào)整Mask R-CNN 網(wǎng)絡(luò)檢測(cè)結(jié)果,下側(cè)為使用經(jīng)過優(yōu)化改進(jìn)之后的Mask R-CNN 網(wǎng)絡(luò)檢測(cè)結(jié)果.從圖10 的檢測(cè)結(jié)果可以看出,通過對(duì)圖像特征提取過程進(jìn)行優(yōu)化以及根據(jù)標(biāo)注框的尺寸設(shè)置合適的錨框尺寸,可以提高召回率,改善缺齒檢出率指標(biāo),實(shí)現(xiàn)對(duì)采集范圍內(nèi)任意位置的缺齒進(jìn)行更加有效地檢測(cè).實(shí)驗(yàn)?zāi)繕?biāo)為實(shí)現(xiàn)缺齒目標(biāo)的檢測(cè),故去除掩膜輸出,得到圖11 中的檢測(cè)結(jié)果.去除掩膜輸出之后更便于對(duì)檢測(cè)對(duì)象進(jìn)行觀察.Mask R-CNN 網(wǎng)絡(luò)改進(jìn)前與改進(jìn)后的檢測(cè)數(shù)據(jù)比較如表5.由表5 得出,經(jīng)過優(yōu)化的Mask R-CNN 網(wǎng)絡(luò)對(duì)比未優(yōu)化Mask R-CNN 網(wǎng)絡(luò),缺齒檢出率提高了5.7%,召回率提高了0.057,召回率與缺齒檢出率分別達(dá)到了0.982 與98.2%.利用優(yōu)化的Mask R-CNN 網(wǎng)絡(luò)進(jìn)行檢測(cè)仍存在5 個(gè)缺齒漏檢,可對(duì)訓(xùn)練集進(jìn)一步地?cái)U(kuò)增,使得缺齒樣本覆蓋更廣的特征空間,進(jìn)一步提高召回率與缺齒檢出率指標(biāo).同時(shí)本方法與傳統(tǒng)的圖像處理與機(jī)器學(xué)習(xí)算法[13]進(jìn)行了比較,識(shí)別率提高了0.4 個(gè)百分點(diǎn),比較結(jié)果見表6.

6 結(jié)語(yǔ)

采用優(yōu)化后的Mask R-CNN 目標(biāo)檢測(cè)網(wǎng)絡(luò)不僅可以對(duì)齒輪微小缺齒進(jìn)行檢測(cè),譬如齒輪劃痕、齒面腐蝕、齒面污漬等視覺缺陷均可以采用這一方法.通過將優(yōu)選的殘差神經(jīng)網(wǎng)絡(luò)與對(duì)特征提取過程進(jìn)行優(yōu)化的特征金子塔網(wǎng)絡(luò)進(jìn)行結(jié)合作為共享特征提取網(wǎng)絡(luò),使得整個(gè)網(wǎng)絡(luò)模型能夠更好地學(xué)習(xí)到微小對(duì)象的特征表達(dá).該方法無(wú)需進(jìn)行大量圖像處理工作,有效的避免了傳統(tǒng)圖像處理方法對(duì)微小缺陷圖像進(jìn)行處理過程中造成的誤差,且可實(shí)現(xiàn)對(duì)采集范圍內(nèi)任意位置的齒輪微小缺陷的檢測(cè),提高了檢測(cè)手段的智能化水平.該方法具有通用性,無(wú)需針對(duì)某一特定缺陷設(shè)定一個(gè)算法去解決.基于分割的樣本標(biāo)注過程相對(duì)比較繁瑣,要求樣本標(biāo)注精確以避免手工標(biāo)注帶來(lái)的誤差.盡量使用像素比較高的樣本,優(yōu)質(zhì)的數(shù)據(jù)集可以訓(xùn)練出檢測(cè)效果更好網(wǎng)絡(luò)模型.

圖11 去除掩膜輸出

表5 檢測(cè)結(jié)果比較

表6 檢測(cè)方法比較

致謝

作者感謝中央引導(dǎo)地方科技發(fā)展專項(xiàng)(2017L3009)以及福建省光電傳感工程研究中心對(duì)本研究的支持.