張玉燕, 任騰飛, 溫銀堂

(1.燕山大學(xué) 電氣工程學(xué)院,河北 秦皇島 066004; 2.燕山大學(xué) 測試計量技術(shù)及儀器河北省重點實驗室, 河北 秦皇島 066004)

1 引 言

多功能點陣結(jié)構(gòu)有著高孔隙率的特點,具有輕質(zhì)高強、抗爆炸、抗沖擊、高效散熱隔熱、吸收電磁波及聲音等優(yōu)異的性能[1,2]。多功能點陣結(jié)構(gòu)對于滿足航空航天領(lǐng)域零件大型化、高強度、輕量化等要求具有舉足輕重的作用。點陣結(jié)構(gòu)在制備過程中不可避免會產(chǎn)生缺陷,這些缺陷將嚴重降低結(jié)構(gòu)的性能和可靠性。因此掌握缺陷特征及分布狀況對于指導(dǎo)點陣結(jié)構(gòu)的制造和健康狀態(tài)評估具有重要的研究意義。

由于點陣結(jié)構(gòu)內(nèi)部復(fù)雜、孔隙率高,通常借助工業(yè)CT技術(shù)和三維重構(gòu)獲取結(jié)構(gòu)斷層圖像,通過人工評閱CT圖像來實現(xiàn)缺陷檢測和識別。然而面對大量CT圖像,檢測人員易受情緒和疲勞影響,檢測結(jié)果主觀性強、效率低、漏檢誤檢率高。當(dāng)前,關(guān)于3D打印金屬三維點陣結(jié)構(gòu)的缺陷自動檢測方法的相關(guān)研究鮮有報道,尚未形成統(tǒng)一高效的檢測標(biāo)準與方法。因此,如何基于人工智能技術(shù)對基于CT掃描的檢測圖像進行快速評閱及自動獲取點陣結(jié)構(gòu)件的結(jié)構(gòu)狀態(tài)信息,是亟需深入研究和解決的問題。針對圖像中缺陷目標(biāo)的檢測定位與識別問題,傳統(tǒng)方法是根據(jù)不同性質(zhì)的缺陷,設(shè)計不同的人工特征[3,4],利用數(shù)學(xué)形態(tài)學(xué)等技術(shù)對圖像進行分割?；谌斯ぴO(shè)計的特征適用于特征明顯的缺陷,而對于微小缺陷的微弱特征變化則沒有很好的魯棒性,因此針對特征微弱、與背景高相似度的3D打印的點陣結(jié)構(gòu)缺陷,仍需要研究精度高、適應(yīng)性強的自動識別方法。

在特征提取方面深度網(wǎng)絡(luò)模型具有自動提取的優(yōu)勢,可以避免人為設(shè)計特征的繁瑣步驟。隨著深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域取得的廣泛成功,深度學(xué)習(xí)被應(yīng)用于很多圖像識別任務(wù)中[5,6],同時為復(fù)雜點陣結(jié)構(gòu)的缺陷檢測提供了新的解決思路。目前目標(biāo)檢測領(lǐng)域有2類算法,一類是基于候選區(qū)域的雙階段檢測算法,代表性算法有R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]等。這些方法使用選擇性搜索與區(qū)域建議產(chǎn)生物體建議框,然后進一步進行精確分類和定位,該類算法具有較高的計算復(fù)雜度,要實現(xiàn)實時檢測就需要昂貴的計算資源,因此難以滿足工業(yè)生產(chǎn)實時檢測的需求。單階段算法將目標(biāo)的定位與識別問題作為回歸問題處理,大大提高了檢測速度,代表性算法有YOLO[10],YOLOv2[11],YOLOv3[12,17]。其中YOLOv2是YOLO的增強版本,在YOLO的基礎(chǔ)上使用新特征提取網(wǎng)絡(luò)和新技術(shù)進一步提高了檢測速度和精度,但對小目標(biāo)的檢測能力較差,尚未達到工業(yè)應(yīng)用級水準。YOLOv3是YOLOv2的增強版本,通過兩方面的改進大大提升了對小目標(biāo)的檢測速度和檢測精度：1)采取多尺度進行預(yù)測,解決了顆粒度粗對小目標(biāo)檢測無力的問題。2)當(dāng)預(yù)測的目標(biāo)類別很復(fù)雜時,將YOLOv2的softmax分類器替換為logistic regression分類器。

本文針對一種3D打印的點陣結(jié)構(gòu)樣件,考慮其內(nèi)部缺陷尺度很小,特征微弱而難以檢測的問題,提出了一種基于YOLOv3算法的CT圖像智能評閱新方法,建立了相應(yīng)的多尺度缺陷預(yù)測模型,實現(xiàn)了對點陣結(jié)構(gòu)內(nèi)部缺陷的自動識別。

2 YOLOv3相關(guān)理論

YOLOv3的本質(zhì)是多尺度回歸算法,為了加強算法對小目標(biāo)檢測的精確度,YOLOv3采用上采樣結(jié)合張量拼接的方法,最后融合了3個尺度的特征,利用3個尺度特征進行檢測。

2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv3算法所采用的特征提取網(wǎng)絡(luò)為darknet-53,如圖1所示。其基本組件可以分為5類。1)卷積層,主要起到了缺陷特征提取的作用;2)上采樣層,在darknet-53中有2個上采樣層,分別將寬高為13×13像素和26×26像素的特征圖擴充為26×26像素和52×52像素,以便和相應(yīng)的特征圖進行拼接。上采樣層起到改變特征圖大小的作用,為特征融合做準備;3)路由層,將主干網(wǎng)絡(luò)中某些特征圖和經(jīng)上采樣后獲取的特征圖進行拼接融合,經(jīng)融合后的特征圖包含了不同尺度的特征信息,拼接操作會改變特征圖的通道數(shù),但不會改變其寬高;4)捷徑層,其本質(zhì)是殘差網(wǎng)絡(luò)[13](residual network,ResNet),通過給非線性的卷積層增加直連邊的方式提高了信息的傳播效率,在一定程度上避免了過擬合問題的發(fā)生;5)YOLO層,處理完畢的特征圖輸入YOLO層中,主要任務(wù)是進行缺陷邊框位置預(yù)測和缺陷類別預(yù)測。

圖1 darknet-53網(wǎng)絡(luò)框架

2.2 邊框預(yù)測

將斷層圖像數(shù)據(jù)輸入到darknet-53網(wǎng)絡(luò)中后生成3種尺寸的特征圖,其大小分別為13×13,26×26,52×52像素,特征圖上每個位置產(chǎn)生3個預(yù)測信息。每個預(yù)測信息包括7個元素,其中前4個元素代表該預(yù)測框的中心坐標(biāo)以及寬高,第5個元素代表該預(yù)測框存在的概率,第6、7個元素分別代表該預(yù)測框?qū)儆谕蛊鸷蛿帱c(本文所關(guān)注的2種缺陷的圖像表現(xiàn)形式)的概率。本文設(shè)置的信息包如圖2所示，其中(x,y)為預(yù)測框的中心;w,h為預(yù)測框的寬和高;pobj為該預(yù)測框存在的概率;pdefect為該預(yù)測目標(biāo)屬于凸起的概率;pbreak_point為該預(yù)測目標(biāo)屬于斷點的概率。

圖2 預(yù)測信息示意圖

對預(yù)測信息進步一處理,特征圖上的邊框預(yù)測如圖3所示,邊界框計算如式(1)所示。

圖3 圖3 邊框預(yù)測

(1)

式中:(px,py),pw,ph分別為網(wǎng)絡(luò)預(yù)測的邊界框中心坐標(biāo)和寬高;(bx,by),bw,bh分別為邊界框在特征圖中的實際中心坐標(biāo)和實際寬高;σ為sigmoid函數(shù);(cx,cy)為當(dāng)前網(wǎng)格的坐標(biāo);wanchor,hanchor為經(jīng)縮放后anchor的寬和高。

2.3 損失函數(shù)

在目標(biāo)檢測任務(wù)里,有幾個關(guān)鍵信息要確定,包括預(yù)測框中心坐標(biāo)、寬高、預(yù)測框存在的概率,以及該預(yù)測框內(nèi)物體是某種類別的概率。根據(jù)關(guān)鍵信息損失函數(shù)也由3部分組成,分別為缺陷定位損失、缺陷置信度損失、缺陷類別損失。

缺陷定位損失采用的是平方和損失函數(shù)。定位損失整體計算可由式(2)表示。

(2)

目標(biāo)置信度損失采用二值交叉熵損失函數(shù)。損失函數(shù)可分為2部分,一部分來自前景置信度損失,另一部分來自背景置信度損失。目標(biāo)置信度總損失可由式(3)表示。

(3)

式中:lconf為目標(biāo)置信度總損失;lconf_obj為前景置信度損失;wobj為前景置信度損失的權(quán)重;lconf_no_obj為背景置信度損失;wno_obj為背景置信度損失的權(quán)重;當(dāng)存在目標(biāo)時tconf為1,不存在目標(biāo)時tconf為0;pconf_obj為預(yù)測存在目標(biāo)的概率;pconf_no_obj為預(yù)測不存在目標(biāo)的概率。

缺陷類別損失也采用二值交叉熵損失函數(shù)。缺陷類別有2類,每個預(yù)測信息中用2個數(shù)值表示分別屬于某種類別的概率。缺陷類別損失由式(4)表示。

lclass=-∑(cobjln(1-pclass_obj)+

(1-cobj)ln(pclass_obj))

(4)

式中：lclass為缺陷類別損失;cobj代表真實存在目標(biāo),其數(shù)值為1;pclass_obj為從2個預(yù)測概率中選取較大值作為真正的預(yù)測概率。

3 點陣結(jié)構(gòu)缺陷特征及數(shù)據(jù)集

本文所針對的金屬點陣結(jié)構(gòu)由選擇性激光熔覆(selective laser melting,SLM)技術(shù)制備,具有金剛石微結(jié)構(gòu),每個連接點連接4個連桿,連接角度均相同,其結(jié)構(gòu)示意圖如圖4所示。

圖4 金剛石晶胞的點陣結(jié)構(gòu)示意圖

在制備過程中,金屬點陣結(jié)構(gòu)質(zhì)量受激光功率、傳粉速度、材料粉末直徑、基體材料等多種因素影響[14～16],其中激光功率為主要因素。在本文中由SLM技術(shù)制備的金屬點陣結(jié)構(gòu)樣件的常見缺陷為斷層熔合缺陷,如圖5所示。

圖5 金屬點陣結(jié)構(gòu)斷層熔合缺陷

熔合缺陷在斷層圖像中的表現(xiàn)形式有2種,一種為凸起,如圖6(a)所示。另一種為斷點,如圖6(b)所示。

圖6 斷層圖像中凸起缺陷和斷點缺陷

點陣結(jié)構(gòu)斷層圖像中的缺陷與背景相比只有微小差異,缺陷特征極其微弱,同時缺陷尺寸所占比例極小。這種微小差異性以及小目標(biāo)的特點無疑為金屬點陣結(jié)構(gòu)內(nèi)部缺陷的準確檢測識別增加了難度。

由于原始樣本數(shù)據(jù)量較小,而深度模型權(quán)重參數(shù)較多,在訓(xùn)練時容易產(chǎn)生過擬合問題,因此做了數(shù)據(jù)增廣處理。增廣方式包括調(diào)整圖像的亮度、對比度、色相和飽和度,對圖像進行左右翻轉(zhuǎn),上下翻轉(zhuǎn)等。最終按照6:2:2的比例劃分訓(xùn)練集驗證集合和測試集。

4 模型訓(xùn)練

4.1 配置訓(xùn)練參數(shù)

輸入圖像尺寸為416×416像素;學(xué)習(xí)率為0.001;采用隨機梯度下降法;訓(xùn)練輪數(shù)epochs為120;batch size為8;因為缺陷類別有2種,因此darknet-53框架配置文件中YOLO層的前一網(wǎng)絡(luò)層卷積通道數(shù)量修改為(5+2)×3=21;批處理生成數(shù)據(jù)期間使用的CPU線程數(shù)為8;每經(jīng)1輪保存一次模型,在驗證集上每經(jīng)1輪進行一次驗證。

YOLOv3算法使用3個不同尺度的特征圖進行預(yù)測,每個尺度的特征圖包含3種預(yù)測信息,每種預(yù)測需要1個anchor參數(shù)與之匹配,因此共需9個anchor參數(shù)。采用k均值聚類算法對所有缺陷大小進行聚類,最終得到9個聚類中心為(16,16)、(19,19)(36,34)、(38,40)、(41,46)、(47,45)、(42,75)、(57,53)、(74,43),平均iou為0.8759。這9個anchor與其對應(yīng)的特征圖以及感受野如表1所示。

表1 特征圖與對應(yīng)的anchor

4.2 模型訓(xùn)練結(jié)果

整個訓(xùn)練過程經(jīng)過約12 000次迭代,在0至 2 000次迭代期間模型的損失值迅速下降,經(jīng)短暫上升后,接下來總體下降速度平緩。模型損失值隨迭代次數(shù)變化趨勢如圖7所示。

圖7 訓(xùn)練過程損失值曲線

訓(xùn)練完成后共得到120個模型權(quán)重,在訓(xùn)練期間每經(jīng)1輪就在驗證集上驗證模型效果。為評價每輪模型試驗效果,選取召回率R、準確率P和平均精度(mAP)為評價指標(biāo)。召回率為網(wǎng)絡(luò)預(yù)測成功的缺陷數(shù)與實際存在的缺陷數(shù)目的比值,表征此網(wǎng)絡(luò)的查全率,如式(5)所示;準確率為網(wǎng)絡(luò)預(yù)測的所有缺陷中真實缺陷的比例,表征此網(wǎng)絡(luò)的分類準確率,如式(6)所示;mAP即2種缺陷AP的平均值,AP為Precision-Recall曲線下的面積,此指標(biāo)既考慮了模型的準確率又考慮了模型的召回率。

(5)

(6)

式中：PT為正確檢測到的缺陷類型;NF為未檢測到的缺陷;PF為誤檢的缺陷。

每個模型的召回率、準確率以及mAP隨迭代輪數(shù)變化曲線分別如圖8～圖10所示。

圖8 模型召回率變化曲線

圖9 模型準確率變化曲線

圖10 模型mAP變化曲線

對模型進行120輪訓(xùn)練,在前20輪訓(xùn)練過程中召回率陡增,在隨后訓(xùn)練期間較為平穩(wěn)。實驗結(jié)果顯示經(jīng)第27輪訓(xùn)練后模型召回率最高,為97.3%。

訓(xùn)練過程中,隨著訓(xùn)練輪數(shù)的增加模型的準確率大體持續(xù)上升,模型對凸起和斷點兩種缺陷類型的判斷越加準確。實驗結(jié)果顯示經(jīng)第117輪訓(xùn)練后模型的準確率最高,為98.6%。

在80輪迭代之后模型的mAP穩(wěn)定在0.95左右。實驗結(jié)果顯示,經(jīng)107輪訓(xùn)練后模型mAP最高,為0.957。

5 實驗結(jié)果討論

以mAP為優(yōu)先評價指標(biāo),將測試數(shù)據(jù)集傳入經(jīng)107輪訓(xùn)練后的檢測模型中,隨機選出部分結(jié)果,如圖11所示。

圖11 部分檢測結(jié)果

將圖11中每張斷層圖像檢測結(jié)果進行統(tǒng)計,包括缺陷類型、個數(shù)、綜合得分,如表2所示。

表2 部分檢測結(jié)果的統(tǒng)計

綜合得分為模型預(yù)測該位置缺陷存在概率與預(yù)測該缺陷屬于某種類別概率的乘積,如式(7)所示,其值越大則該預(yù)測為正確的可能性越大。

S=pconf_obj×pclass_obj

(7)

式中:S為綜合得分;pconf_obj為預(yù)測該位置存在缺陷目標(biāo)的概率;pclass_obj為該目標(biāo)屬于某種缺陷的概率。

從實驗結(jié)果可見，采用107輪訓(xùn)練后模型,對點陣結(jié)構(gòu)CT圖像中凸起和斷點2種形式的檢測效果較好,召回率為96.6%,準確率為93.2%。在算法運行時間方面,當(dāng)輸入圖像分辨率為416×416像素,配備GTX1080顯卡時,檢測速度達到了34幀/s,滿足實時檢測需求。

darknet-53可以勝任包含80種類別的目標(biāo)檢測任務(wù),而本文中所針對的點陣結(jié)構(gòu)內(nèi)部的典型缺陷在CT圖像中僅包含2種表現(xiàn)形式,因此對于所建立的YOLOv3檢測模型能夠得到較好的檢測性能。對于點陣結(jié)構(gòu)的其它類型的微小缺陷,該模型也具有適應(yīng)性,但考慮3D點陣結(jié)構(gòu)標(biāo)準樣件制作的問題,本文未給效果驗證,有待今后進一步研究。

6 結(jié) 論

本文對一種3D打印點陣結(jié)構(gòu)內(nèi)部缺陷進行了自動檢測識別方法的研究。

1)提出了基于YOLOv3算法的、適于特征微弱目標(biāo)的深度特征提取模型,避免了手動設(shè)計特征的繁瑣步驟,發(fā)揮了深度網(wǎng)絡(luò)模型在特征提取方面的優(yōu)勢。

2)采用多尺度預(yù)測機制將深層特征信息和淺層特征信息融合,共組合了3個尺度的特征圖分別進行綜合預(yù)測,解決了點陣結(jié)構(gòu)中缺陷小而難以精確檢測的問題。

3)實驗表明此算法實現(xiàn)了對金屬點陣結(jié)構(gòu)內(nèi)部典型熔合缺陷2種表現(xiàn)形式的準確識別和定位,模型平均精度均值mAP達到了0.957,實時性較好。

本文工作為3D打印點陣結(jié)構(gòu)的自動檢測提供了新的研究思路和方法,為點陣結(jié)構(gòu)的增材制造及其健康狀態(tài)評估提供了技術(shù)支撐。今后工作包括3D打印復(fù)雜點陣結(jié)構(gòu)件的結(jié)構(gòu)分布狀態(tài)、幾何差異等缺陷的自動識別研究。