章栩苓，周正東，毛 玲，張靈維，魏士松,2

(1.南京航空航天大學機械結(jié)構(gòu)力學及控制國家重點實驗室，江蘇 南京 210016)(2.上海航天精密機械研究所，上海 201600)

隨著高速加工、安全保障和節(jié)能需求的日益增長，復合材料的應用領(lǐng)域不斷擴大。其中，碳纖維增強復合材料(carbon fiber reinforced plastic, CFRP)由于其具有質(zhì)量輕、比強度高等突出的力學性能，已成為最常用的復合材料之一，廣泛應用于航空航天、交通運輸?shù)刃袠I(yè)。然而，復合材料的成形工藝和使用條件極其復雜，制造工藝、運輸和操作等都可能在復合材料的表面或內(nèi)部形成微小的變形或缺陷(如夾雜、裂紋、空洞、分層等)，進而導致嚴重后果[1]。

目前常用的復合材料無損檢測方法主要有超聲檢測、紅外熱成像檢測、X射線檢測等[2-3]。超聲檢測適用于檢測內(nèi)部缺陷，但需使用耦合劑且對不同缺陷的專業(yè)度要求高；紅外熱成像檢測速度較快，但檢測深度??；X射線檢測能較好地解決材料內(nèi)部密度分布不均的問題，可用于檢測大部分的缺陷類型，檢測效率較高。雖然上述無損檢測方法可以提供CFRP缺陷的信息和圖像，但后續(xù)的缺陷或可疑位置的檢測和定位通常依賴人工處理，其工作量大、效率低，且僅憑人眼進行判別不客觀。因此，亟需一種自動且準確可靠的方法對CFRP缺陷進行檢測。

傳統(tǒng)的圖像處理可作為一種對圖像中的缺陷進行分類和檢測的有效方法。閆俊紅等[4]在對鋼板缺陷圖像濾波去噪的基礎(chǔ)上，采用Otsu閾值法進行圖像分割，對缺陷的周長、面積及寬度等幾何特征進行提取并識別。王子冠等[5]用傳統(tǒng)的圖像處理對軌道進行識別檢測，提出利用Sobel算子提取圖像邊緣特征，再用Hough變換識別圖像中的軌道，算法簡單且速度快，但在有光照和遮擋的復雜環(huán)境下，識別性能受到明顯影響。

近年來，機器學習在圖像處理、計算機視覺等領(lǐng)域表現(xiàn)出了強大的潛力，使之在缺陷分類和檢測領(lǐng)域的應用成為可能[6]。越來越多的機器學習模型被用于缺陷的分類和檢測[7-9]，如深度神經(jīng)網(wǎng)絡[10-14]、多層感知器[15]等。Wei等[16]用改進的SIFT算法對圖像進行特征提取，并用VGG16對圖像進行分類和識別；王鳴霄等[17]設(shè)計了一個分層的分類體系結(jié)構(gòu)，首先利用二分類模型將輸入圖像分為有缺陷和無缺陷兩類，再利用多分類模型對預測為缺陷的圖像進一步細分類，緩解了數(shù)據(jù)不平衡的問題。

本文針對環(huán)狀CFRP的X射線圖像中的背景給缺陷分類和檢測帶來干擾的問題，利用圖像變換有效減少了圖像中的黑色背景部分。實驗結(jié)果表明，與原始圖像訓練LeNet-5相比，利用變換后的圖像訓練LeNet-5能夠使缺陷的召回率、查準率和F1值得到顯著提高。

1 圖像預處理

1.1 圖像擴增

在工業(yè)生產(chǎn)中，CFRP缺陷圖像數(shù)據(jù)集規(guī)模小，而卷積神經(jīng)網(wǎng)絡的訓練需要大量的圖像數(shù)據(jù)，為此本文采用增加或降低對比度以及翻轉(zhuǎn)、旋轉(zhuǎn)90°和180°的方法進行圖像擴增。本文數(shù)據(jù)的缺陷類別分別是聚膠、夾雜、氣孔和裂紋，共4類。把這4類的數(shù)據(jù)共同作為含有缺陷的數(shù)據(jù)集，與不含有缺陷的數(shù)據(jù)一起輸入LeNet-5網(wǎng)絡進行二分類訓練。

1.2 圖像變換

本文利用X射線數(shù)字攝影技術(shù)對環(huán)狀CFRP零件進行成像，圖像大小為1 024像素×1 024像素，而缺陷尺寸比圖像小很多。為了確保分類性能并減少計算量，根據(jù)CFRP缺陷尺寸的統(tǒng)計參數(shù)將原圖像裁剪為64像素×64像素大小的圖像塊。然而原始環(huán)狀CFRP圖像中存在大量的背景，致使神經(jīng)網(wǎng)絡的分類性能下降。為此，本文運用極坐標圖像變換對環(huán)狀CFRP圖像進行處理，將其變換為矩形。首先，對圖中的環(huán)狀目標進行輪廓跟蹤，根據(jù)提取的輪廓數(shù)據(jù)進行圓環(huán)擬合，得到環(huán)狀目標的圓心坐標；然后運用極坐標變換將原始環(huán)狀圖像變換為矩形；最后在變換后的圖像中提取感興趣區(qū)域并進行分塊構(gòu)成數(shù)據(jù)集。

1.2.1圓環(huán)擬合

為了驗證算法的性能，仿照環(huán)狀CFRP的X射線圖像，制作了圓心坐標為(700, 700)、半徑分別為450和600的同心圓環(huán)狀仿真圖，并用Otsu法得到其二值圖像，如圖1(a)所示。對二值圖像進行輪廓跟蹤得到輪廓上每個點的坐標，如圖1(b)所示，進一步得到輪廓點橫、縱坐標值的分布曲線，如圖1(c)和圖1(d)所示，從圖中可以觀察到圖像中存在明顯的直線段，表明該范圍輪廓點的橫、縱坐標保持不變。結(jié)合圖1(b)可知，直線段的起點和終點對應圓弧的起點和終點。利用差分法對輪廓點的橫、縱坐標求微分，找到圓弧的起點和終點。根據(jù)起點和終點分離輪廓，可得到兩段圓弧的輪廓，如圖1(e)所示。運用最小二乘法分別對兩段圓弧進行擬合，擬合結(jié)果如圖1(f)所示。對內(nèi)環(huán)輪廓點進行擬合得到的圓心坐標為(700.45, 700.30)，半徑為449.83，圓心橫坐標的誤差為0.064%，圓心縱坐標的誤差為0.043%，半徑的誤差為0.038%。對外環(huán)輪廓點進行擬合得到的圓心坐標為(700.23, 700.10)，半徑為598.89，圓心橫坐標的誤差為0.033%，圓心縱坐標的誤差為0.014%，半徑的誤差為0.185%。從仿真結(jié)果可以看出，圓心坐標和半徑的誤差都在0.2%以下，表明該方法性能優(yōu)良。對內(nèi)外兩個圓弧擬合得到的圓心坐標取平均值作為最終的圓心坐標擬合結(jié)果。

圖1 仿真圓環(huán)擬合過程圖

1.2.2坐標系轉(zhuǎn)換

以圖像中各個點到擬合圓心的距離為半徑，根據(jù)極坐標變換公式，將原圖直角坐標系下的坐標(x,y)變換為極坐標系下的(r,θ)，如式(1)和(2)。將原圖中每個坐標的像素值放置在變換圖像的對應位置，得到坐標系轉(zhuǎn)換后的圖像。

x=cx+rcosθ

(1)

y=cy+rsinθ

(2)

式中：cx和cy為圓心的橫坐標和縱坐標；r為半徑；θ為按逆時針方向坐標距離極軸的角度。在實際環(huán)狀CFRP的X射線圖像上的變換過程如圖2所示。

圖2 坐標系轉(zhuǎn)換過程圖

1.2.3感興趣區(qū)域提取

對圖像進行極坐標變換后，進一步通過邊界跟蹤算法提取目標區(qū)域。然后根據(jù)目標輪廓找到其最小外接矩形，將其中的圖像裁剪出來作為感興趣區(qū)域，如圖3(a)所示。本文將感興趣區(qū)域統(tǒng)一按照從上到下、從左到右的順序依次分為64像素×64像素大小的圖像塊，再縮小為32像素×32像素大小的圖像以符合LeNet-5網(wǎng)絡輸入的要求，并把分塊的圖像按順序標上序號，篩選出圖中含有缺陷的部分構(gòu)成有缺陷的數(shù)據(jù)集，不含有缺陷的部分構(gòu)成無缺陷的數(shù)據(jù)集。本文數(shù)據(jù)集的分配見表1。從變換圖像中裁剪得到的缺陷圖如圖3(b)所示，與從原圖像中裁剪的樣本(圖3(c))相比，在圖3(b)中黑色背景部分基本被消除。

圖3 感興趣區(qū)域提取及裁剪過程圖

表1 數(shù)據(jù)集分配表

2 網(wǎng)絡結(jié)構(gòu)

LeNet-5是由Lecun等[18]提出的一種卷積神經(jīng)網(wǎng)絡。它涵蓋了深度學習的基本模塊，包括卷積層、池化層和全連接層。在LeNet-5中，卷積核大小設(shè)置為5像素×5像素，步幅為1，最大池化層的過濾器都設(shè)置為2像素×2像素，步幅為2。LeNet-5網(wǎng)絡的結(jié)構(gòu)如圖4所示。

圖4 LeNet-5網(wǎng)絡結(jié)構(gòu)圖

圖4中，C1是卷積層，可以提取6張28像素×28像素的特征圖；S2是池化層，可以提取6張尺寸為14像素×14像素的特征圖；C3是卷積層，可以提取16張尺寸為10像素×10像素的特征圖；S4是池化層，可以提取16張尺寸為5像素×5像素的特征圖；C5是卷積層，使用的卷積核為1像素×1像素，相當于做了全連接的操作，最終輸出120個1像素×1像素的特征向量；C6表示84個神經(jīng)元的全連接層，輸出層有10個神經(jīng)元。

3 實驗結(jié)果與分析

本文采用Tensorflow-Slim框架在NVIDIA Quadro P2000顯卡上進行訓練，編程語言為python 3.5.2，運行環(huán)境配置包括Tensorflow-GPU 1.11.0、NVIDIA CUDA toolkit 9.0、NVIDIA CUDA deep neural network library (cuDNN) 7.6.4。網(wǎng)絡的性能評價指標為召回率(Recall)、查準率(Precision)和F1值。召回率是指預測正確的正例與總預測正確的樣本的比率，查準率是指預測正確的正例與所有正例的比率，F(xiàn)1值是基于召回率和查準率的調(diào)和平均定義的，可以對召回率和查準率進行整體評價。召回率、查準率和F1值分別由式(3)、(4)和(5)計算[19]。

(3)

(4)

(5)

式中：R為召回率；P為查準率；TP為真正例；FN為假反例；FP為假正例。

實驗中，初始學習率設(shè)置為0.01，衰減方式為多項式衰減，最終學習率設(shè)置為0.000 1，批尺寸設(shè)置為16，迭代次數(shù)設(shè)置為100 000。利用原始樣本和圖像變換后的樣本對LeNet-5進行訓練，選用原始樣本訓練InceptionV3和InceptionResNetV2作為對比網(wǎng)絡，得到的缺陷召回率、查準率和F1值見表2。

表2 圖像分類的召回率、查準率和F1值

從表2中可以看出，與利用原始樣本訓練InceptionV3和InceptionResNetV2相比，LeNet-5網(wǎng)絡能獲得更優(yōu)的性能。原始樣本訓練LeNet-5網(wǎng)絡得到的有缺陷樣本召回率、查準率、F1值和無缺陷樣本查準率均能達到最優(yōu)，但是無缺陷樣本召回率和F1值略低于InceptionResNetV2。與利用原始樣本訓練LeNet-5相比，對于有缺陷樣本，利用圖像變換后的樣本訓練LeNet-5得到的召回率、查準率和F1值分別提高了11.02%、38.6%和25.02%；對于無缺陷樣本，利用圖像變換后的樣本訓練LeNet-5得到的召回率、查準率和F1值分別提高了53.8%、23.8%和38.1%。

4 結(jié)束語

針對環(huán)狀CFRP圖像，本文提出了一種結(jié)合LeNet-5和圖像變換的缺陷檢測新方法。該方法運用圖像分割、目標輪廓跟蹤、圓環(huán)擬合等技術(shù)得到環(huán)狀目標的圓心，然后對原始圖像進行極坐標變換，將環(huán)狀目標拉直，再提取變換后圖像中的感興趣區(qū)域并進行分塊，構(gòu)成LeNet-5網(wǎng)絡訓練和測試的數(shù)據(jù)集，根據(jù)分塊圖像的二分類結(jié)果得知缺陷的局部位置，實現(xiàn)對缺陷的檢測。實驗結(jié)果表明，所提出的方法能有效減少背景圖像的干擾，降低背景對網(wǎng)絡性能的影響，顯著提高缺陷檢測的召回率、查準率和F1值。