齊金龍 張俊峰 戴賢萍 張勁松 胡陟

摘 要：汽車零部件在實際生產(chǎn)過程中，打磨、拋光等各種無法確定的因素會在零部件的表面留下缺陷，從而嚴(yán)重影響車輛的組裝、制造，存在巨大的安全隱患，因此車輛零部件的缺陷檢測十分重要。零部件缺陷檢測已從傳統(tǒng)的手工分類發(fā)展為基于機(jī)器視覺的方法。本文基于卷積神經(jīng)網(wǎng)絡(luò)對VGG16網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，提高了模型對汽車零部件缺陷的檢測精度。首先，改進(jìn)了網(wǎng)絡(luò)模型的全連接層;其次，在模型中引入了AMF-Softmax損失函數(shù)，在達(dá)到更優(yōu)的聚類效果的同時解決了數(shù)據(jù)不平衡問題，最終實現(xiàn)了零部件缺陷的識別與定位。與傳統(tǒng)模型的缺陷檢測效果比較表明，改進(jìn)的VGG16網(wǎng)絡(luò)結(jié)構(gòu)模型測試準(zhǔn)確率可以達(dá)到97.59%，在零部件缺陷檢測方面具有優(yōu)越性。

關(guān)鍵詞： 機(jī)器視覺; 缺陷檢測; 卷積神經(jīng)網(wǎng)絡(luò); VGG16

文章編號： 2095-2163（2021）03-0167-05 中圖分類號： R391.9 文獻(xiàn)標(biāo)志碼： A

【Abstract】 In the actual production process of automobile parts， polishing， polishing and other uncertain factors will leave defects on the surface of the parts， which will seriously affect the assembly and manufacturing of vehicles， and there are huge safety risks， so the defect detection of vehicle parts is very important. Part defect detection has developed from traditional manual classification to machine vision based method. In this paper， the VGG16 network model is improved based on convolutional neural network to improve the detection accuracy of the model for automobile parts defects. Firstly， the full connection layer of the network model is improved. Secondly， AMF-Softmax loss function is introduced into the model， which solves the problem of data imbalance while achieving better clustering effect. Finally， the paper realizes the identification and location of parts defects. Compared with the traditional model， the test accuracy of the improved VGG16 network structure model can reach 97.59%， which has advantages in parts defect detection.

【Key words】 machine vision; defect detection; Convolutional neural network; VGG16

0 引 言

基于機(jī)器視覺的圖像分類是根據(jù)圖像特征使用算法對其進(jìn)行識別，類似于人眼識別的一個過程，車輛零部件的缺陷檢測是圖像分類的一種應(yīng)用。伴隨人工智能技術(shù)的發(fā)展，提供了準(zhǔn)確更高、識別效果更顯著的缺陷檢測識別分類方法。其中，2種最常用的方法是基于機(jī)器學(xué)習(xí)的支持向量機(jī)（SVM）和基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)法（CNN）[1]。

國內(nèi)外利用機(jī)器視覺的方法進(jìn)行缺陷檢測的研究也越來越多，Han等人[2]提出了基于深度學(xué)習(xí)的目標(biāo)檢測算法對輪轂表面缺陷檢測;Liu等人[3]提出了Haar-Weibull-Variance模型，可以對鋼體表面存在的缺陷進(jìn)行檢測;李瑤等人[4]利用CCD攝像機(jī)機(jī)器視覺系統(tǒng)對金屬等工業(yè)生成板材表面進(jìn)行在線缺陷檢測?；跈C(jī)器視覺的檢測已逐步取代人工，大大提高了生產(chǎn)效率，降低了檢測過程中漏檢、錯檢的概率。

目前，在一些汽車制造公司，機(jī)器視覺被廣泛用于檢測車輛裝配過程中的缺陷[5]。首先通過相機(jī)采集待檢測的零部件圖像，進(jìn)行圖像預(yù)處理，再訓(xùn)練處理后的圖像，構(gòu)建信息模板，然后采集目標(biāo)圖像，提取特征，完成匹配。然而，在檢測車輛零部件缺陷上仍然有許多問題，包括零部件形狀大小不一，以及缺陷的種類，面積的各不相同;獲取的汽車零部件圖像結(jié)構(gòu)復(fù)雜，還可能存在諸多不相關(guān)因素，噪聲較大，難以進(jìn)行特征提取。

汽車零部件容易產(chǎn)生缺陷的7個最常見部位包括：前軸左前和中左螺栓、傳動軸、駐車鎖、變速器、專用轉(zhuǎn)向工具、右大燈定位螺栓和減震器。本研究基于VGG16的改進(jìn)模型，選取汽車螺栓為缺陷檢測對象。3種典型的螺栓部件缺陷，即頂部裂紋、中部磨損、底部殘余、無缺陷，如圖1所示。

1 VGG模型

卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的變化關(guān)系是VGG模型的主要研究方向，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，具有以下特點：

（1）該網(wǎng)絡(luò)模型使用3×3的小卷積核作為濾波器，反復(fù)堆疊出一個深度為16～19層的卷積神經(jīng)網(wǎng)絡(luò)。隨著網(wǎng)絡(luò)深度的增加，模型的各方面性能也會隨之提升。

（2）VGG16網(wǎng)絡(luò)結(jié)構(gòu)含有5個卷積段，每段包含2～3個卷積層，對原始圖片進(jìn)行等比例縮放。而原始圖片的大小需要調(diào)整為3×224×224，初始卷積核大小為3×3×3，中間的池化層采用2×2的最大池化函數(shù)進(jìn)行特征降維。

3×3卷積核如圖3所示。由圖3可知，在無中間池化層中，對2個3×3卷積核進(jìn)行堆疊，達(dá)到的效果能夠替代一個5×5卷積核，即單個5×5卷積的輸出與2個3×3卷積級聯(lián)輸出的尺寸完全一樣。除此之外，3個串聯(lián)的3×3卷積層產(chǎn)生的參數(shù)數(shù)量也較少，更少的參數(shù)意味著減少過擬合。最重要的是，3個3×3卷積層具有更多的非線性變換。這樣的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，可以確保CNN具有更強的學(xué)習(xí)功能。VGG模型中都使用了3×3卷積內(nèi)核和2×2池化內(nèi)核，可以通過深化網(wǎng)絡(luò)結(jié)構(gòu)來提高性能。

VGG16各個卷積段中的卷積核輸出數(shù)量依次為：64、128、256、512、512。VGG16模型卷積步驟為：

（1）對2次64個卷積核的卷積進(jìn)行處理，將處理后的結(jié)果進(jìn)行池化。

（2）經(jīng)過2次128個卷積核的卷積，仍然進(jìn)行一次池化。

（3）將結(jié)果經(jīng)過3次256個卷積核的卷積并池化。

（4）還要重復(fù)2次3個512個卷積核卷積[6]。

期間每一次卷積處理都要完成一次池化層，所有處理完成后就是全連接層。在卷積過程中，網(wǎng)絡(luò)中需要處理的參數(shù)量會隨著卷積核數(shù)目的增加而減少。

2 基于VGG16的改進(jìn)模型

為解決檢測目標(biāo)區(qū)域大小不一，圖像缺陷特征提取失敗問題，提升對螺栓零部件的缺陷識別準(zhǔn)確度。本文利用VGG16卷積神經(jīng)網(wǎng)絡(luò)的特性，在其基礎(chǔ)上加以改進(jìn)，可以提高提取螺栓零部件圖像特征和識別精度。

為了提高模型在零部件缺陷檢測的精度，本文在樣本訓(xùn)練過程中，改變固定層的深度，從而達(dá)到對全連接層的改進(jìn)。同時，通過改進(jìn)損失函數(shù)，減少類內(nèi)特征的差異性，解決螺栓零部件數(shù)據(jù)庫不均衡問題。本文基于VGG16設(shè)計的VGG-2CF網(wǎng)絡(luò)，通過增加卷積特性圖中包含信息數(shù)量，從而提高識別能力。

其主要流程如下：

先是采集螺栓零部件數(shù)據(jù)集，挑選出需要識別的類別圖像，作為訓(xùn)練集與測試集使用;由于采集的螺栓零部件圖像中存在較多噪聲，在螺栓圖像進(jìn)行特征提取前，需要進(jìn)行濾波、去噪、增強等預(yù)處理操作; 接著，將整體平均池化后的Conv3和Conv5經(jīng)過L2歸一化方法解決并實現(xiàn)連接;再將改良完成的生成特征圖當(dāng)作ROI池化層的輸入;此后，將ROI池化層的結(jié)果輸入到全連接層;在此基礎(chǔ)上，建立改進(jìn)模型，調(diào)節(jié)超參數(shù);稍后，則由回歸模型得到候選區(qū)中缺陷目標(biāo)的準(zhǔn)確位置，調(diào)節(jié)缺陷區(qū)域的邊界范圍;繼而，將訓(xùn)練改進(jìn)模型;進(jìn)一步地，在分類層中，由改進(jìn)的分類損失函數(shù)對候選邊界范圍內(nèi)的缺陷類別進(jìn)行判斷;最后，使用測試集，測試和驗證模型。

VGG16的預(yù)練模式是通過 ImageNet數(shù)據(jù)庫的1 000個類別圖片集訓(xùn)練，可以對1 000個類進(jìn)行分類。本研究以 VGG16為基礎(chǔ)，對螺栓零件缺陷的圖像數(shù)據(jù)進(jìn)行分類，需要用4個標(biāo)簽 softmax分類層來替換原網(wǎng)絡(luò)上的分類層，同時用 ReLU 作為一個激活函數(shù)。

全連接層改進(jìn)步驟如下：全連接層層數(shù)和單元數(shù)確定，VGG16全連接層為固定的3層結(jié)構(gòu)，即：4 096×4 096×4;對全連接層進(jìn)行改進(jìn)，目標(biāo)是將全連接層設(shè)定為2層，網(wǎng)絡(luò)層結(jié)構(gòu)為a×4，其中a為首層單元數(shù)，分別設(shè)a為512，1 024，2 048，3 069，4 096;對第2層全連接層的超參數(shù)進(jìn)行設(shè)定，第2層全連接層結(jié)構(gòu)為4 096×b×4，其中b為第2層單元數(shù)，此時分別設(shè)定b為0，100，1 024和2 048，當(dāng)?shù)?層單元層設(shè)定為0時，收斂最快而且穩(wěn)定。由以上得出最佳的全連接網(wǎng)絡(luò)層為4 096×4。

VGG-2CF網(wǎng)絡(luò)設(shè)計，首先將VGG的Conv3輸出圖像通過2次濾波，調(diào)整為2×2整體平均池化;其次，Conv3和Conv5通過L2歸一化方法設(shè)置;最終，通過歸一化方法連接Conv3與Conv5的輸出特征，并且構(gòu)建特征圖。改進(jìn)的VGG-2CF和VGG的共用卷積層，有效降低了計算開銷，大大提高了網(wǎng)絡(luò)收斂有效性和缺陷的識別精度。

2.1 ReLU非線性激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中數(shù)據(jù)間的關(guān)系通常為非線性關(guān)系，本研究使用ReLU作為激活功能，來提高網(wǎng)絡(luò)的表征能力。當(dāng)輸入值小于零時，輸出值為零。如果輸入大于或等于零，則輸出等于輸入。當(dāng)輸入值為正時，導(dǎo)數(shù)為1。其定義可寫為：

在訓(xùn)練網(wǎng)絡(luò)時，與Sigmoid函數(shù)相比，ReLU函數(shù)的優(yōu)勢在于：網(wǎng)絡(luò)的收斂速度要快得多;只需要一個閾值即可獲取激活值;不會對模型的泛化準(zhǔn)確性產(chǎn)生重大影響。

2.2 基于AM-Softmax的改進(jìn)損失函數(shù)

損失函數(shù)表示實際和期望值二者間的偏離度，可以促進(jìn)模型的學(xué)習(xí)。

Softmax是對神經(jīng)網(wǎng)絡(luò)獲得的多個值進(jìn)行歸一化處理，值在[0，1]之間。交叉熵?fù)p失計算公式可寫為：

Softmax總樣本的丟失公式可進(jìn)一步表示為：

由于螺栓零部件數(shù)據(jù)集各個類別的樣本數(shù)目相差大，數(shù)據(jù)不平衡，使用Softmax函數(shù)導(dǎo)致識別準(zhǔn)確度不高。由于螺栓零部件數(shù)據(jù)集各個類別的樣本數(shù)目相差大，缺陷特征類間差異性較小，及類內(nèi)差異較大以及數(shù)據(jù)不平衡問題，使用Softmax函數(shù)導(dǎo)致識別準(zhǔn)確度不足和分類錯誤，因此Softmax損失函數(shù)不適用螺栓零部件檢測。

為了減小缺陷識別的差錯率，本文引入AM-Softmax損失函數(shù)。具體計算公式如下：

由于螺栓零部件圖像中，各個缺陷之間的差異較小，缺陷種類的樣本數(shù)據(jù)不均衡等問題，本文在AM-Softmax損失函數(shù)中加入F-measure，構(gòu)建成AMF-Softmax損失函數(shù)[7]。F-measure表示為查全率與準(zhǔn)確率的折衷均值，當(dāng)?shù)螖?shù)為n時，得到的計算公式為：

AMF-Softmax損失函數(shù)有效抑制了訓(xùn)練效率的降低和圖像信息的遺漏。相應(yīng)數(shù)學(xué)公式為：

由于F（n）measure對損失函數(shù)帶來的影響，即使得在FasterR-CNN訓(xùn)練中，可以降低RPN輸出的目標(biāo)區(qū)域特征與其相契合特征間的距離，增加類間特征間的不同，網(wǎng)絡(luò)能夠進(jìn)一步提高待識別區(qū)域的目標(biāo)缺陷的分類準(zhǔn)確率。

3 實驗分析

3.1 實驗環(huán)境

本文的實驗環(huán)境是Python3.5，使用TensorFlow框架完成對零部件的特征提取、參數(shù)設(shè)置與網(wǎng)絡(luò)訓(xùn)練等。

3.2 實驗數(shù)據(jù)

本文的零部件缺陷數(shù)據(jù)來源于汽車生產(chǎn)線，包括4種缺陷，分別是：頂部裂紋、中部磨損、底部殘余、無缺陷。

每一種采集樣本照片600張，總共2 400張原始圖片，訓(xùn)練集每種500張，總共2 000張;測試集每種100張，總共400張。因為深度學(xué)習(xí)的樣本數(shù)量不足會出現(xiàn)過擬合，必須有足夠數(shù)量的樣本，方可確保識別的準(zhǔn)確率。為了減小過擬合對樣本采集增加難度，本文通過翻轉(zhuǎn)、縮放、色度調(diào)整等手段處理圖片，從而增加了樣本照片的數(shù)量。

圖像旋轉(zhuǎn)的常用方法是順時針旋轉(zhuǎn)圖像的中心，當(dāng)平面繞圓心旋轉(zhuǎn)270°時，平面上像素的坐標(biāo)將發(fā)生變化。旋轉(zhuǎn)前的坐標(biāo)見式（8）：

無論是水平，還是垂直鏡像變換，圖像的高度和寬度都不會改變。經(jīng)過一定的數(shù)據(jù)擴(kuò)充后，增加了30 000張圖片，總共有32 400張。這里的正樣本有15 600張，負(fù)樣本有16 800張。測試時訓(xùn)練數(shù)據(jù)量與測試數(shù)據(jù)量設(shè)置為8∶2，即25 920張進(jìn)行訓(xùn)練，6 480張圖像進(jìn)行測試。訓(xùn)練數(shù)據(jù)庫中的25 920張圖片，又包括訓(xùn)練集和驗證集。數(shù)據(jù)擴(kuò)充后的樣本圖像如圖4所示。

由于輸出圖像較為粗糙，背景還有多處小的噪點，要從圖片中提取出目標(biāo)物體，后續(xù)還要進(jìn)行開運算及二值化處理，這樣能夠顯著提高模型預(yù)測的精度。經(jīng)處理后的清晰目標(biāo)物體照片如圖5所示。

經(jīng)過圖像預(yù)處理后，改進(jìn)的VGG16模型經(jīng)過訓(xùn)練測試后得到多個缺陷圖片的檢測結(jié)果，如圖6所示。

3.3 結(jié)果分析

在改進(jìn)的模型上對訓(xùn)練集進(jìn)行訓(xùn)練，再對訓(xùn)練好的模型進(jìn)行測試，通過測試集檢驗改進(jìn)的模型準(zhǔn)確率。訓(xùn)練集通過SF-VGG卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了200次訓(xùn)練后，改進(jìn)的VGG16網(wǎng)絡(luò)模型訓(xùn)練以及測試時準(zhǔn)確和損失率的變化關(guān)系分別如圖7、圖8所示。其中，綠色曲線表示訓(xùn)練集，紅色曲線表示測試集。

由圖7、圖8可以看出，無論是訓(xùn)練集、還是測試集，改進(jìn)的VGG16的準(zhǔn)確率都是整體上升的趨勢，損失率都是整體下降的趨勢。因為測試集的數(shù)據(jù)小于訓(xùn)練集，曲線有所波動，但準(zhǔn)確率和損失率都能夠達(dá)到要求。

在此基礎(chǔ)上，研究得到的改進(jìn)模型和傳統(tǒng)模型的準(zhǔn)確率對比值見表1。由表1可知，改進(jìn)的VGG16網(wǎng)絡(luò)模型對于螺栓零部件圖像分類在訓(xùn)練集上的準(zhǔn)確率可以達(dá)到98.78%，測試集的精度為97.59%。而傳統(tǒng)SVM方法對汽車零部件的缺陷檢測的準(zhǔn)確率只有83.10%，未改進(jìn)的VGG16網(wǎng)絡(luò)模型對汽車零部件的缺陷檢測和識別的準(zhǔn)確度為95.26%。這表明改進(jìn)的VGG16網(wǎng)絡(luò)結(jié)構(gòu)比傳統(tǒng)的分類方法具有更高的識別率和魯棒性，提高了網(wǎng)絡(luò)模型的檢測效率和準(zhǔn)確性，可以對汽車零部件的缺陷進(jìn)行有效的檢測和分類。同時，改進(jìn)的VGG16網(wǎng)絡(luò)提取方法易于實現(xiàn)，訓(xùn)練方法簡單，計算復(fù)雜度低。

4 結(jié)束語

本文提出一種改進(jìn)的VGG16模型來解決汽車零部件的缺陷檢測問題?；贏M-Softmax的改進(jìn)損失函數(shù)，結(jié)合F-measure指標(biāo)，增大類間特征的差異性，對待檢測物體缺陷區(qū)域進(jìn)行正確分類，提高缺陷識別精度。在VGG16基礎(chǔ)上重新設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)，增強特征圖像的信息量，提高對較小目標(biāo)區(qū)域的識別能力。改進(jìn)的VGG16網(wǎng)絡(luò)模型，測試集精度從93.25%提高到97.59%，識別精度大大提高。本文只針對車輛螺栓零部件的4種類別缺陷進(jìn)行了識別和檢測，將來有必要增加零部件和缺陷種類，考慮由于光照、遮擋和圖像不清晰等諸多因素所造成的識別準(zhǔn)確率不高的問題，嘗試使用更多改進(jìn)模型，進(jìn)一步提高缺陷檢測的效果。

參考文獻(xiàn)

[1] ???吳鵬， 李婷， 仝沖，等. 基于OCC模型和LSTM模型的財經(jīng)微博文本情感分類研究[J]. 情報學(xué)報， 2020，39（1）：81-89.

[2] HAN Kai， SUN Muyi， ZHOU Xiaoguang， et al. A new method in wheel hub surface defect detection： Object detection algorithm based on deep learning[C]//2017 International Conference on Advanced Mechatronic Systems. Xiamen， China： IEEE， 2017：335-338.

[3] LIU Kun， WANG Heying， QU Erqing， et al. Steel surface defect detection using a new Haar-Weibull-Variance model in unsupervised manner[J]. IEEE Transactions on Instrumentation and Measurement， 2017， 66（10）： 2585-2596.

[4] 李瑤， 王快社， 劉長瑞. 金屬板材表面缺陷檢測發(fā)展現(xiàn)狀[J]. 材料導(dǎo)報， 2011， 25（2）：238-241.

[5] 傅文軍. 基于5G機(jī)器視覺實現(xiàn)某品牌汽車零部件AI缺陷質(zhì)檢案例[J]. 中國儀器儀表， 2020， 348（3）：24-26.

[6] 田佳鷺， 鄧立國. 基于改進(jìn)VGG16的猴子圖像分類方法[J]. 微型機(jī)與應(yīng)用， 2020， 39（5）：6-11.

[7] 吉衛(wèi)喜， 杜猛， 彭威，等. 基于改進(jìn)的Faster R-CNN的齒輪外觀缺陷識別研究[J]. 系統(tǒng)仿真學(xué)報， 2019， 31（11）：24-31.