田洪志 王東興 林建鋼 劉兆財 陳麒麟

摘 ?要： 針對沖壓件沖孔缺陷檢測和識別存在效率低、準(zhǔn)確度不高、勞動強(qiáng)度大的缺點，提出一種基于機(jī)器視覺的沖孔缺陷檢測與識別方法。首先，對圖像進(jìn)行固定閾值分割轉(zhuǎn)換為二值圖像，利用形態(tài)學(xué)處理的開閉運算對圖像進(jìn)行預(yù)處理去除噪聲，通過計算每一個區(qū)域的圓形度識別沖孔的個數(shù)，檢測零件是否合格;其次，對不合格沖壓件圖像根據(jù)最小外接圓的圓心進(jìn)行平移變換，利用差異度和基于圖像金字塔的粗精兩次匹配進(jìn)行循環(huán)旋轉(zhuǎn)變換匹配，對差異圖像通過形態(tài)學(xué)處理和最小外接矩形的寬長比特征參數(shù)進(jìn)行缺陷識別。實驗結(jié)果表明，該檢測系統(tǒng)能夠準(zhǔn)確地檢測沖壓件的沖孔缺陷和識別沖壓件的沖孔缺陷類型。

關(guān)鍵詞： 沖壓件; 缺陷檢測; 缺陷識別; 固定閾值分割; 圖像預(yù)處理; 噪聲去除

中圖分類號： TN911.73?34; TH166 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）23?0035?04

Abstract： In allusion to the shortcomings of detection and recognition of punching defect on punching parts， such as low efficiency， low accuracy and high labor intensity， a method of punching defect detection and identification based on machine vision is proposed. The image is segmented by fixed threshold and converted into a binary image. The image is preprocessed to remove noise by using the opening and closing operation of the morphological processing. The number of punched holes is identified by calculating the circularity of each area to detect whether the parts are qualified， and then the translation transformation is executed for the image of the unqualified stampings according to the center of the minimum circumscribed circle. The cyclic rotation transformation matching is performed by diversity factor and the coarse?to?fine matching based on image pyramid， and defect recognition of difference image is conducted by morphological processing and width?to?length ratio feature parameters of minimum circumscribed rectangle. The experimental results show that the detection system can accurately detect the punching defects of the stamping parts and identify the types of punching defects of the stamping parts.

Keywords： punching part; defect detection; defect recognition; fixed threshold segmentation; image pre?processing; noise removal

0 ?引 ?言

隨著生產(chǎn)企業(yè)對提高沖壓件產(chǎn)品生產(chǎn)率的要求越來越高，沖壓件的質(zhì)量檢測作為生產(chǎn)過程中重要的一環(huán)，需要達(dá)到速度快、精度高的要求。如今，大部分沖壓件的缺陷檢測還處在人工檢測的階段，特別地，小尺寸沖壓件缺陷比較細(xì)微，人工目測檢查存在效率低、準(zhǔn)確性不高、實時性差、勞動強(qiáng)度大的缺點，實現(xiàn)沖壓件缺陷檢測的自動化迫在眉睫[1]。

機(jī)器視覺作為人眼的替代品能夠從圖像中提取信息，進(jìn)行處理并加以理解，最終用于檢測、測量和控制。而且機(jī)器視覺可以提高生產(chǎn)的柔性和自動化程度，具有速度快、效率高、精度高的優(yōu)點，如今廣泛應(yīng)用于現(xiàn)代加工制造業(yè)[2]。

目前，國內(nèi)外學(xué)者對機(jī)器視覺應(yīng)用于沖壓件缺陷檢測進(jìn)行了一系列的研究，比如文獻(xiàn)[3]提出了一種基于雙打光模板匹配的沖壓件表面缺陷檢測方法，采用邊緣提取、旋轉(zhuǎn)定位、填充、模板匹配及缺陷提取等方法進(jìn)行處理;文獻(xiàn)[4]提出一種基于多模板匹配的方式對工件快速定位;文獻(xiàn)[5]采用水平集算法結(jié)合應(yīng)用模型Chan?Vese提取零件模型，然后采用圖像不變矩中的hu矩算法和面積匹配算法檢驗零件是否合格;文獻(xiàn)[6]以零件形狀模板進(jìn)行匹配定位，通過增強(qiáng)圖像邊緣灰度值梯度突出邊緣缺陷，結(jié)合單位方向向量迭代法與鄰域灰度值方法分割零件邊緣缺陷。上述研究都取得了一定的成果。

本文針對小尺寸沖壓件的沖孔缺陷，利用圓形度的方法檢測沖壓件沖孔缺陷，并對不合格件根據(jù)其形狀特點通過基于圖像金字塔的最小外接圓和差異度的粗精兩次模板匹配方法識別缺陷種類。首先，對小尺寸沖壓件采集圖像，轉(zhuǎn)換為二值圖像并進(jìn)行形態(tài)學(xué)預(yù)處理;其次，計算每一個區(qū)域的圓形度與閾值作比較識別沖孔的個數(shù)，從而檢測沖壓件是否合格;最后，利用基于圖像金字塔的最小外接圓和差異度的粗精兩次模板匹配識別缺陷種類，采用此方式從低分辨率開始由粗到精、由上到下搜索，能夠大大減少匹配的時間，具有檢測速度快、準(zhǔn)確度高的優(yōu)點。

1 ?沖孔缺陷類型

在沖壓件的加工過程中，由于沖孔模具的損壞、沖孔時坯料走樣和外部環(huán)境的影響，主要會造成兩種類型的沖孔缺陷：孔形漏打、孔形缺省。由于沖壓件本身的尺寸比較小，因此兩種類型的沖孔缺陷不易檢測與識別。本文采用背向照明的圖像采集方式[7]，采集的兩種沖孔缺陷示意圖如圖1所示。

2 ?檢測方法

檢測算法流程如圖2所示。首先，對采集到的沖壓件圖像進(jìn)行預(yù)處理，包括閾值分割、形態(tài)學(xué)處理，為后續(xù)的缺陷檢測和識別做準(zhǔn)備;其次，通過計算各孔洞區(qū)域的圓形度進(jìn)行沖孔缺陷檢測;最后，通過基于最小外接圓和差異度進(jìn)行循環(huán)模板匹配，對匹配后的差異圖像利用最小外接矩形的寬長比特征參數(shù)來識別沖孔缺陷類型。

2.1 ?預(yù)處理

對于采集到的沖壓件圖像，首先需要進(jìn)行一系列的預(yù)處理操作才能更好地進(jìn)行缺陷檢測和類型識別。預(yù)處理具體過程如下：首先對采集的沖壓件灰度圖像通過固定閾值分割轉(zhuǎn)換為二值圖像，提取出感興趣區(qū)域;對二值圖像進(jìn)行開、閉運算的形態(tài)學(xué)處理，去除噪聲。圖像預(yù)處理結(jié)果如圖3所示。

2.1.1 ?閾值分割

閾值分割法因其實現(xiàn)簡單、計算量小、性能穩(wěn)定的優(yōu)點，在圖像處理中被看作最簡單的圖像分割方式，是一種基于區(qū)域的圖像分割技術(shù)[8]。本文通過背光拍攝的沖壓件圖像灰度值分布為兩極化，背景與沖壓件區(qū)域之間灰度值差別較大，如圖3a）所示，故選用固定閾值分割的操作方法給定確定的閾值，將每個像素的灰度值與閾值相比，將圖像的數(shù)據(jù)分成兩部分，大于閾值的像素群和小于閾值的像素群。閾值分割后的二值化圖像如圖3b）所示。

2.1.2 ?形態(tài)學(xué)處理

閾值分割后的二值化圖像存在噪聲干擾，會影響后續(xù)的缺陷檢測和識別，因此需要進(jìn)行去噪處理。本文對二值化圖像先進(jìn)行開運算再進(jìn)行閉運算，去除二值化圖像中的噪聲。

1） 對沖壓件圖像進(jìn)行開運算（先腐蝕后膨脹），消除圖像背景中的噪聲;

2） 對沖壓件圖像進(jìn)行閉運算（先膨脹后腐蝕），消除沖壓件表面圖像中的噪聲[9]。

形態(tài)學(xué)處理后的二值化圖像如圖3c）所示。

2.2 ?缺陷檢測

對沖壓件圖像預(yù)處理之后，利用圓形度的方法進(jìn)行缺陷檢測。圓形度作為圖像處理中的重要概念，常用于特征的識別與提取，圓形度計算公式如式（1）所示：

[e=4πsc2] ?（1）

式中：[s]為圖形的面積;[c]為圖形的周長[10]。當(dāng)一個圖形越接近于圓形，其圓形度的值[11]越接近于1。通過計算預(yù)處理后圖像中各個區(qū)域的圓形度，與閾值比較得到?jīng)_孔的個數(shù)，根據(jù)其個數(shù)完成沖壓件沖孔缺陷的檢測。沖壓件圖像檢測效果圖如圖4所示。

2.3 ?缺陷類型識別

對沖壓件產(chǎn)品進(jìn)行缺陷檢測之后，通過模板匹配和最小外接矩形的寬長比特征參數(shù)識別缺陷類型，過程如下：首先，依據(jù)外輪廓的最小外接圓和差異度進(jìn)行基于圖像金字塔模板的仿射變換[12];其次，根據(jù)不同類型缺陷的最小外接矩形寬長比特征參數(shù)的不同，將其識別。

2.3.1 ?基于圖像金字塔的粗精兩次模板匹配

圖像金字塔是簡單有效的多分辨率圖像處理結(jié)構(gòu)，一個圖像金字塔是分辨率逐個降低的圖像集合。金字塔的最底層是高分辨率圖像，最高層是低分辨率圖像，在高層時圖像雖然分辨率降低、尺寸減小，但仍然保留著部分特征，所以利用高層圖像進(jìn)行特征匹配能夠減少運算量，大幅提高效率，使得圖像金字塔在機(jī)器視覺中廣泛應(yīng)用。本文為提高匹配效率，結(jié)合沖壓件的形狀特征，使用基于差異度的圖像金字塔進(jìn)行加速。由兩個步驟組成：將圖像降采樣到選定層，利用縮小后的待檢測圖像和模板進(jìn)行粗匹配，得到粗匹配角度;對原始圖像和模板在粗匹配角度[-1，1]的范圍內(nèi)進(jìn)行精匹配，得到準(zhǔn)確匹配角度。

沖壓件產(chǎn)品的模板匹配具體過程如下：

1） 取模板圖像和待檢測圖像的第3層圖像[Q3]和[P3]，分割其外圍輪廓，并尋找外圍輪廓的最小外接圓，獲得最小外接圓的圓心，依據(jù)[Q3]和[P3]外圍輪廓最小外接圓的兩點圓心對待檢測圖像進(jìn)行平移變換，平移變換的效果圖如圖5b）所示。

2） 以平移變換后的[Q3]最小外接圓的圓心為旋轉(zhuǎn)中心進(jìn)行粗循環(huán)旋轉(zhuǎn)變換。這里將粗匹配循環(huán)旋轉(zhuǎn)變換中每次變換的角度設(shè)為1°，粗匹配范圍為[0°，180°]，然后根據(jù)差異度求得最適合的粗匹配角度[k]。由于本文實驗對象的外輪廓并非圓形，所以將模板圖像和待檢測圖像的外輪廓異或差異圖像面積與模板圖像外輪廓面積比值作為差異度，將差異度最小時的旋轉(zhuǎn)角度作為最終的粗匹配角度。差異度公式如式（2）所示：

[γ=AA1] ? （2）

式中：[A]為模板圖像和待檢測圖像的外輪廓異或圖像面積;[A1]為模板圖像外輪廓圖像面積。

3） 取模板圖像和待檢測圖像第0層圖像[Q0]和[P0]，根據(jù)步驟2）得到的粗匹配角度進(jìn)行精匹配，具體操作如下：以[Q0]最小外接圓的圓心為旋轉(zhuǎn)中心進(jìn)行精旋轉(zhuǎn)變換，這里將精匹配循環(huán)旋轉(zhuǎn)變換中每次變換的角度設(shè)為0.1°，精匹配范圍為[[k-1，k+1]]，找出差異度最小的旋轉(zhuǎn)角度[t]作為最終的精匹配角度。旋轉(zhuǎn)變換的效果圖如圖5c）所示。

2.3.2 ?特征識別分類

通過基于最小外接圓圓心和旋轉(zhuǎn)角度[t]的模板匹配之后，兩種類型缺陷的匹配差異效果如圖6所示。

對匹配后的差異效果圖進(jìn)行開、閉運算的形態(tài)學(xué)處理，去除干擾噪聲，將孔洞差異突顯，然后依據(jù)各區(qū)域最小外接矩形的寬長比進(jìn)行缺陷類型的識別。由實驗可知，孔形漏打缺陷相較于孔形缺省缺陷的寬長比更接近于1，設(shè)定閾值能夠準(zhǔn)確地將兩種缺陷類型識別出來。

3 ?實驗與結(jié)果

缺陷檢測程序在Visual Studio 2017的環(huán)境下開發(fā)，用來控制系統(tǒng)的運行和檢測結(jié)果的輸出，結(jié)合OpenCV對沖壓件圖像進(jìn)行處理。

將采集到的沖壓件圖像傳輸?shù)接嬎銠C(jī)上進(jìn)行處理，得到每個沖壓件的檢測結(jié)果。其中圓形度[e1>]0.86時，則認(rèn)為該零件為合格件，否則認(rèn)為是不合格件，并對不合格件進(jìn)行缺陷類型識別，其中最小外接矩形的寬長比[e2>]0.97時缺陷為孔形漏打類型。取100個沖壓件零件作為實驗對象，通過實驗，得到了實驗樣品的檢測結(jié)果如表1所示，不合格件缺陷類型識別結(jié)果如表2所示。

由表1可知，對于合格沖壓件檢測的準(zhǔn)確率為92%，對于不合格沖壓件檢測的準(zhǔn)確率為98%。由表2可知，對于孔形漏打類型的不合格件識別準(zhǔn)確率為100%，對于孔形缺省類型的不合格件識別準(zhǔn)確率為96%。由此可知該系統(tǒng)檢測過程穩(wěn)定，能夠保證較高的檢測和識別準(zhǔn)確率。

另外，在工業(yè)生產(chǎn)過程中，檢測時間也是考察一個檢測系統(tǒng)是否合格的指標(biāo)，通過實驗可知，對于合格產(chǎn)品的平均檢測時間為0.031 s，對于不合格產(chǎn)品檢測和識別的平均檢測時間為0.252 s，能夠滿足工業(yè)生產(chǎn)的要求。

4 ?結(jié) ?語

本文針對小尺寸沖壓件的沖孔缺陷，提出了運用圓形度對小尺寸沖壓件沖孔缺陷進(jìn)行檢測，并利用最小外接圓和差異度循環(huán)旋轉(zhuǎn)的模板匹配對缺陷進(jìn)行識別。首先，采集小尺寸沖壓件圖像，對灰度圖像進(jìn)行固定閾值分割，并將其轉(zhuǎn)換為二值圖像，利用形態(tài)學(xué)處理的開閉運算對圖像進(jìn)行預(yù)處理去除噪聲，通過計算每一個輪廓區(qū)域的圓形度并與閾值比較，識別沖孔的個數(shù)，從而檢測零件是否合格;其次，對不合格沖壓件圖像根據(jù)外輪廓的最小外接圓圓心進(jìn)行平移變換，利用差異度和基于圖像金字塔的粗精兩次匹配進(jìn)行循環(huán)旋轉(zhuǎn)變換匹配，對匹配后的差異圖像通過最小外接矩形的寬長比特征參數(shù)進(jìn)行缺陷識別。能夠準(zhǔn)確地檢測出不合格產(chǎn)品，并對不合格產(chǎn)品進(jìn)行類型識別，具有檢測效率高、準(zhǔn)確性高的優(yōu)點。

注：本文通訊作者為王東興。

參考文獻(xiàn)

[1] 湯勃，孔建益，伍世虔.機(jī)器視覺表面缺陷檢測綜述[J].中國圖象圖形學(xué)報，2017，22（12）：1640?1663.

[2] 尹仕斌，任永杰，劉濤，等.機(jī)器視覺技術(shù)在現(xiàn)代汽車制造中的應(yīng)用綜述[J].光學(xué)學(xué)報，2018，38（8）：11?22.

[3] 李松，周亞同，張忠偉，等.基于雙打光模板匹配的沖壓件表面缺陷檢測[J].鍛壓技術(shù)，2018，43（11）：137?145.

[4] 陳廣鋒，管觀洋，魏鑫.基于機(jī)器視覺的沖壓件表面缺陷在線檢測研究[J].激光與光電子進(jìn)展，2018，55（1）：341?347.

[5] 陳海永，李澤楠，孫鶴旭，等.異形沖壓件輪廓視覺檢測系統(tǒng)設(shè)計[J].光學(xué)精密工程，2016，24（10）：229?236.

[6] 劉建春，林海森，黃勇杰，等.基于機(jī)器視覺的金屬邊緣細(xì)微缺陷檢測方法的研究[J].制造技術(shù)與機(jī)床，2018（11）：148?151.

[7] 李永敬，朱萍玉，孫孝鵬，等.基于形狀模板匹配的沖壓件外形缺陷檢測算法研究[J].廣州大學(xué)學(xué)報（自然科學(xué)版），2017（5）：66?70.

[8] 陳海進(jìn)，陳偉.一種X射線圖像白點噪聲去除算法[J].現(xiàn)代電子技術(shù)，2018，41（18）：96?98.

[9] 趙俊冉，王東興，冷惠文，等.基于機(jī)器視覺的玻璃磨邊缺陷檢測[J].煙臺大學(xué)學(xué)報（自然科學(xué)與工程版），2017，30（4）：298?304.

[10] 龔中良，楊張鵬，梁力，等.基于機(jī)器視覺的柑橘表面缺陷檢測[J].江蘇農(nóng)業(yè)科學(xué)，2019，47（7）：236?239.

[11] 羅時光.基于機(jī)器視覺的玻璃瓶口缺陷檢測方法[J].包裝工程，2018，39（3）：183?187.

[12] 毛星云.OpenCV3編程入門[M].北京：電子工業(yè)出版社，2015.