鄭兆倫， 魯玉軍

(1.浙江理工大學(xué) 機(jī)械工程學(xué)院， 浙江 杭州 310018； 2.浙江理工大學(xué)龍港研究院， 浙江 溫州 325802)

在紡織品生產(chǎn)過程中，織物表面缺陷嚴(yán)重影響了產(chǎn)品質(zhì)量，因此織物缺陷檢測是紡織行業(yè)中必不可少的一個重要環(huán)節(jié)。目前，大部分工廠仍在采用傳統(tǒng)的人工檢測方法[1]，此方法雖然可以做到即時糾正一些錯誤，但是疲勞會導(dǎo)致不可避免的人為錯誤，并且通常難以檢測到較為微小的織物瑕疵，成功率僅為60%～75%[2]。隨著工業(yè)4.0的推廣，視覺實(shí)時檢測技術(shù)逐漸在織物疵點(diǎn)識別中應(yīng)用。

目前，針對織物疵點(diǎn)檢測主要分為以下4種方法：基于結(jié)構(gòu)的方法、基于統(tǒng)計(jì)的方法、基于頻譜的方法以及基于學(xué)習(xí)的方法[3]?；诮Y(jié)構(gòu)的方法中，周文明等[4]提出視覺顯著性算法，通過選取若干個與其最相似的圖像塊，計(jì)算與該圖像塊的差異值之和，并生成顯著性圖，最后對顯著性圖像進(jìn)行閾值分割得到疵點(diǎn)。Dhivya等[5]在文中使用多尺度輪廓的方法提取邊緣圖，基于提取輪廓的特征由K最鄰近方法(KNN)分類器提取和分類，所得結(jié)果較支持向量機(jī)(SVM)、受限制的玻爾茲曼機(jī)(RBM)和極限學(xué)習(xí)機(jī)(ELM)有更好的性能結(jié)果?；诮y(tǒng)計(jì)的方法中，孫國棟等[6]提出一種基于灰度共生矩陣的反向投影算法，結(jié)合灰度共生矩陣紋理特征提取的特點(diǎn)和反向投影算法突出小物體的特性來獲得疵點(diǎn)。Jing等[7]根據(jù)形態(tài)成分不同分離織物背景和前景，再重新組合獲得去噪后的織物圖像，以確保更精確織物瑕疵定位。何峰等[8]提出窗口跳步形態(tài)學(xué)算法，通過直方圖均值化及設(shè)計(jì)形態(tài)學(xué)核做腐蝕運(yùn)算，快速定位出疵點(diǎn)位置。Jiang等[9]提出了一種區(qū)域Sobel算法，通過Sobel算子進(jìn)行區(qū)域劃分，再對每個區(qū)域采用閾值分割確定疵點(diǎn)?；陬l譜的方法中，顧菁等[10]提出基于小波變換與局部熵的織物疵點(diǎn)檢測方法，先進(jìn)行小波變換，然后分別計(jì)算正常織物和缺陷織物局部熵值，對比二者差值大小，設(shè)定差閾值識別并確定疵點(diǎn)。Li等[11]采用最優(yōu)橢圓Gabor濾波器(EGF)代替Gabor濾波器，并采用隨機(jī)漂移粒子群算法確定最優(yōu)橢圓Gabor濾波器的最優(yōu)參數(shù)，通過卷積的方式分離織物的背景和瑕疵?；趯W(xué)習(xí)的方法中，Qin等[12]在現(xiàn)有的殘差模塊的基礎(chǔ)上，增加一個新的卷積分支，根據(jù)網(wǎng)絡(luò)層數(shù)動態(tài)調(diào)整感受野的大小，從而提出一種新的主干網(wǎng)絡(luò)Hourglass-MRB，較原模型相比織物瑕疵識別率有較大的提升。Li[13]等利用多個帶有多層感知器的微體系結(jié)構(gòu)對網(wǎng)絡(luò)進(jìn)行優(yōu)化，微體系結(jié)構(gòu)的主要組成部分采用多尺度分析、濾波器因子分解、多位置池化和參數(shù)約簡等技術(shù)構(gòu)建，以提高緊湊模型中的檢測精度，證實(shí)所提出的網(wǎng)絡(luò)模型尺寸更小且檢測精度更高。

以上針對紋理織物缺陷檢測的算法，對缺陷與背景對比度較高，以及織物圖量較大時有較好的檢測效果，但對缺陷與背景對比度較低且織物圖量有限時檢測效果并不理想。針對上述問題，本文選用不同對比度的缺陷織物作為研究對象，利用織物背景和不同缺陷的差異性，采用基于奇異值分解的雙算法織物缺陷檢測技術(shù)，以期在織物缺陷與背景對比度較低時生成較優(yōu)的檢測效果圖。

1 織物缺陷分類和算法檢測流程

1.1 織物缺陷分類

本文根據(jù)織物缺陷特點(diǎn)從總體上把織物缺陷分為2類：洞形缺陷和線形缺陷，并通過織物缺陷處圖像灰度方差值的大小來判定其屬于何種缺陷。如圖1(a)所示，該缺經(jīng)織物圖處的缺陷較窄，通過計(jì)算可得缺陷處的方差值較大，該缺陷被判為線形缺陷。當(dāng)缺經(jīng)織物圖處的缺陷足夠?qū)挄r，如圖1(b)所示，其缺陷處的方差值則較小，此時可以判定該缺陷為洞形缺陷。

圖1 缺經(jīng)織物缺陷圖片F(xiàn)ig.1 Picture of fabric with warp defect. (a) Linear defect; (b) Hole shape defect

綜上所述，通過定量的方式來劃分織物缺陷類型，可以很好的解決現(xiàn)有疵點(diǎn)的形態(tài)與尺寸變化范圍較大而難以劃分類別的難題。

1.2 基于奇異值分解的雙算法流程

本文所用測試圖像來自天池布匹缺陷數(shù)據(jù)庫，圖像像素大小為2 560×1 920。本文采用像素大小為256×256的窗口對采集到的圖像進(jìn)行分割，利用多線程操作提高圖片處理速率，效果較好。示例圖像如圖2所示。

圖2 示例圖像Fig.2 Sample images. (a) Linear defect; (b) Hole shape defect

分割后的圖像作為輸入圖像，其處理流程如圖3所示。

圖3 算法流程圖Fig.3 Algorithm flow chart

第1步，對輸入的灰度圖像進(jìn)行奇異值分解，計(jì)算出輸入圖像特征值和特征向量，選取若干項(xiàng)組成特征值圖像；

第2步，用原圖像與特征值圖像做布爾差集運(yùn)算模糊圖像背景區(qū)域獲得差值圖；

第3步，采用均值濾波以及直方圖均值化增強(qiáng)缺陷區(qū)域和背景區(qū)域之間的對比度；

第4步，通過設(shè)定方差閾值的方式初步確定織物缺陷的位置；

第5步，采用形態(tài)學(xué)開運(yùn)算和膨脹運(yùn)算消除噪聲點(diǎn)干擾并擴(kuò)大缺陷區(qū)域；

第6步，通過判斷形態(tài)學(xué)處理之后缺陷面積區(qū)域是否大于閾值，是則證明此為洞形缺陷，確定其位置并令圖像編號i′=i+1，否則進(jìn)行水平和垂直方差計(jì)算并判斷方差是否大于閾值，是則證明此為線形缺陷，確定缺陷位置并令圖像編號i′=i+1，否則證明此為正?？椢锊⒘顖D像編號i′=i+1；

第7步，判斷圖像編號是否滿足i>n，是則說明所有缺陷已經(jīng)檢測完畢，結(jié)束檢測，否則選取圖像編號i進(jìn)行檢測。

2 基于奇異值分解的雙算法檢測

2.1 奇異值分解及布爾差集運(yùn)算

數(shù)字圖像數(shù)據(jù)可以用矩陣來表示，因此可以采用矩陣?yán)碚摵途仃囁惴▽?shù)字圖像進(jìn)行分析和處理。在織物圖片中存在大量相似紋理，由于需要檢測的是面積較小的織物缺陷，因此這些紋理在圖像處理中被視為冗余信息，在檢測時應(yīng)盡可能過濾以減小對檢測結(jié)果的影響。奇異值分解可以針對任意形態(tài)的矩陣作特征值分解，本文采用此方法過濾冗余信息，奇異值分解如式(1)所示。

(1)

(2)

圖4(a)為輸入缺陷原圖，分別為洞形缺陷和線形缺陷，對輸入圖像進(jìn)行奇異值分解后，取前4項(xiàng)特征值和特征向量組成特征值圖，效果如圖4(b)所示，可以看出洞形缺陷的織物背景和織物缺陷能較好的分離，而線形缺陷分離效果較差，這是由于線形缺陷圖片中織物缺陷面積較大，對特征值和特征向量產(chǎn)生了較大的影響，致使不能很好的分離缺陷和背景。通過把分離獲得的特征值圖和織物原圖做布爾差集運(yùn)算得到差值圖，其效果如圖4(c)所示。

注：1—洞形缺陷織物；2—線形缺陷織物。圖4 原圖與特征值圖布爾差集運(yùn)算Fig.4 Boolean difference set operation between original graph and eigenvalue graph. (a) Defects in original image; (b) Defect eigenvalue diagram; (c) Defect difference chart

2.2 均值濾波及直方圖均值化

均值濾波是典型的線性濾波算法，其原理如式(3)所示。式中，g(x,y)是原像素；I(x,y)是相鄰像素，即用模板中像素的平均值來代替原來像素值。差值圖進(jìn)行均值濾波的目的是消除缺陷位置的噪聲點(diǎn)，使缺陷更加平滑，如圖5(a)所示。

注：1—洞形缺陷織物；2—線形缺陷織物。圖5 均值濾波及直方圖均值化Fig.5 Mean filtering and histogram averaging. (a) Defect mean filtering; (b) Histogram averaging

(3)

直方圖均衡化又稱直方圖平坦化，實(shí)質(zhì)上是對圖像進(jìn)行非線性拉伸，重新分配圖像像元值，使一定灰度范圍內(nèi)像元值的數(shù)量大致相等，讓原來直方圖中間的峰頂部分對比度得到增強(qiáng)，而兩側(cè)的谷底部分對比度降低，使輸出圖像的直方圖變成一個較平的分段直方圖，產(chǎn)生粗略分類的視覺效果。對均值濾波之后的圖像進(jìn)行直方圖均值化使得織物背景區(qū)域的灰度方差值增大，而缺陷區(qū)域灰度方差值不變，效果如圖5(b)所示。

由圖5(b)可知，經(jīng)過均值濾波和直方圖均值化后，洞形缺陷織物中缺陷部分的灰度值方差與背景部分灰度值方差相比有較大的差距，而對于線形缺陷，其差值圖效果較差，所以在均值濾波和直方圖均值化后缺陷和背景沒有被很好的劃分，難以從處理后的圖片中采用灰度值方差的方式確定缺陷位置。

2.3 方差閾值濾波

把經(jīng)過均值濾波和直方圖均值化的圖像進(jìn)行方差閾值濾波，可以初步確定缺陷位置，濾波原理如式(4)、(5)所示。

(4)

(5)

(6)

式中，lij為執(zhí)行方差濾波的濾波核，其根據(jù)洞形缺陷的特點(diǎn)，設(shè)計(jì)為的十字形，如圖6所示，此核的設(shè)計(jì)方式不僅能有效去除噪聲點(diǎn)的干擾并且能較大限度地保留缺陷區(qū)域。

圖6 方差閾值濾波核Fig.6 Variance threshold filter kernel

為提高方差濾波的魯棒性，本文采用全圖比例方差值來確定方差閾值，即在計(jì)算出整張圖片像素方差值S2后，將該值乘以方差比例系數(shù)k，所得結(jié)果作為方差閾值。由于本文研究對象為具有紋理的織物，其背景區(qū)域方差值遠(yuǎn)大于缺陷區(qū)域方差值，即缺陷區(qū)域具有小方差值的特點(diǎn)，因此本文選用k=5%作為方差閾值濾波的比例系數(shù)。通過動態(tài)方差閾值濾波的方式，能夠使缺陷的提取具有較好的適應(yīng)性。

在設(shè)定參數(shù)后，首先將構(gòu)造的濾波核遍歷均值化圖像后得到方差值圖，再通過設(shè)置方差閾值的方式，去除灰度方差值較大的背景區(qū)域，最終保留下灰度方差值較小的缺陷區(qū)域，其效果如圖7所示。

圖7 方差閾值濾波Fig.7 Variance threshold filtering.(a) Linear defect;(b) Hole shape defects

2.4 形態(tài)學(xué)處理

形態(tài)學(xué)處理是利用數(shù)學(xué)形態(tài)學(xué)對分割后的織物圖像進(jìn)行背景修正，用于從圖像中提取對表達(dá)和描繪區(qū)域形狀有意義的圖像分量，使后續(xù)的識別工作能夠抓住目標(biāo)對象最為本質(zhì)的形狀特征?；具\(yùn)算有腐蝕、膨脹、開運(yùn)算和閉運(yùn)算，膨脹和腐蝕運(yùn)算原理如圖8所示。

圖8 膨脹和腐蝕運(yùn)算原理圖Fig.8 Schematic of expansion and corrosion operations. (a) Erosion operation; (b) Dilation operation

圖中A為需要處理的圖像，B為處理圖像的核。膨脹為求局部最大值的操作，即核B與圖形卷積，計(jì)算核B覆蓋的區(qū)域的像素點(diǎn)的最大值，并把這個最大值賦值給參考點(diǎn)指定的像素，其作用是填充分割后疵點(diǎn)圖像的邊緣凹陷、內(nèi)部溝槽等。腐蝕則是求局部最小值的操作，用于消融疵點(diǎn)圖像的邊界點(diǎn)，將小于結(jié)構(gòu)元素的雜散疵點(diǎn)圖像去掉，例如毛刺、孤立點(diǎn)凸角等。

開運(yùn)算是先腐蝕后膨脹，其作用是去掉某些疵點(diǎn)圖像邊緣毛刺和孤立點(diǎn)、銳化角的同時也使其邊緣平滑。閉運(yùn)算是先膨脹后腐蝕，其作用填平疵點(diǎn)圖像內(nèi)部細(xì)小溝槽的同時也去掉了某些邊緣雜散點(diǎn)[15]。

由圖7可知洞形缺陷方差閾值濾波之后缺陷位置比較明顯，但還存在噪聲點(diǎn)的干擾，為此先采用形態(tài)學(xué)開運(yùn)算去除較小的噪聲點(diǎn)，再使用膨脹運(yùn)算擴(kuò)大缺陷面積，其效果如圖9所示。

注：1—洞形缺陷織物；2—線形缺陷織物。圖9 形態(tài)學(xué)處理Fig.9 Morphological processing. (a) Defect opening operation; (b) Defect expansion operation

2.5 面積閾值判別

由圖9(b)可知經(jīng)過形態(tài)學(xué)處理之后的圖片噪聲點(diǎn)干擾已經(jīng)大幅度降低，洞形缺陷中存在著織物缺陷區(qū)域和少量噪聲點(diǎn)，而對于線形缺陷而言，形態(tài)學(xué)處理之后僅含有少量的噪聲點(diǎn)。根據(jù)此特征來判斷洞形缺陷和線形缺陷類別，其步驟為：1)計(jì)算洞形缺陷和線形缺陷的最大連通域面積；2)判斷最大連通域面積是否大于設(shè)定面積閾值，大于則判定為洞形缺陷，小于則判定為線形缺陷或正?？椢?。

2.5.1 洞形缺陷

當(dāng)判定為洞形缺陷后需進(jìn)一步確定缺陷位置和消除噪聲點(diǎn)的干擾，本文提出的判定依據(jù)，如式(7)所示。

(7)

式中:DI為連通域I；SI為區(qū)域I的面積；SMAX為所有連通域中最大面積；k為面積比例系數(shù)。首先計(jì)算所有連通域面積DI，再依次判定連通域面積SI是否大于設(shè)定面積閾值SMAX×k，當(dāng)SI大于SMAX×k時，判定其為缺陷，反之將此連通域面積判定為噪聲點(diǎn)。由于洞形缺陷通常具有缺陷集中且面積大小相似的特點(diǎn)，因此本文點(diǎn)選取k=0.8作為洞形缺陷面積比例系數(shù)。除去噪聲點(diǎn)的干擾后，在原圖中標(biāo)定二值圖中所檢測到的缺陷位置，以驗(yàn)證其準(zhǔn)確性，效果如圖10所示。

圖10 洞形缺陷檢測結(jié)果Fig.10 Detection results of hole defects. (a) Area threshold filtering; (b) Defect original drawing verification

2.5.2 線形缺陷及正?？椢?/p>

當(dāng)最大連通域面積小于設(shè)定閾值時，僅能夠確定其為非洞形缺陷，既可能為線形缺陷，也可能為正?？椢铮蓤D9(b)可知上述算法不能很好地檢測出線形缺陷，但在線形缺陷特征圖中缺陷區(qū)域和背景區(qū)域有著明顯差別，如圖11所示。可以看出在特征值圖11(b)中，織物背景區(qū)域處保留著紋理特征，而缺陷區(qū)域處存在著灰度值相似的線形，對于正常織物而言，因不存在缺陷，則整幅圖像為較清晰的紋理特征。

注：1—緯紗缺陷；2—經(jīng)紗缺陷；3—正常織物。圖11 線形缺陷與正?？椢锾卣髦祱D對比Fig.11 Linear defects are compared with the eigenvalue diagrams of normal fabrics. (a) Original image; (b) Eigenvalue image

基于上述特征可以區(qū)分出正?？椢锖途€形缺陷，其步驟為：1)分別計(jì)算特征值圖像水平方向和垂直方向的方差值、方差均值及存儲最小方差值；2)通過對比水平方向和垂直方向的最小方差值大小，較小的方差值方向?yàn)槿毕莘较颍?)確定方向后，用該方向的方差均值與最小方差值做差，通過設(shè)定差閾值的方式來判斷是否為缺陷圖像，如果差值大于閾值證明圖像為線形缺陷，小于閾值則為正?？椢飯D像；4)如果確定為線形缺陷，則選取最小方差值的k倍作為閾值來確定缺陷位置，判定方法如公式(8)所示。

(8)

注：1—緯紗缺陷；2—經(jīng)紗缺陷；3—正?？椢铩D12 線形缺陷和正常織物方差閾值濾波結(jié)果Fig.12 Linear defects and normal fabric variance threshold filtering results. (a) Eigenvalue image of fabric; (b) Image of variance threshold filtering

從圖12可知，在經(jīng)過方差閾值濾波之后，經(jīng)、緯紗缺陷位置在方差閾值濾波圖中被準(zhǔn)確定位，而在正?？椢飯D像中由于背景灰度方差值大于所設(shè)定的閾值，所以濾波圖灰度值為0。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文算法的可行性，實(shí)驗(yàn)選用常見織物缺陷圖像作為樣本。其中包含破洞、毛洞、擦洞、缺經(jīng)、缺緯、粗緯等十幾種缺陷，共250幅。織物圖像像素大小均為256×256。本文實(shí)驗(yàn)中所檢測的算法是在Opencv環(huán)境下實(shí)現(xiàn)的，并在搭載 Intel Core i7處理器的Win10操作系統(tǒng)計(jì)算機(jī)上進(jìn)行。

為對比算法效果，本文選用文獻(xiàn)[1]所述的加權(quán)中值濾波K-means算法、文獻(xiàn)[8]所述的窗口跳步形態(tài)學(xué)法進(jìn)行對比，隨機(jī)選取5種典型洞形缺陷和線形缺陷檢測效果，3種織物缺陷檢測算法準(zhǔn)確率和平均耗時參數(shù)如表1所示。

表1 3種織物缺陷算法比較Tab.1 Comparison of three fabric defect algorithms

圖13、14分別示出洞形缺陷和線形缺陷的部分檢測圖。為了更好地表示出織物缺陷位置，本文將算法檢測出的織物缺陷位置在輸入織物原圖上用方框標(biāo)記突出顯示，如圖13(e)和圖14(e)所示。

注:1～5分別為5種典型洞形缺陷織物。圖13 洞形缺陷對比圖Fig.13 Comparison diagram of hole defects. (a) Original image; (b) Method of reference [1]; (c) Method of reference[8]; (d) Method of this paper; (e) Detection results of this paper

注:1～5分別為5種典型線形缺陷織物。圖14 線形缺陷對比圖Fig.14 Linear defect comparison diagram. (a) Original image; (b) Method of reference [1]; (c) Method of reference[8]; (d) Method of this paper; (e) Detection results of this paper

從表1可知，文獻(xiàn)[1]和文獻(xiàn)[8]在洞形缺陷檢測上準(zhǔn)確率分別為80.2%和75.8%，而在線形缺陷檢測上僅有34.3%和27.5%。文獻(xiàn)[1]首先通過加權(quán)中值濾波模糊織物背景的同時使得織物缺陷處灰度值相等，然后通過K-means算法得出分割閾值，最后通過閾值分割背景和疵點(diǎn)，從圖13(b)所展示的檢測結(jié)果可知此算法對于洞形缺陷分割效果較好，尤其是疵點(diǎn)和背景灰度值相差較大的情況下，但對于織物缺陷處灰度值和背景灰度值相近，此算法則很難獲得一個較好的閾值來劃分背景和疵點(diǎn)，這一點(diǎn)對于對比度不高且缺陷分散的線形缺陷更加明顯，如圖14(b)所示，只有當(dāng)線形缺陷和背景灰度值相差較大時才有較好的分割效果。文獻(xiàn)[8]則是通過迭代法獲取二值化閾值，然后通過形態(tài)學(xué)處理的方式來模糊背景并突出織物缺陷區(qū)域，此算法在洞形缺陷有較好的分割能力，但同樣難以檢測出背景和疵點(diǎn)對比度不高的缺陷。在線形缺陷中，由于缺陷狹長且灰度值與背景相似，此算法所設(shè)計(jì)的十字形態(tài)學(xué)核在進(jìn)行卷積運(yùn)算時會把缺陷同背景一起腐蝕，如圖14(c)第1組所示，缺陷位置因?yàn)楹捅尘盎叶戎迪嗨茖?dǎo)致最后獲得的檢測圖未包含織物缺陷。

本文針對洞形缺陷特征圖及線形缺陷特征值圖特性，設(shè)計(jì)出雙算法進(jìn)行檢測，在檢測洞形缺陷和線形缺陷中的準(zhǔn)確率分別為91.8%和83.5%，平均耗時為0.83 s，相比于其他2種方法，本算法耗時稍高于其他2種算法，此問題可以通過對算法進(jìn)行優(yōu)化或者提升硬件條件等方法來減少檢測時間。但在疵點(diǎn)檢測準(zhǔn)確率上，本文算法明顯高于其它兩種算法，證明此算法能有效地檢測出高對比度、低對比度、線形及洞形缺陷，能有效地去除噪聲點(diǎn)的干擾，正確地標(biāo)定出織物缺陷區(qū)域，檢測效果最好。

4 結(jié) 論

本文針對常見的洞形缺陷和線形缺陷圖像特征進(jìn)行研究，提出了基于奇異值分解的雙算法織物檢測的方法。利用奇異值分解和布爾差集運(yùn)算模糊織物圖像背景區(qū)域并凸顯織物缺陷區(qū)域；再通過均值濾波、直方圖均值化、方差閾值濾波及形態(tài)學(xué)運(yùn)算消除圖像噪聲點(diǎn)干擾初步獲得缺陷區(qū)域；最后用面積閾值和水平、垂直方向方差的方式區(qū)分線形缺陷、洞形缺陷及正常織物和確定缺陷位置。將本文方法得到的疵點(diǎn)檢測效果與其他檢測方法生成的疵點(diǎn)檢測效果圖進(jìn)行比較，本文方法不僅能夠很好地檢測洞形缺陷，而且在線形缺陷上也有很好的表現(xiàn)，解決了不能有效地同時檢測洞形缺陷和線形缺陷的問題。實(shí)驗(yàn)證明了本文算法的有效性和可靠性。