李丑旦 祝雙武 馬阿輝 王世豪 馬曉彤
摘要: 針對于斷紗、缺紗、穿錯、粗紗等這類結(jié)構(gòu)型織物疵點(diǎn),由于其具有灰度跳變不明顯、疵點(diǎn)面積小的特征在疵點(diǎn)檢測過程中難以檢測這一問題,本文結(jié)合織物圖像自身的紋理特征及結(jié)構(gòu)型疵點(diǎn)的方向性特征,創(chuàng)新性地提出基于方向灰度積分曲線特征的織物疵點(diǎn)檢測方法,將二維織物圖像的疵點(diǎn)檢測轉(zhuǎn)化為對一維灰度積分曲線特征的分類識別。該方法通過對輸入的圖像提取垂直水平方向灰度積分波形曲線,并對積分曲線提取了包括平均值、方差、能量等14個波形特征,然后利用可優(yōu)化SVM分類算法對提取特征進(jìn)行疵點(diǎn)判別。通過對漏針、斷紗、并經(jīng)、粗紗等疵點(diǎn)進(jìn)行檢測試驗,結(jié)果表明,本文提出的疵點(diǎn)檢測方法不僅對檢測灰度跳變較小的結(jié)構(gòu)型疵點(diǎn)具有較好的檢測效果,檢測準(zhǔn)確率達(dá)到了94.34%,而且檢測速度快,可以滿足實時檢測的速度要求。
關(guān)鍵詞: 織物紋理特征;結(jié)構(gòu)型疵點(diǎn);方向灰度積分投影;曲線特征;可優(yōu)化SVM;疵點(diǎn)檢測
中圖分類號: TS101.914;TP391
文獻(xiàn)標(biāo)志碼: A
文章編號: 1001-7003(2023)04-0051-10
引用頁碼:
041108
DOI: 10.3969/j.issn.1001-7003.2023.04.008(篇序)
紡織面料外觀質(zhì)量檢測是紡織生產(chǎn)過程中重要工序,直接影響產(chǎn)品的外觀質(zhì)量。傳統(tǒng)外觀質(zhì)量檢測依靠人工完成,具有效率低、速度慢、成本高等缺點(diǎn),隨著科技的發(fā)展及工業(yè)化生產(chǎn)速度的提高,基于圖像處理的織物疵點(diǎn)自動檢測技術(shù)近年來一直是一個重要的研究熱點(diǎn)。大量的學(xué)者提出了不同的織物疵點(diǎn)檢測方法,這些方法概括起來分為結(jié)構(gòu)方法、統(tǒng)計學(xué)方法、頻譜分析方法、模型法、基于學(xué)習(xí)的方法及多種方法結(jié)合的方法[1]。傳統(tǒng)單一的檢測算法在應(yīng)用時都存在一定局限性,如在結(jié)構(gòu)方法中,祝雙武等[2]分析織物的紋理結(jié)構(gòu),利用自相關(guān)函數(shù)提取織物紋理的基元模板,通過紋理基元與模板間的差對疵點(diǎn)進(jìn)行增強(qiáng),再利用方法對計算出的局部不平整度進(jìn)行閾值分割,來檢測織物中的疵點(diǎn)。結(jié)構(gòu)法雖然方法簡單,檢測效率較高,但僅對簡單的、灰度分布均勻的紋理圖案檢測有效。隨著生產(chǎn)技術(shù)逐步提高,紋理的多樣性給基礎(chǔ)紋理特征提取造成了困難。在統(tǒng)計學(xué)方法中,李濤等[3]提出了基于多尺度下結(jié)合LBP和PSO的適用于多種疵點(diǎn)檢測的算法,實現(xiàn)了瑕疵圖像在生產(chǎn)中不宜大量獲取的情況下進(jìn)行檢測的問題。但在統(tǒng)計學(xué)方法中,對圖像灰度共生矩陣的計算量是灰度級的平方,消耗大量的存儲資源和時間,且統(tǒng)計法對于紋理不明顯的織物檢測效率較低,因此在應(yīng)用過程中存在局限。在頻譜分析方法中,Gabor變換是頻譜法中應(yīng)用較多的方法,濾波器對于紋理具有較好的表現(xiàn),因此在針織物和機(jī)織物上都有較好的適用性[4]。如Li等[5]通過將自適應(yīng)參數(shù)與Gabor濾波器相結(jié)合的混合算法,取得了經(jīng)編機(jī)上的良好檢測效果。但由于Gabor需要多尺度多方向上濾波導(dǎo)致計算復(fù)雜度高,對于不同的紋理織物,很難選取合適的Gabor濾波器參數(shù),因此在使用過程中普適性仍有待提高。在模型法中,Hu等[6]通過提取圖像的特征圖,根據(jù)Gumbel分布模型與特征圖中的無缺陷背景紋理相對應(yīng)的像素值分布進(jìn)行建模,以此實現(xiàn)對織物的無監(jiān)督檢測?;谀P偷姆椒ㄈ缱曰貧w和高斯馬爾科夫隨機(jī)場模型[7]雖然對于背景花紋復(fù)雜及重復(fù)性差的織物也能有較好的檢測效果,但計算量大,對于小區(qū)域疵點(diǎn)檢測效果不佳。在基于學(xué)習(xí)的方法中,如目前BP神經(jīng)網(wǎng)絡(luò)[8]、卷積神經(jīng)網(wǎng)絡(luò)[9]、生成對抗網(wǎng)絡(luò)(GAN)[10]、faster R-CNN[11]及YOLOv5[12]等經(jīng)典的深度學(xué)習(xí)算法模型進(jìn)行疵點(diǎn)分類時的準(zhǔn)確率高,但由于是對二維圖像進(jìn)行不斷深層卷積學(xué)習(xí),所以訓(xùn)練參數(shù)多、樣本需求量大、訓(xùn)練耗時長,運(yùn)算數(shù)據(jù)量大,極易陷入過擬合等缺點(diǎn)[13]。在紡織企業(yè)生產(chǎn)過程中,結(jié)構(gòu)型疵點(diǎn)如斷經(jīng)、穿錯、百腳、粗紗等疵點(diǎn)由于與正常無疵點(diǎn)區(qū)域灰度差異和疵點(diǎn)區(qū)域面積都較小,通過傳統(tǒng)的基于灰度的方法很難準(zhǔn)確檢測出來,是織物疵點(diǎn)自動檢測技術(shù)發(fā)展的一個重要難點(diǎn)。這類結(jié)構(gòu)型疵點(diǎn)在織物圖像中產(chǎn)生的灰度跳變小,灰度對比不明顯,但仍會破壞織物的正常紋理,破壞織物圖像位置灰度分布規(guī)律,影響產(chǎn)品的質(zhì)量,產(chǎn)生大量疵點(diǎn)布匹。通過對這類結(jié)構(gòu)型疵點(diǎn)進(jìn)行分析研究,發(fā)現(xiàn)結(jié)構(gòu)型疵點(diǎn)具有明顯方向特征,進(jìn)一步對織物進(jìn)行方向灰度積分投影,疵點(diǎn)區(qū)域會破壞織物灰度積分曲線周期,改變方向灰度積分曲線的規(guī)律,在投影曲線上疵點(diǎn)位置出現(xiàn)明顯突變。
結(jié)合織物紋理重復(fù)性和規(guī)律性的特點(diǎn),本文提出基于灰度積分曲線特征的織物疵點(diǎn)檢測算法研究,并通過提取織物的方向灰度積分曲線特征值,對織物圖像是否存在疵點(diǎn)進(jìn)行判別。算法首先基于織物圖像紋理特征提取織物的方向灰度積分波形數(shù)據(jù);然后通過對提取的方向灰度積分波形數(shù)據(jù)進(jìn)行分析,提取了平均值、方差、能量、均方根等14個波形特征;最后通過可優(yōu)化支持向量機(jī)(Support vector machine,SVM)對提取的特征數(shù)據(jù)進(jìn)行識別分類,來驗證算法的有效性。
1 圖像方向灰度積分曲線及其特征的數(shù)學(xué)描述
1.1 方向灰度積分曲線
灰度積分法作為圖像區(qū)域簡單快速定位算法,是一種常見的圖像處理方法,它是根據(jù)灰度圖像在特定方向上的投影進(jìn)行提取??椢镉山?jīng)紗和緯紗按照一定的規(guī)律排列而成,具有明顯方向周期性,因此對織物圖像進(jìn)行垂直和水平方向的灰度積分,積分曲線能反映出織物的經(jīng)緯紗紋理周期規(guī)律。
當(dāng)織物出現(xiàn)斷紗、缺紗、穿錯時,在織物圖像上會出現(xiàn)一定的方向灰度變化,因其灰度變化具有明顯方向性,這種變化會在水平垂直積分投影值上反映出來。因此可以通過積分投影法,根據(jù)圖像在水平垂直方向上的積分投影分布,將二維圖形疵點(diǎn)檢測轉(zhuǎn)換為對一維灰度積分曲線特征檢測,最終實現(xiàn)對結(jié)構(gòu)型疵點(diǎn)的檢測。通常情況下灰度積分法分為水平積分投影和垂直積分投影,其數(shù)學(xué)定義如下。
對于一幅n行m列的圖像,X(x,y)為圖像在位置(x,y)處的灰度值,則圖像在水平和垂直方向上的灰度積分投影公式如下式所示:
Sh=∑m-1x=0X(x,y)(1)
Sv=∑n-1y=0X(x,y)(2)
式中:Sh和Sv代表水平方向和垂直方向上的灰度積分值。
圖1(a)是采集的織物疵點(diǎn)的圖像,可以看出結(jié)構(gòu)性疵點(diǎn)的灰度跳變較小難以檢測;而圖1(b)是垂直灰度積分曲線,圖1(c)是水平灰度積分曲線。在方向灰度積分曲線中,可以看到正常紋理圖像的灰度積分呈現(xiàn)固定周期波形曲線,而疵點(diǎn)區(qū)域則會破壞積分曲線的規(guī)律,出現(xiàn)波形突變。因此,可以通過對曲線波形特征分析,來檢測疵點(diǎn)是否存在及存在的位置。
1.2 灰度積分曲線波形特征
曲線波形特征能夠準(zhǔn)確描述灰度積分曲線波形能量、峰值、幅值等曲線特征,從前文試驗可知疵點(diǎn)圖像的波形和正常紋理的波形存在明顯差異,因此通過提取灰度積分波形特征,能作為織物疵點(diǎn)的自動識別中的有效特征數(shù)據(jù)。設(shè)某一原始波形數(shù)據(jù)為X=(x1,x2…,xn),波形長度為n,則對該波形數(shù)據(jù)提取的特征及提取方法如下。
1) 平均值。也稱平均數(shù)、均值,是灰度積分曲線的平均,是一組數(shù)據(jù)的重心所在,是統(tǒng)計學(xué)中最基本、最常用的一種平均指標(biāo),如下式所示:
X=1n·∑ni=1xi(3)
2) 方差。方差是在概率論和統(tǒng)計方差衡量隨機(jī)變量或一組數(shù)據(jù)時離散程度的度量,用來度量隨機(jī)變量和其數(shù)學(xué)期望(即均值)之間的偏離程度,是衡量一組數(shù)據(jù)波動大小的重要量,如下式所示:
Xvar=1n∑ni=1(|xi|-X)2(4)
3) 平均幅值。反映方向灰度積分波形的幅值大小,如下式所示:
Xma=1n·∑ni=1|xi|(5)
4) 能量。用來反映方向灰度積分波形能量大小,如下式所示:
Xe=∑ni-1x2i(6)
5) 均方根。又叫有效值,適用于振幅隨著位置變化的疵點(diǎn)診斷,如下式所示:
Xrms=1n·∑ni=1x2i(7)
6) 方根幅值,如下式所示:
Xr=1n·∑ni=1|xi|122(8)
7) 標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差能反映一個方向灰度積分曲線波形數(shù)據(jù)集的離散程度,如下式所示:
Xstd=1n·∑ni=1(xi-X)2(9)
8) 峰值系數(shù),如下式所示:
Cf=Xrms/(xmax-xmin)(10)
式中:xmax為波形數(shù)據(jù)中最大值,xmin為波形數(shù)據(jù)中最小值。
9) 波形系數(shù)。波形系數(shù)表示各種方向灰度積分曲線波形的峰值與有效值之間關(guān)系,如下式所示:
Cs=Xrms/Xma(11)
10) 脈沖因子。脈沖因子是波形數(shù)據(jù)峰值與平均值的比值,用以檢測波形數(shù)據(jù)中是否存在沖擊,如下式所示:
Cif=max(|xi|)/X(12)
11) 裕度因子。裕度因子是波形數(shù)據(jù)峰值與方根幅值的比值,可以用于檢測波形數(shù)據(jù)突變的情況,如下式所示:
Cmf=max(|xi|)/Xr(13)
12) 偏度因子。偏度因子描述波形數(shù)據(jù)的偏斜度、偏態(tài),如下式所示:
Xsf=1n·∑ni=1((|xi|-X)3/X3rms)(14)
13) 峭度,如下式所示:
Ck=1n·∑ni=1x4i(15)
14) 峭度因子。峭度因子是表示波形平緩程度的,用于描述變量的分布,如下式所示:
Ckf=Ck/x4rms(16)
在織物疵點(diǎn)圖像中,存在疵點(diǎn)的區(qū)域由于圖像的局部灰度產(chǎn)生突變,如圖1(b)所示,織物疵點(diǎn)導(dǎo)致疵點(diǎn)區(qū)域的積分曲線形態(tài)與正??椢锓e分曲線形存在明顯差異,曲線形態(tài)變化將導(dǎo)致積分曲線數(shù)據(jù)的重心、離散程度、波形幅值及曲線所包含能量發(fā)生變化。因此通過提取上述14個特征,分別從曲線的重心、離散程度、幅值變化、能量等方面提取曲線數(shù)據(jù)的主要特征,作為曲線突變識別指標(biāo),來實現(xiàn)織物疵點(diǎn)判別。
2 織物圖像預(yù)處理及灰度積分波形提取
2.1 圖像預(yù)處理
由于織物的彈性、機(jī)上張力、相機(jī)安裝位置等因素,采集的織物圖像可能會存在歪斜、變形等現(xiàn)象,如圖2(a)所示。實時采集的織物圖像,由于織物彈性牽拉的作用,使采集的圖像產(chǎn)生歪斜形變,對歪斜的織物圖像提取方向灰度積分曲線如圖2(b)所示。由于圖像歪斜,導(dǎo)致灰度積分曲線也失去規(guī)律的周期特征,因此對織物圖像進(jìn)行歪斜校正,來獲取更好的方向灰度積分曲線是試驗重要的預(yù)處理過程。如圖2(c)所示,是本文采用了Halcon中hom_vector_to_proj_hom_mat2d仿射變換算子對圖2(a)進(jìn)行的歪斜校正效果。通過校正,圖像的灰度積分曲線周期性更加明顯,曲線也更為規(guī)律穩(wěn)定,很好地體現(xiàn)織物的紋理周期特征,矯正后提取的灰度積分波形曲線能很好滿足對波形特征的提取。
2.2 波形數(shù)據(jù)提取及特征數(shù)據(jù)集制作
2.2.1 波形數(shù)據(jù)預(yù)處理
對織物圖像提取方向灰度積分時,由于素色織物灰度變化較小,波形數(shù)據(jù)中出現(xiàn)較多小毛刺,圖像提取的積分曲線中峰值較多,在按照極值提取周期波形時容易受影響。為了消除這種隨機(jī)誤差,提高波形數(shù)據(jù)質(zhì)量,本文針對于織物毛刺問
題,采取窗口大小為5的均值濾波,對提取的數(shù)據(jù)進(jìn)行濾波,消除波形中的毛刺,使曲線數(shù)據(jù)更加平滑。本文采取1×5模板窗口均值濾波器表達(dá)式,如下式所示:
xi=15∑2j=-2xi+j(17)
式中:xi表示濾波后一維波形數(shù)據(jù)在i處的值,xi+j為原始波形數(shù)據(jù)中各個數(shù)據(jù)值。
2.2.2 波形數(shù)據(jù)自適應(yīng)提取及特征數(shù)據(jù)集制作
1) 波形曲線長度控制。在對織物進(jìn)行方向灰度積分曲線投影時,如圖3(a)(d)(g)所示,由于織物圖像具有紋理周期特征,正常織物的積分曲線會表現(xiàn)出固定的周期,而疵點(diǎn)則因破壞織物的結(jié)構(gòu)使積分曲線發(fā)生突變。在提取波形數(shù)據(jù)時,截取的波形長度影響波形的特征值,過長或過短都會降低特征值的有效性。試驗發(fā)現(xiàn),若將整幅圖像的方向灰度積分曲線作為波形特征提取的數(shù)據(jù)源,波形數(shù)據(jù)過長,疵點(diǎn)區(qū)域在整個波形中占比較小,如圖3(b)(e)(h)所示,疵點(diǎn)特征將被平均在整個織物波形曲線中,嚴(yán)重降低疵點(diǎn)特征值的有效性,也達(dá)不到對疵點(diǎn)的具體定位效果。波形過短則其攜帶特征信息不明顯,也會降低波形特征值的提取,如圖3(d)所示織物,其紋理周期較小,導(dǎo)致波形周期長度過短。為了提高曲線特征質(zhì)量本文結(jié)合織物圖像紋理周期性,本文采用自適應(yīng)算法將截取的波形長度控制在20~60個像素單位之間,對于紋理周期不足20的織物,如圖3(d)所示,截取數(shù)倍的紋理周期,將曲線長度控制在20~60個像素單位內(nèi),對波形曲線進(jìn)行周期截取。通過自適應(yīng)截取算法,不僅可以提高疵點(diǎn)區(qū)域特征值質(zhì)量,也可以實現(xiàn)疵點(diǎn)的具體定位。如圖3(c)(f)(i)所示,是通過本文算法所截取圖中的每段波形曲線,正常曲線和疵點(diǎn)曲線具有較明顯差異。
2) 波形曲線完整性控制。進(jìn)行織物周期截取過程中,按照固定周期截取則波形隨著位置變化出現(xiàn)偏移的現(xiàn)象,如圖4(b)(e)所示,可以看出曲線在不斷偏移,這導(dǎo)致截取的波形出現(xiàn)變形,不能很好體現(xiàn)織物周期完整性特征,降低曲線特征值質(zhì)量。因此本文將織物紋理周期和灰度積分曲線極值結(jié)合加入波形的自適應(yīng)截取算法,在織物紋理周期長度閾值范圍內(nèi)尋找極大值進(jìn)行曲線截取。圖4(c)(f)是按照本文設(shè)計的自適應(yīng)截取算法,可以看出波形截取過程中很好地保留了波形周期的完整性,同時疵點(diǎn)區(qū)域的波形和正常區(qū)域波形也有明顯差異,基于本文自適應(yīng)波形截取算法對波形提取特征,將達(dá)到很好的疵點(diǎn)判別效果。
3) 特征數(shù)據(jù)集制作。經(jīng)過圖像的預(yù)處理和對灰度積分?jǐn)?shù)據(jù)濾波及自適應(yīng)截取后,按照波形特征公式提取波形數(shù)據(jù)的特征值,制作成波形數(shù)據(jù)特征值數(shù)據(jù)集用于后續(xù)疵點(diǎn)分類。如表1所示為圖4(c)所示自適應(yīng)截取波形所對應(yīng)的特征值數(shù)據(jù)集,波形序號與圖4(c)所示波形段一一對應(yīng)。
3 基于灰度積分曲線特征的織物疵點(diǎn)檢測算法
本文基于特征值數(shù)據(jù)多維度的特點(diǎn),在疵點(diǎn)分類過程中將采用可優(yōu)化SVM的算法對特征數(shù)據(jù)集進(jìn)行分類測試試驗。試驗設(shè)備為主頻2.20 GHz的Intel(R)Core(TM)i5處理器和
8 GB RAM內(nèi)存的Win10操作系統(tǒng)計算機(jī)。
3.1 疵點(diǎn)檢測算法實現(xiàn)過程
1) 選擇檢測織物圖像,從面料生產(chǎn)廠線上通過高分辨率工業(yè)相機(jī)采集獲取織物圖像,制作織物原圖數(shù)據(jù)集;2) 對織
物原圖通過歪斜校正得到用于提取波形的圖像數(shù)據(jù)集,對圖像數(shù)據(jù)集進(jìn)行方向灰度積分濾波處理生成波形數(shù)據(jù);3) 對波形數(shù)據(jù)通過自適應(yīng)算法進(jìn)行波形截取,按照波形特征值公式提取波形特征值,制作成特征值數(shù)據(jù)集,進(jìn)行標(biāo)簽構(gòu)建,無疵點(diǎn)數(shù)據(jù)標(biāo)記為0,疵點(diǎn)數(shù)據(jù)標(biāo)記為1;4) 用Matlab中可優(yōu)化SVM算子對數(shù)據(jù)集劃分訓(xùn)練集和測試集進(jìn)行訓(xùn)練和測試,并對結(jié)果進(jìn)行分析。
具體算法流程如圖5所示。
3.2 試驗結(jié)果
試驗數(shù)據(jù)集總樣本數(shù)量為1 274條,對應(yīng)織物圖像313張,特征值數(shù)據(jù)集中正常樣本為925條,疵點(diǎn)樣本為349條,測試樣本占據(jù)總樣本的50%,訓(xùn)練樣本占50%。其中包含漏針、粗節(jié)紗、并經(jīng)、排錯、斷紗、織錯等結(jié)構(gòu)型疵點(diǎn),覆蓋針織物、機(jī)織物、素色織物及色織物。如圖6(a)(d)(g)(j)(m)所示分別是這些疵點(diǎn)織物原圖,圖6(b)(e)(h)(k)(n)
所示分別為對應(yīng)織物采用本文算法經(jīng)過預(yù)處理截取的波形曲線,可以明顯看出正常區(qū)域的波形呈現(xiàn)規(guī)律曲線形態(tài),疵點(diǎn)區(qū)域的曲線則呈明顯不規(guī)律曲線形態(tài);而圖6(c)(f)(i)(l)(o)所示分別為對應(yīng)波形特征經(jīng)過可優(yōu)化SVM分類的混淆矩陣圖。從分類結(jié)果來看,本文的算法對這五種織物疵點(diǎn)檢測準(zhǔn)確率分別達(dá)到91.73%、90.34%、90.90%、98.80%、95.60%。
除前文五種織物外,本文還對玻纖電子布等其他不同的織物進(jìn)行了疵點(diǎn)檢測,總的數(shù)據(jù)集為1 274條,試驗總分類結(jié)果如圖7(a)所示,對數(shù)據(jù)集的可優(yōu)化SVM分類算法達(dá)到94.34%的準(zhǔn)確率,試驗結(jié)果證明算法對結(jié)構(gòu)型疵點(diǎn)分類的有效性。
為了進(jìn)一步證明本文可優(yōu)化SVM分類方法的分類性能,本文使用可優(yōu)化SVM、K最鄰近算法(K-NearestNeighbor,KNN)和精細(xì)樹三種分類方法對數(shù)據(jù)集進(jìn)行對比試驗,分類方法結(jié)果如圖7所示。根據(jù)試驗結(jié)果對三種分類算法準(zhǔn)確度對比,KNN和精細(xì)樹分類算法準(zhǔn)確率為90.00%,低于可優(yōu)化SVM準(zhǔn)確率。證明本文選用的可優(yōu)化SVM分類器相比KNN和精細(xì)樹分類算法具有更高的分類準(zhǔn)確度。
為證明本文算法通過提取一維波形數(shù)據(jù)特征對結(jié)構(gòu)性疵點(diǎn)灰度跳變小檢測的有效性,選擇與文獻(xiàn)[14]提取圖像二維灰度共生矩陣特征方法和文獻(xiàn)[15]對圖像進(jìn)行二維PCA-Gabor特征方法進(jìn)行對比試驗,來證明本文將二維圖像疵點(diǎn)檢測轉(zhuǎn)化為一維數(shù)據(jù)特征檢測的創(chuàng)新性及有效性。如圖8(a)(e)(i)是織物原圖,圖8(b)(f)(j)是本文算法處理得到的灰度積分曲線,圖8(c)(g)(k)是文獻(xiàn)[14]方法中對疵點(diǎn)具有最優(yōu)表現(xiàn)的熵特征圖,圖8(d)(h)(l)是文獻(xiàn)[15]方法提取的PCA-Gabor特征圖像。從圖8(d)(g)(h)還可以明顯看出疵點(diǎn)的特征,但從圖8(c)(k)(l)可以看出,文獻(xiàn)的兩種方法對于圖8(a)(i)這一類灰度跳變較小、不明顯的結(jié)構(gòu)型疵點(diǎn)檢測效果較差,導(dǎo)致檢測準(zhǔn)確率較低。除此之外,由于文獻(xiàn)[14]的灰度共生矩陣特征提取需要對二維圖像四個方向進(jìn)行運(yùn)算,計算量大,需要更長的計算時間。如表2所示,通過特征提取效果對比,文獻(xiàn)[14-15]對結(jié)構(gòu)型疵點(diǎn)的特征提取效果不如本文的積分曲線特征明顯,后續(xù)疵點(diǎn)分類效果也較低,這也證明了本文方法對于結(jié)構(gòu)型疵點(diǎn)的有效性。
4 結(jié) 論
本文結(jié)合織物圖像紋理的重復(fù)性、規(guī)律性特征,提出了一種基于方向灰度積分曲線特征的織物疵點(diǎn)檢測方法。通過對織物方向灰度積分進(jìn)行提取,將一維波形特征值應(yīng)用到織物疵點(diǎn)檢測中,來獲取織物灰度積分投影曲線特征值,最后通過可優(yōu)化SVM對所提取的特征值進(jìn)行疵點(diǎn)分類,實現(xiàn)疵點(diǎn)檢測。通過對斷針、斷紗、并經(jīng)、穿錯等疵點(diǎn)圖像進(jìn)行檢測試驗,選擇試驗樣本包括機(jī)織物、針織物,素色、色織部分產(chǎn)品,都取得較好的檢測效果,準(zhǔn)確度達(dá)到了94.34%。試驗結(jié)果證明了該方法對于這類大多數(shù)產(chǎn)品中存在的結(jié)構(gòu)性疵點(diǎn)具有很好的檢測效果,解決了這類疵點(diǎn)因灰度跳變小、面積小難以檢測的問題。另外,由于本文方法只需將二維的圖像信息轉(zhuǎn)化為兩個一維信息進(jìn)行處理,通過降維提高了疵點(diǎn)檢測算法的速度,可以更好地滿足實時在線疵點(diǎn)檢測系統(tǒng)的需求。
參考文獻(xiàn):
[1]NGAN H Y T, PANG G K H, YUNG N H C. Automated fabric defect detection: A review[J]. Image and Vision Computing, 2011, 29(7): 442-458.
[2]祝雙武, 郝重陽, 李鵬陽, 等. 基于紋理結(jié)構(gòu)分析的織物疵點(diǎn)檢測方法[J]. 計算機(jī)應(yīng)用, 2008(3): 647-649.
ZHU Shuangwu, HAO Chongyang, LI Pengyang, et al. Fabric defect detection method based on texture structure analysis[J]. Journal of Computer Applications, 2008(3): 647-649.
[3]李濤, 陳建英, 劉莉. 基于多尺度下 LBP和 PSO的織物瑕疵檢測方法研究[J]. 西南民族大學(xué)學(xué)報(自然科學(xué)版), 2019, 45(1): 66-71.
LI Tao, CHEN Jianying, LIU Li. Defect detection method for silk based on LBP and PSO under pyramids decomposition[J]. Journal of Southwest Minzu University (Natural Science Edition), 2019, 45(1): 66-71.
[4]趙艷, 左保齊. 機(jī)器視覺在織物疵點(diǎn)檢測上的應(yīng)用研究綜述[J]. 計算機(jī)工程與應(yīng)用, 2020, 56(2): 11-17.
ZHAO Yan, ZUO Baoqi. Analysis on application of machine vision in fabric defect detection[J]. Computer Engineering and Applications, 2020, 56(2): 11-17.
[5]LI Y D, ZHANG C. Automated vision system for fabric defect inspection using Gabor filters and PCNN[J]. SpringerPlus, 2016, 5(1): 765.
[6]HU G H, WANG Q H. Fabric defect detection via undecimated wavelet decomposition and gumbel distribution model[J]. Journal of Engineering Fiber and Fabrics, 2018, 13(1): 15-32.
[7]ZHANG Y, JIANG G M, YAO J Z, et al. Intelligent segmentation of jacquard warp-knitted fabric using a multiresolution Markov random field with adaptive weighting in the wavelet domain[J]. Textile Research Journal, 2014, 84(1): 28-39.
[8]劉建立, 左保齊. BP神經(jīng)網(wǎng)絡(luò)在織物疵點(diǎn)識別中的應(yīng)用[J]. 紡織學(xué)報, 2008(9): 43-46.
LIU Jianli, ZUO Baoqi. Application of BP neural network on the identification of fabric defects[J]. Journal of Textile Research, 2008(9): 43-46.
[9]鄭雨婷, 王成群, 陳亮亮, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的織物圖像識別方法研究進(jìn)展[J]. 現(xiàn)代紡織技術(shù), 2022, 20(5): 1-11.
ZHENG Yuting, WANG Chengqun, CHEN Liangliang, et al. Research progress of fabric image processing methods based on convolutional neural network[J]. Advanced Textile Technology, 2022, 20(5): 1-11.
[10]LIU J H, WANG C Y, HAI S, et al. Multistage GAN for fabric defect detection[J]. IEEE Transactions on Image Processing, 2019, 29: 3388-3400.
[11]CHEN M Q, YU L J, ZHI C, et al. Improved faster R-CNN for fabric defect detection based on Gabor filter with Genetic Algorithm optimization[J]. Computers in Industry, 2022, 134: 103551.
[12]顏學(xué)坤, 楚建安. 基于YOLOv5改進(jìn)算法的印花圖案疵點(diǎn)檢測[J]. 電子測量技術(shù), 2022, 45(4): 59-65.
YAN Xuekun, CHU Jianan. Printing pattern defect detection based on improved YOLOv5 algorithm[J]. Electronic Measurement Technology, 222, 45(4): 59-65.
[13]賀智明, 彭亞楠. 基于深度學(xué)習(xí)的織物疵點(diǎn)檢測研究進(jìn)展[J]. 毛紡科技, 2019, 47(8): 83-88.
HE Zhiming, PENG Yanan. Progress in fabric defect detection based on deep learning[J]. Wool Textile Journal, 2019, 47(8): 83-88.
[14]吳哲, 劉孝星, 鄭力新, 等. 基于灰度共生矩陣特征圖像的織物疵點(diǎn)檢測方法[J]. 微型機(jī)與應(yīng)用, 2015, 34(21): 47-50.
WU Zhe, LIU Xiaoxing, ZHENG Lixin, et al. A fabric defect detection method based on gray level co-occurrence matrix feature image[J]. Cyber Security and Date Governance, 2015, 34(21): 47-50.
[15]LI W T, MAO K Z, ZHANG H, et al. Designing compact Gabor filter banks for efficient texture feature extraction[C]//International Conference on Control Automation Robotics & Vision. NH Laguna Palace: IEEE, 2011.
Research on the fabric defect detection algorithm based on the featureof directional gray integral curves
LI Choudan, ZHU Shuangwu, MA Ahui, WANG Shihao, MA Xiaotong
(School of Textile Science and Engineering, Xian Polytechnic University, Xian 710048, China)
Abstract:
Textile fabric appearance quality inspection is an important process in textile production and directly affects the quality of textile and product pricing. In the production process of textile enterprises, structural defects such as broken yarn, lack of yarn, wrong threading, roving yarn and other defects are difficult to be accurately detected through the traditional gray-based method due to the smaller gray difference and defect area compared with the normal non-defect area, which is an important difficulty in the development of automatic detection technology for fabric defects.
In order to solve the problem that structural fabric defects such as broken yarn, missing yarn, wrong threading and roving are difficult to detect, we analyzed and studied these defects and found that the structural defects showed obvious directional characteristics on the image. By conducting directional gray integral projection on the fabric, we found that the period of fabric gray integral curves would be damaged partially in the defect area, and the defect position on the projection curve had a clear mutation. Based on the above studies, we proposed the fabric defect detection algorithm based on the gray integral curve features. By extracting the characteristic values of the gray integral curve in the fabric direction, the two-dimensional fabric image defect detection was transformed into the classification and recognition of the one-dimensional gray integral curve features. In this paper, the vertical and horizontal direction gray integral waveform curves were extracted from the input image, and 14 waveform features including the average value, variance, and energy were extracted from the integral curves, and then the optimizable SVM classification algorithm was used to classify the extraction features. Through the detection experiments on such defects as drop stitch, broken yarn, parallel warp and roving, we draw the conclusion that the proposed method not only has a good detection effect on the structural defects with small gray scale jump, but also has a fast detection speed, which can meet the speed requirements of real-time detection.
In this paper, a fabric defect detection method based on the feature of direction gray integral curves is proposed based on the characteristics of repetitive and regular fabric image texture. The accuracy reaches 94.34% by detecting the images of broken needles, broken yarn, parallel warp and wrong threading. The experimental results show that the proposed method has a good detection effect on structural defects and solves the problems that such defects are difficult to detect due to the small gray scale jump and small area. In addition, since we only need to transform the two-dimensional image information into two one-dimensional information for processing by adopting the proposed method, the speed of the defect detection algorithm can be improved by dimensionality reduction, which can better meet the requirements of the real-time online defect detection system.
Key words:
texture characteristics of fabric; structural defects; directional gray integral projection; characteristic of curve; optimizable SVM; detection of defects
收稿日期:
2022-09-05;
修回日期:
2023-02-22
基金項目:
陜西省教育廳科研計劃項目(18JS042);中國紡織工業(yè)聯(lián)合會科技指導(dǎo)性項目(2019057)
作者簡介:
李丑旦(1997),男,碩士研究生,研究方向為圖像處理、模式識別。通信作者:祝雙武,教授,博士,294082077@qq.com。