狄 嵐， 楊 達(dá)， 梁久禎， 馬明寅

(1. 江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院， 江蘇 無(wú)錫 214122； 2. 道路交通安全公安部重點(diǎn)實(shí)驗(yàn)室， 江蘇 無(wú)錫 214151；3. 常州大學(xué) 信息科學(xué)與工程學(xué)院， 江蘇 常州 213164)

織物圖案和瑕疵的多樣性是瑕疵檢測(cè)中的關(guān)鍵難題。紡織品瑕疵檢測(cè)的方法主要分為3類:統(tǒng)計(jì)的方法、光譜和模型的方法。統(tǒng)計(jì)法使用像素點(diǎn)的統(tǒng)計(jì)特征來(lái)對(duì)比圖像灰度完成疵點(diǎn)檢測(cè)。統(tǒng)計(jì)法包括分形法[1-2]、共生矩陣法[3-5]、形態(tài)學(xué)法[6-7]。該方法雖然簡(jiǎn)便快速，但易受到噪聲的影響，對(duì)于不規(guī)則紋理的織物檢測(cè)率較低。其中應(yīng)用最廣泛的是光譜的方法，所用到的方法主要包括小波變換[8-10]、傅里葉變換[11]、Gabor濾波變換[12-14]。光譜法的核心作用是將在空間域中很難分離的織物紋理轉(zhuǎn)為變換域進(jìn)行濾波，或以無(wú)瑕圖像為樣本使用最優(yōu)化理論完成對(duì)瑕疵圖像的重建?？椢锛y理通常由隨機(jī)和規(guī)則紋理組合而成，織物紋理的結(jié)構(gòu)與分布特性可以使用建模的方法進(jìn)行表現(xiàn)。一般假設(shè)某種模型可以表現(xiàn)該紋理的特點(diǎn)，模型法通過(guò)對(duì)無(wú)瑕圖像訓(xùn)練得出該模型的參數(shù)值，根據(jù)計(jì)算得到的模型檢查待檢測(cè)織物圖像是否符合計(jì)算得到的模型，若不符合則其為瑕疵圖像。模型法主要包括自回歸模型[15-17]、Markov隨機(jī)場(chǎng)模型[18-19]等。

針對(duì)含有較復(fù)雜圖案的織物，紀(jì)旋等人提出了基于模板校正與低秩分解的紡織品瑕疵檢測(cè)方法[20]。Ngan等提出了小波預(yù)處理黃金圖像相減的方法(WGIS)[21]。而布林帶法(BB)[22],正則帶法(RB)[23],圖像分解(ID)[24]，棋盤法(ER)[25]等方法都是手工提取子圖像模板，但由于瑕疵類型的多樣性，使得手工確定的模板檢測(cè)的準(zhǔn)確率難以預(yù)測(cè)。WGIS、ER等方法對(duì)面積較小的紡織品瑕疵檢測(cè)效果不佳，ID方法的查全率較低。

本文使用了一種自適應(yīng)模板提取方法[26]，避免了手動(dòng)提取模板造成的影響，提出了基于自適應(yīng)分割與Gabor濾波的織物瑕疵檢測(cè)方法。首先將具有周期性質(zhì)的織物圖像自適應(yīng)分割成單元格，并使用圖元分割獲取圖像單元晶格，通過(guò)Gabor濾波器獲取每個(gè)晶格的特征，完成疵點(diǎn)的檢測(cè)操作。根據(jù)每個(gè)濾波器獲取到特征信息的Manhattan距離，建立理想晶格，當(dāng)做晶格相似關(guān)系對(duì)比的參考。將織物疵點(diǎn)檢測(cè)問(wèn)題轉(zhuǎn)化為基于參考晶格的曼哈頓距離表示的格子相似性估計(jì)問(wèn)題。

針對(duì)傳統(tǒng)算法通過(guò)多個(gè)濾波器構(gòu)成的Gabor濾波器組的局限性，本文采用了只有4個(gè)濾波器的小型Gabor濾波器組進(jìn)行特征提取，并提出了降低尺寸與增強(qiáng)濾波器特征信息的方法。把瑕疵檢測(cè)問(wèn)題轉(zhuǎn)變成晶格間相似性的對(duì)比，提出一種閾值分割方法。根據(jù)圖元分割方法，確定單位格子，提升單位格的相關(guān)性，解決星形圖和盒形圖瑕疵問(wèn)題時(shí)，體現(xiàn)出優(yōu)異的檢測(cè)結(jié)果，提高了檢測(cè)的精度。

1 圖元分割與Gabor濾波瑕疵檢測(cè)

1.1 單位周期模板確定

由于晶格間鄰域信息的相關(guān)性很高，如果可以確定織物圖案的周期，即可利用其鄰域相關(guān)性對(duì)織物進(jìn)行檢測(cè)。對(duì)于具有周期性質(zhì)的有圖案織物圖像I，通過(guò)使用損失函數(shù)f來(lái)獲取理想晶格圖案尺寸。

(r*,c*)=Argminf(r,c)

(1)

從圖像中選取一個(gè)模板尺寸為r×c的晶格，當(dāng)所有晶格與灰度均值矩陣中相應(yīng)的像素的灰度值標(biāo)準(zhǔn)差之和最小時(shí)，求取理想的晶格圖案尺寸(r*,c*)。f(r,c)定義為

(2)

其中S2(i,j)為晶格內(nèi)方差，定義為

(3)

(4)

晶格高度標(biāo)準(zhǔn)差取極小值為21,42,63，晶格寬度標(biāo)準(zhǔn)差取極小值為16,33,49。由于圖案具有周期性質(zhì)，當(dāng)所求晶格標(biāo)準(zhǔn)差達(dá)到最小時(shí)，得到理想晶格尺寸為21像素×16像素，如圖1所示。

圖1 獲得圖像單位模板大小Fig.1 Get image unit template size.(a)Sample image; (b)Split image

1.2 圖元分割

紡織品圖案的基本組成單位是lattice。圖2示出星狀圖的圖元分割。如果檢測(cè)單元是lattice,塊級(jí)算法則會(huì)判定全部圖像晶格均是瑕疵，顯然圖2(c)的右半部分和圖2(d)的下半部分是沒(méi)有瑕疵的。

針對(duì)以上問(wèn)題，提出了圖形元素進(jìn)行分割的算法，把m×n大小的lattice分割為4個(gè)圖像基礎(chǔ)單元，I定義為

(5)

圖2 星狀圖的圖元分割Fig.2 Segmentation of star images. (a)Upper left primitive;(b)Upper right primitive; (c)Lower left primitive;(d)Lower right primitive

所有單元晶格可分為4個(gè)圖元，圖元仍是具有周期性的圖像。

1.3 Gabor濾波器組進(jìn)行特征提取

圖3 Gabor 濾波器卷積投影Fig.3 Gabor filter convolution project

通過(guò)Gabor濾波器的虛部使每個(gè)圖元晶格進(jìn)行卷積，虛部定義為

(6)

(7)

式中：k為Gabor的尺寸,像素；g為g(m,n|s,θ)；mθ與nθ取值均為45°；Gi,j|s,θ=⊕xGi,j(x|s,θ),其中?表示向量進(jìn)行串聯(lián)操作，例如：t1=[3,5],t2=[7,9],t1?t2=[3,5,7,9]。針對(duì)特征Gi,j(x|s,θ)量化晶格特征信息間差異的局限性，提出一種基于能量Ei,j和幅值A(chǔ)i,j的特征向量νi,j。定義如下：

(8)

1.4 用于表示晶格相似性的特征向量距離

圖4 全部晶格卷積后的特征向量Fig.4 Characteristic vector after different latiice convolution

根據(jù)一行中的每個(gè)晶格，求出其和所在行中剩余晶格的曼哈頓距離來(lái)研究Gi,j|s,θ的差異，存儲(chǔ)在距離矩陣Di|s,θ

(9)

式中，M(Gi,j,Gi,j+1)表示Gi,j與Gi,j+1的曼哈頓距離，i,s和θ都是常數(shù)

(10)

(11)

i=1,2,…|Sh|}

μd和σd分別表示d的平均值和標(biāo)準(zhǔn)差。

(12)

最終求得所有νi,j與ν*的曼哈頓距離,并將其排列為矩陣D中索引為i和j的元素如下所示

Di,j=M(νi,j,ν*)

(13)

1.5 基于晶格特征向量距離的相似度分析

D中距離的信息反應(yīng)了晶格的相似度，對(duì)于無(wú)瑕圖像，D是稀疏的，因此D的極大值d*可用作判定瑕疵晶格的閾值上限。當(dāng)d*

(14)

D的特征如大于閾值t1或t2，則標(biāo)記為瑕疵晶格，如果均大于二個(gè)閾值，t1作為評(píng)估指標(biāo)，因?yàn)閠1可以客觀的反映出紋理之間的不同。

1.6 算法描述

本文算法步驟描述如下：

步驟1:對(duì)無(wú)瑕圖像進(jìn)行自動(dòng)分割，并對(duì)其進(jìn)行圖元分割，得到n個(gè)圖元Bi(i=1,2,…,n)。

步驟2:將不同尺度和方向的Gabor濾波器和圖元晶格卷積，降維映射為G。

步驟3:基于G的能量和幅值，如式(8)所示,計(jì)算晶格的特征向量v。

步驟4:針對(duì)每一個(gè)晶格中的特征向量，如式(9)所示,求出每行不同格子間的曼哈頓距離，用距離矩陣D來(lái)存放，并找到每一行的理想?yún)⒖季Ц瘛?/p>

步驟5:求出每行中所有晶格與理想?yún)⒖季Ц耖g特征向量的曼哈頓距離，并用特征矩陣D來(lái)表示,如式(13)所示。

步驟6:求出特征矩陣D的直方特征圖，由直方特征圖求得t1和t2。

步驟7:特征矩陣D中Di,j>t的晶格判定為瑕疵晶格。

2 實(shí)驗(yàn)結(jié)果及其分析

本文實(shí)驗(yàn)使用由香港電氣與電子工程系工業(yè)自動(dòng)化研究實(shí)驗(yàn)室提供的數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)共包含106幅為256像素×256像素的24位的紡織品圖像和106幅手工標(biāo)定的瑕疵基準(zhǔn)圖。數(shù)據(jù)庫(kù)含有箱形和星形2種類型的織物圖像，箱形圖織物數(shù)據(jù)庫(kù)包含26幅瑕疵圖和30幅無(wú)瑕疵圖像。星形圖織物數(shù)據(jù)庫(kù)包含20幅瑕疵圖和20幅無(wú)瑕疵圖像。每種圖案包含4種瑕疵類型：斷端、破洞、細(xì)條紋、粗條紋。其中斷端疵由于經(jīng)紗斷裂造成紡織品寬度上缺少經(jīng)紗，細(xì)條紋疵表現(xiàn)為細(xì)小帶狀疵點(diǎn)，粗條紋疵表現(xiàn)為寬大帶狀疵點(diǎn)。將本文算法與WGIS(黃金圖像相減法),RB(規(guī)則帶法),ER(Elo評(píng)分方法),BB(布林帶法)進(jìn)行對(duì)比。定義MTPR為查全率評(píng)價(jià)指標(biāo)，表示瑕疵基準(zhǔn)圖中的瑕疵像素點(diǎn)被正確識(shí)別的比例。MFPR為誤檢率，表示瑕疵基準(zhǔn)圖中的瑕疵像素點(diǎn)被錯(cuò)誤識(shí)別的比例。MPPV為查準(zhǔn)率，表示算法識(shí)別的瑕疵在瑕疵基準(zhǔn)圖中所占比例。MNPV為陰性預(yù)測(cè)指標(biāo)，表示算法識(shí)別的背景在瑕疵基準(zhǔn)圖中所占的比例。定義f值為檢測(cè)結(jié)果分析的參考指標(biāo)。計(jì)算方式如下：

(15)

(16)

(17)

(18)

(19)

式中：MTP為手工標(biāo)記的瑕疵與檢測(cè)結(jié)果瑕疵相同的部分；MFP為手工標(biāo)記的瑕疵而漏檢的部分；MTN表示手工標(biāo)記的無(wú)瑕區(qū)域與檢測(cè)結(jié)果的無(wú)瑕區(qū)域相同的部分；MFN表示手工標(biāo)記的無(wú)瑕而漏檢的部分；f值表示查準(zhǔn)率與查全率的幾何加權(quán)平均值；α值為1，表示手工標(biāo)記為無(wú)瑕區(qū)域卻被誤檢的部分增加時(shí)其檢測(cè)結(jié)果不同，f值會(huì)減少。

2.1 星狀圖不同算法對(duì)比

本文算法和BB,RB,WGIS,ER 5種算法對(duì)星狀圖中的斷端型、破洞型、細(xì)條紋型、粗條紋型共4種不同類型的瑕疵進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)檢測(cè)結(jié)果數(shù)據(jù)如表1所示。

表1 不同算法對(duì)星狀圖織物瑕疵檢測(cè)結(jié)果Tab.1 Different algorithms for detection of star-shaped

圖5示出5種方法的誤檢率-查全率(MFPR-MTPR)的散點(diǎn)圖。圖中不同位置同種類型紡織品的散點(diǎn)分別表示不同的瑕疵種類。在MFPR-MTPR的散點(diǎn)圖中，MTPR值與檢測(cè)結(jié)果精度成正比，MFPR值與檢測(cè)結(jié)果精度成反比，所以在散點(diǎn)圖中，越靠近左上角的散點(diǎn)，檢測(cè)效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖5 5種方法對(duì)星狀圖檢測(cè)的MFPR-MTPR圖Fig.5 MFPR-MTPR figures of star-shaped by 5 detection methods

實(shí)驗(yàn)結(jié)果檢測(cè)圖如圖6所示。對(duì)于星狀類型的紡織品來(lái)說(shuō)，本文算法實(shí)驗(yàn)結(jié)果在4種類型的星狀圖案紡織品瑕疵數(shù)據(jù)圖中優(yōu)于其他4種算法。相比BB、RB、WGIS、ER方法，對(duì)于星狀類型的織物本文方法可以準(zhǔn)確檢測(cè)出瑕疵的具體位置。且誤檢部分較少，說(shuō)明本文方法對(duì)星狀圖的織物具有一定的適應(yīng)性。

圖6 不同算法的檢測(cè)結(jié)果Fig.6 Fabric detection results using different algorithms. (a) Original image; (b) Ground-truth； (c)Algorithm of this paper; (d) BB; (e) RB; (f) WGIS; (g) ER

表1列出了星狀圖的檢測(cè)結(jié)果，RB方法在細(xì)條紋型瑕疵圖中MPPV值達(dá)到最優(yōu)值，WGIS方法在粗條紋型瑕疵圖中MTPR值達(dá)到最優(yōu)值，但MFPR值較高。本文算法在斷端型、破洞型、細(xì)條紋型瑕疵圖中的MTPR值優(yōu)于其他4種算法，MTPR值平均在80%以上。在破洞型、斷端型、粗條紋型瑕疵圖中的MPPV值均優(yōu)于其他4種算法，MPPV值平均在30%左右。ER方法在細(xì)條紋型瑕疵中f值達(dá)到最優(yōu)值。本文算法在斷端型、破洞型、粗條紋型瑕疵圖中f值均優(yōu)于其他4種算法，且在所有類型的檢測(cè)結(jié)果中MFPR的值都較低。

2.2 盒狀圖不同算法對(duì)比

本文算法與BB,RB,WGIS,ER 5種算法對(duì)盒狀圖中的斷端型、破洞型、細(xì)條紋型、粗條紋型共4種不同類型的瑕疵進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)檢測(cè)結(jié)果數(shù)據(jù)如表2所示?？芍?，BB方法針對(duì)盒狀圖的瑕疵圖檢測(cè)中檢測(cè)效果不佳，僅在細(xì)條紋和粗條紋檢測(cè)中瑕疵區(qū)域可以模糊分辨出，但誤檢部分較在星狀圖類型檢測(cè)上有明顯提升。RB方法在BB方法基礎(chǔ)上顯著增強(qiáng)了識(shí)別精度。WGIS方法對(duì)盒狀圖斷端、細(xì)條紋、粗條紋上檢測(cè)效果比較突出，可以檢測(cè)出大部分瑕疵區(qū)域的輪廓部分，但依然存在較大面積的誤檢部分。本文方法對(duì)盒狀圖斷端、破洞、網(wǎng)紋、細(xì)條紋、粗條紋5種類型的缺陷圖查全率結(jié)果為最佳，在所有類型的檢測(cè)上均表現(xiàn)較好。查全率在星狀圖斷端、破洞、網(wǎng)紋、粗條紋4種類型瑕疵圖檢測(cè)中為最優(yōu)值。

表2 不同算法對(duì)盒狀圖織物瑕疵檢測(cè)結(jié)果Tab.2 Different algorithms for detection of box-shaped

由圖6可知，對(duì)于box類型的紡織品來(lái)說(shuō)，本文算法的檢測(cè)結(jié)果在4種類型的盒狀紡織品瑕疵數(shù)據(jù)圖中均優(yōu)于其他算法。相比BB、RB、WGIS、ER方法，對(duì)于box類型的織物本文方法可以準(zhǔn)確檢測(cè)出瑕疵的具體位置。本文算法在保持較高M(jìn)TPR值的同時(shí)保持著較低的MFPR，說(shuō)明本文方法對(duì)于盒狀圖織物的檢測(cè)具有一定的適應(yīng)性。

圖7為5種方法對(duì)盒狀圖的誤檢率-查全率(MFPR-MTPR)散點(diǎn)圖，圖中不同位置的同種類型的紡織品的散點(diǎn)分別表示不同的瑕疵種類。在MFPR-MTPR的散點(diǎn)圖中，MTPR的值與檢測(cè)結(jié)果精度成正比，MFPR的值與檢測(cè)結(jié)果的精度成反比，所以在散點(diǎn)圖中，越靠近左上角的散點(diǎn)，檢測(cè)效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖7 5種方法對(duì)盒狀圖檢測(cè)的MFPR-MTPR圖Fig.7 MFPR-MTPR figures of box-shaped by 5 detection methods

由表2可知盒狀圖的檢測(cè)結(jié)果，WGIS方法在粗條紋類型紡織品數(shù)據(jù)中的MTPR值為最優(yōu)值，RB方法在4種類型的瑕疵圖數(shù)據(jù)中MPPV值達(dá)到最優(yōu)。本文算法在斷端型、破洞型、細(xì)條紋型瑕疵數(shù)據(jù)中MTPR值達(dá)到最優(yōu)值，MTPR值平均在75%以上，MPPV值平均在30%左右。在斷端型、破洞型、粗條紋型瑕疵圖中f值達(dá)到最優(yōu)值。在斷端型、破洞型、粗條紋型的瑕疵數(shù)據(jù)圖中MFPR值達(dá)到最低。

3 結(jié) 論

本文提出了一種基于圖元分割與Gabor濾波的織物瑕疵檢測(cè)算法。針對(duì)具有復(fù)雜周期圖案的紡織品瑕疵檢測(cè)問(wèn)題，將圖像按周期完成分割，然后用Gabor濾波器卷積分割后的每個(gè)晶格，為了增強(qiáng)卷積處理的特征，將二維卷積結(jié)果映射到一維投影，增強(qiáng)了Gabor濾波器的方向特征?；谕队暗谋容^，找到每行的無(wú)瑕疵理想晶格。根據(jù)它們的投影能量和幅值來(lái)生成理想晶格的特征。這些特征信息的平均值作為評(píng)估晶格相似度的對(duì)比模板。然后通過(guò)分析其特征信息Manhattan距離表示的晶格的差別得到瑕疵晶格。數(shù)據(jù)和圖像實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)于含有圖案的織物瑕疵檢測(cè)具有最佳的準(zhǔn)確率和誤檢率。對(duì)于其他樣本，具有先驗(yàn)知識(shí)的RB方法檢測(cè)效果較好。實(shí)際工作中還要繼續(xù)研究?jī)?yōu)異的特征提取方法。