張 露,朱文俊,祝雙武

(西安工程大學(xué) 紡織科學(xué)與工程學(xué)院,陜西 西安710048)

紡織行業(yè)是我國國民經(jīng)濟(jì)支柱產(chǎn)業(yè)之一,規(guī)模龐大,人民的生活與紡織行業(yè)的發(fā)展息息相關(guān),因此,如何提升紡織行業(yè)的經(jīng)濟(jì)效益、加強(qiáng)紡織企業(yè)的生命力,一直以來都是頗受關(guān)注的問題。在紡紗、織前準(zhǔn)備、織造、染色、印花、后整理這一系列復(fù)雜有序的紡織制造過程中,會(huì)產(chǎn)生很多影響織物品質(zhì)的因素,因而每一個(gè)環(huán)節(jié)的質(zhì)量和穩(wěn)定性把控都相當(dāng)重要[1]。在這些環(huán)節(jié)中,各個(gè)階段都有可能會(huì)在布面產(chǎn)生疵點(diǎn),調(diào)查顯示,疵點(diǎn)的存在會(huì)使紡織品的價(jià)格下降45%～65%,織物疵點(diǎn)無疑是一個(gè)影響織物品質(zhì)的重要因素,織物疵點(diǎn)的多少關(guān)系著紡織企業(yè)的收益,也是公司生產(chǎn)管理水平的象征[2-3]。為了盡量減少織物疵點(diǎn)帶來的損失,企業(yè)一方面著力提升織造質(zhì)量,減少疵點(diǎn)的產(chǎn)生,另一方面重點(diǎn)進(jìn)行織物疵點(diǎn)的檢測,盡可能早地發(fā)現(xiàn)疵點(diǎn),進(jìn)行處理和修復(fù),降低疵點(diǎn)帶來的影響。在疵點(diǎn)檢測方面,由于織物復(fù)雜多樣、疵點(diǎn)種類繁雜,人工檢測又存在速度慢、工費(fèi)高、主觀性強(qiáng)等問題[4-5],利用機(jī)器視覺對(duì)織物疵點(diǎn)進(jìn)行自動(dòng)檢測成為研究的熱點(diǎn)話題,以“織物疵點(diǎn)檢測”為主題進(jìn)行中英文文獻(xiàn)的檢索,可查找到相關(guān)文獻(xiàn)約3 000篇,且論文發(fā)表數(shù)量仍呈逐年上升趨勢。對(duì)織物疵點(diǎn)自動(dòng)檢測系統(tǒng)現(xiàn)狀進(jìn)行了簡要介紹,對(duì)系統(tǒng)開發(fā)所使用到的方法進(jìn)行總結(jié)和分類,對(duì)相關(guān)論文進(jìn)行了比較和歸納。

1 織物疵點(diǎn)自動(dòng)檢測系統(tǒng)

國外從20世紀(jì)80年代就已經(jīng)開始了對(duì)疵點(diǎn)檢測系統(tǒng)的研究,出現(xiàn)了許多知名的在線疵點(diǎn)檢測系統(tǒng),如比利時(shí)BARCO公司的Cyclops織機(jī)疵點(diǎn)檢測系統(tǒng)、以色列EVS公司的IQ-TEX 4智能檢測系統(tǒng)、瑞士Uster公司的Fabriscan自動(dòng)驗(yàn)布系統(tǒng)及Q-Bar 2織物檢測儀、Cognex公司的MV-tec NI和Smart View自動(dòng)驗(yàn)布系統(tǒng)等[6-7]。近年來,隨著織物疵點(diǎn)檢測算法的成熟,國內(nèi)也陸續(xù)開發(fā)出了一些織物疵點(diǎn)的自動(dòng)檢測服務(wù),如陜西長嶺紡織機(jī)電科技有限公司的FS220型光電自動(dòng)驗(yàn)布機(jī)、深圳靈圖慧視的LTAI系列智能驗(yàn)布機(jī)、深圳新視智科技術(shù)有限公司的紡織全棧式機(jī)器視覺質(zhì)量檢測解決方案等[8-9]。

由于技術(shù)方面仍待完善,特別是系統(tǒng)檢測速度和檢測精度的限制,現(xiàn)有的織物疵點(diǎn)自動(dòng)檢測系統(tǒng)通常選擇在機(jī)下進(jìn)行驗(yàn)布,一般具有布面牽引系統(tǒng)、圖像采集系統(tǒng)、圖像識(shí)別系統(tǒng)、疵點(diǎn)標(biāo)記系統(tǒng)和人機(jī)界面等配置[10]。

近年來,也出現(xiàn)了一些可解決實(shí)時(shí)性問題的疵點(diǎn)檢測系統(tǒng),如瑞士Uster的Q-Bar 2織物檢測儀,可直接定位在經(jīng)紗和緯紗的交織區(qū)域,在緯紗穿過前對(duì)經(jīng)紗進(jìn)行監(jiān)控,同時(shí)也能夠監(jiān)控引入緯紗的動(dòng)作,實(shí)時(shí)進(jìn)行織物疵點(diǎn)檢測,及時(shí)對(duì)布面瑕疵做出反應(yīng),但此系統(tǒng)主要針對(duì)機(jī)織物織造階段。江南大學(xué)開發(fā)了一款檢測裝置,可對(duì)經(jīng)編織物織造過程中產(chǎn)生的疵點(diǎn)進(jìn)行實(shí)時(shí)預(yù)警[11],但檢測的仍是平面織物。2018年,Takeuchi等通過使用捕獲的織物圖像中縱向連續(xù)像素(ABW)移動(dòng)平均線的差值,對(duì)針織圓機(jī)上的織物進(jìn)行了簡單的定量檢測,但只對(duì)垂直線性疵點(diǎn)有較好的效果[12],目前,對(duì)于曲面織物的實(shí)時(shí)檢測仍待進(jìn)一步研究。

2 織物疵點(diǎn)檢測常用方法

從20世紀(jì)80年代開始,眾多學(xué)者研究并提出了許多不同種類的織物疵點(diǎn)檢測算法。東華大學(xué)的李立輕等在2002年按照?qǐng)D像處理的方法,將研究的途徑分為空間域處理和頻域轉(zhuǎn)換處理兩種[13]。步紅剛、黃秀寶在2006年發(fā)表在東華大學(xué)學(xué)報(bào)上的文章中將織物疵點(diǎn)檢測方法按使用階段分為特征提取與選擇模塊、檢測模塊兩個(gè)部分[14]。Ajay Ku mar在2008年對(duì)大約160篇參考文獻(xiàn)中關(guān)于織物疵點(diǎn)檢測技術(shù)進(jìn)行了綜述,基于來自織物表面特征的性質(zhì),把織物疵點(diǎn)檢測方法將分為統(tǒng)計(jì)方法、譜分析方法和基于模型的方法三類。徐偉峰等分別從圖像預(yù)處理、圖像分割、織物疵點(diǎn)特征提取三個(gè)方面介紹了織物疵點(diǎn)檢測系統(tǒng)中用到的算法[15]。還有一種比較常見的分類方式主要聚焦在特征提取和分類階段,按照?qǐng)D像處理的原理不同,分成結(jié)構(gòu)方法、統(tǒng)計(jì)學(xué)方法、頻譜分析方法、基于模型的方法、基于學(xué)習(xí)的方法以及混合的方法。其中結(jié)構(gòu)法、統(tǒng)計(jì)法、頻譜分析法、模型法是傳統(tǒng)的數(shù)字圖像處理方法,基于學(xué)習(xí)的方法則涉及到了機(jī)器學(xué)習(xí)的概念,按照這種分類方式進(jìn)行織物疵點(diǎn)檢測的方法介紹。

2.1 結(jié)構(gòu)方法

結(jié)構(gòu)方法(SA)是將圖像紋理看作紋理基元的組合,每種紋理都可根據(jù)特定的替換規(guī)則,由一個(gè)個(gè)基元復(fù)制[16],主要包括紋理元素的提取和替換規(guī)則的推斷兩個(gè)步驟。祝雙武等分析織物的紋理結(jié)構(gòu),利用自相關(guān)函數(shù)提取織物紋理的基元模板,通過紋理基元與模板間的差對(duì)疵點(diǎn)進(jìn)行增強(qiáng),再利用Otsu方法對(duì)計(jì)算出的局部不平整度進(jìn)行閾值分割,檢測織物中的疵點(diǎn)[17]。這種方法存在一定的局限性,只有在織物圖像紋理非常規(guī)則的情況下表現(xiàn)比較良好,無法應(yīng)對(duì)不規(guī)則織物,在進(jìn)行疵點(diǎn)檢測時(shí)往往需要借助其他手段。

2.2 統(tǒng)計(jì)學(xué)方法

對(duì)于正?？椢?其表面紋理比較規(guī)律,統(tǒng)計(jì)學(xué)特征較為穩(wěn)定,而如若織物表面存在疵點(diǎn),則會(huì)帶來突變,破壞這種穩(wěn)定性,統(tǒng)計(jì)學(xué)方法通過研究圖像之間關(guān)系的統(tǒng)計(jì)特性,借助如一階、二階統(tǒng)計(jì)量,將這類紋理特征量化提取。常用的統(tǒng)計(jì)學(xué)方法主要包括直方圖特征、灰度共生矩陣、分形學(xué)[18]、自相關(guān)函數(shù)、數(shù)學(xué)形態(tài)學(xué)及一些特征濾波器。Che-Seung Cho等利用數(shù)學(xué)形態(tài)學(xué)的腐蝕操作進(jìn)行噪聲的去除[19]。K.L.Mak等利用Gabor小波網(wǎng)絡(luò)提取出的紋理特征構(gòu)建了幾個(gè)形態(tài)學(xué)濾波器,計(jì)算量不顯著,應(yīng)用在自動(dòng)檢測系統(tǒng)中,對(duì)機(jī)織物疵點(diǎn)檢測率可達(dá)97.4%[20]。

灰度共生矩陣法是統(tǒng)計(jì)學(xué)方法中使用較為頻繁的一種,原理是在多角度對(duì)一定距離下的兩個(gè)像素點(diǎn)構(gòu)建灰度共生矩陣,通過計(jì)算矩陣的能量、熵、逆差矩、自相關(guān)和對(duì)比度等二階統(tǒng)計(jì)量來獲取織物的特征[21]。這種方法易于實(shí)現(xiàn),且適應(yīng)性強(qiáng)、魯棒性高,對(duì)結(jié)構(gòu)型疵點(diǎn)和色彩型疵點(diǎn)都有較為直觀的描述效果[22],但存在計(jì)算量大的問題。

直方圖特征以像素種類為橫坐標(biāo),像素個(gè)數(shù)為縱坐標(biāo),主要反映圖像的像素分布情況,特征可取平均值、標(biāo)準(zhǔn)差、方差和中值等,常見的方法有方向梯度直方圖(HOG),提取較為穩(wěn)定的邊緣特征,對(duì)局部形狀特征效果好,但生成描述子過程較為耗時(shí),且對(duì)噪聲敏感。局部二值模式(LBP)也是一種常見的統(tǒng)計(jì)學(xué)方法,一般做法是對(duì)圖像進(jìn)行LBP編碼,以編碼模式為像素種類進(jìn)行直方圖統(tǒng)計(jì),提取特征。這種方法計(jì)算量較低,對(duì)光照變化不敏感,普遍應(yīng)用于人臉識(shí)別方向,Tajer pour等首次將LBP算子應(yīng)用于織物疵點(diǎn)檢測研究中[23],之后,有許多研究人員對(duì)LBP算子進(jìn)行了改進(jìn)[24-28],試圖解決LBP算子特征模式多、像素相關(guān)性弱等問題。

2.3 頻譜分析方法

傳統(tǒng)的數(shù)字圖像處理方法主要分為空域分析和頻域分析兩種,前文提到的兩種方法都屬于空域分析,是對(duì)圖像矩陣進(jìn)行分析處理。而頻譜分析法一般會(huì)通過傅里葉變換、Gabor變換、小波變換等方法將圖像信息從空域轉(zhuǎn)換到頻域,再進(jìn)行分析處理,是織物疵點(diǎn)檢測中最常用到的方法,對(duì)結(jié)構(gòu)型疵點(diǎn)表現(xiàn)良好,但是對(duì)于含有隨機(jī)紋理的織物效果不明顯。傅里葉變換是織物分析的經(jīng)典方法,對(duì)織物圖像進(jìn)行全局分析,現(xiàn)在通常與其他方法一起使用;小波變換能夠同時(shí)實(shí)現(xiàn)時(shí)間和頻率的局部化,這種方法在邊緣突出的疵點(diǎn)中表現(xiàn)良好,但在灰度差異較平滑的疵點(diǎn)中表現(xiàn)不佳;Gabor濾波器很好地模擬了人眼的視覺效果,織物紋理表征效果好,然而,由于Gabor濾波器需在多尺度和多方向上進(jìn)行濾波,導(dǎo)致計(jì)算復(fù)雜度高,難以滿足實(shí)時(shí)要求,為了降低計(jì)算復(fù)雜度,往往要進(jìn)行優(yōu)化處理[29]。

2.4 基于模型的方法

圖像中的紋理也可以用預(yù)先設(shè)定的參數(shù)確定,然后形成一個(gè)確定的或隨機(jī)的模型,使用的模型參數(shù)在捕獲紋理細(xì)節(jié)方面非常重要。該方法的最大優(yōu)點(diǎn)是可以產(chǎn)生用于匹配被觀察織物的織物紋理,對(duì)于背景花紋復(fù)雜及重復(fù)性差的織物也能有較好的檢測效果,但計(jì)算量大,對(duì)于小區(qū)域疵點(diǎn)檢測效果不佳。最常用的模型是自回歸[30]和高斯馬爾科夫隨機(jī)場模型[31],還有Gibbs隨機(jī)場模型法、Wor d模型、分形(Fractal)模型等[32]。CHUNLEI LI等通過模擬生物視覺感知機(jī)制,提出了一種基于生物視覺建模的織物疵點(diǎn)檢測算法,對(duì)于簡單紋理的平紋和斜紋織物以及復(fù)雜紋理的圖案化織物比其他現(xiàn)有方法更有效,魯棒性和適應(yīng)性更強(qiáng)[33]。

2.5 基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法對(duì)不同疵點(diǎn)的適應(yīng)性較強(qiáng),進(jìn)一步可分為機(jī)器學(xué)習(xí)和深度學(xué)習(xí),機(jī)器學(xué)習(xí)中常用的算法包括支持向量機(jī)(SV M)、字典學(xué)習(xí)、K最近鄰法(KNN)、隨機(jī)森林等,其中SV M、KNN和神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于織物疵點(diǎn)檢測問題,消耗較短的訓(xùn)練時(shí)間,能夠達(dá)到一定的分類精度。

深度學(xué)習(xí)作為一種重要的人工智能算法,近年來得到了飛速發(fā)展,并在某些實(shí)際應(yīng)用領(lǐng)域取得了顯著的成果,目前循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)(GAN)等都是經(jīng)典的深度學(xué)習(xí)算法模型。深度學(xué)習(xí)進(jìn)行疵點(diǎn)分類時(shí)的準(zhǔn)確率高,但學(xué)習(xí)過程耗時(shí)長,需要數(shù)據(jù)量大,因此對(duì)深度學(xué)習(xí)算法的優(yōu)化是織物疵點(diǎn)自動(dòng)檢測近期研究的方向,Xie H等提出了一種基于改進(jìn)的RefineDet的織物疵點(diǎn)魯棒檢測方法,以Refine Det為基礎(chǔ)模型,設(shè)計(jì)基于全卷積通道注意(FCCA)塊和自下而上路徑增強(qiáng)傳遞連接塊(BA-TCB)的改進(jìn)頭部結(jié)構(gòu)來提高該方法的缺陷定位精度,應(yīng)用了注意機(jī)制、DIo U非大極值抑制法、余弦退火調(diào)度等常用的優(yōu)化方法,對(duì)于無圖案背景、規(guī)則圖案和不規(guī)則圖案的織物都能快速進(jìn)行疵點(diǎn)檢測[34]。

深度學(xué)習(xí)的方法一般需要大量的疵點(diǎn)數(shù)據(jù),但在實(shí)際生產(chǎn)過程中,疵點(diǎn)織物是占少數(shù)的,采集不便。Shuang Mei等提出了一種基于無監(jiān)督學(xué)習(xí)的自動(dòng)方法來檢測和定位織物疵點(diǎn),無需任何人工干預(yù),且可以用少量的無缺陷樣本進(jìn)行訓(xùn)練,可以處理多種類型的紡織品,在所有數(shù)據(jù)集上,總體檢查準(zhǔn)確率達(dá)到80.0%以上,綜合性能好[35]。生成對(duì)抗網(wǎng)絡(luò)也是近幾年的熱門話題,LIU J等提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的織物疵點(diǎn)檢測框架,嘗試訓(xùn)練多階段GAN來合成新的無疵點(diǎn)樣品中的合理疵點(diǎn),對(duì)在原始疵點(diǎn)數(shù)據(jù)集上訓(xùn)練的預(yù)處理語義分割網(wǎng)絡(luò)進(jìn)行微調(diào),能夠很好地檢測簡單紋理和復(fù)雜紋理織物中不同尺度的疵點(diǎn)[36]。

3 織物疵點(diǎn)檢測方法應(yīng)用現(xiàn)狀

研究的五類織物疵點(diǎn)檢測方法,在計(jì)算成本、織物適應(yīng)性等方面各有優(yōu)劣,在實(shí)際使用中,一般會(huì)采取混合的手段,對(duì)方法進(jìn)行優(yōu)化,盡量減少劣勢,將其優(yōu)勢最大化。

Ngan等提出了一種小波預(yù)處理黃金圖像相減(WGIS)方法,結(jié)合了頻譜分析和結(jié)構(gòu)法,用于檢測圖案織物或重復(fù)圖案紋理的疵點(diǎn)[37]。Soo Chang Ki m等利用頻譜分析法中的小波包分解提取特征,再利用高斯混合模型建模,在Br odatz紋理圖像分類中具有較高的識(shí)別精度[38]。Hong-gang Bu等根據(jù)計(jì)盒法的原理和存在的問題,結(jié)合機(jī)織物的固有特性,提取了多個(gè)分形特征,用支持向量數(shù)據(jù)描述(SVDD)來進(jìn)行織物疵點(diǎn)檢測[39]。Guodong SUN等用灰度直方圖反投影算法去除紋理背景信息,結(jié)合自適應(yīng)閾值分割方法快速提取織物圖像缺陷,再采用端到端的多層卷積神經(jīng)網(wǎng)絡(luò)框架實(shí)現(xiàn)疵點(diǎn)分類,在5種不同缺陷的數(shù)據(jù)庫中平均檢測準(zhǔn)確率高達(dá)96.12%,且單幅圖像檢測速度僅需0.72 s[40]。Gnanaprakash V等從復(fù)雜圖案織物中提取離散小波變換(DWT)和局部二值化(LBP)處理后的灰度共生矩陣WL-GLCM特征,改善現(xiàn)有的二進(jìn)制粒子群優(yōu)化算法(BPSO)在BP神經(jīng)網(wǎng)絡(luò)中過早收斂的問題,在TILDA織物數(shù)據(jù)庫中的織物數(shù)據(jù)集上進(jìn)行驗(yàn)證,系統(tǒng)分類準(zhǔn)確率由原先的77%提升到了99.75%[41]。

在現(xiàn)有文獻(xiàn)中,結(jié)構(gòu)法常用于圖像預(yù)處理階段對(duì)規(guī)則織物進(jìn)行圖片分割,頻譜分析法可增強(qiáng)圖像上的織物疵點(diǎn),也可和統(tǒng)計(jì)學(xué)方法一起用于特征提取階段,減少學(xué)習(xí)分類的計(jì)算量,部分被用于圖像預(yù)處理,進(jìn)行去噪等操作?；谀Ｐ偷姆椒ê突趯W(xué)習(xí)的方法一般用于分類階段,可與其余3種方法搭配使用,或相互結(jié)合進(jìn)行優(yōu)化,一些研究結(jié)合了機(jī)器學(xué)習(xí)和深度學(xué)習(xí),Wang J等將卷積神經(jīng)網(wǎng)絡(luò)提取的全局深度特征與手工繪制的底層特征融合,并使用非凸總體變化正則化的非凸魯棒主成分分析(PCA)進(jìn)行數(shù)據(jù)處理和降噪[42],HU G等提出了一種深度卷積生成對(duì)抗網(wǎng)絡(luò)[43],Wang J等在深度卷積生成對(duì)抗網(wǎng)絡(luò)中嵌入了一個(gè)名為局部差異分析(LDA)的子模塊,以消除誤報(bào)[44]。

在關(guān)于織物疵點(diǎn)檢測的文章中,出現(xiàn)頻次最高的檢測數(shù)據(jù)集是TILDA織物圖像數(shù)據(jù)集,包含8種不同的織物類型,每種類型又分7種疵點(diǎn)類別。此外,在研究中,一般通過對(duì)方案在數(shù)據(jù)集上驗(yàn)證時(shí)的準(zhǔn)確率、召回率、精度、真陽性率、假陽性率、真陰性率、假陰性率等指標(biāo)進(jìn)行評(píng)價(jià),檢測所花費(fèi)的時(shí)間也是重點(diǎn)考察因素?，F(xiàn)有的公開數(shù)據(jù)集往往缺少無疵點(diǎn)織物圖像,不符合實(shí)際生產(chǎn)情況,且數(shù)據(jù)集中每類疵點(diǎn)圖像的數(shù)量也不能很好地滿足深度學(xué)習(xí)需求,因此,根據(jù)研究的需要,還有很大一部分選擇了自行采集或通過學(xué)習(xí)合成疵點(diǎn)。

未來在算法方面,研究認(rèn)為主要有兩個(gè)發(fā)展方向:一是提升算法的速度,提高實(shí)時(shí)性,能夠?qū)⒋命c(diǎn)檢測系統(tǒng)配置在織造階段,甚至于能夠進(jìn)行疵點(diǎn)的預(yù)測,最大化降低疵點(diǎn)損失;二是提升算法的適應(yīng)性,能夠很好地應(yīng)對(duì)多尺寸疵點(diǎn)的復(fù)雜織物,對(duì)非平面狀態(tài)的、存在一定變形的織物圖像也能保持檢測的準(zhǔn)確率。

4 結(jié)語

織物疵點(diǎn)檢測系統(tǒng)是一個(gè)統(tǒng)一整體,各個(gè)組成部分都會(huì)對(duì)檢測效果造成一定影響,需要根據(jù)實(shí)際情況,考慮到各方面的適配性,其中,疵點(diǎn)檢測算法是最重要的部分。根據(jù)圖像處理的原理,可將常用的疵點(diǎn)檢測方法分為結(jié)構(gòu)方法、統(tǒng)計(jì)學(xué)方法、頻譜分析方法、基于模型的方法、基于學(xué)習(xí)的方法五類,分析相關(guān)文獻(xiàn)可得,在應(yīng)用時(shí),這五類方法相互結(jié)合,能得到更好的檢測效果。

如今國內(nèi)市場上已經(jīng)有了較為成熟的織物疵點(diǎn)自動(dòng)檢測系統(tǒng),但主要方式仍為機(jī)下檢測,需要進(jìn)一步提高速度和精度。