周新龍張宏偉,2吳燕子陸 帥張 玥

（1.西安工程大學(xué)，陜西西安，710048；2.浙江大學(xué)工業(yè)控制技術(shù)國家重點實驗室，浙江杭州，310027；3.北京理工大學(xué)醫(yī)工融合研究院，北京，100081）

色織物因其紋理風(fēng)格豐富多變，深受消費(fèi)者的喜愛［1］。在織物的生產(chǎn)過程中，由于紡織設(shè)備故障、紗線質(zhì)量等因素造成織物表面產(chǎn)生各種各樣的缺陷，這將嚴(yán)重影響產(chǎn)品的質(zhì)量與銷量，使得產(chǎn)品利潤減少45%～65%［2］。傳統(tǒng)的人工目測方法易受主觀因素、視覺疲勞影響，導(dǎo)致檢測精度和效率低。同時現(xiàn)有的機(jī)器視覺方法大多只能適用于花形圖案、紋理背景單一的織物缺陷檢測，因此迫切需要研究一種普適性廣、準(zhǔn)確度高的自動檢測方法來提高織物缺陷檢測的準(zhǔn)確性和效率。

基于機(jī)器視覺的織物缺陷檢測算法主要有統(tǒng)計算法［3］、頻譜算法［4］、基于模型的算法［5］。其中統(tǒng)計算法又分為灰度共生矩陣法［6］、自相關(guān)法［7］、形態(tài)學(xué)法［8］等，通過計算圖像灰度出現(xiàn)的概率實現(xiàn)對圖像紋理特征的準(zhǔn)確描述。頻譜算法主要有傅里葉變換［9］、小波變換［10］、Gabor特征法［11］，可實現(xiàn)織物表面缺陷特征在空域和頻域中的優(yōu)化定位。模型算法主要有高斯馬爾可夫隨機(jī)場［12］、自相關(guān)模型［13］等，通過高斯核函數(shù)提取多重織物分型特征。由于色織物具有紋理隨機(jī)性比較強(qiáng)、局部紋理背景排列結(jié)構(gòu)堆疊多變等特點，傳統(tǒng)算法不能很好地應(yīng)用于色織物缺陷檢測。因此研究色織物缺陷檢測算法有著現(xiàn)實工程意義，同時面臨著嚴(yán)峻的算法技術(shù)考驗。

近年來，深度網(wǎng)絡(luò)體系結(jié)構(gòu)被廣泛應(yīng)用于織物缺陷檢測問題中。在有監(jiān)督深度學(xué)習(xí)領(lǐng)域，JING J F等人［14］將織物圖像分解為若干圖像塊并標(biāo)記，然后利用二階微分求取圖像塊像素分割的最優(yōu)值，完成織物疵點檢測。周君等人［15］在YOLOv3的基礎(chǔ)上，結(jié)合織物疵點尺寸和k-means算法對目標(biāo)幀進(jìn)行維數(shù)聚類，有效地降低了對灰布和格子布的誤檢率。然而在實際工業(yè)應(yīng)用中，獲取大量的缺陷樣本進(jìn)行人工標(biāo)注來訓(xùn)練神經(jīng)網(wǎng)絡(luò)是非常困難的，這就使得缺陷的紋理細(xì)節(jié)特征并不能得到完全表達(dá)，無法對色織物缺陷進(jìn)行準(zhǔn)確定位。無監(jiān)督深度學(xué)習(xí)缺陷檢測的核心思想是通過訓(xùn)練大量的無缺陷樣本圖像，學(xué)會創(chuàng)建圖像的低維表示，完成重構(gòu)圖像，并與原始圖像進(jìn)行分析比較實現(xiàn)缺陷檢測。張宏偉等人［16］提出一種深度去噪卷積自編碼器（Denosing Convolutional Auto-Encoder，DCAE）模型，已初步實現(xiàn)對簡單色織物缺陷的快速檢測和定位。MEI S等人［17］利用圖像高斯金字塔的信息，構(gòu)建了多尺度卷積去噪自編碼器（Multi-scale Convolutional Denoising autoencoder，MSCDAE）模型，實現(xiàn)了對灰色圖案織物檢測，但是在檢測色織物缺陷時容易出現(xiàn)過檢的情況。張宏偉等人［18］還提出一種U型去噪卷積自編碼器（U-shaped Denosing Convolutional Auto-Encoder，UDCAE），該網(wǎng)絡(luò)結(jié)構(gòu)緊湊、參數(shù)簡約，可以完成織物圖像全局深度特征提取，但對部分花形較為復(fù)雜的色織物圖像缺陷檢測仍然存在漏檢、誤檢的問題。

本研究針對傳統(tǒng)自編碼器在復(fù)雜紋理背景下色織物缺陷檢測漏檢率、誤檢率高的問題，提出一種基于對比學(xué)習(xí)生成式對抗（ContrastGAN）的無監(jiān)督檢測方法。模型訓(xùn)練過程中，通過生成器和判別器完成色織物深層高維特征提取和全局視圖特征表達(dá)。然后特征向量經(jīng)多層感知器（MLP）二次映射到特征度量式隱空間中，進(jìn)行正負(fù)實例向量與查詢向量之間相似度的計算。在隱空間中引入對比學(xué)習(xí)，增強(qiáng)對正負(fù)例特征向量約束，減少無關(guān)特征信息參數(shù)和浮點計算，學(xué)習(xí)基于Patch圖像內(nèi)容的相關(guān)交互，建立重構(gòu)圖像的每個Patch區(qū)域與輸入圖像對應(yīng)Patch區(qū)域的關(guān)聯(lián)性，進(jìn)一步提升主干網(wǎng)絡(luò)的重構(gòu)修復(fù)能力，最終結(jié)合數(shù)學(xué)形態(tài)學(xué)運(yùn)算實現(xiàn)色織物缺陷區(qū)域的快速檢測和準(zhǔn)確定位。

1 基于ContrastGAN的模型訓(xùn)練

基于自監(jiān)督的對比學(xué)習(xí)（Contrastive Learning）在2018年由CHEN T等人［19］提出，作為一種高效的視覺表示結(jié)構(gòu)用于ImageNET數(shù)據(jù)集的分類。其主要思想是模型自動構(gòu)造相似實例和不相似實例，通過對比學(xué)習(xí)得到像素級重構(gòu)表示學(xué)習(xí)模型，使得相似實例在投影空間中距離拉近，不相似實例在投影空間中距離拉遠(yuǎn)。

自編碼器相關(guān)研究表明，有缺陷圖像的重構(gòu)誤差通常比無缺陷圖像的重構(gòu)誤差大。這一特性說明輸入圖像與重構(gòu)圖像之間存在對應(yīng)的像素聯(lián)系。在對比表征學(xué)習(xí)領(lǐng)域，將這種關(guān)聯(lián)性稱為互信息，對比學(xué)習(xí)通過最大化輸入輸出互信息，增加輸入圖像與輸出圖像之間的關(guān)聯(lián)性，使得輸出圖像的全局視圖得到高效表征。

因此，為了有效提取色織物的深層特征信息，使得圖像進(jìn)一步得到重構(gòu)修復(fù)，本研究構(gòu)造了一種基于ContrastGAN的色織物重構(gòu)模型，使用對比學(xué)習(xí)來最大化輸入色織物圖像Patch和輸出色織物圖像Patch之間的互信息，完成Patch級別色織物圖像重構(gòu)修復(fù)。該模型主要包含生成器、判別器、潛在特征空間對比學(xué)習(xí)框架3個部分，其中生成器又分為編碼器Genc和解碼器Gdec兩個部分，模型的總體架構(gòu)如圖1所示。

圖1 總體模型結(jié)構(gòu)

在模型訓(xùn)練階段，生成器的輸入是256×256的三通道無缺陷色織物樣本圖像Real_A，通過4層卷積編碼器進(jìn)行深層高維特征提取后，為提升編碼器對特征向量的容納能力，采用殘差塊網(wǎng)絡(luò)［20］延深編碼器結(jié)構(gòu)，進(jìn)一步加快網(wǎng)絡(luò)收斂速度，然后利用3層反卷積解碼器完成圖像重構(gòu)修復(fù)，最終輸出為與輸入層尺寸相同的重構(gòu)修復(fù)圖像Fake_B。

潛在特征空間對比學(xué)習(xí)框架的結(jié)構(gòu)如表1所示，由4層全連接層組成。原圖像Real_A和重構(gòu)修復(fù)圖像Fake_B經(jīng)過相同結(jié)構(gòu)的編碼器Genc得到Patch特征向量hi和hj，再通過映射頭MLP將特征向量二次映射到潛在特征空間，得到特征向量對的矢量化表示v，然后對原圖像和重構(gòu)修復(fù)圖像相對應(yīng)的圖像塊特征向量求互信息，使得編碼器學(xué)會將對應(yīng)的圖像塊之間相互聯(lián)系起來，與不相關(guān)的圖像塊分離，最后學(xué)習(xí)到原圖與重構(gòu)修復(fù)圖對應(yīng)圖像塊之間的深層共性。

表1 潛在特征空間結(jié)構(gòu)

判別器結(jié)構(gòu)采用PatchGAN［21］網(wǎng)絡(luò)結(jié)構(gòu)，由5層卷積層構(gòu)成，最終輸出32×32×1的感知域。PatchGAN通過局部感受野輸出，降低圖像深層特征信息重疊性，同時提升模型訓(xùn)練過程中的動態(tài)性和穩(wěn)定性，實現(xiàn)局部圖像特征的提取和多層特征圖差異性表征。

為了使原始輸入圖像Real_A和重構(gòu)修復(fù)圖像Fake_B具有相似的內(nèi)容和紋理風(fēng)格外觀特征，同時保證輸入圖像的結(jié)構(gòu)不變，對判別器D采用對抗損失，如公式（1）所示。

圖像Real_A和與其對應(yīng)的重構(gòu)修復(fù)圖像Fake_B，在對應(yīng)空間位置上的圖像塊應(yīng)該具有相似的信息。Real_A和Fake_B經(jīng)過編碼器Genc后圖像塊特征向量分別被編碼為v+、v-、vq，同時映射 到N個K維的矢量矩 陣 中，其中vq，v+∈RK，v-∈RN×K，再經(jīng)過4層MLP將特征向量投影到一個共享的嵌入潛在特征空間，采用噪聲對比估計框架，最大化vq和v+的互信息，最小化vq和v-的互信息，實現(xiàn)相同實例相似性最大化，不同實例相似性最小化，如公式（2）所示。

其中vq從重構(gòu)修復(fù)圖像Fake_B中隨機(jī)生成，v+從輸入圖像Real_A中對應(yīng)塊生成，v-從Real_A中非對應(yīng)塊生成，其中τ為可調(diào)溫度靈敏超參數(shù)［22］，控制余弦相似度的范圍為［-1，1］，取0.07，使得訓(xùn)練的嵌入更加均勻分布。分別計算vq和v+、v-之間的余弦相似度，將vq和v+的相似度標(biāo)記為1，將vq和v-的相似度標(biāo)記為0，最后對特征向量對求Softmax交叉熵?fù)p失。

特征向量對要進(jìn)行對比學(xué)習(xí)時，需要在潛在特征堆?？臻g將重構(gòu)圖像Fake_B中的圖像塊和原圖像Real_A對應(yīng)的圖像塊相匹配，學(xué)會捕捉對應(yīng)特征向量不變性，由PatchNCE［23］損失函數(shù)約束來實現(xiàn)，如公式（3）所示。

式中：l表示MLP層，l∈{1，2...，L}，同時設(shè)置s∈{1，...，Sl}，其 中Sl表 示MLP每 層 關(guān) 注Patch特征向量編碼空間位置的個數(shù)。z?sl表示每層特征向量空間中Patch特征向量總個數(shù)，將與vq對應(yīng)的空間位置特征稱為zsl正例，其他特征則稱為zSsl負(fù)例。

最終總損失函數(shù)Ltotal如公式（4）所示。其中λx=1，λy=10，訓(xùn)練使得該損失函數(shù)最小化，從而最大化對應(yīng)圖像塊特征向量互信息。

2 基于對比學(xué)習(xí)的缺陷檢測

訓(xùn)練完成后，ContrastGAN模型即可用于色織物缺陷檢測。測試階段編碼器的輸出作為對比學(xué)習(xí)的特征表征，完成對色織物缺陷圖像的修復(fù)重構(gòu)，其中模型通過對比學(xué)習(xí)最大化編碼缺陷圖像與重構(gòu)圖像對應(yīng)Patch細(xì)節(jié)特征，將模型的重構(gòu)修復(fù)性能進(jìn)一步提升，檢測階段模型圖如圖2所示。

缺陷檢測具體步驟：

（1）將待測圖像X輸入訓(xùn)練完成的模型中，得到重構(gòu)修復(fù)圖像?；

（3）殘差圖像Xres計算，如公式（5）所示；

（4）計算殘差圖像Xres的均值μ和標(biāo)準(zhǔn)差σ；

（5）對殘差圖像采用自適應(yīng)閾值化處理，得到二值圖像Xbinary，將缺陷區(qū)域更好地分割出來，二值化操作如公式（6）所示；

（6）對二值圖像采用先腐蝕后膨脹的開運(yùn)算操作，得到最終缺陷檢測結(jié)果，如公式（7）所示。

式中：p代表殘差圖像的像素值；T為自適應(yīng)閾值；ε為控制分割的靈敏度系數(shù)，本試驗設(shè)置為3.0；Xopening為開運(yùn)算操作后的圖像；Xbinary為二值化后的圖像；⊕、！分別為膨脹與腐蝕操作；E為結(jié)構(gòu)元素。

3 試驗

3.1 試驗平臺介紹

本試驗所用的工作站硬件配置：CPU Intel（R）Core（TM）i7-6850K CPU（3.60 GHz），GPU NVIDIA GeForce GTX 1080 Ti（11 G），內(nèi)存64 GB。軟件環(huán)境配置：操作系統(tǒng)Ubuntu 16.04.6 LTS，深度學(xué)習(xí)框架PyTorch1.7，環(huán)境Python3.6.0和Anaconda3。

3.2 試驗數(shù)據(jù)集

本研究選取張宏偉人工智能課題組整理并開源的YDFID-1色織物樣本數(shù)據(jù)集，該數(shù)據(jù)集由19種不同花形的色織物組成，共包括3 830幅織物圖像，其中無缺陷圖像3 500幅，缺陷圖像330幅。根據(jù)圖案、背景紋理的復(fù)雜度分為3類：簡單（Simple Lattices，SL）、條紋（Stripe Patterns，SP）和復(fù)雜（Complex Lattices，CL）。本研究選取該數(shù)據(jù)集中8種不同花形用于算法模型的訓(xùn)練和測試。數(shù)據(jù)集樣本數(shù)量如表2所示，樣本圖如圖3所示。

圖2 檢測階段圖

數(shù)據(jù)集SL11 SL16 SP3 SP5 CL1 CL2 CL3 CL21無缺陷樣本數(shù)量/幅133 144 168 166 170 124 90 131缺陷樣本數(shù)量/幅55 35 16 19 4 5 11 22

圖3 色織物樣本圖像

3.3 評價指標(biāo)

3.3.1 重構(gòu)效果定量評價指標(biāo)

為了評估本研究提出的ContrastGAN模型在訓(xùn)練完成后具備的重構(gòu)修復(fù)能力，特采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）對模型訓(xùn)練后的重構(gòu)修復(fù)結(jié)果進(jìn)行定量分析。

PSNR值通常用于衡量圖像經(jīng)壓縮后畫質(zhì)損失的程度，單位為分貝（dB），基于兩張圖像對應(yīng)像素點間的誤差計算得出，PSNR值越高代表圖像經(jīng)壓縮后重構(gòu)畫質(zhì)損失越小，計算公式如公式（8）、公式（9）所示。

式中：MSE表示無缺陷圖像X與重構(gòu)圖像X?的均方誤差；m、n表示圖像的寬和高；MAX表示數(shù)字圖像X中像素可取的最大值。

SSIM基于局部圖案的亮度、對比度進(jìn)行計算，用來作為衡量兩幅圖像相似度的指標(biāo)。SSIM值越高代表原圖和重構(gòu)圖對應(yīng)像素之間的關(guān)聯(lián)性越強(qiáng)，圖像結(jié)構(gòu)性失真越小，計算公式如公式（10）所示。

式中：μX為原始無缺陷色織物圖像X的像素平均值；μX?為去噪重構(gòu)圖像?的像素平均值；σ2XX?為?的標(biāo)準(zhǔn)差；σXX?為X與X?的協(xié) 方 差；C1=(k1L)2、C2=(k2L)2是 用 來 保 持 恒定的常數(shù)，其中k1=0.01、k2=0.03，L為像素值的動態(tài)范圍。為X的標(biāo)準(zhǔn)差；σ2

3.3.2 檢測效果定量評價指標(biāo)

為了精確地對模型的缺陷檢測能力進(jìn)行評價，本研究對試驗檢測結(jié)果分別進(jìn)行定性分析和定量分析。其中定量分析引入織物像素級評價指標(biāo)中的精確率（P）、召回率（R）、平均交并比（IoU）作為評價指標(biāo)，P、R、IoU定義如公式（11）～公式（13）所示。

式中：TP表示缺陷區(qū)域中被成功檢測的像素個數(shù)；FN、FP表示缺陷區(qū)域、無缺陷區(qū)域被錯誤檢測的像素個數(shù)。

3.4 結(jié)果與分析

3.4.1色織物重構(gòu)結(jié)果定量分析

為評估不同檢測模型對色織物圖像的重構(gòu)修復(fù)能力，本研究計算色織物與其對應(yīng)的重構(gòu)圖像之間的PSNR值、SSIM值，同時將本研究所提出的模型分別與DCAE、MSCDAE、UDCAE模型在8個數(shù)據(jù)集上進(jìn)行PSNR、SSIM值的對比。結(jié)果如表3所示。從表3中可以看出，ContrastGAN模型在SL16、SP3、CL1、CL2、CL3、CL21中有著最高的PSNR值，只有SL11、SP5這2個數(shù)據(jù)集上的PSNR值分別低于DCAE和MSCDAE模型。在SL11、SP3、SP5、CL3數(shù)據(jù)集上，SSIM指標(biāo)值略低于傳統(tǒng)自編碼器模型。PSNR與SSIM的值越高，代表著缺陷圖像重構(gòu)修復(fù)的效果越好，殘差圖像的計算結(jié)果越準(zhǔn)確。因此總體上看，ContrastGAN模型對色織物的重構(gòu)能力相比DCAE、MSCDAE、UDCAE模型有更好的表現(xiàn)。

3.4.2 色織物檢測結(jié)果定性分析

4種模型的定性分析對比如圖4所示。圖4中的第1行為原始織物缺陷圖像，第2行為缺陷圖像的真值圖，第3行至第6行分別為DCAE、MSCDAE、UDCAE、ContrastGAN的缺陷檢測結(jié)果。對于SL11、SL16、SP3、SP5，DCAE、MSCDAE、UDCAE、ContrastGAN都能有效地檢測出缺陷在織物中的位置，但是MSCDAE對缺陷的形狀描述不準(zhǔn)確，存在大量的漏檢，檢測效果較差。對于CL1、CL2、CL3、CL21這4種背景紋理較為復(fù)雜的，DCAE、MSCDAE、UDCAE均存在漏檢或者誤檢的情況，而且還會產(chǎn)生多余的噪聲，不能對真實缺陷區(qū)域定位進(jìn)行精確描述。本研究提出的ContrastGAN模型，不僅可以準(zhǔn)確凸顯缺陷位置，還可以保留部分輪廓信息勾勒出各類缺陷的形狀，結(jié)果與真值圖相似度高。綜上所述，本研究提出的ContrastGAN模型對色織物缺陷檢測效果明顯優(yōu)于DCAE、MSCDAE、UDCAE模型，能更準(zhǔn)確地定位缺陷位置，對缺陷區(qū)域輪廓和連續(xù)性的描述更完整。

圖4 4種模型的定性分析對比

3.4.3色織物檢測結(jié)果定量分析

為了更精確地對比各個模型的缺陷檢測能力，采用圖片像素級評價指標(biāo)中的精確率（P）、召回率（R）、平均交并比（IoU）作為評價指標(biāo)，結(jié)果如表4所示。

表4 4種模型的定量分析

對表4中的數(shù)據(jù)進(jìn)行分析發(fā)現(xiàn)，在SL11數(shù)據(jù)集上，DCAE的各項評價指標(biāo)均較高，說明DCAE較為適用于簡單的檢測；在SP5數(shù)據(jù)集上，UDCAE的各項指標(biāo)均較高，檢測結(jié)果表現(xiàn)得更好一些。但是在較為復(fù)雜的CL1、CL2、CL3、CL21這4個 數(shù) 據(jù) 集 上，ContrastGAN相 較 于DCAE、MSCDAE、UDCAE模型在各項評價指標(biāo)上更具有優(yōu)勢，表明加入了對比學(xué)習(xí)后，ContrastGAN在隱空間學(xué)習(xí)到的特征表征能力更強(qiáng)，能夠最大化保證隱空間中特征向量對之間的相似性，增強(qiáng)復(fù)雜原圖像與重構(gòu)圖像對應(yīng)Patch間的內(nèi)容映射，從而提升模型的缺陷檢測能力。ContrastGAN模型更適用于背景紋理較為復(fù)雜的色織物缺陷檢測，引入對比學(xué)習(xí)后模型在復(fù)雜數(shù)據(jù)集上具有更好的可靠性和更高的檢測精度。

4 結(jié)論

本研究提出了一種新的基于對比學(xué)習(xí)的色織物缺陷檢測方法，利用Patch特征向量表征在隱空間中完成色織物樣本圖像與重構(gòu)圖像對應(yīng)Patch特征向量對的相似度計算，借助殘差塊保留編碼器各層特征信息的獨(dú)特結(jié)構(gòu)，提升對比學(xué)習(xí)在重構(gòu)模型中的效果。對8個色織物數(shù)據(jù)集的缺陷檢測結(jié)果進(jìn)行定性定量評價分析，證明ContrastGAN模型優(yōu)于當(dāng)前基于卷積自編碼器的色織物圖像檢測方法，對紋理、背景復(fù)雜的色織物缺陷數(shù)據(jù)集具有更好的重構(gòu)修復(fù)效果和更高的缺陷定位精度。但是Patch正負(fù)例特征向量的映射編碼和相似度計算工作仍然比較耗時，下一步工作的重點在于減少對比學(xué)習(xí)重復(fù)無關(guān)特征向量對的數(shù)量，以增加正樣本實例特征向量的多樣性，提升正樣本有效采樣，從而實現(xiàn)對比學(xué)習(xí)網(wǎng)絡(luò)模型輕量化。