馬浩然， 張團(tuán)善， 王 峰， 趙浩銘

(西安工程大學(xué) 機電工程學(xué)院， 陜西 西安 710048)

紡織業(yè)的重要性上至航空航天、生物醫(yī)療，下至服裝家紡、包裝材料?？椢锶毕菔怯绊懣椢锟捎眯缘年P(guān)鍵因素，具有較多缺陷的織物將被判定為次品，影響銷售甚至被銷毀，同時織物缺陷率的上升也能反映出紡織機械故障的出現(xiàn)。所以織物缺陷檢測是提升織物質(zhì)量，監(jiān)測紡機狀態(tài)的重要步驟，快速、準(zhǔn)確地檢出缺陷對提升生產(chǎn)效率、提高產(chǎn)品質(zhì)量都有重要意義[1]。

目前工廠中織物缺陷檢測主要依靠人工進(jìn)行，這不僅需要工人具有豐富的工作經(jīng)驗，且勞動強度大，對視力損傷嚴(yán)重。即使如此，人工也僅能達(dá)到70%的正確率，這意味著高質(zhì)量的布匹不得不反復(fù)檢測，這極大地提高了生產(chǎn)成本。

近年來，計算機技術(shù)快速發(fā)展，深度學(xué)習(xí)因其較高的檢測正確率，已經(jīng)逐漸成為織物缺陷檢測的常用方法，使用較多的任務(wù)模式有分類、目標(biāo)檢測和語義分割[2-4]。分類任務(wù)僅能判別當(dāng)前整張圖像是否含有缺陷，并對缺陷分類，這種方式檢測較為粗略，無法提供具體的缺陷位置；目標(biāo)檢測可以提取缺陷的中心位置和外接矩形的大小，能夠更加精細(xì)地提供缺陷的信息，但無法提供缺陷的輪廓信息；語義分割可以提供織物缺陷的種類、位置、準(zhǔn)確輪廓以及像素級精度的缺陷面積，對缺陷的描述較為全面[5]。因此語義分割任務(wù)在織物缺陷檢測中的使用頻率越來越高。

深度學(xué)習(xí)作為有監(jiān)督學(xué)習(xí)，最為重要的是數(shù)據(jù)集的規(guī)模，數(shù)據(jù)集的規(guī)模越大、覆蓋越廣，越能反映出真實狀態(tài)下的缺陷分布。一個全面的數(shù)據(jù)集對于獲得一個泛用的、魯棒的模型十分重要。在織物缺陷檢測方面，現(xiàn)有的公共數(shù)據(jù)集數(shù)據(jù)量較少，且織物的種類也在日益增多，往往需要對擁有的有限的數(shù)據(jù)進(jìn)行擴(kuò)充[6]。傳統(tǒng)的擴(kuò)充方式采用翻轉(zhuǎn)、旋轉(zhuǎn)和縮放等方式，但這些方式只是對現(xiàn)有圖像的處理，不能產(chǎn)生新的樣本圖像。

生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[7]常常被用來擴(kuò)充數(shù)據(jù)集，傳統(tǒng)的GAN輸入服從某種分布的噪聲，輸出生成的圖像，這種方式可以產(chǎn)生新的圖像，但這些圖像仍需人手工標(biāo)注，這增加了工作量。傳統(tǒng)的GAN存在難以訓(xùn)練、模式崩潰等問題，作為數(shù)據(jù)擴(kuò)充工具，傳統(tǒng) GAN在使用上存在困難。

近年來，語義生成作為GAN新的研究方向，廣受關(guān)注，語義生成采用編碼-解碼器的方式，輸入語義標(biāo)簽，輸出與之對應(yīng)的真實圖像[8]。語義生成的提出使得語義分割的數(shù)據(jù)增強不再需要手工標(biāo)注，僅需要隨機產(chǎn)生語義標(biāo)簽，或?qū)ΜF(xiàn)有的語義標(biāo)簽進(jìn)行數(shù)據(jù)增強，即可獲得語義標(biāo)簽與對應(yīng)的真實圖像的一組數(shù)據(jù)，免去標(biāo)注過程，可以在語義分割網(wǎng)絡(luò)訓(xùn)練過程中實時增強。

傳統(tǒng)GAN、深度卷積生成對抗網(wǎng)絡(luò)(deep convolution generative adversarial networks，DCGAN)中[9]，庫爾貝特-萊布勒散度(Kullback-Leibler divergence)，簡稱KL散度，和杰森-香農(nóng)散度(Jensen-Shannon divergence)，簡稱JS散度，在生成分布與真實分布不重疊時會造成梯度消失，導(dǎo)致網(wǎng)絡(luò)無法收斂。瓦瑟斯坦生成對抗網(wǎng)絡(luò)(Wasserstein generative adversarial networks，WGAN)[10]使用推土機距離(earth mover′s distance，EM距離)替代KL散度和JS散度，EM距離在2分布無重疊時也能良好地衡量真實分布與生成分布的距離。邊界平衡生成對抗網(wǎng)絡(luò)(boundary equilibrium generative adversarial networks，BEGAN)將判別器設(shè)置為編碼-解碼器的形式，通過重構(gòu)誤差的分布的逼近來代替真實分布的逼近，提升了訓(xùn)練速度，并且通過設(shè)置生成器與判別器損失的反饋機制來避免判別器過強導(dǎo)致的訓(xùn)練崩潰。

菲利普等[11]發(fā)現(xiàn)，在GAN的生成器訓(xùn)練中加入一些傳統(tǒng)損失函數(shù)(L1損失函數(shù))可以輔助訓(xùn)練，僅使用判別器的輸出作為生成器的損失函數(shù)會導(dǎo)致生成的圖像缺乏真實，僅使用L1損失函數(shù)會導(dǎo)致生成的圖像十分模糊，2者融合可以更好地生成圖像。

課題組采用BEGAN的網(wǎng)絡(luò)結(jié)構(gòu)[12]，同時在生成器訓(xùn)練時添加加權(quán)的L1損失函數(shù)作為輔助，L1損失函數(shù)使用尺寸自適應(yīng)加權(quán)函數(shù)進(jìn)行加權(quán)，減少大尺寸缺陷模糊的問題。BEGAN同樣采用EM距離評估生成分布和真實分布的差距，這可以避免KL散度和JS散度帶來的梯度消失。課題組選用多樣性比率γ(diversity ratio)，用于控制生成網(wǎng)絡(luò)在多樣性和生成質(zhì)量中的比例，同時比例控制原理(proportional control theory)的加入用于控制判別器對生成樣本和真實樣本重構(gòu)誤差期望維持在γ附近，從而避免判別器對生成樣本過于嚴(yán)格而導(dǎo)致的訓(xùn)練崩潰。

1 語義生成

生成網(wǎng)絡(luò)主要包括網(wǎng)絡(luò)原理的構(gòu)造和網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)的選擇。生成對抗網(wǎng)絡(luò)采用BEGAN的形式，生成器與判別器都采用編碼-解碼器的形式，判別器獲取生成樣本與真實樣本的重構(gòu)誤差，損失函數(shù)采用EM距離，采用L1損失函數(shù)輔助生成器的訓(xùn)練。

1.1 原理及損失函數(shù)設(shè)計

傳統(tǒng)GAN 的優(yōu)化目標(biāo)分為2部分：判別器D(xi)與生成器G(z)部分。

1) 判別器部分。

(1)

式中：xi為采樣樣本,Pr是真實圖像分布，PG是生成器生成的圖像分布。

對于判別器，在輸入真實圖像時，判別器D(xi)的期望輸出越大越好，即Exi～PrlnD(xi)越大越好；在輸入生成圖像時，判別器D(xi)的期望輸出越小越好，即Exi～PGln [1-D(xi)]越小越好。

2) 生成器部分。

Exi～PGln [1-D(xi)]。

(2)

對于生成器的優(yōu)化目標(biāo)，在對判別器輸入為生成圖像時，判別器的輸出期望越大越好，即Exi～PGln [1-D(xi)]越小越好。

定義V(D,G)為優(yōu)化目標(biāo)，則有：

(3)

式中：PG=G(z),z～N(μ,σ2)；V(D,G)為關(guān)于判別器與生成器的優(yōu)化函數(shù)；∏(Pr,PG)是真實樣Pr與生成樣本PG的聯(lián)合分布；z是符合某種分布的噪聲，往往是正態(tài)分布。

在固定生成器G(z)時，最優(yōu)的判別器

(4)

當(dāng)判別器最優(yōu)時，生成器的優(yōu)化目標(biāo)為：

(5)

引入KL散度和JS散度：

divKL(P1‖P2)=Exi～P1ln (P1/P2)。

(6)

(7)

式中P1與P2為不同的樣本分布。

將生成器優(yōu)化目標(biāo)寫成JS散度的形式：

2divJS(Pr‖PG)-2ln 2。

(8)

JS散度存在弊端，當(dāng)真實樣本分布Pr與生成樣本分布PG分布完全不重疊時，JS散度恒為ln 2。即無論Pr與PG的分布多近或多遠(yuǎn)，JS散度為定值，這導(dǎo)致了梯度消失；而在實際情況中，Pr與PG的分布完全不重疊的情況十分常見，JS散度存在的弊端直接導(dǎo)致了原始的GAN難以訓(xùn)練。

EM距離W(Pr,PG)可以更好地衡量2個分布的差距。

(9)

對于聯(lián)合分布樣本σ，從中采樣真實樣本xr和生成樣本xG，計算2者距離，取下界，定義為EM距離。

BEGAN將樣本分布的優(yōu)化轉(zhuǎn)化為樣本重構(gòu)誤差L的優(yōu)化，即：

L(xi)=|xi-D(xi)|η。

(10)

式中η∈[1,2]。

除此之外，BEGAN還引入了多樣性比例γ和比例控制原理，使得網(wǎng)絡(luò)可以調(diào)節(jié)多樣性和生成質(zhì)量。

(11)

式中：Rd為標(biāo)簽中缺陷像素占比，yd為缺陷樣本，yb為背景樣本，μ為尺寸自適應(yīng)權(quán)重，gd為生成缺陷樣本，gb為生成背景樣本，α為調(diào)節(jié)權(quán)重。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

生成器與判別器均采用編碼-解碼器的形式。編碼器的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，輸入經(jīng)過純卷積網(wǎng)絡(luò)進(jìn)行下采樣，最終到15×15像素大小。傳統(tǒng)的最大池化下采樣不適用于語義生成任務(wù)，抑制低激活值不利于網(wǎng)絡(luò)推導(dǎo)織物紋理。下采樣部分采用卷積進(jìn)行，卷積核4×4，步長為2。

解碼器的作用主要是還原圖像分辨率以及產(chǎn)生紋理。傳統(tǒng)網(wǎng)絡(luò)上采樣為避免訓(xùn)練初期出現(xiàn)的周期性噪聲而回避使用反卷積，轉(zhuǎn)而采用雙線性插值進(jìn)行上采樣。而在織物缺陷生成任務(wù)中，訓(xùn)練初期反卷積的周期性噪聲的出現(xiàn)有利于織物底紋的推理，故采用反卷積進(jìn)行上采樣，同時串聯(lián)一個3×3的卷積進(jìn)一步產(chǎn)生紋理。解碼器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖1 編碼器網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 Encoder structure

圖2 解碼器網(wǎng)絡(luò)結(jié)構(gòu)Figure 2 Decoder structure

生成器與判別器采用相同的結(jié)構(gòu)，唯一不同的是生成器的輸入維度m=6，而判別器的輸入維度m=3。模型添加了大跨度的特征融合，編碼器的特征與其尺寸匹配的解碼器特征相加。每個卷積層后添加BN層，使用ELU作為激活函數(shù)。整體采用大跨度的特征連接用于補充特征損失，輔助輪廓推導(dǎo)。圖3所示為整體網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 生成器/判別器網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 Generator/discriminator network structure

1.3 參數(shù)選擇

在BEGAN的訓(xùn)練過程中，采用Adam優(yōu)化器，β1=0.500，β2=0.999。為確保生成樣本的多樣性，在BEGAN的損失函數(shù)中，多樣性比例γ=1，λk=0.001。在生成器訓(xùn)練過程中，圖4中展示了不同α下的生成結(jié)果。在α=10.0時，生成圖像清晰度低，真實性較差;在α=1.0時，清晰度提高;α=0.1時，生成圖像清晰，真實性好。過高的L1損失函數(shù)權(quán)重α將導(dǎo)致生成網(wǎng)絡(luò)多樣性降低，且生成的圖像較為模糊，故取α=0.1。

圖4 不同α的生成結(jié)果Figure 4 Generation results for different α

2 語義分割

語義分割網(wǎng)絡(luò)同樣采用編碼-解碼器的形式，采用帶空洞卷積的空間池化金字塔(atrous spatial pyramid pooling，ASPP)結(jié)構(gòu)[13]，最小下采樣尺寸為30×30像素，這是保持織物缺陷不被縮放的最小下采樣尺寸。設(shè)置尺寸自適應(yīng)函數(shù)對Dice損失函數(shù)進(jìn)行加權(quán)。

2.1 缺陷分析及損失函數(shù)設(shè)計

采樣得到的織物圖像分辨率為1 920×1 440像素，將整張圖像作為網(wǎng)絡(luò)輸入將導(dǎo)致過高的顯存占用，現(xiàn)有的深度學(xué)習(xí)框架在并行處理中能取得更高的處理效率，所以原圖像被分割張數(shù)為4×3子圖像，每張子圖像經(jīng)過雙線性插值縮放到240×240像素。

織物疵點數(shù)據(jù)中，缺陷的分布并不均勻，有數(shù)量與大小的差距，語義分割中，每個像素點都被視為一個樣本，那么織物缺陷的樣本分布是十分不均勻的，呈現(xiàn)無缺陷樣本與有缺陷樣本的不均衡，缺陷的樣本種類間不均衡。這種不均衡的現(xiàn)象導(dǎo)致像素數(shù)量占比較低的缺陷種類容易被忽略，這部分的損失容易被背景稀釋，導(dǎo)致無法收斂或者滯后收斂。

Dice損失函數(shù)可以很好反映網(wǎng)絡(luò)輸出結(jié)果與目標(biāo)的差距，這使得Dice損失函數(shù)在語義分割任務(wù)中被廣泛地使用。原始Dice損失函數(shù)無法解決樣本不均的問題，需要尺寸自適應(yīng)函數(shù)解決樣本不均衡的問題，將尺寸自適應(yīng)函數(shù)改變相位如下：

式中：pd為網(wǎng)絡(luò)預(yù)測輸出，td為標(biāo)簽。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

語義分割網(wǎng)絡(luò)同樣采用編碼-解碼器的結(jié)構(gòu)，如圖5所示。殘差塊是編碼器網(wǎng)絡(luò)的基本組成，它可以更好地補充特征，同時還能防止網(wǎng)絡(luò)退化。編碼器將輸入下采樣至30×30像素的大小。240×240像素的圖像中，缺陷的最小跨度為8個像素，故30×30像素的大小是保證缺陷不被縮放的最小下采樣尺寸。在下采樣后，采用了ASPP以不同空洞率Dr對解碼器的底層特征進(jìn)行采樣，這是為了能夠更好地提取到不同尺度的缺陷，同時也能擴(kuò)大感受野，更好地檢測尺度較大的缺陷。解碼器中，使用了反卷積進(jìn)行上采樣，相較于雙線性插值上采樣，反卷積可以更好地推理輪廓，同時可以減少特征張量的維度，減少計算量。

2.3 參數(shù)選擇

語義分割網(wǎng)絡(luò)訓(xùn)練中，使用Adam優(yōu)化器，Adam優(yōu)化器參數(shù)β1=0.900，β2=0.999。訓(xùn)練采用使用余弦退火學(xué)習(xí)率，參數(shù)為T0=12，Tmult=2。

圖5 語義分割網(wǎng)絡(luò)結(jié)構(gòu)Figure 5 Semantic segmentation network structure

3 實驗結(jié)果

BEGAN在數(shù)據(jù)集上使用尺寸自適應(yīng)L1損失函數(shù)與原始L1損失函數(shù)各訓(xùn)練了1 800次，使用測試集并進(jìn)行數(shù)據(jù)擴(kuò)充，增加缺陷多樣性。語義分割網(wǎng)絡(luò)在原始數(shù)據(jù)集上，使用原始Dice損失函數(shù)與尺寸自適應(yīng)Dice損失函數(shù)各訓(xùn)練了1 000次。在使用BEGAN擴(kuò)充的數(shù)據(jù)集上，使用尺寸自適應(yīng)Dice損失函數(shù)訓(xùn)練1 000次。將結(jié)果進(jìn)行對比分析。

3.1 BEGAN實驗結(jié)果

圖6所示為不同訓(xùn)練階段下的缺陷圖片生成圖像，可以明顯地觀察到：使用尺寸自適應(yīng)損失函數(shù)的生成結(jié)果優(yōu)于原始L1損失，使用尺寸自適應(yīng)L1損失函數(shù)的圖像更加清晰，缺陷部分更加真實、清晰。

圖6 原始L1損失函數(shù)與尺寸自適應(yīng)L1損失函數(shù)生成圖像對比Figure 6 Comparison of original L1 loss function and size-adaptive L1 loss function generated images

3.2 語義分割實驗結(jié)果

圖7所示為在原始Dice損失與尺寸自適應(yīng)Dice損失下， 模型訓(xùn)練中驗證集精度的對比。由圖7可以看出在使用原始Dice損失時，模型的收斂出現(xiàn)了明顯的滯后。這是因為在原始Dice損失下，小尺寸缺陷的損失被稀釋，模型難以訓(xùn)練，負(fù)樣本優(yōu)先于正樣本收斂，最終導(dǎo)致模型訓(xùn)練時間過長。尺寸自適應(yīng)Dice損失函數(shù)能很好地解決這一問題，正、負(fù)樣本損失分開計算可以減輕負(fù)樣本對正樣本的稀釋。尺寸自適應(yīng)函數(shù)對不同尺寸缺陷進(jìn)行自適應(yīng)權(quán)重分配，提高小尺寸缺陷的損失占比，由此解決正樣本間不均衡問題。使用尺寸自適應(yīng)Dice損失函數(shù)使得模型的檢測精度提高了11.1%。

圖7 Dice損失函數(shù)與尺寸自適應(yīng)Dice損失函數(shù)模型準(zhǔn)確率對比Figure 7 Accuracy comparison of Dice loss function and size-adaptive Dice loss function models

圖8所示為使用BEGAN擴(kuò)充數(shù)據(jù)集并且適應(yīng)尺寸自適應(yīng)Dice損失函數(shù)訓(xùn)練的模型的檢測結(jié)果。模型可檢測多種顏色及紋理的機織物，對缺陷的分割以及分類效果較好，能劃分復(fù)雜形狀缺陷輪廓，對于孔洞、斷紗等小尺寸缺陷的檢測效果優(yōu)異。

圖8 語義分割網(wǎng)絡(luò)檢測結(jié)果Figure 8 Semantic segmentation network detection results

圖9所示為使用原始數(shù)據(jù)集訓(xùn)練出的語義分割網(wǎng)絡(luò)與使用BEGAN擴(kuò)充過的數(shù)據(jù)集訓(xùn)練的語義分割網(wǎng)絡(luò)的性能對比。使用傳統(tǒng)數(shù)據(jù)增強相較于使用原始數(shù)據(jù)集的提升較小，因為傳統(tǒng)的數(shù)據(jù)增強只是對現(xiàn)有圖片進(jìn)行旋轉(zhuǎn)、縮放、翻轉(zhuǎn)等操作，本質(zhì)上并未產(chǎn)生新的樣本。使用BEGAN擴(kuò)充的數(shù)據(jù)集更接近缺陷的真實分布，并且生成樣本經(jīng)過判別器篩選，擴(kuò)充的缺陷圖像皆是從隨機語義標(biāo)簽重新生成的，缺陷圖像更加多樣，使得訓(xùn)練出的模型魯棒性更好。

圖9 不同數(shù)據(jù)增強方法對比Figure 9 Comparison of different data enhancement methods

均交并比(mean intersection over union，MIoU)為語義分割的標(biāo)準(zhǔn)度量，計算所有類別交集和并集之比的平均值：

式中：n為預(yù)測類別數(shù)量；TP表示模型預(yù)測為正例，實際也為正例，預(yù)測正確;FN表示模型預(yù)測為反例，實際為正例，預(yù)測錯誤;FP表示模型預(yù)測為正例，實際為反例，預(yù)測錯誤。

表1所示為不同數(shù)據(jù)增強方法下，模型的檢測精度。使用BEGAN的語義生成方法獲得了最好的效果，在測試集上獲得90.8%的MIoU均值。

表1 數(shù)據(jù)增強方法對比

4 結(jié)語

課題組針對織物缺陷檢測中的數(shù)據(jù)集缺失設(shè)計了語義生成網(wǎng)絡(luò)，使用BEGAN平衡生成器與判別器，加入尺寸自適應(yīng)的L1損失函數(shù)輔助訓(xùn)練，提升缺陷圖像生成質(zhì)量。語義生成的圖像經(jīng)過判別器篩選后進(jìn)入擴(kuò)充數(shù)據(jù)集，使得缺陷圖像真實性更好。相較于傳統(tǒng)數(shù)據(jù)增強方法，語義生成的圖像更加真實，且能產(chǎn)出全新樣本；相較于傳統(tǒng)GAN進(jìn)行的數(shù)據(jù)擴(kuò)充，語義生成可以指定位置、形狀和類別進(jìn)行針對性生成，免去標(biāo)注過程。

在語義分割方面，提出了尺寸自適應(yīng)Dice損失函數(shù)，該損失函數(shù)能夠解決樣本不均衡問題，使得網(wǎng)絡(luò)對小缺陷更加敏感， 提高檢出率。尺寸自適應(yīng)Dice損失函數(shù)相較于原始的Dice損失函數(shù)收斂更快，且最終得到的模型檢測精度提高了11.1%。

使用BEGAN的免標(biāo)注的數(shù)據(jù)集擴(kuò)充，與傳統(tǒng)數(shù)據(jù)增強方法進(jìn)行對比，使用尺寸自適應(yīng)Dice損失函數(shù)對模型進(jìn)行訓(xùn)練，避免模型收斂滯后。最終在測試集上得到均交并比為90.8%，在GTX 1080Ti的運行速度可達(dá)到99幀/s。