王 峰， 胥光申， 黃乾瑋， 余海洋

(1.西安工程大學(xué) 機電工程學(xué)院， 陜西 西安 710048；2.沈陽工業(yè)大學(xué) 信息科學(xué)與技術(shù)學(xué)院， 遼寧 沈陽 110870)

織物疵點檢測是紡織行業(yè)控制質(zhì)量的關(guān)鍵手段之一，目前主要由人工進行目視檢查，檢測率受人為因素的影響[1]。近期，深度學(xué)習(xí)技術(shù)在織物疵點檢測方面有了進展，不僅可以最大限度地減少人力成本，還可以提高準(zhǔn)確性和效率。然而，受工業(yè)條件影響，深度學(xué)習(xí)技術(shù)采集到的數(shù)據(jù)集圖片往往分辨率低、數(shù)量不足從而限制深度學(xué)習(xí)技術(shù)的應(yīng)用，若統(tǒng)一替換高性能設(shè)備會增加企業(yè)的經(jīng)濟負(fù)擔(dān)。因此，如何對獲取的低分辨率數(shù)據(jù)集進行識別與擴充是目前工業(yè)領(lǐng)域深度學(xué)習(xí)技術(shù)的難題。Goodfellow等[2]在2014年提出生成對抗網(wǎng)絡(luò) (generative adversarial network，GAN)，之后研究者們開始采用GAN對數(shù)據(jù)集進行擴充并取得了較好效果。劉茁梅等[3]采用傳統(tǒng)圖像處理方法將帶有缺陷的織物圖像利用稀疏表示模型分解成缺陷和布匹紋理部分，平均檢測率可達96.30%，但只對星型、方格形和圓點形印花織物有較好的效果。常江等[4]通過改進AC-GAN實現(xiàn)對帶鋼數(shù)據(jù)集的擴充，結(jié)合改進MobileNetV3實現(xiàn)帶鋼缺陷的分類，其檢測率達到94.67%，但實際在低分辨率條件下，算法的性能仍然受到限制。課題組提出了結(jié)合SRGAN網(wǎng)絡(luò)和YOLO-V4網(wǎng)絡(luò)的疵點檢測算法，該方法可在工業(yè)條件限制下提高了低分辨率織物圖的辨識度，準(zhǔn)確定位出疵點的位置并輸出疵點的類別與檢測結(jié)果的準(zhǔn)確率。

1 相關(guān)理論

1.1 SRGAN

Ledig等[5]率先將GAN應(yīng)用于超分辨率重建領(lǐng)域，提出了超分辨率生成對抗網(wǎng)絡(luò)模型(super resolution generative adversarial network，SRGAN)算法,并進一步定義SRGAN生成器與判別器之間對抗性，可用公式描述如下：

minmax (θG,θD)EIHR,ptrain(IHR)[lnDθD(IHR)]+EILR,pG(ILR)[ln (1-DθD(GθG(ILR)))]。

(1)

式中：minmax (θG,θD)表示對抗性最小-最大問題，EIHR,ptrain(IHR)表示高分辨率圖像通過訓(xùn)練生成結(jié)果的期望分布，EILR,pG(ILR)表示低分辨率圖像通過生成器輸出結(jié)果的期望分布，DθD表示判別器網(wǎng)絡(luò)，GθG表示生成器網(wǎng)絡(luò)，ILR表示低分辨率圖像，IHR表示高分辨率圖像。

1.2 YOLO-V4

基于深度學(xué)習(xí)的缺陷檢測網(wǎng)絡(luò)從結(jié)構(gòu)上可以劃分為2類:①以YOLO或SSD為代表的一階網(wǎng)絡(luò);②以Faster R-CNN為代表的二階網(wǎng)絡(luò)。二階網(wǎng)絡(luò)相對一階網(wǎng)絡(luò)，通常用較長訓(xùn)練時間與檢測時間換取較高的檢測率[6-7]，而工業(yè)應(yīng)用更傾向于實時性的輕量型網(wǎng)絡(luò)。因此課題組采用一階網(wǎng)絡(luò)以滿足工業(yè)要求。在一階網(wǎng)絡(luò)中，Bochkovskiy等[8]提出YOLO-V4算法，該網(wǎng)絡(luò)對硬件要求低而又具備高檢測率，是YOLO系列最新成果。YOLO-V4參考跨階段局部網(wǎng)絡(luò)(cross stage paritial network，CSPNet)，將原主干網(wǎng)絡(luò)Daeknet53替換為CSPDaeknet53，其中包含5個CSP模塊，實現(xiàn)圖像的下采樣，其內(nèi)卷積核大小為3×3，步長為2。輸入圖像大小為608 像素×608 像素，特征圖大小變化依次為608,304,152,76,38和19 像素；網(wǎng)絡(luò)的輸入端采用Mosaic增強技術(shù)，通過選取圖像進行隨機裁剪和隨機拼接等方式豐富數(shù)據(jù)集；主干網(wǎng)絡(luò)的激活函數(shù)采用梯度下降效果更優(yōu)的Mish激活函數(shù)；YOLO-V4的整體框架與YOLO-V3[9]網(wǎng)絡(luò)差異不大。

2 SRGAN改進

為提取更多的圖像高頻特征，加強單幅圖像特征利用率，改進SRGAN算法在SRGAN基礎(chǔ)上加入殘差結(jié)構(gòu)并采取全局殘差學(xué)習(xí)，具體結(jié)構(gòu)如圖1所示。改進SRGAN算法殘差結(jié)構(gòu)設(shè)計上與典型殘差結(jié)構(gòu)不同，在原典型殘差結(jié)構(gòu)上另設(shè)立2條路徑，分別為跳躍連接1與跳躍連接2。跳躍連接可將上一個殘差通道信息無阻礙流入下一個殘差通道，通過重復(fù)利用淺層特征以解決模型梯度消失問題。跳躍連接1中卷積(1×1)表示卷積層，其卷積核大小為1×1，可實現(xiàn)跨層通道的信息交互與整合而又不產(chǎn)生復(fù)雜的參數(shù)量。

圖1 殘差結(jié)構(gòu)

接著在其后銜接批標(biāo)準(zhǔn)化(batch normalization，BN)與參數(shù)修正線性單元(parametric rectified linear unit,PReLU)層，BN層起特征歸一化作用。

(2)

(3)

式中：x為ReLU激活函數(shù)的輸入；xi表示PReLU激活函數(shù)的第i條通道的輸入；ai表示第i條通道的超參數(shù)，滿足均值為0標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。

原SRGAN采用ReLU激活函數(shù)，由式(2)可知，若參數(shù)小于等于零，梯度將持續(xù)輸出0，導(dǎo)致梯度消失。改進SRGAN算法采用PReLU激活函數(shù)，相對于ReLU激活函數(shù)能獲得負(fù)值輸出，可推動模型權(quán)重與偏置向正確的方向變化、避免梯度消失。

由于1×1卷積不改變輸入特征圖的分辨率大小，可在跳躍連接1內(nèi)再建立第2條跳躍連接路徑，將初始特征圖與1×1卷積后的特征圖相加，實現(xiàn)上下層通道信息的交融。

典型的殘差結(jié)構(gòu)定義為：

(4)

式中:xl與xl+1分別為輸入單元與輸出單元，Wl為權(quán)重，h為通道傳遞函數(shù)，F(xiàn)為殘差函數(shù)。

改進后的殘差結(jié)構(gòu)定義為：

(5)

式中:B為批歸一化，f為激活函數(shù)，n為跳躍連接2輸出單元，F(xiàn)(n,Wl+1)為跳躍連接1輸出單元。

改進的SRGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示：上半部分為生成器網(wǎng)絡(luò),在卷積和歸一化之后加入殘差連接模塊，并將激活函數(shù)改成了PReLU，而后利用反卷積層代替原先的卷積層；下半部分為判別器網(wǎng)絡(luò)，激活函數(shù)從LekayReLU改成PReLU，網(wǎng)絡(luò)最后的全連接層改為全局平均池化，最后經(jīng)Softmax激活函數(shù)輸出判別結(jié)果。

圖2 改進SRGAN結(jié)構(gòu)

針對生成式對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)的不穩(wěn)定性，生成圖像易扭曲的問題，課題組基于直方圖匹配技術(shù)設(shè)計直方圖損失函數(shù)匹配激活前后圖像。定義隨機變量u，v分別表示輸入圖像與輸出圖像的灰度級；Pu(w),Pv(t)表示輸入、輸出灰度級的概率密度；連續(xù)灰度r與z作為隨機變量，且0≤r≤L，0≤z≤L。定義a和b并建立如下關(guān)系式：

(6)

式中：dt，dw為積分假變量。

令a=b得到T(r)=G(z)，建立直方圖匹配關(guān)系。接著運用直方圖匹配技術(shù)匹配輸入前的紋理特征得到映射Oi,再對其激活得到輸出，最后計算輸出的歸一化直方圖，并將其與Oi匹配得到映射R(Oi)。為進一步描述R(Oi)與Oi之間的數(shù)值分布差異，對兩者求Frobenius范數(shù)距離并使距離最小化，得到直方圖損失如下：

(7)

式中γ是控制損失強度的權(quán)重參數(shù)。

直方圖匹配可以被視為匹配激活前后特征的邊緣分布。

3 實驗結(jié)果與分析

為驗證改進算法的有效性，基于原數(shù)據(jù)集分別對改進前后SRGAN算法訓(xùn)練進行比較，迭代次數(shù)為500。在訓(xùn)練過程中，學(xué)習(xí)率取0.002，批處理大小取16。課題組采用Adam作為優(yōu)化器，一階矩估計的指數(shù)衰減率β1和二階矩估計的指數(shù)衰減率β2分別取0.900與0.999，并更新整個體系結(jié)構(gòu)權(quán)重。本次實驗是在Windows平臺下，硬件部分:處理器為Intel Core i9-9900X，顯卡為Nvidia 2080ti，運行內(nèi)存32 GiB。本實驗的深度學(xué)習(xí)框架為Pytorch。

課題組研究的數(shù)據(jù)集由研究院采集自制，原數(shù)據(jù)集共采集圖片1 500 張，因原圖大小不一，訓(xùn)練前統(tǒng)一大小為700 像素×700 像素，具體數(shù)據(jù)集信息如表1所示。由圖3可知：原算法能較好地重構(gòu)原圖特征，但對于一些缺陷邊緣(如毛邊)仍存在著過于平滑的問題，從而導(dǎo)致缺陷辨識度較差；改進SRGAN算法重構(gòu)織物圖像過程中，保證了原圖特征的同時，又通過殘差網(wǎng)絡(luò)融合上下層的特征信息，重建后的織物圖像紋理更清晰，能更容易辨識缺陷，且損失相對原先更加穩(wěn)定。

表1 數(shù)據(jù)集信息

圖3 SRGAN算法改進前后重構(gòu)圖對比

低分辨率原圖與超分辨率重構(gòu)圖對比如圖4所示。

圖4 低分辨率原圖與超分辨率重構(gòu)圖對比

超分辨率重構(gòu)圖經(jīng)過隨機旋轉(zhuǎn)變換后導(dǎo)入原數(shù)據(jù)集，擴充后的數(shù)據(jù)集圖片張數(shù)為3 000。課題組基于擴充后的數(shù)據(jù)集對YOLO-V4檢測算法進行訓(xùn)練并檢測。檢測指標(biāo)選用平均精確度PA,為計算PA,還需計算出交并比(intersection over union，IoU)、精確率P和召回率R，通過交并比IoU測量預(yù)測候選框的定位誤差。IoU閾值設(shè)為0.5，IoU≥0.5時的所有預(yù)測候選框為Tp，剩余其它候選框為Fp,則有：

(8)

(9)

式中：TP為正確檢測到的對象集合，F(xiàn)P為錯誤檢測到的對象集合，F(xiàn)N為檢測器未檢測到的對象集合。

每一個類別都可以根據(jù)召回率和準(zhǔn)確率繪制PR曲線，PR曲線下覆蓋的面積表示平均準(zhǔn)確度PA,則有：

(10)

式中，p(r)即為PR曲線。

圖5所示為Loss函數(shù)改進前后準(zhǔn)確率對比，其中Loss_G和Loss_D分別是生成器損失函數(shù)和判斷器損失函數(shù)，可用二者來衡量真實值和網(wǎng)絡(luò)生成的預(yù)測值的不一致程度，損失函數(shù)的值越小則說明生成器和判斷器的魯棒性更好。由圖5中可知改進后的Loss函數(shù)相較于改進之前有明顯的收斂趨勢。由圖6中可知油墨、黃漬這2類目標(biāo)缺陷檢測精度受分辨率影響較小，但破洞、毛邊等小目標(biāo)缺陷影響較大。缺陷在低分辨率圖像中檢測精度低于在高分辨率圖像中的檢測精度，是因為低分辨率的圖像提取的特征信息差異小，相鄰的邊緣信息對比度欠缺，而深度學(xué)習(xí)技術(shù)中的檢測網(wǎng)絡(luò)多是基于特征信息差異分類訓(xùn)練，再回歸候選框?qū)δ繕?biāo)定位。超分辨率技術(shù)的應(yīng)用能豐富特征信息，加深特征差異性從而提高探測器的檢測性能。

圖5 Loss函數(shù)改進前后準(zhǔn)確率對比

圖6 不同分辨率之間缺陷檢測結(jié)果對比

課題組對比各類檢測算法的檢測效果，分別使用YOLO-V4，YOLO-V3，Dense-YOLO，SSD和Faster R-CNN算法在擴充前后的數(shù)據(jù)集上訓(xùn)練，訓(xùn)練迭代次數(shù)均為200，其余訓(xùn)練參數(shù)相同，檢測結(jié)果如表2和表3所示。

表2 舊數(shù)據(jù)集(1 500張)不同算法的檢測結(jié)果

表3 新數(shù)據(jù)集(3 000張)不同算法的檢測結(jié)果

由表3可知，YOLO-V4算法相對其他算法平均精確度較高，尤其在檢測破洞、擦洞等小目標(biāo)缺陷效果相對明顯，YOLO-V4所采用的Mosaic數(shù)據(jù)增強方法，能有效增加小目標(biāo)缺陷數(shù)量從而提高小目標(biāo)缺陷檢測精度。YOLO-V4的所有種類平均準(zhǔn)確率PmA相比精度次高的Dense-YOLO算法的PmA高2.87%，比起上一代YOLO-V3高6.59%。這是由于YOLO-V4的主干網(wǎng)絡(luò)CSPDarknet53增加了卷積層，網(wǎng)絡(luò)的參數(shù)量相較于上一代有所擴充，且在主干網(wǎng)絡(luò)后加入了SPP結(jié)構(gòu)，即不同尺度的最大池化后堆疊，增加了感受野，對特征具有較好學(xué)習(xí)能力；從網(wǎng)絡(luò)的檢測速率FPS與檢測時間t比較，YOLO-V4保持著較好的檢測速率。綜上分析，YOLO-V4網(wǎng)絡(luò)的整體準(zhǔn)確度優(yōu)于其它檢測網(wǎng)絡(luò)，可以準(zhǔn)確檢測出擦洞、破洞、毛邊、黃漬和油墨等織物中的多類疵點，并定位疵點的準(zhǔn)確位置，標(biāo)記疵點的類別以及準(zhǔn)確率，檢測效果如圖7所示。

圖7 本研究方法檢測效果圖

4 結(jié)語

為解決印花布數(shù)據(jù)集圖像分辨率低、檢測效果差問題，課題組提出一種以低分辨率印花布匹織物圖為輸入，輸出疵點檢測結(jié)果的新方法，該檢測方法由改進SRGAN網(wǎng)絡(luò)與YOLO-V4檢測網(wǎng)絡(luò)構(gòu)成。為驗證方法的有效性，將改進的超分辨率網(wǎng)絡(luò)與不同的檢測器網(wǎng)絡(luò)組合來比較PA值，實驗結(jié)果表明改進方法具有較高的PA值、較快的檢測速度，能滿足實際工業(yè)應(yīng)用需求。本研究為低分辨率圖像上的檢測任務(wù)提供了更好的解決方案，下一步將在網(wǎng)絡(luò)輕量化上進行研究。