陳煒煒， 嚴(yán) 群,2*， 姚劍敏,2

(1. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108；2. 晉江市博感電子科技有限公司, 福建 晉江362200)

1 引 言

隨著科技的發(fā)展，智能終端融入了我們生活的方方面面。TFT-LCD屏幕在智能終端與人的交互中扮演著重要的角色，它的顯示質(zhì)量直接影響著產(chǎn)品的用戶體驗(yàn)。因此，TFT-LCD的缺陷檢測(cè)在面板制造過程中顯得舉足輕重。

當(dāng)下，絕大多數(shù)面板廠商都是通過人工來完成缺陷檢測(cè)。對(duì)于追求高產(chǎn)能、高利潤的面板廠商，人工檢測(cè)不僅可靠性差，耗費(fèi)的時(shí)間、人力成本也大。隨著機(jī)器學(xué)習(xí)的成熟[1]及深度學(xué)習(xí)的快速發(fā)展，越來越多的神經(jīng)網(wǎng)絡(luò)應(yīng)用于工業(yè)缺陷檢測(cè)[2-3]。

基于卷積神經(jīng)網(wǎng)絡(luò)的TFT-LCD缺陷檢測(cè)研究工作正在迅速發(fā)展中。Chen等采用4種神經(jīng)網(wǎng)絡(luò)方法識(shí)別TFT-LCD光刻工藝中的面板缺陷[4]；曾毅等利用均值差分和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法進(jìn)行TFT-LCD缺陷檢測(cè)[5]；歐先鋒等針對(duì)TFT-LCD表面缺陷對(duì)比度低、邊緣模糊以及容易受圖像噪聲的干擾而導(dǎo)致難以識(shí)別的問題，建立全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的快速檢測(cè)[6]；何俊杰基于傳統(tǒng)的圖像處理方法如閾值分割和Faster R-CNN對(duì)TFT-LCD的電子線路缺陷進(jìn)行檢測(cè)[7]；Ling Ma等對(duì)高分辨率圖片進(jìn)行子圖片的分割后利用GoogLeNet進(jìn)行缺陷的分類[8]。

目前將生成對(duì)抗網(wǎng)絡(luò)直接用于TFT-LCD缺陷檢測(cè)的相關(guān)工作較少，相關(guān)研究工作都是基于公開數(shù)據(jù)集圍繞異常檢測(cè)展開。Samet Akcay[9]等提出了一種半監(jiān)督異常檢測(cè)，可以實(shí)現(xiàn)在無異常樣本的訓(xùn)練下對(duì)異常樣本進(jìn)行檢測(cè)，并在CIFAR10[10]、MNIST[11]等公開數(shù)據(jù)集上取得不錯(cuò)的檢測(cè)效果；Zhixuan Zhao等基于生成式對(duì)抗網(wǎng)絡(luò)和自編碼器提出了一種僅基于正樣本訓(xùn)練的新型缺陷檢測(cè)框架，于DAGM2007進(jìn)行測(cè)試[12]；Hu等基于DCGAN提出了一種無監(jiān)督的布匹檢測(cè)方法[13]。

本文為TFT陣列缺陷檢測(cè)提供了一種新思路，利用生成式對(duì)抗網(wǎng)絡(luò)將圖像顯著性與缺陷檢測(cè)相結(jié)合，所用的訓(xùn)練數(shù)據(jù)集無需人工標(biāo)注，解決了人工標(biāo)注時(shí)間及人力成本大的問題。該方法基于生成式對(duì)抗網(wǎng)絡(luò)最新的研究成果AttentionGAN[14-15]得到顯著性圖像[16]生成器，基于顯著性圖像依次得到顯著性最低的種子點(diǎn)、缺陷標(biāo)記圖像、缺陷掩膜圖像，進(jìn)而利用二值形態(tài)學(xué)重建[17]的區(qū)域生長方法[18]進(jìn)行缺陷的分割及定位。

2 系統(tǒng)概述

液晶面板的制程分為陣列、彩膜、成盒、模組、整機(jī)五大制程[19]，本文所用數(shù)據(jù)集從陣列廠產(chǎn)線的AOI設(shè)備采集而來。圖1展示了本文TFT缺陷檢測(cè)方法的整體流程圖。該方法的第一步是裁剪圖像的文本區(qū)域并訓(xùn)練AttentionGAN；第二步是利用訓(xùn)練好的顯著性生成器生成待檢測(cè)圖片的顯著性圖。由于顯著性圖像中前景背景區(qū)分度不高會(huì)導(dǎo)致基于固定閾值的分割效果不佳，為了優(yōu)化這個(gè)問題，第三步是在顯著性圖上尋找顯著性最低也即灰度值最小的像素點(diǎn)作為種子像素，基于種子像素的灰度值找到二個(gè)不同的閾值得到缺陷標(biāo)記圖像與缺陷掩膜圖像，再進(jìn)行二值形態(tài)學(xué)重建的區(qū)域生長，最后得到缺陷的外接矩形框。

圖1 TFT陣列缺陷檢測(cè)系統(tǒng)示意圖

3 基于注意力機(jī)制的生成式對(duì)抗網(wǎng)絡(luò)

3.1 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)[20](Generative adversarial Networks，GAN)是一種核心思想來源于博弈論的訓(xùn)練網(wǎng)絡(luò)。如圖2所示，生成對(duì)抗網(wǎng)絡(luò)由以下兩個(gè)部分構(gòu)成：生成器和辨別器。輸入隨機(jī)噪聲，生成器試圖生成能夠欺騙過判別器的偽樣本，相反地，判別器盡可能地去判別所給樣本的真實(shí)性。兩者在這樣的對(duì)抗中不斷優(yōu)化生成網(wǎng)絡(luò)和辨別網(wǎng)絡(luò)。生成對(duì)抗網(wǎng)絡(luò)的總損失函數(shù)定義如式(1)：

圖2 生成式對(duì)抗網(wǎng)絡(luò)

，

(1)

其中：E表示概率分布；x～pdata代表從真實(shí)樣本中的數(shù)據(jù)分布中隨機(jī)抽取x；z～pz代表從高斯噪聲的隨機(jī)分布中抽取z，其中，z為高斯噪聲；G、D分別為生成器和判別器；pdata為真實(shí)樣本的概率分布；pz為高斯噪聲的概率分布。

3.2 基于注意力機(jī)制的生成式對(duì)抗網(wǎng)絡(luò)

GAN廣泛應(yīng)用于高分辨率圖像生成、視頻生成、圖像翻譯等領(lǐng)域。在圖像翻譯工作pix2pix[21]中，輸入輸出成對(duì)的數(shù)據(jù)集難以收集，后來的工作如CycleGAN[22]、DualGAN[23]、DiscoGAN[24]解決了pix2pix的痛點(diǎn)，不需要配對(duì)的訓(xùn)練集，而只需源域的數(shù)據(jù)集合與目標(biāo)域的數(shù)據(jù)集合，就能學(xué)到兩者相互的映射關(guān)系。然而這些模型很容易受到冗余圖像信息的影響，并且在圖像翻譯過程中不能很好地關(guān)注圖像最具辨別力的語義部分。ContrastGAN[25]、InstaGAN[26]、SAGAN[27]等一系列工作雖然能使網(wǎng)絡(luò)獲得顯著性圖，但都引入了額外的網(wǎng)絡(luò)或者掩膜數(shù)據(jù)。如圖3的簡(jiǎn)化框架所示，AttentionGAN可以通過學(xué)習(xí)區(qū)分前景和背景，也即可以直接通過生成器生成顯著性圖像并進(jìn)行更好的圖像翻譯工作。綜上所述，AttentionGAN的訓(xùn)練集易于收集，無需人工標(biāo)注，并且能很好地關(guān)注圖像中最具辨別力的語義信息——極大地簡(jiǎn)化TFT-LCD陣列缺陷的檢測(cè)工作量，生成更優(yōu)的顯著性圖像，取得更優(yōu)的檢測(cè)效果。

圖3 AttentionGAN網(wǎng)絡(luò)模型簡(jiǎn)化框架

AttentionGAN使用的總損失函數(shù)如式(2)：

L=LGAN+λcycle×Lcycle+λid×Lid

，

(2)

其中：LGAN、Lcycle與CycleGAN[27]一致，Lid采用一致性保持損失[28]。

結(jié)合AttentionGAN論文[15]與圖3可以得知，AttentionGAN生成兩張不同的顯著性圖片，分別是前景顯著性掩膜(Foreground Attention Mask)與背景顯著性掩膜(Background Attention Mask)，他們的灰度值和為1。由于背景顯著性掩膜的可視效果更好，所以實(shí)際運(yùn)用中AttentionGAN生成的顯著性圖只有背景顯著性掩膜。背景顯著性掩膜中，TFT陣列背景的顯著性比缺陷高，也即TFT陣列背景的灰度值比缺陷的灰度值大。

3.3 訓(xùn)練策略

在訓(xùn)練AttentionGAN之前，需要對(duì)圖像進(jìn)行文字區(qū)域裁剪的預(yù)處理。如圖4所示，圖(a)為裁剪文字之前，圖(b)為裁剪文字之后。本文采用了王永城等人[29]提出的梯度計(jì)算的方法，將RGB圖像轉(zhuǎn)為灰度圖后計(jì)算垂直和水平方向的梯度值，接著根據(jù)梯度值的跳變確定圖像中文字的區(qū)域并裁剪。之所以不使用固定坐標(biāo)對(duì)文字區(qū)域進(jìn)行裁剪是為了提高檢測(cè)方法的通用性，不同種類的TFT產(chǎn)品文本區(qū)域大小不固定，采取通用的裁剪方法能使本文提出的檢測(cè)方法適配不同種類的TFT產(chǎn)品。

圖4 圖像預(yù)處理

訓(xùn)練集分為缺陷域與非缺陷域兩部分，缺陷域圖片共1 496張，非缺陷域圖片共有1 438張。采用先縮放圖片到286×286，再從中隨機(jī)裁減出256×256送入神經(jīng)網(wǎng)絡(luò)的圖像處理策略；設(shè)定圖片數(shù)量為8；初始學(xué)習(xí)率為0.000 2，β1=0.5，β2=0.999的Adam優(yōu)化器。采用LSGAN[30]使訓(xùn)練變得更穩(wěn)定。訓(xùn)練迭代200輪后，得到如圖5所示的顯著性圖像，其中，(a)、(b)為缺陷圖像的顯著性掩膜，(c)為無缺陷TFT的顯著性掩膜。

圖5 顯著性掩膜。 (a),(b)缺陷顯著性掩膜；(c)無缺陷顯著性掩膜。

4 基于顯著性圖的形態(tài)學(xué)重建

4.1 形態(tài)學(xué)重建

基本的數(shù)學(xué)形態(tài)學(xué)變換有膨脹、腐蝕、開運(yùn)算、閉運(yùn)算。膨脹運(yùn)算利用結(jié)構(gòu)元素對(duì)圖像進(jìn)行填充；腐蝕運(yùn)算利用結(jié)構(gòu)元素對(duì)圖像進(jìn)行收縮。直觀地說，膨脹能夠填補(bǔ)裂縫，腐蝕能夠消除邊界點(diǎn)。開運(yùn)算是先腐蝕后膨脹, 它可以用來消除小物體, 擴(kuò)大較小間隙；閉運(yùn)算是先膨脹后腐蝕, 它可以消除狹窄的間斷，平滑邊界。膨脹、腐蝕、開運(yùn)算、閉運(yùn)算的數(shù)學(xué)表達(dá)如式(3)～(6)所示：

F⊕B(x,y)=max{F(x-s,y-t)+B(s,t)}

，

(3)

F?B(x,y)=min{F(x-s,y-t)+B(s,t)}

，

(4)

F°B=(F?B)⊕B

，

(5)

F·B=(F⊕B)?B

，

(6)

其中：⊕、?、°、·分別代表膨脹運(yùn)算、腐蝕運(yùn)算、開運(yùn)算、閉運(yùn)算。

形態(tài)學(xué)重建是圖像變換集中的一部分， 是一種提取圖像連通域的過程。形態(tài)學(xué)重建可以簡(jiǎn)單理解為標(biāo)記(Marker)圖像的重復(fù)膨脹，標(biāo)記圖像不斷膨脹至其輪廓與掩膜(Mask)圖像相適配。形態(tài)學(xué)重建分為二值形態(tài)學(xué)重建與灰度形態(tài)學(xué)重建，本文所采用的方法為二值形態(tài)學(xué)重建。

對(duì)于掩膜圖像M，標(biāo)記圖像I，其中I?M，R(I,M)為根據(jù)M對(duì)I重建后的圖像。算法偽代碼表述如下：

1) 初始值?1=I,結(jié)構(gòu)元素B=ones(3)2) repeat:?k+1=min((?k B),M) until:?k+1=?k3) R(I,M)=?k+1

其中，⊕為膨脹運(yùn)算。

4.2 基于顯著性圖的形態(tài)學(xué)重建

理想情況下，帶有缺陷的TFT陣列的顯著性圖像都如圖5(b)所示，前景背景區(qū)分度高。實(shí)際情況下，受制于全自動(dòng)光學(xué)檢測(cè)(AOI)設(shè)備采集的一手?jǐn)?shù)據(jù)的圖像亮度與對(duì)比度變化，約有1/3的顯著性圖如圖5(a)、圖8(a)圖像所示，缺陷的顯著性與背景的顯著性相互干擾或者總體而言前景背景顯著性區(qū)別度不高。同時(shí)缺陷本身顏色過淡或者缺陷位于電路部件上也是導(dǎo)致前景背景顯著性區(qū)別度不高的主要原因?；谏鲜銮闆r，提出了基于顯著性圖的形態(tài)學(xué)重建來優(yōu)化前景背景顯著性區(qū)分度不高的問題。

假設(shè)顯著性圖x中缺陷區(qū)域的顯著性遠(yuǎn)低于其他無缺陷區(qū)域，以顯著性最低的像素也即灰度值最小的像素作為種子點(diǎn)，得到種子像素灰度值δ1和生長像素灰度值δ2，以δ1為閾值對(duì)顯著性圖進(jìn)行二值分割得到標(biāo)記圖像I；以δ2結(jié)合形態(tài)學(xué)閉運(yùn)算得到掩膜圖像M，其中形態(tài)學(xué)閉運(yùn)算使用形狀為矩形的5×5內(nèi)核矩陣。以I為初始標(biāo)記點(diǎn)，M為區(qū)域生長準(zhǔn)則，執(zhí)行二值形態(tài)學(xué)重建R(I,M)的區(qū)域生長對(duì)缺陷進(jìn)行分割，最后得到缺陷的檢測(cè)外接矩形框。種子像素灰度值δ1與生長像素灰度值δ2的定義見式(7)、(8)：

δ1=min(x)+5

，

(7)

δ2=max(min(x)+20,170)

，

(8)

基于顯著掩膜的形態(tài)學(xué)重建算法流程圖如圖6所示。

圖6 形態(tài)學(xué)重建算法流程圖

圖7將形態(tài)學(xué)重建算法的過程可視化。(a)(b)(c)(d)(e)五幅圖像分別為：顯著性圖、檢測(cè)結(jié)果圖像、以δ1為閾值的缺陷標(biāo)記圖像I、以δ2為閾值的缺陷掩膜圖像M、形態(tài)學(xué)重建后的圖像。由顯著性圖(a)可以得到標(biāo)記圖像(c)和掩膜圖像(d)，基于(c)(d)得到形態(tài)學(xué)重建后的圖像(e),最終得到檢測(cè)結(jié)果(b)。

圖7 形態(tài)學(xué)重建算法流程可視化

5 實(shí)驗(yàn)分析

5.1 評(píng)估指標(biāo)

本方法對(duì)于缺陷的檢測(cè)可分為4組：缺陷圖片被正確檢出，缺陷圖片被誤檢為無缺陷圖片、無缺陷圖片被正確檢出，無缺陷圖片被誤檢為缺陷圖片，分別記為TP、FP、TN、FN。

為了評(píng)價(jià)本方法的缺陷檢出能力，使用交并比(Intersection over Union, IOU)閾值為0.5的F1分?jǐn)?shù)作為模型檢測(cè)及二分類性能評(píng)估標(biāo)準(zhǔn)。其中F1分?jǐn)?shù)用來衡量二分類模型精確度，是模型精確率與召回率的調(diào)和平均。交并比(IOU)定義如式(9)所示：

(9)

其中：PR、GT分別為檢測(cè)模型的預(yù)測(cè)框、標(biāo)注框。F1分?jǐn)?shù)的定義如式(10)所示：

(10)

其中，精度(precision)與召回率(recall)定義如式(11)、(12)所示：

(11)

(12)

對(duì)于TFT-LCD陣列，面板廠商通常只關(guān)注面積占比最大的缺陷，因此用于評(píng)估的人工缺陷標(biāo)注在每一張缺陷圖片上只有一個(gè)，且面積占比最大。因此當(dāng)本方法檢測(cè)出多個(gè)缺陷時(shí)，取面積最大的檢測(cè)框與標(biāo)注框進(jìn)行交并比、F1的計(jì)算。

5.2 實(shí)驗(yàn)結(jié)果

本文在處理器為Intel Xeon，顯卡為NVIDIA Tesla P100的RetHat服務(wù)器上進(jìn)行了實(shí)驗(yàn)。使用Python進(jìn)行開發(fā)設(shè)計(jì)，其中，AttentionGAN基于Pytorch神經(jīng)網(wǎng)絡(luò)框架。

用于測(cè)試的數(shù)據(jù)集共766張圖片，其中缺陷圖片743張，無缺陷圖片23張。在IOU閾值為0.5時(shí)，TP、TN、FP、FN分別為667，17，58，24。由此可以算出準(zhǔn)確率為0.920，召回率為0.965，F(xiàn)1分?jǐn)?shù)為0.942。

實(shí)驗(yàn)表明，二值形態(tài)學(xué)重建的區(qū)域生長減小了背景與缺陷顯著性相近的缺陷圖像的誤檢率。如圖8(a)兩幅圖所示，當(dāng)背景區(qū)域較深時(shí)，由AttentionGAN得到的顯著性圖像缺陷區(qū)域與非缺陷區(qū)域的顯著性相近，倘若就顯著性圖像以固定的閾值進(jìn)行缺陷的分割檢測(cè)，那么得到的結(jié)果將如圖8中(b)、(c)所示，易發(fā)生欠分割或過分割。

圖8 實(shí)驗(yàn)結(jié)果分析。 (a)顯著性圖；(b)以種子像素為閾值的二值圖；(c)以生長像素為閾值的分割圖；(d)形態(tài)學(xué)重建的二值圖。

如表1所示，當(dāng)只用種子像素δ1作為閾值直接進(jìn)行二值分割時(shí)，精準(zhǔn)度(Precision)只有0.893；當(dāng)只用生長像素δ2作為閾值直接進(jìn)行二值分割，精準(zhǔn)度(Precision)只有0.868；當(dāng)結(jié)合δ1、δ2，也即基于標(biāo)記圖像與掩膜圖像進(jìn)行形態(tài)學(xué)重建時(shí)，精準(zhǔn)度(Precision)只提高了3%～6%，F(xiàn)1分?jǐn)?shù)提高了2%～3%。

表1 不同閾值對(duì)顯著性圖像后處理的效果評(píng)估

6 結(jié) 論

本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)和形態(tài)學(xué)重建的TFT陣列缺陷檢測(cè)方法。其中生成式對(duì)抗網(wǎng)絡(luò)采用了引入注意力機(jī)制的AttentionGAN，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，得到顯著性圖生成器，選取顯著性圖中顯著性最低的點(diǎn)作為種子像素，得到缺陷標(biāo)記圖像、缺陷掩膜圖像后執(zhí)行二值形態(tài)學(xué)重建的區(qū)域生長。值得注意的是，與通常的目標(biāo)檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)不同，本文提出的方法所用的訓(xùn)練集無須人工標(biāo)注，解決了人工標(biāo)注時(shí)間、人力成本大的問題。在交并比閾值為0.5時(shí)，能達(dá)到F1分?jǐn)?shù)值為0.94的二分類結(jié)果。

在本方法的基礎(chǔ)上，可以繼續(xù)從以下方面展開優(yōu)化工作：第一是收集更多的缺陷于電路部件區(qū)域的數(shù)據(jù)集，優(yōu)化當(dāng)缺陷位于TFT電路部件區(qū)域時(shí)顯著性不明顯的問題；第二是嘗試從已有的數(shù)據(jù)集中獲取能提高二值分割的先驗(yàn)信息如平均灰度值等。