李煥煥，代顯智，黎濤，徐媛

（西華師范大學(xué) 電子信息工程學(xué)院，四川南充，637009）

目前，手機(jī)已經(jīng)成為人們?nèi)粘Ｉ畹谋匦杵?。作為輸出信息的重要的組成部分，手機(jī)屏幕的質(zhì)量直接影響著用戶的觀感和體驗(yàn)。目前手機(jī)屏幕缺陷檢測還是以人工檢測為主，但其主觀性大、效率低、成本高。與之相比，機(jī)器視覺具有永不疲勞，標(biāo)準(zhǔn)統(tǒng)一，效率高，非接觸等優(yōu)點(diǎn)，越來越受到學(xué)者的關(guān)注，并逐漸應(yīng)用到各個(gè)領(lǐng)域。因此，利用機(jī)器視覺技術(shù)檢測缺陷在業(yè)內(nèi)越來越流行。

目前手機(jī)屏幕缺陷的研究重點(diǎn)集中在傳統(tǒng)機(jī)器視覺和深度學(xué)習(xí)兩方面，傳統(tǒng)方法提取特征是人工手動(dòng)提??；深度學(xué)習(xí)方法則是通過學(xué)習(xí)大量的樣本自動(dòng)提取特征。其中，傳統(tǒng)方法的特征描述也有所不同，在文中將傳統(tǒng)方法分為兩大類：灰度統(tǒng)計(jì)法、變換域法。將深度學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，其區(qū)別在于：是否對(duì)訓(xùn)練樣本進(jìn)行標(biāo)記。這兩種方法的具體算法又有多種，如圖1 所示。本文將對(duì)這些具體的算法，進(jìn)行詳細(xì)介紹。

圖1 手機(jī)屏幕缺陷檢測分類方法

1 傳統(tǒng)方法

傳統(tǒng)方法主要依據(jù)缺陷顏色、形狀等特征，利用圖像處理算法或結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行檢測。傳統(tǒng)方法主要分成灰度統(tǒng)計(jì)法和變換域法，如圖1 所示。

1.1 灰度統(tǒng)計(jì)法

灰度統(tǒng)計(jì)方法是通過研究圖像的像素分布特點(diǎn)，采用數(shù)字圖像處理技術(shù)針對(duì)性地提取缺陷特征，進(jìn)而通過特征表現(xiàn)的特點(diǎn)判斷手機(jī)屏幕缺陷的種類。

灰度統(tǒng)計(jì)法是對(duì)像素的規(guī)律性和周期性進(jìn)行統(tǒng)計(jì)。閾值法是灰度統(tǒng)計(jì)法中最常用一種方法。其原理是通過設(shè)定不同的特征閾值，把圖像像素點(diǎn)分為不同類。由于其易于實(shí)現(xiàn)、計(jì)算量低、性能穩(wěn)定的優(yōu)點(diǎn)，被廣泛應(yīng)用于分割不同灰度級(jí)范圍的前景和背景圖像。但閾值法抗干擾能力弱，容易受到光照不均、對(duì)比度低等外界因素的影響，直接使用并不能得到良好的效果，因此對(duì)閾值法的改進(jìn)是十分有必要的[1]。Noh 等人[2]首次使用自適應(yīng)閾值技術(shù)快速定位缺陷，完成了TFT-LCD 薄膜圖像缺陷檢測系統(tǒng)。Liu 等人[3]提出基于直線截距與粒子群算法改進(jìn)的快速二維Otsu 算法，相比Otsu[4]、2DOtsu[5]、基于直線截距的2DOtsu[6]等算法，平均分割時(shí)間縮短了一半以上，分割劃痕和氣泡的時(shí)間為54.2292ms 和26.3563ms。劉望等人[7]針對(duì)光照不均的問題，采用自適應(yīng)調(diào)整閾值參數(shù)的方式，可應(yīng)對(duì)各種復(fù)雜的情況。實(shí)驗(yàn)表明，該方法能成功地檢測點(diǎn)缺陷、線缺陷、Mura 缺陷和飽和度缺陷，總體正確率為99.5%，平均檢測時(shí)間為310ms。

邊緣是指圖像內(nèi)明亮部分與陰暗部分的交接處，在此處圖像的像素值發(fā)生突變，因此，邊緣檢測方法是通過微分檢測邊緣像素的灰度值是否連續(xù)，來確定是否存在缺陷。Sobel 算子、Canny 算子和Laplacian 算子是邊緣檢測中最常用的3 種方法。表1 對(duì)這3 種基于邊緣檢測的特征提取方法的優(yōu)缺點(diǎn)進(jìn)行了比較。

表1 基于邊緣檢測方法的比較

Sobel 算子的本質(zhì)是梯度運(yùn)算，在X，Y 方向上使用兩個(gè)特定的卷積核，分別檢測橫向、縱向邊緣。Sobel 邊緣檢測能力強(qiáng)，但對(duì)光照不均很敏感，容易產(chǎn)生假邊緣。Kong等人[8]利用Sobel 邊緣檢測算子對(duì)異常缺陷進(jìn)行邊緣增強(qiáng)。為了克服光照不均的影響，將屏幕分成若干小塊。然后對(duì)每個(gè)小塊進(jìn)行背景評(píng)估，大致定位缺陷區(qū)域。最后，利用SVM 分類器，對(duì)感興趣的小塊進(jìn)行第二次判斷。該算法的準(zhǔn)確率能達(dá)到95.9%。對(duì)于細(xì)微邊緣的檢測，采用Canny算子效果更好，夏慶凱等人[9]運(yùn)用Canny 邊緣檢測算法，得到待檢測手機(jī)屏幕的邊緣，在消除校正圖像與模板圖像的大小差別后，利用圖像差分算法，得到最后的缺陷圖像。Laplacian 算子對(duì)噪聲比較敏感，常用于對(duì)圖像進(jìn)行增強(qiáng)，突出缺陷特征。Jin 等人[10]通過增加Laplacian 卷積層對(duì)輸入圖像進(jìn)行銳化，利用灰度突變?cè)鰪?qiáng)邊緣的對(duì)比度。當(dāng)應(yīng)用于玻璃圖像時(shí)，增加的層有助于突出缺陷的輪廓，使模糊的圖像更清晰，更容易檢測。實(shí)驗(yàn)結(jié)果表明，該模型在實(shí)際測試集上的平均檢測精度達(dá)到94%，滿足工廠實(shí)際使用的要求。

基于聚類的方法是統(tǒng)計(jì)像素間的相似性，從像素分布中提取隱藏信息，進(jìn)而進(jìn)行缺陷檢測。葉其欣[11]提出的經(jīng)模糊C 均值聚類分割后的二值圖如圖2 所示。作者首先進(jìn)行明暗場融合，然將融合后的手機(jī)玻璃蓋板圖像進(jìn)行模糊聚類增強(qiáng)，最后進(jìn)行模糊C 均值聚類分割。從圖2 中可以看出，經(jīng)明暗場融合后的圖像比明場圖能檢測出更多的缺陷。針對(duì)作者的待測樣本，其缺陷檢出率達(dá)到100%。

圖2 經(jīng)模糊C 均值聚類分割前后的二值圖[11]

1.2 變換域法

利用變換域的方法可以將圖像從像素域轉(zhuǎn)換到頻域，使某些特征更加凸顯并可分，是手機(jī)屏幕檢測中應(yīng)用最廣泛的方法。變換域法主要包括傅里葉變換、剪切波變換、Gabor變換、小波變換等濾波方法。

在進(jìn)行表面缺陷檢測時(shí)，傅里葉變換常用于難區(qū)分的特征。但單獨(dú)的傅里葉變換又難以達(dá)到理想的效果，通常將其作為轉(zhuǎn)換模塊，簡化缺陷檢測難度[12～13]。高如新等人[14]利用傅里葉變換實(shí)現(xiàn)模板圖像和待測圖像的配準(zhǔn)，準(zhǔn)確提取了小缺陷、淺劃痕等缺陷特征，缺陷檢測的正確率為99.3%。易松松[15]通過基于傅立葉變換的級(jí)聯(lián)檢測，濾掉大量不重要的信息，僅保留邊緣、異常等有效信息，降低了計(jì)算量。與單獨(dú)的傅里葉變換相比，正確率提高了5.8%，耗時(shí)減少了1610.26ms。該算法的全局檢測正確率為97.6%，單張圖片的平均檢測時(shí)間為237.12ms。

傅里葉變換的缺點(diǎn)是側(cè)重于頻域全局特征，但忽略了大部分空間域的局部特征。為了同時(shí)獲得待測圖像的全局特征和局部特征，研究人員提出采用Gabor 變換，克服傅里葉變換的缺陷。針對(duì)低分辨率的觸摸屏表面缺陷檢測問題，王松芳[16]利用Gabor 濾波器進(jìn)行圖像增強(qiáng)，同時(shí)利用稀疏表示完成了缺陷檢測，準(zhǔn)確率達(dá)到96%。

剪切波變換是一種多尺度的變換方法，具有平移不變性。Zhang 等人[17～18]提出了利用剪切波變換和灰度形態(tài)學(xué)相結(jié)合的圖像增強(qiáng)算法，將對(duì)灰度的處理轉(zhuǎn)移到頻域，對(duì)不同頻域的子圖進(jìn)行不同的頻域增強(qiáng)并使用改進(jìn)的Otsu 雙閾值方法實(shí)現(xiàn)殘差圖像的缺陷判斷，準(zhǔn)確率高達(dá)98.7%。

基于變換域法是手機(jī)屏幕缺陷檢測研究的一大熱點(diǎn)。此外，變換域法結(jié)合了空域與頻域特征，抗干擾能力比灰度變換法強(qiáng)。但變換域方法也有其不足之處，常用變換域方法的優(yōu)缺點(diǎn)如表2 所示。

表2 常用變換域方法的優(yōu)缺點(diǎn)

2 深度學(xué)習(xí)

傳統(tǒng)機(jī)器視覺的檢測方法需要較多的專業(yè)知識(shí)，算法的過程繁瑣。多數(shù)情況下需根據(jù)缺陷的特征改進(jìn)數(shù)字圖像處理算法，才能保證缺陷檢測的準(zhǔn)確性。因此檢測耗時(shí)也相對(duì)較長，不能滿足現(xiàn)在實(shí)時(shí)性的需求。隨著機(jī)器視覺的發(fā)展，深度學(xué)習(xí)已成為目前手機(jī)屏幕缺陷檢測的主要研究方法。由圖1 可知，基于深度學(xué)習(xí)的手機(jī)屏幕缺陷檢測方法，主要有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩大類。

2.1 監(jiān)督學(xué)習(xí)方法

有監(jiān)督學(xué)習(xí)方法是在標(biāo)記過的訓(xùn)練集的基礎(chǔ)上訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，利用訓(xùn)練過的網(wǎng)絡(luò)來檢測缺陷。該方法需要大量正確標(biāo)記的缺陷樣本。

基于傳統(tǒng)CNN (Convolution Neuro Network)的方法現(xiàn)在看來相對(duì)較簡單，該方法首先將深度學(xué)習(xí)引入缺陷檢測，證明深度學(xué)習(xí)的可行性，對(duì)深度學(xué)習(xí)在缺陷檢測應(yīng)用有重大的意義。Li 等人[19]提出利用粗精策略提高算法的效率。該方法分類流程如圖3 所示。首先，利用多層感知器(MLP)對(duì)缺陷進(jìn)行粗略分類，然后通過訓(xùn)練不同的深度學(xué)習(xí)(DL)算法對(duì)剩余缺陷進(jìn)行二次分類。對(duì)6 種不同的深度學(xué)習(xí)算法進(jìn)行對(duì)比實(shí)驗(yàn)得知，VGG 算法檢測耗時(shí)最短約6ms,SeNet耗時(shí)最長約13.6ms。所選的6 種深度學(xué)習(xí)算法的檢測正確率都在97%以上，對(duì)手機(jī)屏幕的劃痕、浮痕、光斑、暗斑等缺陷均能達(dá)到理想的檢測效果。

圖3 Li 等人提出的缺陷分類流程[19]

Park 等人[20]提出了利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（DLNN），進(jìn)行玻璃蓋板的缺陷檢測。其檢測率高達(dá)99%，錯(cuò)誤率低于1%。該方法利用四個(gè)CNN 通道進(jìn)行訓(xùn)練，減少了訓(xùn)練時(shí)間，提升了檢測效率，并解決了多種缺陷應(yīng)用于同一個(gè)CNN 訓(xùn)練帶來的學(xué)習(xí)混亂問題。

語義分割是深度學(xué)習(xí)領(lǐng)域的熱門方向之一。既有基于全卷積網(wǎng)絡(luò)(FCN)及其衍生網(wǎng)絡(luò)的方法，也有基于R-CNN(Region-based Convolution Neuro Network)的算法[21～23]。本文主要介紹第一種算法。Jiang 等人[24]提出了基于語義分割的對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)，完成了對(duì)弱劃痕、變色和凹坑缺陷的分類。該方法的平均準(zhǔn)確率為91.8%。Pan等人[25]首次將EU-Net 應(yīng)用于手機(jī)屏幕表面缺陷檢測，提出了一種MB 編碼器-解碼器結(jié)構(gòu)。與U-Net 相比，該算法減少了語義分割方法中的參數(shù)使用量，計(jì)算復(fù)雜度降低了170 多倍。實(shí)驗(yàn)結(jié)果表明：該算法的精度與U-Net 相似，但參數(shù)量不到U-Net 的一半，能夠滿足工業(yè)生產(chǎn)的實(shí)時(shí)性要求。

目標(biāo)檢測一直是深度學(xué)習(xí)領(lǐng)域的研究重點(diǎn)，其方法大多是以RCNN 和YOLO 為主體改進(jìn)而來[26～27]。Huang 等人[28]設(shè)計(jì)了一種可搭載在嵌入式平臺(tái)的深度學(xué)習(xí)模型，完成了對(duì)手機(jī)陶瓷底板表面缺陷的識(shí)別。YOLOv3-tiny 模型的缺陷識(shí)別正確率約為89.9%，召回率達(dá)到84.5%。該系統(tǒng)運(yùn)行在裝有驍龍625 芯片的硬件上，每幅圖像的檢測速度為350±80ms。Yang 等人[29]提出了一種基于YOLOv5 和Ghost bottleneck 的手機(jī)屏幕檢測模型(Ghost backbone)，使用YOLOv5 作為目標(biāo)檢測器來訓(xùn)練手機(jī)屏幕缺陷數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，該方法的參數(shù)量僅是YOLOv5s 的24%，單個(gè)圖片的平均檢測時(shí)間比YOLOv5s低2%，為76.8ms，平均正確率比YOLOv5s 低1.2%，為97.02%。

2.2 無監(jiān)督學(xué)習(xí)方法

無監(jiān)督學(xué)習(xí)方法不需要標(biāo)記過的訓(xùn)練集，可直接從大量的無標(biāo)記數(shù)據(jù)中自動(dòng)學(xué)習(xí)，節(jié)省了大量人工標(biāo)記時(shí)間。該方法通過特征向量之間的相似性，對(duì)缺陷進(jìn)行分類和檢測。無監(jiān)督學(xué)習(xí)主要包括自編碼器（Auto Encoder）和生成對(duì)抗網(wǎng)絡(luò)(GAN)。

Jin 等人[30]使用卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別玻璃缺陷。該方法利用卷積自編碼對(duì)卷積核進(jìn)行預(yù)訓(xùn)練，減少了訓(xùn)練時(shí)間，且玻璃缺陷的準(zhǔn)確率達(dá)到92.6%。Lv 等人[31]為了解決由于紋理分布不均勻和時(shí)變的特點(diǎn)，提出了一種改進(jìn)的帶加權(quán)SSIM 損失函數(shù)的深度卷積自編碼器(如圖4 所示)，以提高對(duì)非均勻時(shí)變紋理背景的重構(gòu)效果。然后，利用離散余弦變換(DCT)差分分析方法，準(zhǔn)確分割原始圖像中的缺陷區(qū)域。該方法對(duì)512 × 512 像素圖像的處理時(shí)間僅為20 ms，滿足了在線檢測的要求。

圖4 Lv 等人改進(jìn)的卷積自編碼方法的訓(xùn)練和測試流程圖[31]

Yuan 等人[32]提出了一種基于背光源線掃描成像法的手機(jī)玻璃蓋板缺陷檢測系統(tǒng)。該系統(tǒng)采用網(wǎng)絡(luò)對(duì)抗性方法(GANs)訓(xùn)練分割網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明該方法具有較高的缺陷檢測率，正確率為98.26%。而在同一數(shù)據(jù)集上，語義分割的檢測正確率僅為96.52%。

3 不同方法間的比較與未來發(fā)展趨勢(shì)

3.1 不同方法間的比較

目前發(fā)展了多種不同手機(jī)屏幕缺陷檢測方法，為了比較不同方法的檢測效果，表3～表5 從不同角度，對(duì)這些方法進(jìn)行了對(duì)比。表3 主要從優(yōu)缺點(diǎn)角度進(jìn)行分析對(duì)比。表4 和表5 主要從缺陷種類、缺陷檢測正確率、檢測時(shí)間等角度進(jìn)行對(duì)比分析。

表3 傳統(tǒng)方法與深度學(xué)習(xí)方法的比較

表4 基于傳統(tǒng)方法的不同研究對(duì)比表

表5 基于深度學(xué)習(xí)方法的不同研究對(duì)比表

從表3 可看出，灰度統(tǒng)計(jì)法能有效地反映圖像像素的規(guī)律性和周期性，但這種方法側(cè)重于圖像的局部特征，對(duì)圖像對(duì)比度和環(huán)境噪聲有嚴(yán)格的要求。因此灰度統(tǒng)計(jì)法適用于低分辨率或識(shí)別精度要求不高的圖像。與灰度統(tǒng)計(jì)法相比，變換域法抗干擾能力更強(qiáng)，因?yàn)槠渲饕脠D像的頻域特性。但該方法側(cè)重于全局信息，檢測準(zhǔn)確率容易受到特征相關(guān)性的影響。

有監(jiān)督學(xué)習(xí)的手機(jī)屏幕缺陷檢測方法具有較高的精度和抗干擾性。但獲取圖像和手動(dòng)標(biāo)記都需要很長時(shí)間。要有足夠多的標(biāo)注圖像作為訓(xùn)練集，才能保證訓(xùn)練的正確率。無監(jiān)督學(xué)習(xí)檢測方法可以有效解決實(shí)際應(yīng)用中圖像樣本稀缺的問題，降低樣本不平衡帶來的誤判率。但抗干擾性弱且受網(wǎng)絡(luò)初始值影響較大。

從表4 和表5 可看出，傳統(tǒng)方法檢測精度大都高于深度學(xué)習(xí)方法的檢測精度；傳統(tǒng)方法中的變換域法檢測精度略低于灰度值法，但其抗干擾和噪聲能力強(qiáng)；深度學(xué)習(xí)方法中，無監(jiān)督檢測的正確率低于有監(jiān)督檢測，但其模型簡單，且省掉了人工標(biāo)記的時(shí)間?？偟膩碚f，傳統(tǒng)方法和深度學(xué)習(xí)方法的檢測正確率都超過了90%。傳統(tǒng)方法最高正確率可達(dá)100%。這主要是因?yàn)樵摲椒ň哂徐`活性強(qiáng)，可根據(jù)缺陷的特征設(shè)計(jì)相關(guān)算法或?qū)ο嚓P(guān)算法進(jìn)行改進(jìn)，所以能達(dá)到很高的正確率。但是傳統(tǒng)方法由于算法復(fù)雜度較高，檢測缺陷平均耗時(shí)可達(dá)幾百毫秒，是深度學(xué)習(xí)方法的幾倍甚至幾十倍。

3.2 未來發(fā)展趨勢(shì)

目前傳統(tǒng)的基于機(jī)器視覺的檢測方法雖然正確率較高，但算法流程過于繁雜，需要相當(dāng)長的檢測時(shí)間。與傳統(tǒng)機(jī)器視覺方法相比，深度學(xué)習(xí)方法采用了卷積神經(jīng)網(wǎng)絡(luò)的多層深度網(wǎng)絡(luò)自動(dòng)提取圖像特征。對(duì)復(fù)雜的缺陷特征具有較強(qiáng)的表達(dá)能力，具有取代傳統(tǒng)方法的優(yōu)勢(shì)，已成為現(xiàn)在手機(jī)屏幕缺陷研究的熱點(diǎn)。手機(jī)屏幕缺陷檢測領(lǐng)域主要是應(yīng)用于工業(yè)生產(chǎn)層面，目前待解決的問題：（1）缺陷樣本數(shù)量太少，沒有足夠多的真實(shí)缺陷樣本進(jìn)行訓(xùn)練，且缺陷種類不平衡，容易發(fā)生過擬合問題；（2）目前應(yīng)用于手機(jī)屏幕缺陷檢測的深度學(xué)習(xí)網(wǎng)絡(luò)模型參數(shù)量大，如何將網(wǎng)絡(luò)模型輕量化，降低模型的計(jì)算復(fù)雜度，使其可以應(yīng)用到普通設(shè)備，甚至移動(dòng)端上，是目前的研究熱點(diǎn)；（3）深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性差。可靠性是工業(yè)領(lǐng)域應(yīng)用的重要要求，深度學(xué)習(xí)缺乏相應(yīng)理論支撐，人們并不放心其在工業(yè)生產(chǎn)中的應(yīng)用。

如何解決上述問題，是手機(jī)屏幕表面缺陷檢測領(lǐng)域的研究重點(diǎn)?？偨Y(jié)國內(nèi)外的研究進(jìn)展，可從以下幾個(gè)方面繼續(xù)深入研究。

（1）如何解決樣本數(shù)量稀缺和正負(fù)樣本不平衡的問題是目前研究的重點(diǎn)。目前使用較多的方法是基于無缺陷樣本和仿真缺陷樣本的無監(jiān)督方法。除此之外，引入小樣本學(xué)習(xí)方法，諸如元學(xué)習(xí)、度量學(xué)習(xí)等或許是未來的研究方向。

（2）網(wǎng)絡(luò)輕型化作為計(jì)算機(jī)視覺領(lǐng)域的一大熱點(diǎn)，如何將其應(yīng)用到工業(yè)生產(chǎn)和普通設(shè)備，是目前急需解決的問題。已有的基于云端和基于ZYNQ 的手機(jī)屏幕缺陷檢測仍處于起步階段，關(guān)于泛化性、穩(wěn)定性等問題還有許多工作要完成。

（3）網(wǎng)絡(luò)模型可解釋性差也是深度學(xué)習(xí)方法面臨的又一大難題。研究者們提出一種折中的方法，將傳統(tǒng)的數(shù)字圖像處理方法與深度學(xué)習(xí)方法相結(jié)合。但沒有從根本上解決網(wǎng)絡(luò)模型可解釋性差的問題，未來需要研究人員在此方面努力。

（4）傳統(tǒng)方法的研究重點(diǎn)是在保持高檢測正確率的情況下，盡量降低檢測的時(shí)間。通過不同缺陷檢測方法的融合，提高缺陷檢測精度；將數(shù)字圖像處理算法集成到嵌入式系統(tǒng)中（如ZYNQ），減少檢測時(shí)間，是傳統(tǒng)方法未來的發(fā)展方向。

4 結(jié)論

目前，機(jī)器視覺在手機(jī)屏幕中的應(yīng)用仍然存在改進(jìn)空間。本文對(duì)手機(jī)屏幕缺陷檢測的現(xiàn)有研究進(jìn)行了系統(tǒng)的梳理分析，并進(jìn)行了簡明易懂的分類。同時(shí)對(duì)現(xiàn)有方法的原理進(jìn)行了闡述，總結(jié)比較了各種缺陷檢測技術(shù)的優(yōu)缺點(diǎn)。通過對(duì)現(xiàn)有研究的分析，提出了該領(lǐng)域存在的一些問題和未來發(fā)展方向。希望通過本文，對(duì)手機(jī)屏幕缺陷檢測領(lǐng)域提供有效參考，推動(dòng)該領(lǐng)域的進(jìn)一步發(fā)展。