李一能，曾慶化*，張?jiān)聢A，姜 涌，崔雨晨

基于BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷識(shí)別與定位研究

李一能1，曾慶化1*，張?jiān)聢A1，姜 涌2，崔雨晨1

1南京航空航天大學(xué)導(dǎo)航研究中心，江蘇 南京 211106；2惠州高視科技有限公司，廣東 惠州 516000

各類顯示屏中Mura缺陷的自動(dòng)識(shí)別和定位對(duì)提高顯示屏幕的產(chǎn)品品質(zhì)具有重要作用，是當(dāng)前迫切需要發(fā)展的重要技術(shù)之一。針對(duì)當(dāng)前手機(jī)屏幕Mura缺陷對(duì)比度低、缺乏明顯邊緣等特點(diǎn)，文中提出一種基于圖像灰度曲線的Mura缺陷檢測(cè)方法及其改進(jìn)方法。改進(jìn)方法基于均值濾波平滑和降采樣原理，通過(guò)研究采樣線上灰度曲線的波峰與波谷信息，利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建線Mura缺陷的自動(dòng)檢測(cè)和定位算法。結(jié)合真實(shí)手機(jī)屏幕圖像驗(yàn)證結(jié)果表明，與現(xiàn)有多種Mura缺陷檢測(cè)方法相比，本文的改進(jìn)方法能更準(zhǔn)確快速地識(shí)別手機(jī)屏幕中的線Mura缺陷，識(shí)別準(zhǔn)確率達(dá)到98.33%，檢測(cè)過(guò)程無(wú)需調(diào)節(jié)參數(shù)，實(shí)現(xiàn)了線Mura缺陷的自動(dòng)檢測(cè)和定位。

BP神經(jīng)網(wǎng)絡(luò)；灰度曲線；Mura；缺陷檢測(cè)；圖像處理

1 引 言

手機(jī)屏幕結(jié)構(gòu)復(fù)雜、制造工序繁多，生產(chǎn)過(guò)程中不可避免會(huì)出現(xiàn)點(diǎn)、線Mura等缺陷，類似缺陷是由于薄膜晶體管失效，驅(qū)動(dòng)芯片與屏幕連接不良等原因引起[1]。Mura缺陷是液晶屏不良顯示缺陷，主要體現(xiàn)為屏幕的部分區(qū)域亮度或顏色不均、缺陷區(qū)域和周圍背景的對(duì)比度低、邊緣模糊等[2]。這些特點(diǎn)使得傳統(tǒng)的基于邊緣檢測(cè)和閾值分割的方法難以有效檢測(cè)Mura缺陷[3]。傳統(tǒng)的顯示屏幕Mura缺陷檢測(cè)主要依靠人工檢測(cè)辨別，該方法人工成本高、受工人經(jīng)驗(yàn)影響較大，檢測(cè)效率較低，無(wú)法滿足屏幕大批量的檢測(cè)和篩查要求，為此，迫切需要研究基于計(jì)算機(jī)識(shí)別的顯示屏幕Mura缺陷的自動(dòng)檢測(cè)和定位技術(shù)。近年來(lái)，雖然出現(xiàn)了Mura自動(dòng)檢測(cè)方法，但是由于Mura缺陷在不同顯示屏幕上的可視性不同，需要進(jìn)行大量的參數(shù)調(diào)節(jié)，難以適用于大規(guī)模的屏幕缺陷檢測(cè)[4]。

由于Mura的種類繁多，因此檢測(cè)算法的普適性較低[5]。目前，已有學(xué)者針對(duì)不同種類的Mura提出了多種Mura缺陷的檢測(cè)方法。Ma等人[6]提出一種基于圖像背景重構(gòu)的LCD屏幕Mura缺陷檢測(cè)方法，通過(guò)估計(jì)屏幕亮度分布的方法重建圖像背景，再利用伽瑪校正得到缺陷區(qū)域的最終結(jié)果。Kong等人[7]提出了一種針對(duì)水漬狀Mura缺陷檢測(cè)方法，該方法將帶通濾波器與Sobel邊緣檢測(cè)算子結(jié)合，有效突出水漬狀Mura缺陷，同時(shí)將圖像分解為幾個(gè)小塊分別進(jìn)行檢測(cè)，減小了光照不均帶來(lái)的干擾。Wang等人[8]提出了一種背景重構(gòu)和多通道融合的Mura缺陷檢測(cè)方法，該方法利用FastICA從大量無(wú)故障圖像中獲取一組基礎(chǔ)圖像用于背景重建，結(jié)合多閾值定位圖像中Mura缺陷位置。廖苗等人[9]提出一種基于自適應(yīng)局部增強(qiáng)的Mura缺陷自動(dòng)檢測(cè)方法，該方法將手機(jī)屏幕區(qū)域劃分為多個(gè)不重疊的像素塊，接著根據(jù)每個(gè)像素塊的灰度分布特征，自適應(yīng)增強(qiáng)圖像并定位圖像中的Mura區(qū)域。錢基德等人[10]提出一種基于單幀圖像背景建模與背景差分的方法，該方法有效解決了液晶屏亮度不均問(wèn)題，并基于最大穩(wěn)定極值區(qū)域，構(gòu)造全自動(dòng)缺陷在線檢測(cè)系統(tǒng)。郝仕嘉等人[11]提出了一種基于機(jī)器視覺(jué)的手機(jī)屏幕Mura缺陷檢測(cè)方法，通過(guò)構(gòu)造不同的卷積模塊對(duì)圖像進(jìn)行卷積處理，增強(qiáng)缺陷與周圍正常像素的對(duì)比，進(jìn)而確定Mura缺陷的范圍。上述Mura缺陷檢測(cè)方法針對(duì)各自的適用場(chǎng)合均取得了不錯(cuò)的效果，然而所檢測(cè)出的缺陷都是具有較為明顯邊界的缺陷，或者缺陷本身與周圍環(huán)境的對(duì)比度較強(qiáng)?？紤]到本文檢測(cè)的手機(jī)屏幕的Mura缺陷非常不明顯，檢測(cè)技術(shù)要求特別高，人工檢測(cè)時(shí)需要長(zhǎng)時(shí)間調(diào)整不同的角度觀測(cè)和識(shí)別，為此，前述的檢測(cè)方法很難適用。

考慮到Mura缺陷檢測(cè)缺少針對(duì)圖像中灰度曲線直接分析的算法，因此本文提出一種基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷檢測(cè)新方法。首先對(duì)圖像進(jìn)行預(yù)處理，降低圖像噪聲干擾，然后對(duì)圖像中采樣線上的灰度曲線進(jìn)行分析，尋找灰度突變的位置，進(jìn)而判斷是否存在線Mura。在此基礎(chǔ)上，結(jié)合BP神經(jīng)網(wǎng)絡(luò)非線性強(qiáng)、魯棒性好的特點(diǎn)，從圖像灰度曲線上提取能夠反映是否存在Mura的特征信息進(jìn)行訓(xùn)練，自動(dòng)檢測(cè)屏幕中是否存在Mura缺陷。這種針對(duì)手機(jī)屏幕的線Mura缺陷的自動(dòng)檢測(cè)和定位方法，對(duì)于提高手機(jī)屏幕的檢測(cè)效率和質(zhì)量具有重要價(jià)值。

2 Mura缺陷檢測(cè)方案簡(jiǎn)介

圖1所示為試驗(yàn)中采集的手機(jī)屏幕的部分圖像樣本，從圖中可以看出手機(jī)屏幕中存在隱約模糊的整體亮度不均勻現(xiàn)象以及矩形框標(biāo)記的橫向縱向兩種形式的線Mura缺陷。這些缺陷所在的位置不固定，且與周圍背景沒(méi)有較為明顯的邊界。考慮到人眼對(duì)于Mura的最敏感的位置為圖像中的暗條紋與亮條紋，對(duì)應(yīng)為圖像灰度曲線的波峰或者波谷。為此，擬通過(guò)檢測(cè)灰度曲線中波峰波谷的方法檢測(cè)圖像的Mura缺陷。

3 基于圖像灰度的Mura缺陷檢測(cè)算法研究

基于圖像灰度曲線的線Mura檢測(cè)方法是在對(duì)圖像進(jìn)行預(yù)處理的基礎(chǔ)上，采樣線上的灰度曲線判斷圖像中是否存在Mura缺陷，主要步驟包括：圖像平滑、圖像降采樣、采樣線波峰波谷檢測(cè)、Mura缺陷判定。

圖1 手機(jī)屏幕樣本與缺陷所在位置。(a) 橫向Mura；(b) 縱向Mura

3.1 基于均值濾波的缺陷增強(qiáng)與圖像降噪分析

由于圖像在采集過(guò)程中采用單側(cè)光源照射，因此整個(gè)屏幕的光線強(qiáng)度不均勻，除此之外，還存在相機(jī)鏡頭誤差與振動(dòng)等各種干擾因素，不可避免地導(dǎo)致圖像引入噪聲，使圖像的灰度曲線出現(xiàn)劇烈的震蕩。針對(duì)圖像灰度曲線中震蕩劇烈、毛刺過(guò)多，難以進(jìn)行分析與處理的問(wèn)題，本文選擇均值濾波器[12]進(jìn)行圖像濾波，從而降低圖像中尖銳噪聲影響。經(jīng)過(guò)多次對(duì)比測(cè)試分析，針對(duì)本文中這類分辨率為4800′2600的手機(jī)屏幕圖像，選擇127′127的濾波矩陣效果較好。

3.2 基于灰度曲線的線Mura檢測(cè)算法

由于原圖的尺寸非常大(4800′2600)，導(dǎo)致在檢測(cè)程序運(yùn)行處理過(guò)程中，需要大量時(shí)間。此外，本文中所示Mura缺陷的邊界非常不明顯，需要從較為宏觀的角度整體進(jìn)行檢測(cè)。文中結(jié)合圖像降采樣方法[13]，將圖像進(jìn)行10:1的降采樣，由于圖像中Mura缺陷對(duì)應(yīng)的灰度曲線是尺寸較大的宏觀變化的過(guò)程，因此，降采樣中丟失的部分細(xì)節(jié)信息對(duì)Mura 缺陷的檢測(cè)影響較小。如圖2所示，降采樣前后的采樣線上灰度曲線的變化是一致的，而且降采樣減小了圖像的尺寸，沒(méi)有改變對(duì)應(yīng)的灰度，因此使得灰度變化更加明顯，有效突出屏幕中的Mura特征。

為了提高處理速度，需要對(duì)圖像進(jìn)行采樣處理，為此在預(yù)處理的圖像上根據(jù)需要加入了等間隔的采樣線，采樣線間隔可以按照式(1)計(jì)算獲得。本文選取采樣線的數(shù)量為12條，選擇的寬度為20個(gè)像素，采樣線情況如圖3(a)中豎線所示。

式中：為采樣線間隔像素點(diǎn)數(shù)，row為圖像長(zhǎng)度方向的像素點(diǎn)數(shù)，為采樣線數(shù)目。

由于線Mura在圖像灰度曲線上對(duì)應(yīng)為波峰或者波谷，因此可以通過(guò)檢測(cè)采樣線是否存在滿足特定條件的波峰/波谷判斷Mura的具體情況。圖3(b)矩形框中灰度曲線的波谷從左到右對(duì)應(yīng)于圖3(a)矩形框中從上至下像素點(diǎn)灰度值的變化情況。

根據(jù)大量的圖像實(shí)驗(yàn)分析經(jīng)驗(yàn)，結(jié)合波峰/波谷判別方式給出線Mura的定義為：在某一區(qū)域中，多條采樣線灰度同時(shí)存在灰度變化率絕對(duì)值較大的波峰或波谷，若在波峰或波谷兩側(cè)的灰度曲線能保持單調(diào)性達(dá)到一定的寬度，則說(shuō)明該區(qū)域某種程度上存在線Mura缺陷。

然而在求解采樣線灰度曲線上波峰/波谷點(diǎn)的過(guò)程中，由于采樣線灰度曲線在波峰/波谷點(diǎn)相鄰5個(gè)像素內(nèi)常常出現(xiàn)小幅度的震蕩，會(huì)導(dǎo)致求解出重復(fù)的極值點(diǎn)。如圖4圓圈中所示，下三角形對(duì)應(yīng)為采樣線灰度曲線的波谷點(diǎn)，上三角形對(duì)應(yīng)為采樣線灰度曲線的波峰點(diǎn)，在圓圈中的極近距離中求解出對(duì)應(yīng)于同一個(gè)尖峰的重復(fù)波谷點(diǎn)。對(duì)于該種波峰/波谷點(diǎn)，一般考慮將多個(gè)點(diǎn)的位置求平均值，得到唯一極值點(diǎn)位置。

圖2 圖像降采樣前后采樣線灰度曲線示意圖。(a) 降采樣后采樣線灰度曲線；(b) 未降采樣采樣線灰度曲線

圖3 手機(jī)屏幕暗條紋線Mura對(duì)應(yīng)關(guān)系示意圖。(a) 手機(jī)屏幕采樣線示意圖；(b) 手機(jī)屏幕采樣線灰度變化示意圖

圖4 檢測(cè)孤點(diǎn)、極值點(diǎn)示意圖

除此之外，由于圖像中光線分布不均，將出現(xiàn)如圖4矩形框中孤立的極值點(diǎn)。在以波峰/波谷點(diǎn)為中心、寬度為10 pixels、長(zhǎng)度與圖像長(zhǎng)度一致的矩形框中，如果出現(xiàn)的波峰/波谷點(diǎn)的數(shù)量小于5，可以認(rèn)為該點(diǎn)為孤立的極值點(diǎn)，孤點(diǎn)由拍攝過(guò)程中的噪聲產(chǎn)生，可將孤點(diǎn)直接刪去。線Mura檢測(cè)流程圖如圖5所示。

4 基于BP神經(jīng)網(wǎng)絡(luò)的線Mura檢測(cè)改進(jìn)算法

利用前面章節(jié)的方法可以得到手機(jī)屏幕圖像中的線Mura位置，由于每一張圖像的亮度不同，灰度變化率絕對(duì)值不是一個(gè)定值，而是一個(gè)隨著圖像的總體灰度變化而變化的值，在每一次的檢測(cè)中，都需要人工選取。因此，3.2節(jié)中的算法無(wú)法自適應(yīng)調(diào)節(jié)灰度變化率絕對(duì)值，手機(jī)屏幕Mura缺陷不能自動(dòng)檢測(cè)，難以滿足工程實(shí)際的需要[14]。

考慮到BP神經(jīng)網(wǎng)絡(luò)能夠精確地?cái)M合映射關(guān)系[15]，本文采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行輸入輸出關(guān)系的黑盒映射，從而使算法能夠自適應(yīng)調(diào)節(jié)灰度變化率絕對(duì)值，實(shí)現(xiàn)手機(jī)屏幕Mura缺陷的自動(dòng)檢測(cè)。

4.1 神經(jīng)網(wǎng)絡(luò)建立研究

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般分為三層：輸入層、隱含層和輸出層[16]。外部的信號(hào)由輸入層接入，各輸入單元將輸入信號(hào)傳送給隱含層的各單元。隱含層作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的處理單元，節(jié)點(diǎn)數(shù)需要多次試驗(yàn)。

由3.2節(jié)可以發(fā)現(xiàn)，圖像中是否存在Mura缺陷是與3.2節(jié)中的“灰度變化率絕對(duì)值”與“寬度”相關(guān)的。因而可以通過(guò)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)自適應(yīng)得到圖像有無(wú)線Mura瑕疵的網(wǎng)絡(luò)函數(shù)。求解的公式如下所示：

其中：w為圖6中a所示寬度，h為圖6中b1與b2所示高度和。w的求解過(guò)程：求解灰度曲線波峰波谷的極點(diǎn)，解算極點(diǎn)兩側(cè)灰度變化率絕對(duì)值最大的位置與，并且求解對(duì)應(yīng)位置的灰度變化率與。求解極點(diǎn)兩側(cè)灰度變化率分別為與的位置與，得到BP神經(jīng)網(wǎng)絡(luò)輸入集第一個(gè)特征w。計(jì)算公式如下：

圖6 BP神經(jīng)網(wǎng)輸入值示意圖

由于與、存在一定的關(guān)聯(lián)，將與或者與輸入BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，都可以自適應(yīng)得到圖像Mura瑕疵關(guān)于與的判別函數(shù)。將與帶入訓(xùn)練減少了求解的過(guò)程。因此，使用與進(jìn)行運(yùn)算可以減少運(yùn)算量，提高運(yùn)算效率。

在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，由于圖像邊緣往往受光照不均的影響而包含較多噪聲，且人眼往往比較容易注意到圖像中部的灰度變化，因此選取圖像中部10條采樣線上的“最尖銳波峰點(diǎn)在可視條件下的最大寬度”之和的平均值作為神經(jīng)網(wǎng)絡(luò)的第一個(gè)輸入值。同理，選取圖像中部10條采樣線上的“最尖銳波峰點(diǎn)與鄰近背景的相對(duì)灰度差”之和的平均值作為神經(jīng)網(wǎng)絡(luò)的第二個(gè)輸入。與計(jì)算公式：

其中：w與h分別為第條采樣線上的“最大寬度”與“相對(duì)灰度差”，從而得到BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的輸入集。

人工檢測(cè)屏幕圖像中是否含有Mura缺陷，根據(jù)有無(wú)Mura缺陷將圖像分為兩類，當(dāng)圖像中有Mura缺陷時(shí)，輸出值設(shè)定為[1 0]，當(dāng)圖像中無(wú)Mura缺陷，輸出值設(shè)定為[0 1]，從而得到BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的輸出集。

該神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)為2維，故輸入層節(jié)點(diǎn)數(shù)為2。由于其輸出值為2維，所以輸出層的節(jié)點(diǎn)為 2。隱藏層節(jié)點(diǎn)數(shù)選取時(shí)可以依據(jù)式(7)縮小范圍：

4.2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

神經(jīng)網(wǎng)絡(luò)模型建立后，將訓(xùn)練集的輸出集與輸入集導(dǎo)入模型進(jìn)行訓(xùn)練。圖7為本文BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均方誤差曲線圖，從圖中可以看出本文的BP神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)25次訓(xùn)練，訓(xùn)練后的均方誤差為 0.00011515，該模型識(shí)別準(zhǔn)確度較高，能夠滿足工程實(shí)際需要。

圖7 BP網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均方誤差曲線圖

5 手機(jī)屏幕圖像照片的實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)數(shù)據(jù)是由惠州高視科技有限公司提供的圖像，原圖像在暗室環(huán)境采集，原始圖像尺寸大小為4800′2600，Mura瑕疵的形態(tài)為橫向線Mura與縱向的線Mura。

BP網(wǎng)絡(luò)模型訓(xùn)練完成后，將計(jì)算得到的測(cè)試集數(shù)據(jù)輸入BP神經(jīng)網(wǎng)絡(luò)中，得到BP神經(jīng)網(wǎng)絡(luò)給出的圖片辨識(shí)結(jié)果，BP神經(jīng)網(wǎng)絡(luò)的辨識(shí)結(jié)果如表1所示。

表1 線Mura檢測(cè)率

根據(jù)測(cè)試集檢測(cè)結(jié)果顯示，在120張含有缺陷的手機(jī)屏幕圖像中119張屏幕被成功檢驗(yàn)出Mura缺陷，在60張無(wú)缺陷的手機(jī)屏幕圖像中發(fā)現(xiàn)有7張圖像被檢驗(yàn)出了Mura缺陷。為了驗(yàn)證算法的準(zhǔn)確性，筆者對(duì)1張未能成功檢測(cè)的屏幕圖像與7張誤檢測(cè)的屏幕圖像再次人工檢查，其中未能檢測(cè)的線Mura瑕疵圖像如圖8(a)所示，復(fù)檢中觀察到的Mura瑕疵十分不明顯，Mura瑕疵未能與周圍邊界形成有效的對(duì)比，人工檢測(cè)中難以一次性發(fā)現(xiàn)圖像中的線Mura瑕疵的位置，需要反復(fù)觀察。誤檢測(cè)的8張圖像經(jīng)人眼觀察，其中5張屏幕圖像均發(fā)現(xiàn)有不明顯的Mura，如圖8(b)所示，在矩形框中發(fā)現(xiàn)了不明顯的暗紋，說(shuō)明此前的人工檢查中存在漏檢。其余2張圖像如圖8(c)、8(d)所示，復(fù)檢未觀察到明顯Mura條紋，可以認(rèn)為是BP神經(jīng)網(wǎng)絡(luò)過(guò)擬合造成的誤檢。

為了對(duì)比分析本文研究的算法，采用了不同的算法對(duì)隨機(jī)挑選的含有線Mura缺陷的手機(jī)屏幕圖像進(jìn)行對(duì)比檢測(cè)，相關(guān)結(jié)果見(jiàn)圖9所示。圖9(a)是增強(qiáng)對(duì)比度的原始圖像，圖9(b)是本文算法的檢測(cè)結(jié)果，圖9(c)、圖9(d)是文獻(xiàn)[9]、文獻(xiàn)[10]方法得到的檢測(cè)結(jié)果。文獻(xiàn)[9]算法通過(guò)背景擬合減少光照影響，并通過(guò)自適應(yīng)閾值分割進(jìn)行確定Mura位置，雖然大致檢測(cè)出線Mura缺陷，但是正如文獻(xiàn)[9]中所說(shuō)，該算法容易將圖像中接近邊緣部分的噪聲誤檢測(cè)為缺陷。文獻(xiàn)[10]中算法通過(guò)構(gòu)造不同的卷積模塊對(duì)圖像進(jìn)行卷積處理，增強(qiáng)缺陷與周圍正常像素的對(duì)比，但是該算法中用Mura缺陷的閾值難以準(zhǔn)確自適應(yīng)確定，導(dǎo)致圖像左側(cè)的黑色部分被誤檢測(cè)為Mura缺陷，不能準(zhǔn)確定為線Mura缺陷。

表2為多種方法對(duì)同一數(shù)據(jù)集中180幅圖像進(jìn)行檢測(cè)的統(tǒng)計(jì)結(jié)果比較，實(shí)驗(yàn)平臺(tái)為Intel四核I7-2.59 GHz CPU，8.0 Gb RAM的筆記本電腦，Windows XP環(huán)境下Matlab2014平臺(tái)。

由表2可知，本文基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)方法在檢測(cè)正確率和平均檢測(cè)時(shí)間均優(yōu)于其他算法。考慮到基于灰度曲線算法與文獻(xiàn)[10]中算法需要對(duì)檢測(cè)算法的參數(shù)進(jìn)行手動(dòng)調(diào)參，時(shí)間消耗較多，且人工調(diào)參受人為主觀性影響存在漏檢的情況。而本文提出的基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷檢測(cè)方法，無(wú)需調(diào)參，可以在提高M(jìn)ura缺陷檢測(cè)正確率的基礎(chǔ)上有效提高檢測(cè)效率，實(shí)現(xiàn)手機(jī)屏幕線Mura缺陷自動(dòng)檢測(cè)。

圖8 部分手機(jī)屏幕原圖像。(a) 本文算法未成功檢測(cè)的屏幕圖像；(b) 人工漏檢屏幕圖像；(c) 本文算法誤檢圖像1；(d) 本文算法誤檢圖像2

圖9 不同算法實(shí)驗(yàn)結(jié)果對(duì)比圖。(a) 原始圖像(已增強(qiáng)對(duì)比度)；(b) 本文方法檢測(cè)結(jié)果；(c) 文獻(xiàn)[9]方法檢測(cè)效果；(d) 文獻(xiàn)[10]方法檢測(cè)結(jié)果

表2 不同算法對(duì)測(cè)試數(shù)據(jù)集中180幅圖像進(jìn)行檢測(cè)的統(tǒng)計(jì)結(jié)果比較

6 小 結(jié)

本文提出和實(shí)現(xiàn)了基于圖像灰度與BP神經(jīng)網(wǎng)絡(luò)的方法，實(shí)現(xiàn)了對(duì)線Mura缺陷檢測(cè)與分析。首先使用均值濾波平滑圖像，接著對(duì)圖像降采樣，減小圖像大小的同時(shí)可以凸顯灰度曲線特征，然后求解采樣線灰度曲線中“最尖銳波峰點(diǎn)與鄰近背景的相對(duì)灰度差”與“最尖銳波峰點(diǎn)在可視條件下的最大寬度”的數(shù)據(jù)并輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到BP網(wǎng)絡(luò)函數(shù)模型，從而實(shí)現(xiàn)手機(jī)屏幕線Mura缺陷自動(dòng)檢測(cè)。

實(shí)驗(yàn)結(jié)果表明，基于本文提出的方法在識(shí)別與定位線Mura缺陷優(yōu)于其他多種檢測(cè)方法，且對(duì)于同一類屏幕缺陷的檢測(cè)，無(wú)需進(jìn)行參數(shù)的調(diào)整，可實(shí)現(xiàn)Mura缺陷自動(dòng)檢測(cè)。雖然本文算法的對(duì)象主要是包含線Mura缺陷的手機(jī)屏幕，但文中算法經(jīng)過(guò)適當(dāng)改進(jìn)，同樣可以適用于其他類型的Mura缺陷檢測(cè)，后續(xù)將在這方面進(jìn)行更多種類Mura樣本研究，提高算法綜合性能。

[1] Zhang P, Ma T T, Yang Y H,. Mura defect and measurement method of liquid crystal display[J]., 2017(6): 50–52.

張鵬, 馬婷婷, 楊葉花, 等. 液晶顯示器Mura缺陷及測(cè)量方法淺析[J]. 電子測(cè)試, 2017(6): 50–52.

[2] Yang Y B, Li N, Zhang Y. Automatic TFT-LCD Mura detection based on image reconstruction and processing[C]//, Berlin, 2014: 240–244.

[3] Fan S K S, Chuang Y C. Automatic detection of Mura defect in TFT-LCD based on regression diagnostics[J].2010, 31(15): 2397–2404.

[4] Shi G M. Luminance gradient based LCD black Mura defect detection[J].2018, 42(11): 40–43.

石光明. 基于亮度梯度的LCD屏的Black Mura缺陷檢測(cè)[J]. 電視技術(shù), 2018, 42(11): 40–43.

[5] Mu C. Research on TFT-LCD Mura defect detection algorithm based in image processing[D]. Changchun: Jilin University, 2018.

牟晨. 基于圖像處理的TFT-LCD Mura缺陷檢測(cè)算法研究[D]. 長(zhǎng)春: 吉林大學(xué), 2018.

[6] Ma Z Q, Gong J. An automatic detection method of Mura defects for liquid crystal display[C]//, Guangzhou, China, 2019: 7722–7727.

[7] Kong L F, Shen J, Hu Z L,. Detection of water-stains defects in TFT-LCD based on machine vision[C]//, Beijing, China, 2018: 1–5.

[8] Wang X, Dong R, Li B. TFT-LCD Mura defect detection based on ICA and multi-channels fusion[C]//, Beijing, China, 2016: 687–691.

[9] Liao M, Liu Y Z, Ouyang J L,. Automatic detection of Mura defect in TFT-LCD mobile screen based on adaptive local enhancement[J]., 2018, 33(6): 475–482.

廖苗, 劉毅志, 歐陽(yáng)軍林, 等. 基于自適應(yīng)局部增強(qiáng)的手機(jī)TFT-LCD屏Mura缺陷自動(dòng)檢測(cè)[J]. 液晶與顯示, 2018, 33(6): 475–482.

[10] Qian J D, Chen B, Qian J Y,. Machine vision based inspection method of Mura defect for LCD[J]., 2018, 45(6): 296–300, 313.

錢基德, 陳斌, 錢基業(yè), 等. 基于機(jī)器視覺(jué)的液晶屏Mura缺陷檢測(cè)方法[J]. 計(jì)算機(jī)科學(xué), 2018, 45(6): 296–300, 313.

[11] Hao S J, Zhou J Q. Research on detecting method of mobile phone screen defect based on machine vision[J]., 2018(9): 50–53.

郝仕嘉, 周嘉琪. 基于機(jī)器視覺(jué)的手機(jī)屏幕缺陷檢測(cè)方法研究[J]. 信息與電腦, 2018(9): 50–53.

[12] Zhao X L. Image denoising based on wavelet transform and average filtering[J].2017(2): 69–71, 75.

趙曉雷. 基于小波變換和均值濾波的圖像去噪研究[J]. 信息技術(shù), 2017(2): 69–71, 75.

[13] Gu Y B, Yu K W, Yao H T. A digital video 3D denoising algorithm based on down sampled block matching[J]., 2016, 39(2): 98–102.

谷元保, 余康為, 姚洪濤. 基于降采樣塊匹配的數(shù)字視頻3D降噪算法[J]. 長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 39(2): 98–102.

[14] Cen Y G, Zhao R Z, Cen L H,. Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction[J]., 2015, 149: 1206–1215.

[15] Han X H, Xiong X Y, Duan F. A new method for image segmentation based on BP neural network and gravitational search algorithm enhanced by cat chaotic mapping[J]., 2015, 43(4): 855–873.

[16] Yang S J, Chen K. Effect of multi-hidden-layer on performance of BP neural network[J]., 2013, 26(1): 48–52.

楊守建, 陳懇. BP神經(jīng)網(wǎng)絡(luò)性能與隱藏層結(jié)構(gòu)的相關(guān)性探究[J]. 寧波大學(xué)學(xué)報(bào)(理工版), 2013, 26(1): 48–52.

Mura detection and positioning in picture based on BP neural network

Li Yineng1, Zeng Qinghua1*, Zhang Yueyuan1, Jiang Yong2, Cui Yuchen1

1Navigation Research Center, Nanjing University of Aeronautics and Astronautics, Nanjing, Jiangsu 211106, China;2Huizhou Govion Technology Co.,Ltd, Huizhou, Guangdong 516000, China

Detection results of the proposed method

Overview:Since the screen of the mobile phone has complex structures, and the manufacturing process is complicated, point Mura, and line Mura tend to arise when a screen is produced. Mura defect is a kind of display defect on the liquid crystal display (LCD) screen. It has various forms, such as uneven brightness or color in some areas of the screen, low contrast between the defect area and the surrounding background, blurred edges, and so on. These characteristics make the traditional methods based on edge detection and threshold segmentation difficult to detect Mura defect effectively.

The traditional detection of Mura mainly depends on manual detection. So, this method has high labor cost, and the result of Mura detection is greatly influenced by the experience of workers. It clearly cannot meet the requirements of large batch orders of screen detection. Therefore, it is urgent to study the technology of automatic detection and location of Mura defect on the phone screen based on the computer. In recent years, many kinds of automatic detection methods are applied to detecting Mura defect. Due to the visibility of Mura defect on different display screens is different and various, a lot of parameters need to be adjusted from time to time during the whole detection process, leading relevant method wasting too much time if the number of screens is large.

This paper proposes a new method of detecting line Mura based on gray curve of the image and BP neural network. Firstly, the image is preprocessed to reduce the influence of noise. Then the gray curves on the sampling lines in the image are analyzed to find out the location of the gray discontinuous parts. Since Mura defect often appears in the discontinuous parts of the gray sampling line of the image, it can help judge whether Mura is present on the screen.

On this foundation, considering BP neural network is strongly nonlinear and with good robustness, the feature information reflecting whether Mura exists is extracted from the gray curves of the image for training. After training, the BP neural network can detect Mura defect automatically.

The experimental results show that, compared with the existing Mura detection methods, the improved method in this paper can distinguish line Mura defect on the mobile phone screen more accurately and quickly. The accuracy rate is up to 98.33%, and no parameter needs to be adjusted during the detection process, realizing automatic detection and positioning of line Mura.

Citation: Li Y N, Zeng Q H, Zhang Y Y,. Mura detection and positioning in picture based on BP neural network[J]., 2020,47(11): 190725

Mura detection and positioning in picture based on BP neural network

Li Yineng1, Zeng Qinghua1*, Zhang Yueyuan1, Jiang Yong2, Cui Yuchen1

1Navigation Research Center, Nanjing University of Aeronautics and Astronautics, Nanjing, Jiangsu 211106, China;2Huizhou Govion Technology Co., Ltd, Huizhou, Guangdong 516000, China

Automatic identification and location of Mura defect in various screens plays an important role in improving the quality of screens. It is one of the most important technologies that need to be developed urgently. Aiming at the features of low contrast and lack of obvious edge of Mura defect, this paper proposes a method of Mura detection based on image gray curve and its improved method. This improved method is based on the principle of mean filter to smooth the picture and down-sampling. By studying the information about peak and trough of the gray curve on sampling lines, the BP neural network is used to construct an automatic detection and location algorithm for line Mura. The experimental results show that, compared with the existing Mura detection methods, the improved method in this paper can distinguish line Mura defect on the mobile phone screen more accurately and quickly. The accuracy rate is 98.33%, and no parameter needs to be adjusted during the detection process, realizing automatic detection, and positioning of line Mura.

BP neural network; gray scale curve; Mura; defect detection; image processing

TP391

A

李一能，曾慶化，張?jiān)聢A，等. 基于BP神經(jīng)網(wǎng)絡(luò)的線Mura缺陷識(shí)別與定位研究[J]. 光電工程，2020，47(11): 190725

10.12086/oee.2020.190725

: Li Y N, Zeng Q H, Zhang Y Y,Mura detection and positioning in picture based on BP neural network[J]., 2020, 47(11): 190725

2019-12-11；

2020-06-28

國(guó)家自然科學(xué)基金資助項(xiàng)目(61533008，61374115，61603181)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(NJ20170005， NJ20170010)；江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程

李一能(1996-)，男，碩士研究生，主要從事圖像處理與視覺(jué)導(dǎo)航的研究。E-mail：liyineng@nuaa.edu.cn。

曾慶化(1979-)，男，教授，主要從事視覺(jué)導(dǎo)航、衛(wèi)星導(dǎo)航及多源信息數(shù)據(jù)融合導(dǎo)航的研究。E-mail：zengqh@nuaa.edu.cn。

Supported by the National Natural Science Foundation of China (61533008, 61374115, 61603181), the Fundamental Research Funds for the Central Universities (NJ20170005, NJ20170010), and the Priority Academic Program Development of Jiangsu Higher Education Institutions

* E-mail: zengqh@nuaa.edu.cn