王凱，李毅

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065；2.四川大學(xué)圖象圖形研究所，成都 610065）

0 引言

隨著我國(guó)精密制造的需求日益增長(zhǎng)，對(duì)精密制造的準(zhǔn)確率也有了更高的要求。尤其是現(xiàn)在精密制造業(yè)制造速度的提升，隨著機(jī)器的老化和損壞，出現(xiàn)次品的概率將會(huì)越來(lái)越高，因此，通過(guò)分析各個(gè)流水線的次品率及缺陷出現(xiàn)的部分對(duì)流水線進(jìn)行調(diào)整和改進(jìn)，成為了精密制造業(yè)的一項(xiàng)基礎(chǔ)工作。

目前對(duì)于微透鏡的檢測(cè)，主要使用的方法依舊是目視法，通過(guò)顯微鏡查看微透鏡表面是否存在缺陷。目視法費(fèi)時(shí)費(fèi)力，勞動(dòng)強(qiáng)度大，效率低且主觀因素影響較大。隨著制造量的增加目視法只能應(yīng)用于抽查。

筆者基于機(jī)器視覺(jué)的工作原理設(shè)計(jì)出了一套微透鏡表面缺陷檢測(cè)的方案，該方案通過(guò)圖像處理和模式識(shí)別技術(shù)，對(duì)微透鏡表面缺陷進(jìn)行自動(dòng)檢測(cè)，為微透鏡檢查提供了一種快速有效的途徑，具有成本低且精度高的特點(diǎn)。

微透鏡表面缺陷檢測(cè)與識(shí)別算法：

本文主要檢測(cè)的是大斑塊和小斑塊缺陷，整個(gè)算法由圖像預(yù)處理，光照均衡，缺陷定位，缺陷分類。

1 算法實(shí)現(xiàn)

本文算法的主要流程如圖1。

圖1

1.1 圖像預(yù)處理

微透鏡本身屬于精密器件，檢測(cè)需要進(jìn)行封裝測(cè)試，因此光照環(huán)境會(huì)很均衡。由于微透鏡本身的特征，如圖2可以看到微透鏡表面的感光區(qū)域的灰度值遠(yuǎn)小于非感光區(qū)域的灰度值，可以在原圖上進(jìn)行一個(gè)30-110的灰度閾值，找出感光區(qū)域所在的部分 Re?gion_Light。

對(duì)Region_Light填充邊界，由于邊界上很多時(shí)候會(huì)出現(xiàn)一些大面積的缺陷或者破損，且微透鏡本身的感光區(qū)域呈近似矩形，將找出的感光區(qū)域向內(nèi)腐蝕5個(gè)像素左右的距離，去掉小區(qū)域的同時(shí)將感光區(qū)域邊緣的閾值殘留部分去掉。一個(gè)圖像中只會(huì)有一個(gè)感光區(qū)域，找出最大的面積即為要找的感光區(qū)域，找出該區(qū)域的最大內(nèi)接矩形，并將感光區(qū)域在原有內(nèi)接矩形的基礎(chǔ)上向外擴(kuò)展32個(gè)像素。擴(kuò)展方式在原有的圖像上擴(kuò)展邊界，得到一張新的圖像，對(duì)于那些未在內(nèi)接矩形內(nèi)的點(diǎn)的部分找出對(duì)應(yīng)其在內(nèi)接矩形內(nèi)的圖像再鏡像翻轉(zhuǎn)，得到ROI_Region。

1.2 光照調(diào)整

由于微透鏡會(huì)將光源的光進(jìn)行折射和散射，可以明顯的看到圖2中的四周光照較暗，而中間部分的光照較亮。因此需要對(duì)光照進(jìn)行調(diào)整，使用傅里葉變換轉(zhuǎn)入頻率域后使用高斯濾波去噪后進(jìn)行低通濾波。

1.3 缺陷查找

由于微透鏡是每4像素為一個(gè)重復(fù)區(qū)間，且缺陷區(qū)域均為灰度值較大或較小區(qū)域，因此對(duì)于要尋找的大面積缺陷，首先以16像素為邊長(zhǎng)進(jìn)行均值濾波以均衡透鏡部分灰度值較低的情況，均衡小區(qū)域內(nèi)的灰度值。取感光區(qū)域的均值為mean,再以灰度值在（mean-15）到（mean+15）以外的部分判定為缺陷的部分，找出大于16像素的區(qū)域，進(jìn)行內(nèi)部填充。將找出的區(qū)域作為region1。如圖3的綠色部分。

對(duì)于要尋找的小面積缺陷，先使用15×15的高斯濾波進(jìn)行濾波，再以邊長(zhǎng)16像素的范圍內(nèi)的灰度最大值減去最小值作為當(dāng)前像素的值，即找出短距離內(nèi)的灰度變化，取變換后的感光區(qū)域的均值為mean，然后在（mean-10）到（mean+10）以外的部分判定為缺陷，篩選出缺陷區(qū)域，找出大于64像素的部分（由于此方法會(huì)將小缺陷擴(kuò)大，因此篩選需要以較大區(qū)域作為篩選條件），進(jìn)行內(nèi)部填充，將找出的取余作為region2。如圖3的紅色部分。

將region1和region2合并作region，并將預(yù)處理中擴(kuò)充的部分去掉，留下原先內(nèi)部的部分。

圖2

圖3

1.4 分類

基于region可以找出需要找到的大小缺陷，標(biāo)記好后，按照其大小和內(nèi)部顏色，可分類為內(nèi)部白色小缺陷，內(nèi)部白色大缺陷，內(nèi)部黑色小缺陷，內(nèi)部黑色大缺陷。根據(jù)不同缺陷的數(shù)量可以提供給生產(chǎn)商，可以幫助其找到生產(chǎn)線中存在的問(wèn)題，以便以改進(jìn)生產(chǎn)流程。

2 實(shí)驗(yàn)結(jié)果及分析

本文算法可檢測(cè)的最小缺陷尺寸為2um×2um，像素精度為1um/pixel，采用該算法對(duì)實(shí)際的封閉場(chǎng)景下采集到的微透鏡圖像，其中包含750副無(wú)缺陷圖像和250副包含大小斑塊缺陷的圖像，進(jìn)行檢測(cè)和識(shí)別。在實(shí)際的微透鏡缺陷檢測(cè)中所拍攝的圖像絕大多數(shù)為無(wú)缺陷圖像，所以實(shí)驗(yàn)中采用了更多的是無(wú)缺陷圖像。在有缺陷圖像中，缺陷個(gè)數(shù)為532個(gè)。實(shí)驗(yàn)中使用了準(zhǔn)確率，誤檢率和檢全率三個(gè)原則，定義為準(zhǔn)確率α誤檢率β檢全率γ定義為：

α=n/(n+n1)

β=n1/n2

γ=n/N

其中n為檢測(cè)出的正確缺陷個(gè)數(shù)，n1為非缺陷但被檢測(cè)成缺陷的個(gè)數(shù)，n2為所有無(wú)缺陷圖像的數(shù)量，N為實(shí)際缺陷個(gè)數(shù)，。當(dāng)區(qū)域內(nèi)像素個(gè)數(shù)大于4時(shí)檢測(cè)為缺陷，試驗(yàn)中檢測(cè)出正確的缺陷個(gè)數(shù)為511個(gè)，檢測(cè)出的非缺陷個(gè)數(shù)為23個(gè)。得到準(zhǔn)確率為95.7%，檢全率為96.1%。若使用更大的面積作為判定缺陷的范圍，將導(dǎo)致誤檢率下降，準(zhǔn)確率也下降。若單獨(dú)使用其中一種斑塊判定方式，將會(huì)導(dǎo)致準(zhǔn)確率大幅下降。

3 結(jié)語(yǔ)

本文使用的傅里葉低通及大小斑塊分別檢測(cè)的思路對(duì)于微透鏡表面的缺陷檢測(cè)效果較好。實(shí)驗(yàn)證明：①傅里葉低通對(duì)于光照散射到導(dǎo)致的亮暗不均勻問(wèn)題有很好的效果。②兩種斑塊判定方式結(jié)合在一起比單獨(dú)使用其中一種準(zhǔn)確率高很多。本文的重點(diǎn)在于研究了微透鏡表面缺陷圖像的檢測(cè)方法，今后的工作還需重點(diǎn)研究深度學(xué)習(xí)方法來(lái)對(duì)缺陷進(jìn)行快速的識(shí)別分類。

參考文獻(xiàn)：

[1]Feng C.Microlens Alignment Procedures in CMOS Image Sensor Design:US,US8068284[P]，2011.

[2]Tseng C X,Pang C P,Yang C L,et al.Design of Microlens on Pixel Array:US,US7687757[P]，2010.

[3]Campbell S P,Tsai R H,Agranov G A,et al.Alignment Among Elements in an Image Sensor:US,US7351945[P].2008.

[4]Wakelin S,Derstine M W,Wong J S.Microlens Array with Spatially Varying Optical Property[J]，2002.

[5]Okigawa M.Solid State Imaging Device with Microlens Shifted from the Center of the Photo Diode[J]，2015.