黃杰賢,李 迪,黃志平,楊冬濤
(1.華南理工大學(xué)自動化科學(xué)與控制工程學(xué)院,廣東廣州510641;2.廣東振聲科技股份有限公司,廣東梅州514000;3.廣東嘉應(yīng)學(xué)院電子信息工程學(xué)院,廣東梅州514015;4.華南理工大學(xué)機(jī)械與汽車工程學(xué)院,廣東廣州510641)
撓性印制電路板(Flexible Printed Circuit,F(xiàn)PC),是電路板的一種,是以聚酰亞胺或聚酯薄膜為基材制成的具有高度可靠性的可撓性印刷電路板。與硬板印刷電路相比,撓性印制電路具有重量輕、可彎曲、可卷繞、可立體配線、所占空間較少等優(yōu)點(diǎn)。隨著電子產(chǎn)品朝著輕、薄、小、巧發(fā)展,F(xiàn)PC的布線越來越密集,焊點(diǎn)、焊盤越來越小,集成度也越來越高[1]。而電子產(chǎn)品生產(chǎn)的高度流水化與自動化使得只要FPC存在細(xì)微的缺陷必然導(dǎo)致整個電子產(chǎn)品的報廢。電子制造商對FPC質(zhì)量要求幾乎到了苛刻的地步:對所有FPC板全檢。當(dāng)前許多FPC生產(chǎn)企業(yè)仍然停留依靠人眼輔助光學(xué)設(shè)備的檢測水平上,這就導(dǎo)致檢測效率低,準(zhǔn)確率不高,用工成本不斷上升的缺點(diǎn)。因此,人工目視檢測必然逐漸被機(jī)器視覺檢測所淘汰。
在基于機(jī)器視覺的FPC焊盤缺陷檢測方法中,Wang使用Garbor濾波器提取焊盤表面紋理特征,并基于紋理特征實(shí)現(xiàn)缺陷檢測,該方法據(jù)計算時間長,難于獲取獲取最優(yōu)參數(shù),往往不適于實(shí)際的環(huán)境使用[2]。Chiu-Hui Chen利用標(biāo)準(zhǔn)FPC圖像與實(shí)際的檢測圖像作差影法操作凸顯兩圖之間的差異,差異之處則表示缺陷的位置,該方法對光源的穩(wěn)定性,圖像配準(zhǔn)的準(zhǔn)確度相當(dāng)高[3]。現(xiàn)場環(huán)境中難于滿足其要求。D.M.Tsai基于信息熵的方法對FPC焊盤的顏色特征波動性與方向特征的復(fù)雜性進(jìn)行描述,取得一定效果,該方法能夠?qū)鹗种干霞y理類型的缺陷進(jìn)行檢測,檢測效率也滿足生產(chǎn)需求[4]。但該方法僅僅金面表面紋理類型的缺陷有效,對于其他類型的缺陷確難于檢測,但仍給本文的檢測工作帶來思路。在前人的研究基礎(chǔ)上,綜合各個方面的研究成果,提出新的檢測方法,主要工作包括:圖像對準(zhǔn)與差影操作、假點(diǎn)濾除、報警點(diǎn)分析、缺陷檢測4個部分。
在進(jìn)行檢測目標(biāo)定位之前,首先必須對檢測圖像與標(biāo)準(zhǔn)圖像進(jìn)行坐標(biāo)轉(zhuǎn)換工作。主要方法為:
(1)獲取一幅無缺陷的參考圖像,選取某些規(guī)則的目標(biāo)物作為基準(zhǔn)點(diǎn)(圓、矩形、十字等如圖1所示)。
圖1 Mark點(diǎn)
(2)分別選取標(biāo)準(zhǔn)圖像與檢測圖像的3個基準(zhǔn)點(diǎn) A、B、C 和 A'、B'、C'的坐標(biāo)位置以獲取仿射系數(shù):a1,a2…,a6(如圖2所示)。檢測圖像中任何坐標(biāo)點(diǎn)(x',y')可基于坐標(biāo)系轉(zhuǎn)換公式(1)與參考圖像(x,y)一一對應(yīng)[5-6]。
圖2 坐標(biāo)系轉(zhuǎn)換
完成圖像對準(zhǔn)工作后,通過差影法對缺陷進(jìn)行檢測,差影法是非常簡單與高效的檢測方法。具體實(shí)現(xiàn)如圖3所示。缺陷位置灰度值明顯高于非缺陷區(qū)域,缺陷區(qū)域呈現(xiàn)的高亮度像素點(diǎn)統(tǒng)稱為報警點(diǎn)。
鑒于檢測圖像獲取時光源強(qiáng)度的不穩(wěn)定性、制造工藝的誤差,機(jī)械震動等影響,進(jìn)行差影操作時不可避免產(chǎn)生許多虛假的報警點(diǎn)(簡稱假點(diǎn)),尤其在線路邊緣區(qū)域的假點(diǎn)更為明顯(如圖4所示),直接影響到后續(xù)的檢測工作。
圖4 基于差影操作后的虛假的報警點(diǎn)
為了避免假點(diǎn)對圖像造成的干擾,在差影過程中盡可能對假點(diǎn)濾除,具體工作與步驟如下:
Step1.選取多幅無缺陷圖像求平均值(如式(2)所示),式(2)中,f(x,y)表示無缺陷圖像,R(x,y)表示圖像的平均值;
Step2.采用式(3)求取不同坐標(biāo)位置上的灰度值的波動值:
Step3.在檢測過程中,I(x,y)為待檢測圖像,與圖像矩陣 R(x,y)進(jìn)行進(jìn)行差影操作后,采用式(4),對假點(diǎn)進(jìn)行濾除,結(jié)果存入P(x,y)變量中;
圖5(a)、(b)分別為對虛假點(diǎn)處理前、后的圖像。
圖5 假點(diǎn)處理實(shí)驗(yàn)
已知當(dāng)焊盤存在缺陷時,必然在其顏色、面積、紋理上體現(xiàn)。圖6是比較典型的缺陷,其中圖6(a)露銅缺陷屬于化金不良缺陷類型的一種,歸為顏色類型缺陷;圖6(b)破損缺陷歸為面積類型缺陷;圖6(c)劃傷缺陷為紋理類型缺陷。
圖6 典型線路缺陷
在前文確立缺陷區(qū)域的基礎(chǔ)上,為了進(jìn)一步提高缺陷識別的準(zhǔn)確率則分別從顏色、紋理、面積3個主要特征作進(jìn)一步分析。
顏色特征是重要、而直觀的特征。已知計算機(jī)通過R(紅色)、G(綠色)、B(藍(lán)色)三種顏色量的疊加與組合以實(shí)現(xiàn)對各種顏色的表示。為了驗(yàn)證通過顏色特征實(shí)現(xiàn)缺陷檢測有效性,選取200個化金不良的缺陷樣品與200個良品觀測其顏色特征的分布情況如圖7所示。
圖7中‘o’目標(biāo)為無缺陷目標(biāo)顏色特征分布,‘*’為缺陷目標(biāo)顏色特征分布,通過觀察可知,缺陷樣品與良品在R、G、B三維空間中具有明顯的分界線。因此根據(jù)樣品,設(shè)置R、G、B閾值,可有效地對缺陷線路識別。
圖7 顏色RGB分量
紋理特征主要反映物體表面上微觀幾何形狀、顏色灰度強(qiáng)度波動、變化的重要指標(biāo),可作為判別工業(yè)產(chǎn)品是否具有缺陷的重要特征。本文基于信息熵理論對FPC電路表面的紋理特征進(jìn)行描述,已知信息熵的公式如式(5)所示:
其用于衡量x變量的不確定性,當(dāng)x變量的不確定性越高,Ex值越大。將其引入描述FPC電路的紋理的數(shù)學(xué)公式定義如下:
式(6)中,i代表有顏色灰度級,i=1,2,…,Nc,一共有Nc個顏色灰度級;R、C分別代表圖像的長與寬;fc(i)表示在圖像R×C中,像素落入i灰度級的統(tǒng)計量,Pc(i)表示圖像R×C中,像素落入i灰度級的概率?;诠?6)依次對圖8(a)、(c)、(e)焊盤表面的紋理特征進(jìn)行量化,量化結(jié)果分別在圖8(b)、(d)、(f)所示。
面積特征也是焊盤的重要特征之一。本文在通過焊盤的有效面積(符合顏色特征,符合紋理特征)的統(tǒng)計獲取面積特征,實(shí)驗(yàn)如圖9所示。接著再通過對標(biāo)準(zhǔn)面積對比,識別出缺陷焊盤,圖10為良品焊盤與缺陷焊盤的面積特征分布實(shí)驗(yàn)。
圖10的實(shí)驗(yàn)中‘o’表示非缺陷的焊盤,‘*’表示缺陷焊盤。X軸為gerber文件獲取的標(biāo)準(zhǔn)面積(像素單位),Y軸為實(shí)際檢測的面積,Z軸為誤差率。實(shí)驗(yàn)結(jié)果表明:根據(jù)顏色特征與紋理特征搜索焊盤鍍金面提取有效的面積特征,可實(shí)現(xiàn)缺陷焊盤跟良品焊盤的有效區(qū)分。下文則通過現(xiàn)場測試對該檢測系統(tǒng)的性能進(jìn)行驗(yàn)證(如圖11所示)。
圖8 紋理特征分析
圖9 有效區(qū)域面積搜索實(shí)驗(yàn)
圖10 基于面積特征的樣品分布實(shí)驗(yàn)
圖11 針對FPC檢測的AOI系統(tǒng)
AOI系統(tǒng)的性能可以通過以下指標(biāo)進(jìn)行評定[7]:(1)準(zhǔn)確率:即系統(tǒng)給出準(zhǔn)確結(jié)果的比率;(2)誤判:即系統(tǒng)將無缺陷的焊盤判斷為缺陷焊盤;(3)漏:即系統(tǒng)將缺陷的焊盤判為無缺陷焊盤,檢測結(jié)果如表1所示。
表1 檢測結(jié)果
從實(shí)驗(yàn)結(jié)果觀測,本文提出算法對于檢測焊盤的缺陷具有較高的準(zhǔn)確率,達(dá)到97.8%,50個焊盤的檢測時間為300 ms,滿足在線檢測對效率的要求。
本文采用機(jī)器視覺技術(shù),基于顏色,紋理,面積特征對FPC線路焊盤表面缺陷進(jìn)行檢測,經(jīng)現(xiàn)場的測試表明,本文提出的方法可有效地對缺陷進(jìn)行檢測,準(zhǔn)確率達(dá)到97.8%滿足實(shí)際應(yīng)用的需求。下一步的工作主要集中在:①減少該檢測系統(tǒng)的漏檢錯誤;②提高該系統(tǒng)的靈活性與通用性。本文的檢測目標(biāo)都是大多數(shù)針對的是具有規(guī)則形狀的目標(biāo),例如圓、方焊盤等。不規(guī)則的線路缺陷識別進(jìn)行深入研究。
[1] AYOUB G.Real-time SPC with AOI[J].Surface Mount Technology Magazine,2001,15(6):36 -38.
[2] WANG Qingxiang,LI Di,ZHANG Wujie.Detecting defects in golden surfaces of flexible printed circuits using optimal gabor filters[C].Intelligent Information Technology Application,2008,IITA'08.Second International Symposium on Volume 1,Dec.2008:321 -325.
[3] CHEN Chiuhui,WANG Chunchien,LIN Chunyu,shih Yusen,TU Chungfan.Realization of defect automatic inspection system for flexible printed circuit(FPC)[C].Proceedings of the 35th International MATADOR Conference,2007:225 -228.
[4] D M TSAI AND B T LIN.Defect detection of gold-plated surfaces on FPCs using entropy measures[J].The International Journal of Advanced Mannufacturing Technology,2002,20(6):420 -428.
[5] HUANG Jiexian,YE Feng,DONG Zhijie,LI Di.Correction of FPC solder position error based on mutual information entropy[J].Circuit World,2011,37(1):46 -51.
[6] HUANG Jiexian,YANG Dongtao,GONG Changlai.Research on image match based on mutual information entropy and regional feature[J].Laser & Infrared,2013,43,(1):98 -103.(in Chinese)黃杰賢,楊冬濤,龔昌來.互信息熵與區(qū)域特征結(jié)合的圖像匹配研究[J].激光與紅外,2013,43(1):98-103.
[7] Loh Hornghai,LU Mingsing.Printed circuit board inspection using image analysis[J].IEEE Transactions on Industry Applications,1999,35(2):426 -432.