劉勁松　邱爽

摘要：為了對(duì)CSP植球后的芯片進(jìn)行植球質(zhì)量檢測(cè)，采用機(jī)器視覺(jué)方法，借助LabVIEW中的基本函數(shù)庫(kù)和視覺(jué)模塊，對(duì)植球后的芯片進(jìn)行圖像采集、ROI提取、噪聲抑制、二值化和形態(tài)學(xué)處理，有效地將焊錫球亮點(diǎn)從圖像背景中分割出來(lái)，而后運(yùn)用圓Hough變換對(duì)焊錫球進(jìn)行圓心定位，最終基于焊錫球的實(shí)際偏移量，對(duì)檢測(cè)區(qū)域中每塊芯片植球是否合格作出判斷，并且統(tǒng)計(jì)出少球與多球的位置信息。結(jié)果證明，該算法檢測(cè)準(zhǔn)確度高，具備一定的應(yīng)用價(jià)值。

關(guān)鍵詞：機(jī)器視覺(jué)；質(zhì)量檢測(cè)；LabVIEW；CSP植球；圓Hough變換

DOIDOI：10.11907/rjdk.181027

中圖分類號(hào)：TP301.6

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2018）009004305

英文標(biāo)題Research on Visual Detection Algorithm After CSP Chip Ball Planting Based on LabVIEW

--副標(biāo)題

英文作者LIU Jingsong1，2， QIU Shuang1

英文作者單位（1.School of Mechanical Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China；2.Shanghai Micson Industrial Automation Co.，Ltd.，Shanghai 201114，China）

英文摘要Abstract：In order to detect the quality of chips after CSP ball planting，with the help of the basic function library and visual module in LabVIEW，we adopt the method of machine vision to carry out image acquisition，ROI extraction，noise suppression，binarization and morphological processing on the chips after ball planting，and effectively separate solder balls from image background.Then circular Hough transform is used to locate the centres of solder balls.Finally，based on the actual offset of solder balls，we can judge whether each chip in the detection area is qualified and collect the statistics of position information where ball is lacked or redundant.It turns out that the algorithm has high detection accuracy and possesses certain application value.

英文關(guān)鍵詞Key Words：machine vision； quality detection； LabVIEW； CSP ball planting； circular Hough transform

0引言

芯片尺寸級(jí)封裝（Chip Scale Package，CSP），按照日本電子機(jī)械工業(yè)會(huì)（EIAJ）定義，是指與晶片（Die）大小相同或者比之稍微大些的封裝技術(shù)總稱[1]。作為CSP封裝工藝中的關(guān)鍵步驟，植球就是把焊錫球植放到芯片的PAD點(diǎn)上，從而使芯片與外部電路相連接，其質(zhì)量將直接關(guān)系到器件的性能與可靠性[2]。因此，對(duì)植球后芯片上的焊錫球進(jìn)行植放質(zhì)量檢測(cè)顯得至關(guān)重要。而CSP芯片植球質(zhì)量檢測(cè)的難點(diǎn)在于焊錫球的尺寸小、數(shù)目多、密度大，還需滿足快檢測(cè)速度和高位置精度等要求，所以僅靠肉眼和常規(guī)接觸性測(cè)量是無(wú)法實(shí)現(xiàn)的。

機(jī)器視覺(jué)是近幾年迅速發(fā)展起來(lái)的新興綜合技術(shù)，具有效率高、自動(dòng)化程度高、能進(jìn)行非接觸性檢測(cè)等優(yōu)點(diǎn)[3]。采用機(jī)器視覺(jué)方法解決CSP芯片植球的質(zhì)量檢測(cè)問(wèn)題，以取代傳統(tǒng)的人工檢測(cè)，勢(shì)在必行。國(guó)內(nèi)研究人員對(duì)BGA植球視覺(jué)檢測(cè)技術(shù)設(shè)計(jì)過(guò)大致可行的方案，但未對(duì)植球后的各種問(wèn)題提出有針對(duì)性的具體算法，同時(shí)將焊錫球數(shù)目作為芯片多球、少球判斷依據(jù)，降低了檢測(cè)準(zhǔn)確度。本文通過(guò)LabVIEW軟件平臺(tái)，針對(duì)CSP植球后芯片圖像的采集、處理、分析和判斷，研究了一整套相應(yīng)算法，從而實(shí)現(xiàn)高準(zhǔn)確度檢測(cè)。

1系統(tǒng)總體概述

機(jī)器視覺(jué)系統(tǒng)通常包括圖像采集、圖像處理與分析、邏輯判斷與控制等3個(gè)過(guò)程。尤其是前兩個(gè)環(huán)節(jié)，其中幾個(gè)關(guān)鍵技術(shù)能否被順利攻克，將對(duì)整個(gè)視覺(jué)系統(tǒng)是否可以達(dá)到預(yù)期目的產(chǎn)生極大影響[4]。本文先設(shè)計(jì)合適的光源與照明方式以獲取優(yōu)質(zhì)的芯片檢測(cè)區(qū)域圖像，再對(duì)圖像進(jìn)行預(yù)處理和圓心定位，最后采用基于焊錫球偏移量的判別算法，實(shí)現(xiàn)對(duì)芯片植球的質(zhì)量檢測(cè)，系統(tǒng)流程如圖1所示。

2圖像采集

2.1光源與照明方式設(shè)計(jì)

照明作用于系統(tǒng)的原始輸入并直接影響輸入數(shù)據(jù)的質(zhì)量。恰當(dāng)?shù)墓庠磁c照明方式，不但可以突出需要檢測(cè)的對(duì)象及其特征，而且還能抑制不需要的干擾成分，方便后續(xù)圖像處理[5]。所以該方面設(shè)計(jì)須慎重對(duì)待。

LED光源的穩(wěn)定性和顯色性好，發(fā)光強(qiáng)度高，光譜范圍可覆蓋整個(gè)可見(jiàn)光?？紤]到CSP焊錫球的顏色多為白色或銀白色，依據(jù)色覺(jué)搭配原理，藍(lán)色光源可以凸顯出白色，故選用藍(lán)色LED光源。同時(shí)，鑒于焊錫球表面較為光滑，對(duì)光反射強(qiáng)烈，于是選用環(huán)形光源以減少反射，并使光能在焊錫球上均勻照射[6]。光源設(shè)計(jì)如圖2（a）所示。

采用低角度前照明的照射方式，使LED光源與芯片呈很小的角度，僅讓焊錫球反射的部分光進(jìn)入工業(yè)相機(jī)，以突出焊錫球并抑制背景。照明方式設(shè)計(jì)如圖2（b）所示。

2.2采集過(guò)程

在上述照明條件下，通過(guò)LabVIEW視覺(jué)模塊中的NIIMAQdx驅(qū)動(dòng)CCD灰階相機(jī)，并利用低階（LL）取像元件對(duì)植球后的芯片進(jìn)行圖像采集。具體采集流程圖、對(duì)應(yīng)程序圖以及采集到的芯片檢測(cè)區(qū)域灰度圖如圖3所示。

3圖像處理

視覺(jué)系統(tǒng)采集到的原始灰度圖包含大量圖像信息，有檢測(cè)需要的焊錫球信息，也有不需要的噪聲、圖像背景和多余的助焊劑等不利于后續(xù)分析判斷的冗余信息[7]。而在復(fù)雜圖像中進(jìn)行圓檢測(cè)時(shí)容易產(chǎn)生更多無(wú)效積累，加大計(jì)算量[8]。因此，對(duì)原始灰度圖進(jìn)行預(yù)處理，以消除干擾并加快檢測(cè)速度，是很有必要的。

3.1ROI提取

CSP芯片植球質(zhì)量檢測(cè)，歸根結(jié)底就是判斷檢測(cè)區(qū)域中每塊植球后的芯片是否符合要求。所以，在執(zhí)行圖像處理及其后續(xù)操作時(shí)，首先須把待處理對(duì)象限定于檢測(cè)區(qū)域中的某一芯片，即將圖像中的每塊芯片劃定為一個(gè)矩形感興趣區(qū)域（ROI），而后逐一處理。這樣在減少處理時(shí)間、提高精度的同時(shí)，也間接排除了其它干擾。在LabVIEW中，可通過(guò)IMAQ Extract函數(shù)實(shí)現(xiàn)對(duì)感興趣區(qū)域的提取。提取出的芯片ROI圖如圖4所示。

3.2圖像平滑

由于圖像在生成、傳輸?shù)纫幌盗羞^(guò)程中，難免會(huì)受到來(lái)自系統(tǒng)內(nèi)部與外部的各種干擾，所以經(jīng)過(guò)ROI提取得到的芯片圖中或多或少會(huì)存在噪聲，如脈沖噪聲等。而圖像的平滑處理就是用不同的濾波方法對(duì)圖像進(jìn)行去噪處理[9]。

本文采用中值濾波的平滑方法降噪，即用每個(gè)像素點(diǎn)領(lǐng)域內(nèi)全部像素點(diǎn)的灰度值中值代替該點(diǎn)的灰度值。中值濾波輸出為：

yi，j=MedianAfi，j（1）

式（1）中，fi，j和yi，j分別為原始圖像和濾波后的圖像，A為濾波窗口。在LabVIEW中，可通過(guò)IMAQ NthOrder函數(shù)實(shí)現(xiàn)對(duì)圖像的中值濾波操作。本文選取5×5方形濾波窗口對(duì)芯片ROI圖進(jìn)行中值濾波。

3.3圖像分割

為了將檢測(cè)需要的焊錫球從圖像背景中分割出來(lái)，須對(duì)中值濾波后的芯片灰度圖作二值化處理，即選擇一個(gè)合適的閾值T，如果圖像中像素的灰度值小于此閾值，則把該像素的灰度值設(shè)置為0，否則設(shè)置為255。變換函數(shù)為：

f（x）=0，x

式（2）中，x為原圖中像素的灰度值，fx為二值化后像素的灰度值。而合理選取閾值T，對(duì)于盡可能地保留CSP焊錫球的特征信息、剔除與焊錫球灰度值相近的背景點(diǎn)，十分關(guān)鍵。

雙峰法是一種基于灰度直方圖的自動(dòng)閾值確定方法[10]。LabVIEW中通過(guò)函數(shù)IMAQ Histograph統(tǒng)計(jì)圖像的灰度分布，濾波后芯片圖的灰度直方圖如圖5所示。觀察圖5可以分析，圖像背景的灰度值主要集中在25-100區(qū)間內(nèi)，焊錫球目標(biāo)灰度值接近于255，兩者呈現(xiàn)較為明顯的雙峰特性。在這種情況下，雙峰法很適用，所以本文用雙峰法求得最低谷處的灰度值，即濾波后芯片圖的最佳閾值T為254。

LabVIEW中通過(guò)函數(shù)IMAQ Threshold實(shí)現(xiàn)對(duì)圖像的閾值分割，得到二值化后的芯片圖，如圖6所示。能夠看出，在保存邊緣信息的前提下，焊錫球可以很好地與背景及部分多余助焊劑區(qū)分開(kāi)。

3.4形態(tài)學(xué)處理

由圖6可以發(fā)現(xiàn)，二值化后的圖像包含閾值分割沒(méi)有去除的殘余助焊劑噪點(diǎn)，同時(shí)焊錫球的邊緣輪廓有纖細(xì)突起，內(nèi)部也有由環(huán)形光源照射反光引起的黑色孔洞。

本文先用5×5的結(jié)構(gòu)元對(duì)二值圖作開(kāi)運(yùn)算，目的是在不明顯改變焊錫球面積和形狀的基礎(chǔ)上，平滑其邊緣，并消除小于該結(jié)構(gòu)元的助焊劑噪點(diǎn)。再用同樣的結(jié)構(gòu)元對(duì)二值圖作閉運(yùn)算，以在不明顯改變焊錫球面積和形狀的基礎(chǔ)上，填補(bǔ)球內(nèi)孔洞。

以上開(kāi)、閉運(yùn)算雖然解決了小面積噪點(diǎn)、焊錫球孔洞和突起問(wèn)題，但是很難處理好面積較大的助焊劑噪點(diǎn)。使用高級(jí)形態(tài)學(xué)中的刪除小塊區(qū)域方法，刪除二值圖中面積小于45像素的8連通區(qū)域，即可除去剩余面積較大的噪點(diǎn)，以消除殘余背景噪聲。最終結(jié)果如圖7所示。

LabVIEW中通過(guò)函數(shù)IMAQ Morphology實(shí)現(xiàn)開(kāi)閉操作，采用函數(shù)IMAQ RemoveParticle刪除小塊區(qū)域。

4圓心定位算法

圓Hough變換是當(dāng)前應(yīng)用最為廣泛的圓檢測(cè)算法之一[11]。該算法可靠性高，對(duì)邊緣不連續(xù)、部分區(qū)域殘缺、變形、噪聲等狀況均有良好的適應(yīng)性[12]。

設(shè){（xi，yi） | i=1，2，3，...，n}為圖像中點(diǎn)的集合，（x，y）是屬于該集合的一點(diǎn)，在參數(shù)坐標(biāo)系中的方程為：

（x-a）2+（y-b）2=r2（3）

通過(guò)上述方程進(jìn)行坐標(biāo)變換，將x-y圖像平面上的圓轉(zhuǎn)換到a-b-r參數(shù)空間中去，則圖像平面上的圓與參數(shù)空間中的一點(diǎn)相對(duì)應(yīng)，圖像平面上的一點(diǎn)與參數(shù)空間中的一個(gè)三維錐面相對(duì)應(yīng)。對(duì)圖像平面上的一個(gè)圓來(lái)說(shuō)，半徑是固定的，所以由圓周上各點(diǎn)組成的集合在參數(shù)空間中表現(xiàn)為半徑相等、圓心（xi，yi）不等的空間圓集合，而這些空間圓必定會(huì)相交于參數(shù)空間中的某一點(diǎn)（a0，b0，r0），如圖8（a）所示。該點(diǎn)的參數(shù)便對(duì)應(yīng)著圖像平面上該圓的圓心坐標(biāo)和半徑[13]。

基于此，先在參數(shù)空間中構(gòu)造一個(gè)三維累積數(shù)組，其中的元素為A（a，b，r）。將r設(shè)為遞增變量，可根據(jù)經(jīng)驗(yàn)知識(shí)確定半徑變化的范圍（rmin，rmax），從rmin開(kāi)始遞增到rmax。每次運(yùn)算前先固定半徑為rj，再在垂直于rj軸的平面上求圓心為（xi，yi）的圓周各點(diǎn)，其中（xi，yi）取原圖像平面上的邊緣點(diǎn)，并與在該平面映像的二維累積陣列上的相應(yīng)點(diǎn)A（a，b，rj）累加，即：

A（a，b，rj）=A（a，b，rj）+1（4）

最后，根據(jù)累加后的最大值所對(duì)應(yīng)點(diǎn)的參數(shù)a、b、r，確定出x-y圖像平面上的圓。在LabVIEW中，通過(guò)函數(shù)IMAQ Find Circles可對(duì)圖像中的焊錫球進(jìn)行圓檢測(cè)，從而得到圓心坐標(biāo)，實(shí)現(xiàn)圓心定位。根據(jù)運(yùn)算得到數(shù)據(jù)擬合出的圓以及圓心位置如圖8（b）所示。

5植球質(zhì)量檢測(cè)

檢測(cè)區(qū)域中共有20個(gè)芯片，每個(gè)芯片都有78個(gè)I/O口需要植球。該I/O口就是植球的理想位置，而先前得到的圓心坐標(biāo)則為焊錫球在芯片上的實(shí)際位置。檢測(cè)CSP芯片植球質(zhì)量的標(biāo)準(zhǔn)主要體現(xiàn)在：根據(jù)所植焊錫球?qū)嶋H位置相對(duì)于理想位置的偏移量，植球后的芯片有無(wú)出現(xiàn)多球或者少球現(xiàn)象。

設(shè)定偏移量閾值為t。在允許的偏移量t內(nèi)，若某一I/O口處沒(méi)有發(fā)現(xiàn)焊錫球，即所有焊錫球的實(shí)際圓心坐標(biāo)都不在以該I/O口坐標(biāo)為圓心、t為半徑的圓內(nèi)，則判定該I/O口處少球；若在非I/O口的位置植放了焊錫球，即該焊錫球的實(shí)際圓心坐標(biāo)在所有以I/O口坐標(biāo)為圓心、t為半徑的圓外部，則判定該焊錫球所在位置多球；特別地，若某一I/O口處植放了兩個(gè)以上焊錫球，即有兩個(gè)以上實(shí)際圓心坐標(biāo)滿足在以該I/O口坐標(biāo)為圓心、t為半徑的圓內(nèi)條件，則判定該I/O口處多球。

設(shè)某焊錫球的實(shí)際圓心坐標(biāo)為（ai，bi），某I/O口坐標(biāo)為（mk，nk）。如果焊錫球滿足在圓內(nèi)條件，則兩者的間距應(yīng)當(dāng)小于等于t，即：

（ai-mk）2+（bi-nk）2

（5）

一旦芯片被檢測(cè)到有多球或者少球的情形，則判定該芯片植球不合格，然后根據(jù)多球、少球位置坐標(biāo)作重新植球處理。芯片合格則進(jìn)行下一道工序。

本文通過(guò)LabVIEW基本函數(shù)實(shí)現(xiàn)了以上判別算法，用for循環(huán)對(duì)檢測(cè)區(qū)域中的每塊芯片進(jìn)行植球質(zhì)量檢測(cè)，并將芯片植球結(jié)果以布爾二維數(shù)組形式返回給控制系統(tǒng)。對(duì)少球和多球位置在處理過(guò)的芯片二值圖中進(jìn)行標(biāo)記，并統(tǒng)計(jì)位置信息。為方便觀察，將偏移量閾值t設(shè)為焊錫球直徑的30%進(jìn)行運(yùn)算，其中焊錫球的標(biāo)準(zhǔn)直徑為19個(gè)像素。取芯片第一行作數(shù)據(jù)統(tǒng)計(jì)，統(tǒng)計(jì)出的少球位置信息如表1所示，多球位置信息如表2所示，少球、多球位置標(biāo)記如圖9所示。由結(jié)果可見(jiàn)，本文提出的視覺(jué)檢測(cè)算法檢測(cè)準(zhǔn)確度高，行之有效。

6結(jié)語(yǔ)

機(jī)器視覺(jué)的廣泛應(yīng)用，大幅提高了生產(chǎn)自動(dòng)化水平以及裝備的使用效率、可靠性與穩(wěn)定性[14]。本文采用機(jī)器視覺(jué)方法，結(jié)合光源與照射方式的選取，提出了一種CSP芯片植球質(zhì)量檢測(cè)算法。該算法在LabVIEW中證明了可行性，然而仍存在需要改進(jìn)之處，如圓心定位算法的資源占用量大、檢測(cè)功能不夠多樣化等。隨著對(duì)其研究的不斷深入，機(jī)器視覺(jué)技術(shù)必然會(huì)更加完善，在工業(yè)自動(dòng)化生產(chǎn)領(lǐng)域發(fā)揮越來(lái)越大的作用[15]。

參考文獻(xiàn)參考文獻(xiàn)：

[1]萩本英二.CSP技術(shù)[M].第1版.陳連春，譯.臺(tái)灣：建興出版社，1998.

[2]劉勁松，郭儉，王鶴.芯片尺寸級(jí)CSP封裝自動(dòng)植球技術(shù)的研究[J].制造業(yè)自動(dòng)化，2015，37（10）：117120.

[3]賈偉妙.基于機(jī)器視覺(jué)的芯片BGA封裝焊球缺陷檢測(cè)及MATLAB仿真[D].合肥：合肥工業(yè)大學(xué)，2009.

[4]劉勁松，梁皓源.基于OpenCV的晶圓編號(hào)識(shí)別算法研究[J].軟件導(dǎo)刊，2017，16（6）：2527.

[5]郭建強(qiáng).BGA全自動(dòng)植球機(jī)視覺(jué)檢測(cè)和自動(dòng)對(duì)準(zhǔn)控制技術(shù)研究[D].合肥：合肥工業(yè)大學(xué)，2006.

[6]NOVINI A.Fundamentals of machine vision lighting[C].Proceedings of SPIE，1987：4452.

[7]劉勁松，時(shí)威，張金志.BGA返修芯片批量植球機(jī)關(guān)鍵技術(shù)研究[J].電子工藝技術(shù)，2015，36（3）：125128.

[8]葉峰，陳燦杰.基于有序Hough變換的快速圓檢測(cè)算法[J].光學(xué)精密工程，2014，22（4）：11051111.

[9]袁勇，張固瀾.一種改進(jìn)的中值濾波方法[J].成都理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，40（2）：125129.

[10]楊修國(guó).關(guān)于直方圖雙峰法的研究與改進(jìn)[J].電子設(shè)計(jì)工程，2012，20（12）：176179.

[11]劉勁松，高揚(yáng)，邱進(jìn)軍.基于機(jī)器視覺(jué)的BGA植球后缺陷檢測(cè)技術(shù)的研究[J].現(xiàn)代制造工程，2016（3）：115118.

[12]朱桂英，張瑞林.基于Hough變換的圓檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008（6）：14621464.

[13]黃石安.基于數(shù)字圖像處理的圓形檢測(cè)[D].南京：南京理工大學(xué)，2006.

[14]計(jì)時(shí)鳴，黃希歡.工業(yè)機(jī)器人技術(shù)的發(fā)展與應(yīng)用綜述[J].機(jī)電工程，2015，32（1）：113.

[15]徐國(guó)保，尹怡欣，周美娟.智能移動(dòng)機(jī)器人技術(shù)現(xiàn)狀及展望[J].機(jī)器人技術(shù)與應(yīng)用，2007（2）：2934.

責(zé)任編輯（責(zé)任編輯：何麗）