蔡 念 肖 盟 肖 盼 周 帥 邱寶軍 王 晗

①(廣東工業(yè)大學(xué)信息工程學(xué)院 廣州 510006)

②(天津大學(xué) 天津 300072)

③(工業(yè)和信息化部電子第五研究所 廣州 510006)

④(廣東工業(yè)大學(xué)機(jī)電工程學(xué)院 廣州 510006)

⑤(惠州市廣工大物聯(lián)網(wǎng)協(xié)同創(chuàng)新研究院有限公司 惠州 516025)

1 引言

回流焊工藝由于焊接效率高、焊接溫度易控制等特性，被廣泛應(yīng)用于表面貼裝技術(shù)領(lǐng)域[1]。貼片組件在回流焊接過(guò)程中，當(dāng)熔融的焊料冷卻凝固時(shí)，焊料中產(chǎn)生的氣體沒有逃逸出去將會(huì)被“凍結(jié)”形成空洞[2]，影響焊點(diǎn)的導(dǎo)熱和導(dǎo)電性能，導(dǎo)致印制電路板(Printed Circuit Board, PCB)機(jī)械強(qiáng)度下降、熱阻增大等問(wèn)題，從而降低器件的可靠性[3,4]。因此，對(duì)貼片組件焊點(diǎn)內(nèi)部空洞缺陷進(jìn)行檢測(cè)和評(píng)估是實(shí)際生產(chǎn)中必不可少的環(huán)節(jié)。

PCB上集成電路器件越來(lái)越趨向于高密度和小型化，使用人工檢測(cè)不僅成本高，而且檢測(cè)效率低、精度低。近年來(lái)，自動(dòng)檢測(cè)方法被廣泛應(yīng)用于電子元器件的內(nèi)部缺陷檢測(cè)。在實(shí)際工業(yè)生產(chǎn)中，考慮到硬件成本和成像效率，通常使用2維X射線(2D X-Ray)成像方式采集內(nèi)部圖像[5]，然后針對(duì)圖像特點(diǎn)設(shè)計(jì)相應(yīng)缺陷檢測(cè)算法。目前，回流焊接組件內(nèi)部空洞缺陷檢測(cè)更多的是關(guān)于球柵網(wǎng)格陣列(Ball Grid Array, BGA)內(nèi)部空洞缺陷檢測(cè)研究，尚未見貼片電阻焊點(diǎn)內(nèi)部空洞檢測(cè)的文獻(xiàn)報(bào)道。Said等人[2]基于BGA焊球的形狀、面積、排列規(guī)則等先驗(yàn)知識(shí)采用模板匹配提取焊球區(qū)域，直接利用高斯拉普拉斯(Laplacian of Gaussian, LoG)算子檢測(cè)焊球內(nèi)部空洞，然后利用形狀因子和平均灰度剔除誤檢測(cè)，最后計(jì)算空洞占比率。Peng等人[6]提出一種新的Blob分析方法用于BGA內(nèi)部空洞檢測(cè)，即利用多尺度盒型濾波器對(duì)圖像進(jìn)行預(yù)處理，計(jì)算局部圖像梯度生成Blob圖像，利用形態(tài)學(xué)檢測(cè)空洞，然后通過(guò)圓度剔除假空洞，最后計(jì)算空洞占比。Mouri等人[7]將空洞檢測(cè)定義為矩陣分解問(wèn)題，認(rèn)為BGA圖像中的空洞為稀疏變量，首先將1個(gè)焊點(diǎn)的3張圖像進(jìn)行平均平滑濾波，然后采用非負(fù)矩陣分解檢測(cè)空洞區(qū)域。Nuanprasert等人[8]使用霍夫變換提取各BGA焊球中心后計(jì)算德洛內(nèi)(Delaunay)三角剖分防止焊球漏檢，然后對(duì)每個(gè)BGA焊球使用直方圖均衡化增強(qiáng)空洞與背景之間的對(duì)比度，最后使用LoG算法檢測(cè)空洞。顯然，BGA焊球圖像背景較為單一，因此上述方法采用全局操作能夠較好地檢測(cè)BGA焊球內(nèi)部空洞缺陷。但是，由于貼片電阻焊點(diǎn)表面呈凹形曲線，存在一定的高度差異，焊料中鉛對(duì)X射線(X-Ray)具有很高的衰減，使得錫膏較厚區(qū)域X-Ray透視效果差，成像較暗；反之，錫膏較薄區(qū)域成像較亮[9]。這就導(dǎo)致2D X-Ray成像設(shè)備采集的貼片電阻圖像背景差異明顯，往往呈現(xiàn)亮暗區(qū)域分布且其中的空洞灰度級(jí)表征也差異性較大。因此，以上采用全局操作的檢測(cè)方法對(duì)背景自適應(yīng)能力較差，難以較好地檢測(cè)貼片電阻焊點(diǎn)內(nèi)部空洞缺陷。

近年來(lái)，隨著深度學(xué)習(xí)的快速發(fā)展，已有學(xué)者嘗試將其應(yīng)用于BGA焊球內(nèi)部空洞檢測(cè)。Neeluru等人[10]先采用LoG算法輔助人工標(biāo)注數(shù)據(jù)集，然后基于BGA空洞先驗(yàn)知識(shí)對(duì)數(shù)據(jù)集進(jìn)行增廣，再直接采用U-Net模型訓(xùn)練檢測(cè)BGA空洞缺陷，最后計(jì)算空洞占比。Akden?z等人[11]設(shè)計(jì)了一個(gè)擁有4個(gè)卷積層和1個(gè)全連接層的全卷積深度網(wǎng)絡(luò)進(jìn)行BGA圖像特征提取，然后級(jí)聯(lián)一個(gè)最小距離分類器對(duì)BGA焊球內(nèi)部缺陷進(jìn)行分類。其本質(zhì)上是對(duì)BGA焊球進(jìn)行4分類：正常、短路、邦定缺陷和空洞缺陷，并不是檢測(cè)BGA焊球內(nèi)部空洞缺陷，根本無(wú)法計(jì)算空洞占比率這一工業(yè)上空洞缺陷判斷的重要判斷指標(biāo)。而且，深度學(xué)習(xí)方法是數(shù)據(jù)驅(qū)動(dòng)型方法，需要大量的人工數(shù)據(jù)標(biāo)注。可是，當(dāng)今柔性生產(chǎn)制造日益成為制造業(yè)發(fā)展主流方向，其具有的多品種、小批量、換產(chǎn)率高等制造特點(diǎn)對(duì)這類數(shù)據(jù)驅(qū)動(dòng)型方法提出了極大的挑戰(zhàn)。

針對(duì)貼片電阻焊點(diǎn)2D X-Ray圖像存在的背景區(qū)域?qū)Ρ榷炔町愋源蟮膶?shí)際現(xiàn)象，本文融合局部預(yù)擬合(Local Pre-Fitting, LPF)活動(dòng)輪廓模型[12]和自適應(yīng)圓形卷積核，提出一種貼片電阻焊點(diǎn)內(nèi)部空洞缺陷自適應(yīng)檢測(cè)方法。首先，提出一種自適應(yīng)分區(qū)策略對(duì)貼片電阻圖像進(jìn)行分區(qū)域操作，即將分區(qū)問(wèn)題轉(zhuǎn)化為求解區(qū)域平均灰度差異最大的優(yōu)化問(wèn)題，根據(jù)全局迭代策略求解目標(biāo)方程，將貼片電阻圖像分為較暗和較亮兩個(gè)區(qū)域。然后，針對(duì)較暗區(qū)域中空洞與背景之間對(duì)比度低、空洞分布較稀疏、面積偏大等現(xiàn)象，采用LPF模型進(jìn)行空洞檢測(cè)；針對(duì)較亮區(qū)域中空洞與背景之間差異明顯、空洞分布密集、面積偏小等現(xiàn)象，提出一種自適應(yīng)圓形卷積核檢測(cè)空洞。最后，采用形狀因子和平均灰度策略剔除由背景痕跡和過(guò)錫孔造成的誤檢測(cè)，實(shí)現(xiàn)貼片電阻焊點(diǎn)內(nèi)部空洞精細(xì)檢測(cè)。

2 本文方法

2.1 算法框架

本文所提貼片電阻焊點(diǎn)內(nèi)部空洞缺陷自適應(yīng)檢測(cè)算法框架如圖1所示，主要包括自適應(yīng)分區(qū)、空洞粗檢測(cè)以及空洞精細(xì)檢測(cè)等3個(gè)階段。在自適應(yīng)分區(qū)階段，提出一種優(yōu)化求解策略將貼片電阻圖像分為較亮和較暗兩塊區(qū)域，便于后續(xù)針對(duì)性設(shè)計(jì)空洞缺陷檢測(cè)方法。在空洞粗檢測(cè)階段，采用不同方法檢測(cè)較亮和較暗兩個(gè)區(qū)域內(nèi)的空洞缺陷。因?yàn)長(zhǎng)PF模型能夠更好地處理低對(duì)比度圖像分割且處理速度相對(duì)較快，所以采用LPF模型檢測(cè)較暗區(qū)域中的空洞缺陷；但是，LPF模型在處理密集小目標(biāo)時(shí)會(huì)導(dǎo)致目標(biāo)曲線在演化過(guò)程中被忽略，從而導(dǎo)致分割效果較差。因此，針對(duì)較亮區(qū)域中空洞較密集且相對(duì)尺寸較小的現(xiàn)象，提出一種自適應(yīng)圓形卷積核策略并結(jié)合導(dǎo)向?yàn)V波和閾值分割進(jìn)行空洞檢測(cè)。在空洞精細(xì)檢測(cè)階段，利用形狀因子和平均灰度策略進(jìn)行后處理實(shí)現(xiàn)空洞精細(xì)檢測(cè)。

圖1 貼片電阻焊點(diǎn)內(nèi)部空洞缺陷自適應(yīng)檢測(cè)算法框架

2.2 自適應(yīng)分區(qū)策略

由于貼片電阻器件焊點(diǎn)高度差異明顯，導(dǎo)致成像明暗對(duì)比度差異明顯，且較暗和較亮區(qū)域的分界線與貼片電阻邊緣大致重合，因此較亮與較暗區(qū)域存在一條類直線的分界線。為了將貼片電阻X-Ray圖像自動(dòng)分割為較亮和較暗兩個(gè)區(qū)域，本文提出一種優(yōu)化求解的自適應(yīng)分區(qū)策略找到兩個(gè)區(qū)域的最優(yōu)分界線，即將分區(qū)問(wèn)題轉(zhuǎn)化為求解平均灰度差異最大的優(yōu)化問(wèn)題

2.3 空洞粗檢測(cè)

2.3.1 基于自適應(yīng)圓形卷積核的空洞缺陷粗檢測(cè)

本文針對(duì)貼片電阻圖像較亮區(qū)域提出一種基于自適應(yīng)圓形卷積核的空洞缺陷粗檢測(cè)方法，如圖2所示。

圖2 基于自適應(yīng)圓形卷積核的空洞缺陷粗檢測(cè)方法

2.3.2 基于LPF模型的空洞缺陷粗檢測(cè)

2.4 空洞精細(xì)檢測(cè)

經(jīng)過(guò)上述后處理步驟后即實(shí)現(xiàn)了空洞缺陷的精細(xì)檢測(cè)。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集采集和實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)所用的貼片電阻2D X-Ray圖像數(shù)據(jù)皆為國(guó)內(nèi)某電子基礎(chǔ)元器件大型企業(yè)提供，共134張圖像，其中合格樣本106張，不合格樣本28張(注：該企業(yè)嚴(yán)格規(guī)范要求空洞區(qū)域面積占比超過(guò)10%的貼片電阻即判定為不合格樣本)，圖像尺寸大小范圍為190×210～350×400。

實(shí)驗(yàn)均在配置為Windows10 64位旗艦操作系統(tǒng)、6核Intel i5-10600KF CPU @ 4.10 GHz, 16 GB內(nèi)存的臺(tái)式計(jì)算機(jī)上完成，以Pycharm為仿真平臺(tái)。

采用3個(gè)評(píng)價(jià)指標(biāo)評(píng)估空洞缺陷檢測(cè)效果，分別是準(zhǔn)確率(Accuracy, Acc)、F1分?jǐn)?shù)和Dice系數(shù)。其中，Acc和F1分?jǐn)?shù)是基于樣本分類結(jié)果評(píng)估算法有效性的指標(biāo)，Dice系數(shù)是基于像素檢測(cè)結(jié)果評(píng)估算法有效性的指標(biāo)，在本文中計(jì)算平均Dice系數(shù)。各評(píng)價(jià)指標(biāo)的計(jì)算公式為

其中，X表示檢測(cè)為空洞區(qū)域的像素集合，Y表示真實(shí)為空洞區(qū)域的像素集合。

3.2 自適應(yīng)圓形卷積核策略的作用

如表1所示，小尺寸圓形卷積核擁有小感受野，對(duì)較大空洞則檢測(cè)效果較差；大尺寸圓形卷積核擁有大感受野，對(duì)小尺寸空洞檢測(cè)效果較差，且耗時(shí)較多。提出的自適應(yīng)圓形卷積核策略能夠根據(jù)每張貼片電阻圖像中的最大空洞自適應(yīng)地為其設(shè)計(jì)好相應(yīng)的圓形卷積核，因此能夠獲得最好的檢測(cè)性能。最大空洞的尋優(yōu)過(guò)程會(huì)消耗一定時(shí)間，導(dǎo)致該方法平均處理時(shí)間略有增加。

表1 不同尺寸圓形卷積核的檢測(cè)性能對(duì)比

3.3 LPF模型中核大小的影響

LPF模型通過(guò)計(jì)算局部平均圖像強(qiáng)度定義兩個(gè)預(yù)擬合函數(shù)，因此局部區(qū)域核大小選擇對(duì)檢測(cè)準(zhǔn)確性和消耗時(shí)間有較大影響。如表2所示，LPF模型檢測(cè)空洞性能先隨著核尺寸大小增加而增加，之后又開始性能略微下降。這是因?yàn)檫^(guò)小的核使得LPF模型無(wú)法檢測(cè)那些對(duì)比度低的空洞，而過(guò)大的核使得LPF模型產(chǎn)生大量誤檢測(cè)。尤其是，檢測(cè)時(shí)間隨著核尺寸大小增加而快速增加。因此，綜合考慮LPF模型檢測(cè)性能和時(shí)間，本文中的LPF模型選擇9×9的核。

表2 LPF不同對(duì)核的分割Dice系數(shù)和消耗時(shí)間

3.4 消融實(shí)驗(yàn)

為驗(yàn)證分塊策略的必要性，本文設(shè)計(jì)了以下消融實(shí)驗(yàn)方案，如表3所示。第1列可以明顯看出，自適應(yīng)圓形卷積核對(duì)較亮區(qū)域的檢測(cè)效果更佳，平均Dice系數(shù)高達(dá)0.8453，而LPF檢測(cè)結(jié)果的平均Dice系數(shù)只有0.7951。這是因?yàn)檩^亮區(qū)域空洞密集且較小，水平集函數(shù)在演化過(guò)程中會(huì)忽略小空洞或在密集處無(wú)法進(jìn)一步演化到具體目標(biāo)的邊緣，導(dǎo)致其檢測(cè)效果不佳。第2列可以看出LPF對(duì)于較暗區(qū)域檢測(cè)效果更佳，平均Dice系數(shù)高達(dá)0.8637，而自適應(yīng)圓形卷積核檢測(cè)結(jié)果的平均Dice系數(shù)僅僅只有0.3976，效果十分不理想。這是因?yàn)檩^暗區(qū)域空洞與背景對(duì)比度低，而圓形卷積操作會(huì)將對(duì)比度低的空洞變成背景，大量空洞丟失，導(dǎo)致檢測(cè)效果差。以行為維度，也可以得到以上類似的結(jié)論。

表3 亮、暗區(qū)域的消融實(shí)驗(yàn)(Dice)

3.5 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文所提空洞缺陷自適應(yīng)檢測(cè)方法，在此對(duì)比了4種方法，分別是基于距離正則化水平集演化模型(Distance Regularized Level Set Evolution model, DRLSE)[14]、基于區(qū)域可伸縮擬合能量項(xiàng)和高斯拉普拉斯優(yōu)化能量項(xiàng)活動(dòng)輪廓模型(Region-Scalable Fitting and optimized Laplacian of Gaussian energy level set model, RSF+LoG)[15]、LoG[2]和LPF模型[11]。圖3分別展示了兩個(gè)不合格樣本和1個(gè)合格樣本的原圖、人工標(biāo)注圖、4種對(duì)比方法和本文提出方法的空洞檢測(cè)效果圖及計(jì)算的空洞占比。從圖3可以看出，DRLSE和RSF+LoG對(duì)于大空洞檢測(cè)效果很差，也漏檢了不少小空洞，因此兩者總體檢測(cè)性能很差，甚至將不合格樣本檢測(cè)為合格樣本(空洞占比率<10%)。相比于DRLSE和RSF+LoG，LoG和LPF模型檢測(cè)性能有了大幅度的提升，但與標(biāo)注圖差距仍然較大。本文所提方法則無(wú)論在檢測(cè)視覺效果上還是從空洞占比率上都與標(biāo)注圖高度接近。

圖3 不同算法的空洞缺陷檢測(cè)視覺效果

為了全面評(píng)估本文方法，表4給出了所有貼片電阻圖像樣本的空洞缺陷檢測(cè)統(tǒng)計(jì)結(jié)果。從表4可以看出，DRLSE使用局部邊緣信息將水平集函數(shù)吸引到目標(biāo)對(duì)象邊界，對(duì)噪聲和初始輪廓十分敏感。由于弱邊緣目標(biāo)會(huì)造成局部邊緣信息的丟失，使得水平集函數(shù)在演化過(guò)程中忽略弱邊緣目標(biāo)，而貼片電阻圖像中大部分的空洞缺陷屬于弱邊緣目標(biāo)，因此DRLSE檢測(cè)貼片電阻圖像的空洞缺陷效果很差。RSF+LoG是一種基于區(qū)域的活動(dòng)輪廓模型，通過(guò)引入優(yōu)化的高斯拉普拉斯能量項(xiàng)，提高了模型對(duì)噪聲和初始輪廓的魯棒性，因此貼片電阻圖像中的空洞檢測(cè)效果比DRLSE稍好一點(diǎn)點(diǎn)。但是，其采用基于局部2元擬合的能量項(xiàng)只適用于將圖像分為兩類，對(duì)于多目標(biāo)多尺度的分割任務(wù)并不適用[16]，因此其對(duì)貼片電阻焊點(diǎn)空洞缺陷檢測(cè)仍然效果不佳。LoG是利用高斯濾波和2階導(dǎo)數(shù)進(jìn)行邊緣檢測(cè)的算子，在一定程度上對(duì)弱邊緣目標(biāo)的檢測(cè)能力和抗噪能力有所提升，但是在空洞與背景之間對(duì)比度低且空洞邊緣幾乎消失的情況下，LoG算子則遇到了困難。U-Net作為一種深度學(xué)習(xí)方法需要大量的人工標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，因企業(yè)所提供的數(shù)據(jù)有限，導(dǎo)致U-Net的檢測(cè)效果并不理想，尤其是在像素級(jí)別檢測(cè)性能評(píng)估上還不如LPF和LoG。LPF模型是基于局部預(yù)擬合能量的活動(dòng)輪廓模型，相較于基于邊緣的模型對(duì)弱邊緣的檢測(cè)任務(wù)更加適用，且相對(duì)于其他基于區(qū)域的模型[17,18]計(jì)算效率更快，對(duì)于多尺度多目標(biāo)的分割效果更好。但是，由于其局部窗口尺寸的固定，模型在背景差異十分明顯的圖像下檢測(cè)效果不佳。本文方法對(duì)貼片電阻圖像分區(qū)處理，能夠合理地解決LPF模型對(duì)于背景差異十分明顯分割效果不佳的問(wèn)題，并提出自適應(yīng)圓形卷積核增強(qiáng)空洞區(qū)域以提高閾值分割的精度。從Acc, F1和Dice 3項(xiàng)重要評(píng)價(jià)指標(biāo)可以看出，本文算法相對(duì)于其他5種算法對(duì)貼片電阻內(nèi)部空洞缺陷檢測(cè)更加有效。

表4 不同算法的空洞缺陷檢測(cè)統(tǒng)計(jì)結(jié)果

4 結(jié)束語(yǔ)

貼片電阻焊點(diǎn)內(nèi)部空洞占比率直接決定器件的使用壽命和可靠性，因此在實(shí)際生產(chǎn)中，對(duì)焊點(diǎn)內(nèi)部空洞檢測(cè)和空洞占比率的計(jì)算是必不可少的環(huán)節(jié)。針對(duì)貼片電阻焊點(diǎn)成像特點(diǎn)，本文提出一種貼片電阻焊點(diǎn)內(nèi)部空洞缺陷自適應(yīng)檢測(cè)方法，包括自適應(yīng)分區(qū)、空洞粗檢測(cè)和空洞精細(xì)檢測(cè)3個(gè)階段。自適應(yīng)分區(qū)策略是將貼片電阻圖像分成較亮和較暗兩個(gè)區(qū)域，便于后續(xù)更有針對(duì)性地設(shè)計(jì)空洞缺陷檢測(cè)算法。在空洞粗檢測(cè)階段，針對(duì)較暗區(qū)域采用LPF模型檢測(cè)空洞，針對(duì)較亮區(qū)域提出自適應(yīng)圓形卷積核檢測(cè)空洞。最后，采用形狀因子和平均灰度策略剔除誤檢測(cè)對(duì)象，實(shí)現(xiàn)貼片電阻焊點(diǎn)內(nèi)部空洞精細(xì)檢測(cè)。對(duì)比實(shí)驗(yàn)表明，本文算法能夠更有效地檢測(cè)貼片電阻焊點(diǎn)內(nèi)部空洞缺陷，計(jì)算的空洞占比率與真實(shí)值非常接近。

可是，本文采用的LPF模型在求預(yù)擬合能量項(xiàng)的局部窗口大小固定，因此對(duì)灰度強(qiáng)度的泛化能力較差；而且，OTSU作為一種基于全局閾值分割算法效果也不十分理想。因此，未來(lái)的工作將考慮對(duì)于閾值分割算法使用分割效果更好的多閾值OTSU算法[19,20]，對(duì)于LPF模型考慮實(shí)現(xiàn)核大小的自適應(yīng)以及空洞形狀先驗(yàn)的引入。