李呈怡 劉化軒 李 俊(東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點實驗室 江蘇 南京 210096)

0 引 言

LED技術(shù)起源于20世紀初，發(fā)展迅速，其相關(guān)產(chǎn)業(yè)隨之在全球范圍內(nèi)快速崛起，形成了涵蓋襯底、外延、芯片、封裝四個環(huán)節(jié)的完整產(chǎn)業(yè)鏈。在LED封裝環(huán)節(jié)，需要對LED晶粒和杯框進行識別定位。固晶機是在該環(huán)節(jié)必不可少的關(guān)鍵設(shè)備。目前，在多個發(fā)達國家，固晶機的性能已經(jīng)達到很高的水平，以ASM公司生產(chǎn)的AD809全自動LED固晶機為例，該固晶機的固晶速度可以達到每秒6～8次，圖像識別定位精度達亞像素級，但這些進口設(shè)備的價格均十分高昂。而國內(nèi)生產(chǎn)的大多數(shù)固晶機雖價格便宜但性能較差，多數(shù)固晶機的固晶速度只能達到每秒4～6次左右，定位精度也較低。我國LED市場規(guī)模日益擴大，根據(jù)相關(guān)數(shù)據(jù)分析，其年消費量達1 000億只以上，但LED封裝過程中所使用的固晶設(shè)備要么是價格昂貴的進口設(shè)備，要么是性能較差的國產(chǎn)低端設(shè)備，因此極有必要研制一種高速高精度高性價比的固晶機。

LED固晶機工作的主要過程[1]如下：上料機構(gòu)滾輪把支架傳送到預(yù)先設(shè)定好的工作位置，由點膠機構(gòu)在支架上需要固晶的位置點膠；然后取- 固晶臂從原點位置運動到吸晶工作臺吸取晶粒，返回原始位置；最后由取- 固晶臂再從原始位置運動到固晶工作臺上方對準固晶位置，固晶完成后再返回原始位置。這些過程都需要依賴于視覺系統(tǒng)的固晶識別定位技術(shù)，因此設(shè)計一種有效的LED固晶目標識別定位算法顯得極其重要。李釧寶[2]研究了基于SAD、NCC模板匹配算法的固晶目標識別定位算法，并運用金字塔算法優(yōu)化了搜索空間。金字塔匹配算法速度很快，但其搜索精度卻難以滿足要求。陳世哲等[3]提出了一種使用投影特征的基于優(yōu)勢遺傳自適應(yīng)算法的快速固晶目標匹配算法。遺傳算法雖然是一種高效的仿生算法，但其搜索結(jié)果具有隨機性，容易陷入局部最優(yōu)。曹占倫等[4]采用了粗- 精結(jié)合的固晶目標匹配算法,先使用金字塔匹配算法進行粗匹配,繼而對匹配結(jié)果在設(shè)定鄰域內(nèi)用序列閾值序貫相似性檢測算法進行精匹配，但是序貫相似性檢測法對誤差閾值的設(shè)定較難把握。

本文提出一種雙階段的識別定位方法。首先使用基于Haar-like特征的弱分類器組成的Adaboost級聯(lián)分類器快速識別固晶目標以確定其位置候選集實現(xiàn)初步定位，然后對候選集中的目標采用模板匹配的方式從候選集中篩選出目標并實現(xiàn)精確定位。

1 識別定位算法性能需求分析

進口固晶設(shè)備性能優(yōu)良，以德國ASM公司生產(chǎn)的AD809全自動LED固晶機性能為參考，本固晶機的性能指標設(shè)計如下：(1) 視覺定位精度不超過固晶目標大小的1/100；(2) 固晶速度：每秒鐘完成固晶6～8粒；(3) 為了保證平穩(wěn)性，運動控制時間不能小于110 ms；(4) 可處理的晶粒尺寸范圍0.1～1 mm。

下面將對識別定位算法的性能需求展開分析，算法的性能需求分為兩個部分，一是耗時要求，二是精度要求。LED固晶機每秒種固晶6～8粒，則固晶周期大約為125 ms。為了保證后續(xù)的取晶順利，每幅視野中必須保證存在不少于9個晶?；蚬叹c位，則一幅視野的固晶總時間約為9×125=1 125 ms。周期可以分為以下幾個部分：(1) 運動控制時間不能小于110 ms。那么一幅視野所需時間為9×110=990 ms；(2) 圖像采集時間37 ms，傳輸?shù)诫娔X的時間10 ms；(3) 每個固晶周期平均的取- 固晶策略用時10 ms。故每幅圖像的處理時間需小于1 125-990-47-10=78 ms。

不同的固晶目標誤差需要不大于該固晶目標百分之一，而本文實驗選取相機型號為MVC360MF,鏡頭型號為MZDH0805C，其參數(shù)是根據(jù)1個像素偏差來估計實際定位精度并計算相機視場范圍的。因此只要識別定位算法的圖像定位偏差不超過1像素就可以滿足精度要求。綜上，識別定位算法的時間性能必須達到每幅視野的處理時間小于78 ms，精度性能要求圖像定位偏差不能大于1像素值。

2 識別定位算法設(shè)計

在實際生產(chǎn)中，固晶機視覺系統(tǒng)多用灰度模板匹配實現(xiàn)對固晶目標的識別定位。灰度模板匹配使用圖像灰度特征，具有通用性好、精度高的特點，但其計算復(fù)雜度高，識別速度較低，經(jīng)驗證明：單純的模板匹配算法難以滿足每幅視野的處理時間小于78 ms的時耗要求。為縮短算法時耗同時保證精度，本文將采用一種基于特征提取的機器學(xué)習(xí)方法對固晶目標進行訓(xùn)練，得到一種有效的分類器用以高速識別固晶目標。在獲得固晶目標之后，結(jié)合灰度模板匹配算法對其實現(xiàn)精確定位。分類器的初步識別定位可以縮小模板匹配算法的搜索空間，既可減少計算時耗，又可保證算法精度。

2.1 結(jié)合特征提取的級聯(lián)分類器算法研究

機器學(xué)習(xí)是一個將數(shù)據(jù)轉(zhuǎn)換成信息的過程。這里采用機器學(xué)習(xí)的方法從樣本數(shù)據(jù)里提取規(guī)則訓(xùn)練分類器，并利用生成的分類器來識別固晶目標。相比決策樹、神經(jīng)網(wǎng)絡(luò)等[5]單一的分類算法，組合這些單一分類算法的集成學(xué)習(xí)分類算法可以獲得更加優(yōu)越的泛化性能。其中，Boosting算法就是一種識別正確率很高的集成學(xué)習(xí)分類算法。AdaBoost[6]是Boosting算法家族中效率最高且可以非常容易地應(yīng)用到實際問題中的算法，現(xiàn)常與其他算法結(jié)合用于人臉識別[7]。AdaBoost算法的基本思路是尋找若干個粗糙的規(guī)則作為弱分類器，繼而組合弱分類器成一強分類器。常用的AdaBoost算法有四種，由于四種算法的基本結(jié)構(gòu)相似，本文選用相對簡單的Discrete AdaBoost(DAB)分類器。

在基于AdaBoost的級聯(lián)分類器算法中，每一個弱分類器都是對圖像特征值的一個判斷。Haar-like特征、HOG特征、LBP特征是特征提取的三大法寶。Haar-like特征是一種簡單的矩形特征[8]，它分為邊緣特征、線性特征、中心特征和對角線特征。每種特征內(nèi)都有白色和黑色兩種矩形，Haar-like特征值即為白色矩形像素和減去黑色矩形像素和，它反映了圖像灰度變化情況。固晶目標(見圖1)有晶粒目標與杯框目標，它們具有形狀簡單、邊緣明顯、背景單一及同種型號相似度高的特點，這正符合Haar-like矩形特征適用范圍；LBP是一種用來描述圖像局部紋理特征的算子[9]，它是通過將相鄰的像素的灰度值與中心灰度值進行比較，然后生成一個8位二進制數(shù)作為該窗口中心像素點的LBP值，并用這個值來反映該區(qū)域的紋理信息，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點；HOG特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述算子[10-11]，它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向信息作為該局部圖像區(qū)域的表征，對圖像幾何的和光學(xué)的形變都能保持很好的不變性。

在訓(xùn)練分類器時，應(yīng)當逐一加入特征，直到它的命中率和錯誤接受率達到預(yù)設(shè)的目標值為止。而由于LED固晶目標的樣本特征比較單一，可采樣本數(shù)量有限。故在樣本數(shù)量不再增加就無法訓(xùn)練出更高層的分類器時應(yīng)該設(shè)置訓(xùn)練時間作為訓(xùn)練停止的條件。結(jié)合特征提取的AdaBoost分類器的訓(xùn)練過程見算法1。

算法1結(jié)合特征提取的AdaBoost分類器算法

1： 采集正負樣本。并預(yù)處理成訓(xùn)練數(shù)據(jù)集Q={(x1,y1),(x2,y2),…(xN,yN)}，其中xi代表樣本，yi∈{1，-1}，yi為1表示樣本為固晶目標，yi為-1表示樣本非固晶目標。

2： 初始化所有訓(xùn)練樣例的權(quán)重D1(i)=1/N，其中N是樣例數(shù)，i=1,2,…，N。

3： form=1,2,…，M:

//M表示分類器層數(shù)

a) 使用具有權(quán)重為Dm的訓(xùn)練數(shù)據(jù)集，得到本輪最優(yōu)的弱分類器hm(i)：hm(i)∈{-1,1}，其中每個弱分類器是一個基本特征和閾值的組合。

b) 計算hm(i)在訓(xùn)練集上的分類誤差率em，若最小誤差率小于0.5，則繼續(xù)，否則退出。

c) 設(shè)置hm(i)的系數(shù)am，am表示基本分類器hm(i)在AdaBoosting強分類器中所占的權(quán)重。

d) 更新數(shù)據(jù)點權(quán)重，主要是提高誤分類樣本權(quán)重，減小正確分類樣本的權(quán)重。

4： 組合各弱分類器得到最終的強分類器。

2.2 基于級聯(lián)分類器和模板匹配的識別定位算法

常用的灰度值模板匹配的相似性度量方法有平均絕對差算法(MAD)、絕對誤差和算法(SAD)、誤差平方和算法(SSD)、歸一化積相關(guān)算法(NCC)[12]。為了減少外界因素的干擾，本文選用抗噪聲和干擾能力最強的NCC算法進行后續(xù)的精確定位。對于固晶目標候選集中的候選位置(i,j)，位置子圖S與固晶目標模板T的相似度為：

固晶目標圖像是一種自相關(guān)的圖像，模板匹配過程中每個固晶目標周圍都會得到很多相似度量值很高的匹配位置。為了精確確定固晶目標的位置，本文選取四鄰域內(nèi)的極大值作為固晶目標精確位置候選集。在獲得固晶目標的精確位置之后，使用每個精確位置周圍四鄰域的特征值作為權(quán)值，再通過加權(quán)平均的方式得到了亞像素精度的位置。

根據(jù)以上的討論，基于級聯(lián)分類器和模板匹配的固晶目標識別定位算法如下(見算法2)，其中步驟1-3為第一階段基于級聯(lián)分類器的初步識別定位，步驟4-5為第二階段基于模板匹配的精確定位。

算法2基于級聯(lián)分類器和模板匹配的雙階段固晶目標識別定位算法

1： 采集固晶目標的正負樣本，并預(yù)處理成訓(xùn)練數(shù)據(jù)集。

2： 按照算法1的步驟訓(xùn)練分類器。

3： 以模板圖像大小的窗口在每幅視野中逐像素移動，根據(jù)分類器中的信息判斷當前窗口是否為正樣本窗口，若為正樣本窗口則計算此時的特征值并保存到特征圖譜中對應(yīng)像素位置，否則在圖譜對應(yīng)像素位置保存0。

4： 遍歷該基本特征值圖譜以確定四鄰域內(nèi)的極大值作為固晶目標精確位置候選集。通過預(yù)設(shè)的行列間距和NCC模板匹配算法對候選集位置進行進一步的篩選。

5： 使用每個精確位置周圍四鄰域的特征值作為權(quán)值，通過加權(quán)平均的方式得到了亞像素精度的位置。

3 實驗與結(jié)果

本節(jié)將設(shè)置兩個實驗，一是通過實驗研究上述三種不同的特征組合DAB形成的3種級聯(lián)分類器對固晶目標的分類性能，從而選出最優(yōu)組合。二是將使用最優(yōu)級聯(lián)分類器的雙階段算法與實際生產(chǎn)中固晶機慣用的NCC模板匹配算法及金字塔搜索優(yōu)化后的NCC模板匹配算法進行比較。

3.1 級聯(lián)分類器性能比較

由于本文研究的對象固晶目標來自于實際問題，并沒有標準的數(shù)據(jù)集，所以實驗中所用到的訓(xùn)練樣本數(shù)據(jù)集、測試樣本數(shù)據(jù)集皆是自行制作的。實驗中幾種型號的固晶目標所用訓(xùn)練樣本和測試樣本個數(shù)見表1。實驗平臺為Dell Optiplex3020安裝64位Win10，CPU為Inter Core i3，主頻3.4 GHz，4 GB內(nèi)存。

表1 訓(xùn)練樣本和測試樣本信息

第一個實驗是以5050、3528、2835型杯框為對象研究上述3種級聯(lián)分類器的性能。前面提到，在訓(xùn)練分類器時，應(yīng)當逐一加入特征，直到它的檢測率和錯誤率達到預(yù)設(shè)的目標值或是在樣本數(shù)量不再增加就無法訓(xùn)練出更高層的分類器為止。實驗發(fā)現(xiàn)，基于LBP和HOG的分類器可以通過增加層數(shù)來達到和基于Haar-like的分類器相近的性能，基于Haar-like和HOG特征的分類器達到一定層數(shù)時不增加樣本的情況下很難再訓(xùn)練出更高層的分類器。表2至表4給出了三級以內(nèi)DAB級聯(lián)分類器結(jié)合不同的實驗結(jié)果，表5給出了訓(xùn)練用時為10 min的DAB級聯(lián)分類器實驗結(jié)果，其中命中率表示正樣本的正確識別率，其值為正樣本中被識別為正樣本的個數(shù)與正樣本之比；錯誤接受率指的是負樣本的錯誤識別率，其值為負樣本中被誤識別為正樣本的個數(shù)與負樣本個數(shù)之比；‘-’表示10 min以內(nèi)沒能得到結(jié)果。

表2 基于haar-like的DAB分類器性能

表3 基于LBP的DAB分類器性能

表4 基于HOG的DAB分類器性能

表5 DAB分類器性能(訓(xùn)練時間為10 min)

訓(xùn)練分類器過程中的命中率和錯誤接受率是兩個重要參數(shù)。命中率影響識別定位的精度，由本文的需求分析可知，只要圖像定位精度不超過1個像素就可滿足精度要求。當分類器命中率在0.85以上時，固晶目標理想位置和四領(lǐng)域像素位置同時未被識別的概率為：(1-0.85)5≈7.6×10-5?？梢?，只要分類器的命中率在0.85以上就對識別定位精度影響不大。故本文選擇用來識別定位的分類器一般為錯誤接受率在10-5量級而命中率在0.85以上。由表2至表4可知，從命中率和錯誤接受率來看基于Haar-like的分類器好于基于其他兩種特征的分類器。而且基于HOG特征的分類器的性能與固晶目標型號有很大關(guān)系,其穩(wěn)定性不佳。由表5可知，雖然基于LBP和基于HOG的分類器都可以通過增加層數(shù)來達到和基于Haar-like分類器相近性能從而滿足0.85的正確率和10-5數(shù)量級的錯誤接受率的要求，但兩者測試用時都要比基于Haar-like的分類器長。故本文選擇基于Haar-like特征的DAB分類器，分類器層數(shù)為3層，使用該方法得到的固晶目標識別定位效果見圖2。

(a) 0.1 mm晶粒 (b) 5730型杯框

(c) 3528型杯框 (d) 2835型杯框圖2 雙階段算法定位效果圖

3.2 算法性能比較

視覺系統(tǒng)的識別定位算法是影響固晶機效率和穩(wěn)定性的最重要因素。實際生產(chǎn)中固晶機使用的算法多采用NCC模板匹配算法。然而，單純的NCC模板匹配算法實現(xiàn)的識別定位算法運算量較大，為了降低運算量可以采用金字塔搜索法。本文通過計算得到較低分辨率模板圖像M2和搜索空間S2，此時利用NCC模板匹配確定固晶目標位置。然后將每個目標位置映射到源圖像作為中心，在width=W_template+7，height=H_template+7范圍內(nèi)做精確匹配。

為了比較三種算法的定位精度和時耗，分別對不同的固晶目標使用三種算法，在同一條件下進行多次測量，分別得到了定位的平均偏差和單幅視野固晶目標定位的平均耗時，實驗結(jié)果見表6。

表6 三種算法的定位偏差(pixel)和單幅圖像上的識別定位平均耗時 ms

如表6所示，在相同條件下，DAB識別定位算法和NCC識別定位算法的定位精度都不超過0.8 pixel，由前面的算法需求分析可知只要識別定位算法的定位偏差不超過1 pixel就滿足高精度固晶機視覺系統(tǒng)的需求。而金字塔搜索識別定位算法對多個型號的定位偏差大于1 pixel，故不能滿足高精度固晶視覺系統(tǒng)的需求。另基于DAB的識別定位算法的單幅圖像識別耗時都小于78 ms，而基于NCC的識別定位算法的單幅圖像識別耗時都大于78 ms，金字塔搜索法雖然在一定程度上優(yōu)化了NCC算法的搜索空間，縮短了耗時，但其耗時能否小于78 ms與固晶目標型號有關(guān)。綜上可得，本文提出的雙階段識別定位算法性能優(yōu)于NCC模板匹配算法和金字塔搜索法，可以滿足高速高精度固晶機性能需求。

4 結(jié) 語

為了實現(xiàn)高速高精度的固晶目標識別定位，本文提出了先利用級聯(lián)分類器對固晶目標進行初步識別定位再用模板匹配的方法實現(xiàn)固晶目標精確定位的思路。實驗分析比較了三種特征與DAB算法結(jié)合得到的三種級聯(lián)分類器的性能，由于在滿足命中率和錯誤接受率的前提下基于LBP和HOG特征的分類器的耗時都比基于Haar-like特征的分類器要長，且基于HOG特征的分類器的性能較不穩(wěn)定，最終選擇了Haar-like+DAB級聯(lián)分類器。以該分類器為核心，本文設(shè)計了一種固晶目標識別定位算法，實驗證明：該算法能夠滿足高速高精度固晶機的需求；定位精度不輸于、定位速度大大超過灰度模板匹配算法，并且無論定位精度還是速度都優(yōu)于金字塔搜索識別定位算法。

[1] 全大鵬.LED自動固晶機的固晶機構(gòu)動力學(xué)分析及優(yōu)化[D].北京:北京交通大學(xué),2012.

[2] 李釗寶.LED晶片檢測中的電極定位圖像處理及算法研究[D].杭州:中國計量學(xué)院,2013.

[3] 陳世哲，劉國棟，浦欣,等.基于優(yōu)勢遺傳的自適應(yīng)遺傳算法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2007,39(7):1021- 1024.

[4] 曹占倫，吳小洪，姜永軍,等.改進匹配算法在LED粘片設(shè)備圖像識別中的應(yīng)用[J].半導(dǎo)體技術(shù),2008,33(3):200- 203.

[5] 陳建凱，王鑫，何強，等.區(qū)間值屬性的單調(diào)決策樹算法[J].模式識別與人工智能，2016，29(1):47- 53.

[6] Telgarsky M.A Primal-Dual Convergence Analysis of Boosting[J].Journal of Machine Learning Research,2012,13(2):561- 606.

[7] 方承志，袁海峰．基于CMYK-H-CbCr膚色檢測和改進型AdaBoost算法的人臉檢測[J]．計算機應(yīng)用與軟件，2017，34(8)：167- 172．

[8] 張曉紅，劉巖，姚鴻勛.基于Haar-like特征的空間金字塔的貓臉識別[J].智能計算機與應(yīng)用，2015，5(4):104- 107.

[9] 董文彧，馮瑞，郭躍飛．基于均勻LBP和稀疏編碼的人臉識別算法[J]．計算機應(yīng)用與軟件，2015，32(1)：175- 178.

[10] Dayanda K N C,Suresh K V.HOG-PCA descriptor with optical flow based human detection and tracking[C]//Proceedings of 2014 IEEE International Conference on Communication and Signal Processing.Melmaruvathur,India,2014:900- 904.

[11] 蔣美云，郭雷，徐夢珠．基于HOG算子的手型特征提取算法[J]．計算機應(yīng)用與軟件，2015，32(12)：326- 329.

[12] Zhou J,Du J,Zhu S.Continues target tracking based on NCC and Kalman algorithm[C]//Proceedings of 2014 IEEE International Conference on Cloud Computing and Intelligence System.Hongkong,China,2014:634- 638.