陽孝鑫，羅兵

?

基于知識引導(dǎo)的機(jī)器視覺SMT貼片檢測窗口優(yōu)化

陽孝鑫，羅兵

（五邑大學(xué) 信息工程學(xué)院，廣東 江門 529020）

結(jié)合S形聚類方法和蟻群算法的優(yōu)勢，將先驗(yàn)知識和反饋信息用于引導(dǎo)機(jī)器視覺的隨機(jī)搜索，以找到最佳檢測窗口位置，從而減少檢測窗口數(shù)量、提高機(jī)器視覺在線檢測效率. 以電路板元器件貼片（SMT）為檢測對象進(jìn)行實(shí)驗(yàn)，結(jié)果顯示：在使用陣列相機(jī)的機(jī)器視覺SMT檢測中，該方案可以有效減少檢測窗口的數(shù)量.

機(jī)器視覺；知識引導(dǎo)；隨機(jī)搜索；表面貼裝技術(shù)

機(jī)器視覺是指利用光傳感器采集數(shù)字圖像，再用計(jì)算機(jī)對采集的圖像進(jìn)行處理以提取特征，然后根據(jù)提取的特征作出處理決策，其核心是數(shù)字圖像處理的應(yīng)用. 作為代替人工視覺判斷的自動化技術(shù)，機(jī)器視覺得到了廣泛應(yīng)用，尤其是在電路板元器件貼片（Surface Mounted Technology，SMT）中[1]. 為了滿足SMT生產(chǎn)線的流水線速度，機(jī)器視覺在線檢測要求快速進(jìn)行，因此有必要規(guī)劃每個檢測窗口的位置，在滿足采集全部檢測對象元器件圖像的前提下使檢測窗口數(shù)最少，從而在最短的時間內(nèi)完成檢測.

機(jī)器視覺檢測窗口的優(yōu)化方法有單鏈聚類算法[2]、迭代自組織數(shù)據(jù)分析聚類算法[3]（ISODATA）、S形聚類算法[4]、遺傳算法[5]和蟻群算法[6]等. 其中，單鏈聚類算法、ISODATA法難以獲得最優(yōu)解；S形聚類算法能較好地利用先驗(yàn)知識，但所得結(jié)果是局部最優(yōu)而非全局最優(yōu)；遺傳算法能較好地利用反饋信息進(jìn)行隨機(jī)搜索，但由于沒有利用先驗(yàn)知識而無法收斂或收斂速度慢；速度蟻群算法較好利用了反饋信息引導(dǎo)隨機(jī)搜索，但由于沒有利用先驗(yàn)知識且分支選擇太多，而使得收斂速度慢或陷于局部最優(yōu)解. 本文方案結(jié)合了S形聚類方法和蟻群算法的優(yōu)勢，將先驗(yàn)知識和反饋信息用于機(jī)器視覺隨機(jī)搜索的引導(dǎo).

1 機(jī)器視覺檢測中窗口優(yōu)化問題的數(shù)學(xué)描述

由于線掃描相機(jī)成本太高，因此在機(jī)器視覺工業(yè)自動檢測應(yīng)用中圖像采集主要使用面陣相機(jī). 比較常用的是300萬像素相機(jī)，其視野（Field of View，F(xiàn)OV）為3 cm×4 cm[7]，對于最大尺寸50 cm×50 cm的檢測電路板來說，必須通過移動相機(jī)或者電路板多次采集和處理圖像. 每一次采集的圖像區(qū)域也稱為一個檢測窗口，如圖1中的矩形框表示一個檢測窗口，其大小即為相機(jī)的FOV，圖1是多幅采集圖像拼接后得到的SMT貼片安裝整個電路板圖像. 事實(shí)上，貼片電路板上的待檢測元器件并未布滿整個電路板，沒有貼片的區(qū)域是無需檢測的.

圖1 SMT貼片安裝的電路板

機(jī)器視覺檢測的窗口優(yōu)化問題可表示為約束優(yōu)化問題：

2 圖像預(yù)處理

為了獲取整幅電路板圖像以便進(jìn)行窗口和移動路徑優(yōu)化，需要先按順序采集電路板各區(qū)域的圖像，然后進(jìn)行圖像拼接. 為方便拼接，采集相鄰區(qū)域的圖像必須有重疊. 圖像拼接時，先根據(jù)圖像重疊區(qū)域配準(zhǔn)，再對重疊區(qū)域圖像進(jìn)行融合處理[8]. 拼接處理后，可得到電路板的整幅圖像，如圖1所示.

然后，對圖像進(jìn)行分割，以確定檢測元器件的區(qū)域和位置. SMT貼片安裝電路板基板為綠色（或少數(shù)為紅色、藍(lán)色等）、絲印文字為細(xì)的白色線，故可根據(jù)彩色圖像的顏色信息和區(qū)域面積信息先將這2個區(qū)域分割出來，再采用形態(tài)學(xué)的膨脹和腐蝕處理，以去掉小的誤分割噪聲區(qū)域[9]. 圖2是圖1所示SMT貼片安裝電路板圖像分割后的結(jié)果，其中黑色表示需要檢測的元器件.

圖2 電路板圖像檢測元器件分割結(jié)果

窗口優(yōu)化前，去掉面積超過一個FOV的大型器件，然后再進(jìn)行優(yōu)化處理.

3 基于知識引導(dǎo)的檢測窗口優(yōu)化的實(shí)現(xiàn)

基于先驗(yàn)知識和每次搜索的反饋信息對機(jī)器視覺的隨機(jī)搜索進(jìn)行引導(dǎo)，以找到檢測窗口的最佳位置，從而減少檢測窗口的數(shù)量.

3.1 先驗(yàn)知識的引導(dǎo)及實(shí)現(xiàn)

先驗(yàn)知識有2條：1）從邊角開始新增窗口，因?yàn)檫吔菂^(qū)域容易確定覆蓋該區(qū)域元件的窗口最佳位置；2）在不減少原覆蓋元件前提下，可以移動窗口以覆蓋盡可能多的元件.

首先從邊角區(qū)域開始新增窗口，實(shí)現(xiàn)方法為：將板上全部待檢測元件按照位置排序，比如按照每元件頂部水平位置自上向下排序，同樣水平位置的再按照元件的最左位置自左向右排序. 然后從第一個元件開始新增窗口，使新增窗口的上邊沿剛好覆蓋第一個元件的頂部. 此時窗口的水平位置有3個選擇：使元件處于窗口左上角、右上角或者中間頂部.

然后如果選擇使元件處于窗口左上角，則找出當(dāng)前窗口內(nèi)最右的元件位置，以此位置作為窗口的右邊沿位置，并判斷新覆蓋了哪些元件. 如果選擇使元件處于窗口中部，則左移或右移窗口后應(yīng)將已覆蓋的元件從排序隊(duì)列中刪除.

最后從當(dāng)前的第一個元件即新的頂部元件開始，重復(fù)上述步驟新增窗口.

圖3-a是對一個仿真的有70個元件的電路板從上至下新增的前3個窗口的示意圖，圖中紅色表示元件，藍(lán)色矩形是檢測窗.

3.2 累積反饋信息的引導(dǎo)及實(shí)現(xiàn)

由于單純按照先驗(yàn)知識進(jìn)行選擇易陷于局部最優(yōu)，因此需要加入隨機(jī)選擇的方法. 為了提高隨機(jī)搜索效率，須將一次搜索的窗口數(shù)反饋到每次選擇的分支信息中（類似蟻群算法的信息素）對每個分支建立記錄信息，并將此信息作為后面隨機(jī)搜索的選擇概率.

如在設(shè)置新增窗口位置時，為3個選擇分支分別建立信息記錄. 由于先驗(yàn)知識發(fā)現(xiàn)最頂部元件位于窗口邊角的概率大，所以可將元件處于窗口兩個邊角的概率均設(shè)置為0.4，中部概率設(shè)為0.2. 然后根據(jù)這次優(yōu)化的結(jié)果，如果窗口數(shù)少，則增大該次優(yōu)化中每個分支被選中的概率；若窗口數(shù)多，則減小該次優(yōu)化中每個分支被選中的概率.

在反饋信息的引導(dǎo)下，隨機(jī)搜索效率大大提高（比不采用反饋信息的搜索減少循環(huán)次數(shù)一半以上），并快速收斂于最優(yōu)解. 圖3-b是循環(huán)12次后找到的覆蓋全部70個元件的21個窗口.

圖3 新增檢測窗口示意圖

3.3 窗口位置的優(yōu)化

由于相機(jī)FOV的邊上區(qū)域比中間區(qū)域的徑向畸變大[2]，因此確定最少窗口數(shù)及其位置后，還需進(jìn)一步優(yōu)化窗口位置，使被檢測元件盡可能位于窗口中部.

窗口位置優(yōu)化比較簡單：找出每個窗口最左邊、最右邊的元件位置，取其中間作為窗口的水平中間位置；同樣，找出窗口最上、最下的元件位置，取其中間作為窗口的上下中間位置.

圖4是對圖3-a中新增的第3個窗口進(jìn)行位置優(yōu)化的示意圖：圖4-a是優(yōu)化前，元件位于窗口的邊沿位置；圖4-b是優(yōu)化后，元件位于窗口中間.

圖4 確定窗口數(shù)后窗口位置進(jìn)一步優(yōu)化前后的比較

4 仿真實(shí)驗(yàn)

如圖5所示的有100個元件、200個元件的電路板，分別用傳統(tǒng)單鏈聚類算法、迭代自組織數(shù)據(jù)分析聚類算法（ISODATA）、S形聚類算法、遺傳算法、蟻群算法和本方案進(jìn)行優(yōu)化，其結(jié)果如表1所示. 表1說明，基于知識搜索的優(yōu)化方案所需的檢測窗口最少.

圖5 本文方案的檢測窗口仿真優(yōu)化實(shí)驗(yàn)結(jié)果

另外需要說明的是，由于機(jī)器視覺檢測窗口優(yōu)化是在檢測前離線進(jìn)行的，所以優(yōu)化速度并不是一個很重要的指標(biāo)，故本實(shí)驗(yàn)沒有優(yōu)化速度的對比.

5 結(jié)束語

利用知識引導(dǎo)的隨機(jī)搜索可以較好地解決機(jī)器視覺檢測中檢測窗口位置的優(yōu)化問題. 在確定檢測窗口的數(shù)目后，如何把元件從相鄰窗口合理劃分并使元件更盡可能位于窗口中間，是值得進(jìn)一步研究的問題，窗口移動路徑優(yōu)化可能是解決這一問題的途徑之一.

表1 對100和200個元件電路板的檢測窗口仿真優(yōu)化結(jié)果比較

[1]羅兵，章云. SMT焊膏印刷質(zhì)量自動光學(xué)檢測[J]. 電子質(zhì)量，2005(12): 30-32.

[2] KANUNGO T, MOUNT D M, NETANYAHU N S, et al. An efficient k-means clustering algorithm: analysis and implementation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881-892.

[3] KIM H J, PARK T H. A clustering algorithm for path planning of SMT inspection machines [C]//Proc of SICE. Los Alamitos: IEEE Computer Society, 2003: 2869-2874.

[4]孫吉貴，劉杰，趙連宇. 聚類算法研究[J]. 軟件學(xué)報，2008, 19(01): 48-61.

[5]LIN Yuseng, SHIUENG B Y. A genetic approach to the automatic clustering problem[J]. Pattern Recognition, 2001, 34(2): 415-424.

[6]羅兵，章云. 基于蟻群算法的SMT自動光學(xué)檢測路徑規(guī)劃[J]. 儀器儀表學(xué)報，2006, 27(S6): 1251-1278.

[7]寇冠中，羅兵. 焊膏機(jī)器視覺測厚儀圖像采集模塊設(shè)計(jì)[J]. 五邑大學(xué)學(xué)報：自然科學(xué)版，2011, 25(1): 50-55.

[8]羅兵，章云，曾歆懿，等. 基于小波變換的PCB圖像拼接[J]. 廣東工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2007, 24(3): 73-75.

[9] 羅兵，鐘良吉，汪紅松. 基于模糊邏輯的彩色圖像分割[J]. 佛山科技學(xué)院學(xué)報：自然科學(xué)報，2006, 24(1): 14-16.

SMT Assembly Machine Vision Inspection Windows Optimization Based on Knowledge Inductive Search

YANGXiao-xin, LUOBing

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

Combined with advantages of S-shaped cluster algorithm and ant colony algorithm, prior knowledge and feedback information are used for inducting SMT machine vision windows optimization random search that find best windows position to reduce inspecting windows number to improve online inspection efficiency. Experimental results and applied in SMT machine vision inspection with area array camera showed that this approach could reduce inspecting windows numbers effectively.

machine vision; knowledge inductive; random search; surface mounted technology

1006-7302（2012）03-0074-05

TP216.1

A

2012-04-19

廣東省大學(xué)生創(chuàng)新實(shí)驗(yàn)項(xiàng)目（1134910033）；江門市科技計(jì)劃項(xiàng)目（〔2010〕210）.

陽孝鑫（1989—），男，湖南郴州人，研究方向?yàn)殡娮又圃熳詣踊b備；羅兵，教授，博士，研究方向?yàn)闄C(jī)器視覺應(yīng)用及智能控制技術(shù).