田 娜，王 毅，姜慧慧，劉 超，賈萍萍，龐義朝

(中電科風(fēng)華信息裝備股份有限公司，山西 太原030024)

當(dāng)今在“智能制造”及“工業(yè)4.0”浪潮的推動(dòng)下，面板顯示制造業(yè)也正逐步向智能化方向發(fā)展，生產(chǎn)商們對(duì)設(shè)備精度及智能化程度的要求也日益提高。

除泡設(shè)備是AMOLED（Active-matrix organic light-emitting diode，有源矩陣有機(jī)發(fā)光二極體或主動(dòng)矩陣有機(jī)發(fā)光二極體，是一種顯示屏技術(shù)）生產(chǎn)線上的關(guān)鍵設(shè)備之一。其主要作用是在密閉腔體內(nèi)提供均勻穩(wěn)定的溫度和壓力環(huán)境，對(duì)已經(jīng)完成貼合或其他工藝段產(chǎn)品進(jìn)行消泡處理，祛除殘存的氣泡，同時(shí)在保證顯示質(zhì)量的前提下，增強(qiáng)貼合的強(qiáng)度。

AMOLED產(chǎn)品雖然具有良好的柔韌性，但由于產(chǎn)品很薄、易磨損，這樣必然對(duì)產(chǎn)品的搬送提出了很高的精度要求。

1 現(xiàn)狀及目的

1.1 現(xiàn)狀

目前市場(chǎng)上的除泡設(shè)備在除泡結(jié)束后，基本都要對(duì)產(chǎn)品進(jìn)行裝盤，裝盤工藝中的取料及裝盤過(guò)程，需要根據(jù)不同的產(chǎn)品及料盤，對(duì)運(yùn)動(dòng)機(jī)構(gòu)示教不同的參數(shù)，此種方式具有以下明顯缺陷：

（1）換型復(fù)雜。實(shí)際生產(chǎn)中，每次更換不同的產(chǎn)品、不同的料盤時(shí)，需要將機(jī)器人手動(dòng)運(yùn)行至所有取料位及放料盤的所有穴位，且要求肉眼保證放料精度在±1 mm并重新進(jìn)行點(diǎn)位保存，由于面板顯示制造業(yè)換型頻繁，會(huì)造成換型工作量大且過(guò)程復(fù)雜。

（2）無(wú)法保證精度。除上述需肉眼確保投料入槽的±1 mm精度外，在放料工位，隨著料盤層數(shù)堆疊升高，累計(jì)誤差會(huì)逐漸增大，導(dǎo)致機(jī)器人投料入槽時(shí)，不確定性增加，極易導(dǎo)致放偏或者剮蹭產(chǎn)品的問(wèn)題，對(duì)調(diào)試要求很高，且對(duì)產(chǎn)品品質(zhì)存在隱患。

（3）控制易錯(cuò)。在放料工位，機(jī)器人投放料入穴時(shí)，PLC根據(jù)邏輯流程給出指令，機(jī)器人根據(jù)點(diǎn)位去投放，現(xiàn)場(chǎng)往往存在抽撿的情況，當(dāng)操作人員拿走某個(gè)產(chǎn)品，而忘記在控制器上標(biāo)示時(shí)，PLC無(wú)法感知該穴位產(chǎn)品缺失，當(dāng)再次執(zhí)行投料動(dòng)作時(shí)，跳過(guò)該穴位，導(dǎo)致該穴空缺?；蛘弋?dāng)人為放置產(chǎn)品后，又會(huì)導(dǎo)致該穴位產(chǎn)品堆疊。

（4）無(wú)分揀判定功能。出料裝盤時(shí)，由于無(wú)法判定除泡工藝結(jié)果，導(dǎo)致產(chǎn)品不能有效篩選，需在后續(xù)工位增加AOI檢測(cè)設(shè)備，增加了生產(chǎn)線的成本。

1.2 目的

本系統(tǒng)的設(shè)計(jì)目的在于實(shí)現(xiàn)自動(dòng)裝盤過(guò)程的智能化，提高了裝盤效率和裝盤準(zhǔn)確率，降低了調(diào)試難度，增加了分揀功能，對(duì)除泡效果進(jìn)行分揀打包，優(yōu)化了產(chǎn)線結(jié)構(gòu)，節(jié)約了設(shè)計(jì)成本，提升了設(shè)備附加值。

2 系統(tǒng)介紹

本系統(tǒng)的PLC控制基于三菱Q10UDEH CPU，使用MELSOFT GX Works2進(jìn)行編程，實(shí)現(xiàn)了對(duì)設(shè)備動(dòng)作流程、機(jī)器人視覺通訊以及動(dòng)作控制。搬送執(zhí)行機(jī)構(gòu)采用NACHI四軸機(jī)器人搭載?？低旵CD相機(jī)，通過(guò)優(yōu)化控制算法，并在各伺服電機(jī)的配合下，實(shí)現(xiàn)產(chǎn)品搬送、分揀的智能化。

2.1 整機(jī)結(jié)構(gòu)

整機(jī)分為三部分：搭載視覺識(shí)別系統(tǒng)的取料系統(tǒng)、搭載視覺識(shí)別系統(tǒng)的機(jī)器人分揀系統(tǒng)、搭載視覺識(shí)別系統(tǒng)的料盤智能識(shí)別投放系統(tǒng)，如圖1所示。

圖1 整機(jī)示意

2.2 取料系統(tǒng)

2.2.1 視覺算法

平臺(tái)定位需要擬合產(chǎn)品的直線邊緣，圖像處理時(shí)先獲取圖像邊緣上的一些點(diǎn)，再通過(guò)最小二乘方算法得到圖像邊緣的直線方程。

一個(gè)點(diǎn)到直線的偏差為：L=y-a0-a1x

應(yīng)用最小二乘法原理需要讓下面公式左側(cè)最?。害?∑(yi-a0-a1·x)2

再對(duì)該公式求偏導(dǎo)：

偏導(dǎo)為零時(shí)的a0、a1即為最佳直線的直線方程中的參數(shù)。

通過(guò)兩直線的交點(diǎn)即可得到產(chǎn)品在圖像中的像素位置。通過(guò)像素位置計(jì)算機(jī)械實(shí)際位置參考放料時(shí)的視覺算法。

2.2.2 PLC邏輯控制

PLC控制平臺(tái)精確移動(dòng)，視覺拍照及視覺和機(jī)器人的通信，并可對(duì)視覺拍到的產(chǎn)品信息同PLC記憶進(jìn)行比對(duì)，有問(wèn)題及時(shí)報(bào)警。流程圖如圖2所示。

圖2 取料系統(tǒng)邏輯流程

2.3 分揀系統(tǒng)

2.3.1 視覺算法

該系統(tǒng)中需要檢測(cè)的缺陷，在圖像上的表現(xiàn)形式是產(chǎn)品區(qū)域上有非產(chǎn)品灰度的像素點(diǎn)。通過(guò)找出這些像素點(diǎn)將其連接成區(qū)域，計(jì)算區(qū)域的特征。通過(guò)區(qū)域的特征區(qū)分干擾區(qū)域和缺陷區(qū)域，從而判斷出產(chǎn)品上是否有缺陷。

圖像閾值公式：

但是當(dāng)圖像中的光線不均勻，沒有缺陷的產(chǎn)品的不同部分，其成像灰度有較大區(qū)別時(shí)，上述公式改為為通過(guò)(i，j)附近的鄰域計(jì)算出的閾值。如：10×10的領(lǐng)域內(nèi)的平均灰度值+10等。這樣可以準(zhǔn)確得到缺陷的像素。再通過(guò)連通域，計(jì)算得到缺陷區(qū)域。

但是得到的區(qū)域總是或多或少的包含一些干擾區(qū)域。它們可能是由于異物、反光等各種因素導(dǎo)致，需要將其排除。

區(qū)域的常用特征有：面積、長(zhǎng)度、寬度、等效橢圓長(zhǎng)半徑、等效橢圓短半徑、等效橢圓方向、圓度、方度、輪廓線長(zhǎng)度、凸性、外接矩形、洞數(shù)和面積、歐拉數(shù)、幾何矩等。

每個(gè)區(qū)域的每個(gè)特征都能計(jì)算出一個(gè)值，干擾區(qū)域的特征值與缺陷區(qū)域的特征值不同。通過(guò)特征值來(lái)判斷一個(gè)區(qū)域是否是缺陷區(qū)域。該系統(tǒng)中用到的缺陷區(qū)域有面積、長(zhǎng)、寬、圓度、幾何矩中的H矩等等，實(shí)現(xiàn)準(zhǔn)確判斷缺陷區(qū)域進(jìn)而準(zhǔn)確判斷產(chǎn)品是否有缺陷。

2.3.2 PLC邏輯控制

PLC控制流程邏輯，實(shí)現(xiàn)機(jī)器人及視覺通信，在分揀位調(diào)用視覺，完成缺陷檢測(cè)，從而實(shí)現(xiàn)脫泡工藝后的品質(zhì)分揀，并在有問(wèn)題時(shí)及時(shí)報(bào)警。流程圖如圖3所示。

圖3 分揀系統(tǒng)邏輯流程

2.4 料盤智能識(shí)別投放系統(tǒng)

2.4.1 視覺算法

2.4.1.1 定位算法

定位過(guò)程：計(jì)算物體在圖像中的位置坐標(biāo)，通過(guò)歸一化模板匹配算法得到Tray盤在圖像中的像素坐標(biāo)值，再根據(jù)像素坐標(biāo)計(jì)算實(shí)際坐標(biāo)。

要計(jì)算物體實(shí)際的位置坐標(biāo)需要先分析相機(jī)的成像原理。相機(jī)是通過(guò)將三維世界中的一系列點(diǎn)投影到相機(jī)的二維成像平面來(lái)實(shí)現(xiàn)。在從三維投影到二維的過(guò)程中損失了一些信息，所以在單相機(jī)的成像模型中，理論上都無(wú)法完全準(zhǔn)確計(jì)算出三維世界中該點(diǎn)的位置。只能是在一定的前提條件下，計(jì)算出部分位置。例如：已知三維世界中的點(diǎn)在同一個(gè)已知平面上，其相機(jī)成像示意如圖4所示。

圖4 相機(jī)成像示意圖

圖4中：

Ow-Xw，Yw，Zw為世界坐標(biāo)系，它描述著相機(jī)的位置；

Oc-Xc，Yc，Zc為相機(jī)的坐標(biāo)系，光點(diǎn)為原點(diǎn)；

o-xy為圖像坐標(biāo)系，原點(diǎn)為成像平面中點(diǎn)；

uv為像素坐標(biāo)系，原點(diǎn)為圖像左上角；

P世界坐標(biāo)系中的一點(diǎn)，待投影的點(diǎn)；

p(小寫)P點(diǎn)在圖像中的成像點(diǎn)，在圖像坐標(biāo)系中的坐標(biāo)為(x，y)，在像素坐標(biāo)中的坐標(biāo)為(u，v)；

f相機(jī)焦距，等于o與Oc的距離。

從世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換屬于剛體變換，即只發(fā)生平移和旋轉(zhuǎn)。公式為：

其中，R為旋轉(zhuǎn)矩陣，T為平移矩陣，該變換中的參數(shù)被稱為外參。

圖像坐標(biāo)系與像素坐標(biāo)系如圖5所示。

圖5 圖像坐標(biāo)系與像素坐標(biāo)系關(guān)系圖

現(xiàn)在得到(u，v)到(Xw，Yw)的映射公式，該公式中關(guān)于高度的坐標(biāo)是無(wú)法準(zhǔn)確計(jì)算得到的。通過(guò)限制物體所在平面的位置固定Zw來(lái)實(shí)現(xiàn)計(jì)算。

解出該公式中的未知參數(shù)，需要通過(guò)帶入已知點(diǎn)來(lái)解方程去求得。此時(shí)需要通過(guò)標(biāo)定過(guò)程，得到圖像中一些點(diǎn)的像素坐標(biāo)和其對(duì)應(yīng)的在Zw平面的實(shí)際坐標(biāo)，這些一對(duì)一對(duì)的坐標(biāo)點(diǎn)即為上述公式的已知點(diǎn)。求解方程后得到的參數(shù)即為映射模型的參數(shù)。此后就可以通過(guò)上述公式帶入圖像中的坐標(biāo)，計(jì)算出該坐標(biāo)對(duì)應(yīng)的Zw平面的實(shí)際坐標(biāo)。再根據(jù)該實(shí)際位置計(jì)算后，指揮運(yùn)動(dòng)機(jī)構(gòu)準(zhǔn)確拾取或準(zhǔn)確投放，達(dá)到精確定位及投放物料。

2.4.1.2 產(chǎn)品狀態(tài)的反饋算法

在Tray盤中有異物、Tray盤型號(hào)不正確、系統(tǒng)參數(shù)調(diào)整不正確等意外情況下，即使取放料設(shè)置正確也有可能出現(xiàn)產(chǎn)品未正確放入穴位，特別是在換型的時(shí)候。如果未能及時(shí)發(fā)現(xiàn)產(chǎn)品入穴的異常，將下一個(gè)Tray盤蓋上后會(huì)造成產(chǎn)品的損壞。由于OLED屏幕昂貴，如果能及時(shí)發(fā)現(xiàn)錯(cuò)誤并避免損失，這是非常重要的。本設(shè)計(jì)實(shí)現(xiàn)了在投料后對(duì)物料狀態(tài)進(jìn)行反饋，使得整個(gè)投料過(guò)程更科學(xué)、完整。

投料反饋算法：每片OLED屏幕都是標(biāo)準(zhǔn)的矩形，由于相機(jī)安裝是垂直于Tray盤平面的，當(dāng)OLED屏幕平行于Tray盤平面時(shí)，屏幕在成像平面的投影也是矩形，但當(dāng)OLED屏幕傾斜放置時(shí)，屏幕在成像平面的投影為梯形。通過(guò)檢測(cè)，找到每個(gè)OLED屏幕四個(gè)角的成像位置，再測(cè)量位置之間的距離及各個(gè)邊長(zhǎng)，通過(guò)邊長(zhǎng)即可計(jì)算出投影是近似矩形還是近似梯形，從而即可判斷OLED屏幕是否已正確投入穴位，甚至可以進(jìn)一步計(jì)算出OLED屏幕傾斜的方向和角度。

不同位置高度成像大小比關(guān)系為：

Z1、Z2均為物距；L1、L2為物體成像長(zhǎng)度。

在實(shí)際中Z2大約在600 mm，Z1大約在592 mm，所以當(dāng)屏幕對(duì)應(yīng)的兩邊的高度位于Z1和Z2上時(shí)，它的成像長(zhǎng)度差有1.333%左右的相差。OLED屏幕大約長(zhǎng)150 mm，測(cè)量出的偏差不到2 mm，轉(zhuǎn)換到像素大約有35個(gè)。通過(guò)準(zhǔn)確測(cè)量OLED屏幕的4個(gè)角度的位置，計(jì)算其之間的歐式距離可以分辨到10個(gè)像素以下，所以能判斷出35個(gè)像素的偏差。另外，確定OLED屏幕4個(gè)角的位置的算法參照平臺(tái)定位時(shí)的直線擬合算法。

2.4.2 PLC邏輯控制

PLC控制整體運(yùn)行邏輯，且實(shí)現(xiàn)機(jī)器人和視覺的通信，在放料完成后，控制視覺對(duì)產(chǎn)品狀態(tài)進(jìn)行反饋，完整實(shí)現(xiàn)整個(gè)投料流程?？刂屏鞒虉D如圖6所示。

圖6 料盤投放系統(tǒng)邏輯流程

3 結(jié) 論

本文介紹了我公司在AMOLED產(chǎn)線的某項(xiàng)目中，對(duì)除泡工藝中智能搬送及分揀系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)。

項(xiàng)目實(shí)踐結(jié)果表明：

取料系統(tǒng)的設(shè)計(jì)，不僅提升了對(duì)產(chǎn)品狀態(tài)判斷的準(zhǔn)確率，而且提高了取料的精度，并具有極高的穩(wěn)定性。

分揀系統(tǒng)的設(shè)計(jì)，在裝盤前實(shí)現(xiàn)了對(duì)除泡工藝結(jié)果的初步判斷分揀，優(yōu)化了產(chǎn)線結(jié)構(gòu)，提升了設(shè)備附加值，具有很高的實(shí)用性。

投料系統(tǒng)的設(shè)計(jì)，在PLC整體協(xié)調(diào)下，視覺系統(tǒng)可精準(zhǔn)識(shí)別各穴狀態(tài)，并將信息實(shí)時(shí)、準(zhǔn)確地分享給投料機(jī)器人，實(shí)現(xiàn)了產(chǎn)品的準(zhǔn)確入穴，提高了裝盤的效率及準(zhǔn)確率，降低了換型及調(diào)試難度。另外入穴后產(chǎn)品狀態(tài)反饋系統(tǒng)的設(shè)計(jì)，使得投料入盤過(guò)程更加科學(xué)完整，實(shí)現(xiàn)了該模型的智能化。