宋 輝，李 釗

(沈陽(yáng)工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，沈陽(yáng) 110870)

0 引言

近年來(lái)，隨著我國(guó)現(xiàn)代工業(yè)自動(dòng)化智能產(chǎn)業(yè)的快速發(fā)展，工業(yè)機(jī)器人在汽車(chē)生產(chǎn)、零部件搬運(yùn)、焊接、碼垛等多種場(chǎng)合中被廣泛應(yīng)用，已成為一種對(duì)生產(chǎn)條件和生產(chǎn)環(huán)境適應(yīng)性和靈活性很強(qiáng)的柔性自動(dòng)化設(shè)備［1-4］。使用工業(yè)機(jī)器人代替人工能夠減少勞動(dòng)力，提高生產(chǎn)效率。機(jī)器視覺(jué)系統(tǒng)利用相機(jī)采集的圖像來(lái)認(rèn)知周?chē)沫h(huán)境信息，這些信息包括物體的位置、形狀和姿態(tài)等等，并且視覺(jué)系統(tǒng)以其無(wú)接觸、信息量大、檢測(cè)范圍廣等特點(diǎn)，為在線(xiàn)生產(chǎn)檢測(cè)提供了有效的手段。

由于目前自動(dòng)化生產(chǎn)線(xiàn)上的大多數(shù)工業(yè)機(jī)器人仍采用示教再現(xiàn)的工作方式，這種方式需要事先對(duì)運(yùn)動(dòng)路線(xiàn)進(jìn)行規(guī)劃和編程，嚴(yán)格要求了工件的初始位姿和終止位姿。工業(yè)機(jī)器人在檢測(cè)時(shí)，要求被檢測(cè)工件的擺放位置、角度必須一致。但這需要昂貴的機(jī)械夾具和固定的裝置，在一定程度上削弱了工業(yè)機(jī)器人的高靈活性。而對(duì)于傳統(tǒng)的機(jī)器視覺(jué)來(lái)講，一套固定的視覺(jué)系統(tǒng)只能采集到固定視野的圖像，對(duì)于一些多種規(guī)格、復(fù)雜的工件，每次檢測(cè)都需要更改相機(jī)的位置，甚至需要多臺(tái)相機(jī)搭配來(lái)完成，成本代價(jià)高，檢測(cè)效率慢。因此將視覺(jué)系統(tǒng)與工業(yè)機(jī)器人相結(jié)合，利用視覺(jué)系統(tǒng)的定位信息來(lái)引導(dǎo)工業(yè)機(jī)器人到相應(yīng)的位置完成相應(yīng)的動(dòng)作，對(duì)于提高工業(yè)機(jī)器人的智能化水平具有重要意義［5］。

本文針對(duì)輪轂這種多規(guī)格、多樣式的復(fù)雜工件作為檢測(cè)對(duì)象，對(duì)其表面缺陷進(jìn)行檢測(cè)，由于其外觀(guān)形是由多種復(fù)雜曲面構(gòu)成的工件，因此將視覺(jué)系統(tǒng)和工業(yè)機(jī)器人相結(jié)合對(duì)不同面上的表面缺陷進(jìn)行檢測(cè)。由于機(jī)器人的運(yùn)動(dòng)控制為開(kāi)環(huán)的，經(jīng)過(guò)多次反復(fù)運(yùn)動(dòng)可能產(chǎn)生累計(jì)系統(tǒng)偏差，例如本文所采用的系統(tǒng)為了測(cè)試機(jī)器人多次運(yùn)動(dòng)后是否會(huì)還會(huì)造成上述所提出的累計(jì)誤差，將工件平放的情況下進(jìn)行了200次測(cè)試，其中每10次記錄一次當(dāng)前的機(jī)器人坐標(biāo)，在實(shí)驗(yàn)過(guò)程中，在180次的時(shí)候出現(xiàn)了第一次偏差，X軸的數(shù)據(jù)向左偏移了0.01 mm，進(jìn)行到200次的時(shí)候，Y軸向前偏移了0.01 mm，其它的位置不變。可以看出機(jī)器人經(jīng)過(guò)多次重復(fù)的運(yùn)動(dòng)后會(huì)造成一個(gè)重復(fù)定位誤差，這是不可避免的。而工件缺陷檢測(cè)對(duì)于目標(biāo)定位要求高，機(jī)器人在重復(fù)多次工作后，導(dǎo)致了機(jī)器人在初始位置的位置存在偏差，這種偏差導(dǎo)致視覺(jué)系統(tǒng)的離位，造成了成像角度和光照角度不理想，使成像系統(tǒng)退化，導(dǎo)致誤檢或漏檢。為了避免機(jī)器人的累計(jì)偏差給檢測(cè)帶來(lái)的影響，該文通過(guò)對(duì)工件目標(biāo)的圖像特征分析，利用圖像目標(biāo)的定位不斷校正，來(lái)提高定位的準(zhǔn)確性。該文對(duì)系統(tǒng)搭建的重要部分輪轂初始位置的定位以及定位的準(zhǔn)確性進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1 系統(tǒng)結(jié)構(gòu)與原理

視覺(jué)檢測(cè)系統(tǒng)就是利用工業(yè)相機(jī)來(lái)代替人眼，將目標(biāo)物體轉(zhuǎn)換為圖像信號(hào);用圖像處理軟件來(lái)代替大腦，通過(guò)數(shù)字圖像處理技術(shù)來(lái)完成識(shí)別、檢測(cè)、定位等功能。本文的視覺(jué)檢測(cè)系統(tǒng)主要由以下幾個(gè)部分組成:

工業(yè)機(jī)器人系統(tǒng):采用的是FANUC ARC MATE OiB系列的六軸工業(yè)機(jī)器人，該型號(hào)是專(zhuān)門(mén)為弧焊應(yīng)用設(shè)計(jì)的，采用焊接機(jī)器人的原因是視覺(jué)系統(tǒng)負(fù)重小、不需要與工件相互接觸、造價(jià)成本低，且該系列的機(jī)器人具有手臂苗條、安裝空間小、機(jī)身質(zhì)量輕 (小于100 kg)、重復(fù)定位精度高(±0.08 mm)等特點(diǎn)，適合要求動(dòng)作精細(xì)的作業(yè)。

工業(yè)相機(jī):由于相機(jī)固定在機(jī)器人末端執(zhí)行器上邊，隨著機(jī)器人的轉(zhuǎn)動(dòng)而轉(zhuǎn)動(dòng)，因此需要采用面陣相機(jī)，輪轂缺陷的檢測(cè)要求為1 mm，相機(jī)的分辨率要求要高于檢測(cè)要求，因此選擇對(duì)應(yīng)3個(gè)像素，即1 mm對(duì)應(yīng)3個(gè)像素。而輪轂的最大直徑為488 mm，以500 mm作為視場(chǎng)范圍，因此相機(jī)的分辨率為1 500×1 500像素。本文相機(jī)采用的是德國(guó)映美精工業(yè)相機(jī) (DMK 23GP031)，它的分辨率為2 592×1 944像素，滿(mǎn)足檢測(cè)的精度要求，且相機(jī)接口采用GigE接口，GigE的接口的相機(jī)傳輸速度快，接線(xiàn)較長(zhǎng)，適合遠(yuǎn)離機(jī)器人的工作區(qū)域進(jìn)行處理。另外還具備15幀每秒的檢測(cè)速度，能夠保證檢測(cè)速度，滿(mǎn)足項(xiàng)目檢測(cè)需求。

鏡頭:上述所選取的相機(jī)的像元尺寸為2.2 μm，分辨率為2 592x1 944，因此相機(jī)靶面尺寸為5.038×4.277 mm。相機(jī)的光學(xué)接口為1/2.5英寸，對(duì)應(yīng)的相機(jī)靶面對(duì)角線(xiàn)為6.4 mm。但1/2.5英寸接口的鏡頭少，采用2/3英寸鏡頭來(lái)替代，它的對(duì)角線(xiàn)距離為11 mm能夠覆蓋相機(jī)的對(duì)角線(xiàn)長(zhǎng)度。鏡頭的放大倍率為:

B為相機(jī)的靶面長(zhǎng)度，A為輪轂的長(zhǎng)度。2/3英寸鏡頭的靶面長(zhǎng)度為8.8 mm，可以求出對(duì)應(yīng)的目標(biāo)視場(chǎng):

遠(yuǎn)大于目標(biāo)的長(zhǎng)度，能夠滿(mǎn)足要求。本文的實(shí)驗(yàn)采用的是微圖視覺(jué)的定焦鏡頭 (LEM－1216－MP5)，技術(shù)參數(shù)為:2/3英寸接口，焦距為12 mm，靶面尺寸為8.8x6.6 mm(對(duì)角線(xiàn)11 mm)。光圈值F1.6。

PLC:本文采用的是信捷XC系列的PLC。PLC的作用是將機(jī)器人到達(dá)指定位置時(shí)，給PLC一個(gè)脈沖信號(hào)，PLC將這個(gè)脈沖信號(hào)發(fā)給相機(jī)的外部觸發(fā)，相機(jī)開(kāi)始采集圖像。

本文基于機(jī)器視覺(jué)建立了一個(gè)機(jī)器人視覺(jué)檢測(cè)系統(tǒng)，來(lái)實(shí)現(xiàn)六軸機(jī)器人對(duì)輪轂的檢測(cè)。視覺(jué)檢測(cè)系統(tǒng)的工作原理如圖1所示。

圖1 視覺(jué)檢測(cè)系統(tǒng)的一般原理

待測(cè)工件經(jīng)過(guò)圖像輸入設(shè)備采集圖像后轉(zhuǎn)化為圖像信號(hào)發(fā)送給計(jì)算機(jī)中的圖像處理軟件進(jìn)行一系列的加工處理后，對(duì)檢測(cè)的結(jié)果進(jìn)行顯示和處理。

本文具體的檢測(cè)流程如圖2所示。

圖2 系統(tǒng)檢測(cè)流程圖

首先將機(jī)器人初始位置所拍攝到的圖像發(fā)送給計(jì)算機(jī)，計(jì)算機(jī)通過(guò)圖像處理來(lái)判斷當(dāng)前位置是否在機(jī)器人運(yùn)動(dòng)的初始位置，若不是則計(jì)算出與初始位置的偏差，并將這個(gè)偏差量發(fā)送給機(jī)器人，機(jī)器人調(diào)節(jié)位置后，再次進(jìn)行判斷是否在初始位置，不斷重復(fù)校正調(diào)整，直到調(diào)節(jié)到初始位置，機(jī)器人開(kāi)始按照預(yù)先設(shè)置好的程序進(jìn)行運(yùn)動(dòng)，來(lái)對(duì)輪轂各部分進(jìn)行檢測(cè)。若和初始位置重合，則直接開(kāi)始檢測(cè)。

2 視覺(jué)檢測(cè)方案設(shè)計(jì)

本文針對(duì)輪轂面積較大、曲面復(fù)雜、規(guī)格多樣的特點(diǎn)，采用Eye－in－Hand式的手眼系統(tǒng)，工業(yè)相機(jī)安裝在機(jī)器人的末端隨機(jī)器人一起運(yùn)動(dòng)。機(jī)器人在初始位置后，發(fā)送一個(gè)下降沿信號(hào)給PLC，PLC將這個(gè)外部觸發(fā)信號(hào)發(fā)送給相機(jī)，相機(jī)開(kāi)始采集圖像，并將圖像傳送到計(jì)算機(jī)進(jìn)行圖像處理，通過(guò)對(duì)輪轂圖像特征分析，利用圖像的幾何不變矩特征來(lái)算出輪轂氣閥的位置和等價(jià)橢圓法求解出氣閥的方向。將求解出的位置信息與機(jī)器人設(shè)置程序中的氣閥位姿做比較，將偏移量通過(guò)機(jī)器人配套的通訊軟件發(fā)送到機(jī)器人，機(jī)器人調(diào)整新的運(yùn)動(dòng)路徑，開(kāi)始對(duì)輪轂進(jìn)行缺陷檢測(cè)，檢測(cè)完成后，機(jī)器人回到初始位置開(kāi)始下一輪的檢測(cè)。視覺(jué)檢測(cè)方案如圖3所示。

圖3 視覺(jué)檢測(cè)方案

該方案中為了能夠保證后續(xù)檢測(cè)的順利進(jìn)行，必須需要對(duì)輪轂的位置進(jìn)行定位。其定位的流程圖如圖4所示。

圖4 輪轂圖像定位流程圖

定位的具體步驟如下:首先將工業(yè)相機(jī)采集到的圖像轉(zhuǎn)化為圖像信號(hào)發(fā)送計(jì)算機(jī)的圖像處理軟件;通過(guò)對(duì)采集到的圖像進(jìn)行預(yù)處理 (去噪、圖像分割、數(shù)字形態(tài)學(xué)處理)等操作，突出圖像中感興趣的區(qū)域，衰弱或者去除無(wú)用的信息。其次對(duì)預(yù)處理后的圖像進(jìn)一步分析，獲取圖像的特征信息，利用圖像矩具有平移、旋轉(zhuǎn)和縮放不變性計(jì)算出輪轂氣閥的質(zhì)心位置、長(zhǎng)短軸的夾角、縱橫比等矢量信息。最后將計(jì)算得到的數(shù)據(jù)信息通過(guò)通訊軟件發(fā)送機(jī)器人控制系統(tǒng)，完成后續(xù)的輪轂檢測(cè)操作［6-7］。

3 輪轂定位分析

3.1 圖像預(yù)處理

視覺(jué)系統(tǒng)的定位效果直接影響到工件檢測(cè)的結(jié)果，由于視覺(jué)系統(tǒng)的定位是在圖像處理的基礎(chǔ)上進(jìn)行的，因此首先需要對(duì)輪轂進(jìn)行圖像預(yù)處理。圖像處理的過(guò)程就是通過(guò)計(jì)算機(jī)對(duì)圖像進(jìn)行一系列處理，以達(dá)到所需目的的過(guò)程。

首先將采集到的圖像進(jìn)行濾波去噪處理，CCD相機(jī)在采集圖像的過(guò)程中，往往會(huì)伴隨著環(huán)境噪聲和隨機(jī)噪聲的存在，通過(guò)濾波消除噪聲的干擾;其次對(duì)圖像進(jìn)行分割提取感興趣區(qū)域，常見(jiàn)的分割方法有基于閾值的分割方法、基于邊緣的分割方法和基于區(qū)域的分割方法。本文采用閾值分割的方法將圖像轉(zhuǎn)化為二值圖像;最后通過(guò)數(shù)字形態(tài)學(xué)處理后可以提取分割出想要得到的圖像區(qū)域，通過(guò)對(duì)目標(biāo)區(qū)域的圖像特征分析得到輪轂氣閥的質(zhì)心、角度、縱橫比等特征信息，從而實(shí)現(xiàn)對(duì)目標(biāo)的定位［8-10］。

在經(jīng)過(guò)以上幾個(gè)部分的圖像預(yù)處理，實(shí)現(xiàn)了輪轂氣閥的分離，為了得到輪轂氣閥的位置信息，需要對(duì)圖像的特征進(jìn)行分析。圖像特征分析其實(shí)就是一個(gè)信息提取的過(guò)程，從圖像中獲取有用的信息來(lái)進(jìn)行標(biāo)識(shí)和描述。主要的圖像特征圖像的顏色特征、紋理特征和形狀特征。圖像的形狀特征是在物體從圖像分割出來(lái)后進(jìn)行分析，利用不同的特征描述方法來(lái)作為區(qū)別不同物體的依據(jù)，在機(jī)器視覺(jué)系統(tǒng)中起著十分重要的作用。用于形狀描述的方法有很多［1112］。形狀描述方法主要分為基于圖像區(qū)域和基于圖像輪廓的描述方法?；趫D像區(qū)域的描述方法是用圖像的全部信息來(lái)對(duì)圖像進(jìn)行描述，圖像矩是一個(gè)內(nèi)涵豐富且可減少計(jì)算量的特性特征類(lèi)，用它可以來(lái)描述區(qū)域的形狀、大小和位置等特征信息。

3.2 矩特征描述

工件的定位是將目標(biāo)圖像從背景中分離出來(lái)，提取出目標(biāo)區(qū)域，并計(jì)算和標(biāo)記出目標(biāo)的質(zhì)心和方向［13］。識(shí)別結(jié)果的準(zhǔn)確性與定位精度都將對(duì)機(jī)器人能否成功到位、準(zhǔn)確檢測(cè)起關(guān)鍵作用。本文以輪轂的氣閥作為定位目標(biāo)，輪轂氣閥是輪轂上固定的一個(gè)位置，對(duì)于同一種型號(hào)的輪轂來(lái)講，一旦知道了輪轂的氣閥位置，其它的位置信息就能夠確定下下來(lái)。輪轂氣閥的位置由質(zhì)心確定，求取質(zhì)心的方法有很多種，如不變矩法、極值法以及零階矩法等。不變矩法［14］因?yàn)榫哂衅揭?、旋轉(zhuǎn)、縮放不變性，在計(jì)算質(zhì)心坐標(biāo)時(shí)精度較高。本文利用圖像的幾何不變矩［15-16］特征求取區(qū)域的幾何中心 (質(zhì)心)。而工件的姿態(tài)則由長(zhǎng)軸的角度和方向來(lái)確定。

對(duì)于一幅大小為 (M*N)的數(shù)字圖像f(x，y)，則(p+q)階矩定義為:

圖像的零階矩m00(p=0，q=0)表示為區(qū)域密度的總和:

一階矩m10(p=1，q=0)為圖像對(duì)y軸的慣性矩，m01(p=0，q=0)為圖像對(duì)x軸的慣性矩。

則區(qū)域的質(zhì)心即區(qū)域灰度中心的坐標(biāo)為:

中心矩μpq是相對(duì)于形心計(jì)算的:

它們與區(qū)域的位置無(wú)關(guān)，它們與矩mpq的關(guān)系如下:

則區(qū)域的區(qū)域慣性矩陣J是:

其中二階中心矩μ20，μ02是慣性矩，μ11慣性積。

3.3 等價(jià)橢圓法

圖像分析不僅需要知道一幅圖像中物體的具體位置，而且還要知道物體在圖像中的方向。本文利用等價(jià)橢圓主軸的方向和夾角來(lái)表示輪轂的位姿。等價(jià)橢圓是指和區(qū)域具有相同慣性矩陣的橢圓。圖3為橢圓的一般形式，其中a表示為長(zhǎng)半軸長(zhǎng)，b為短半軸長(zhǎng)，x'表示長(zhǎng)軸的方向，y'表示短軸的方向，θ為方向角，表示長(zhǎng)半軸長(zhǎng)與水平方向的角度。

圖5 橢圓的一般形式

通過(guò)求解慣性矩陣J，可以得到J的特征值和特征向量。特征值與等價(jià)橢圓的半長(zhǎng)軸半徑和半短軸半徑的關(guān)系如下:

按照上述的工件定位方法，對(duì)其進(jìn)行定位，在定位的過(guò)程中可以得到許多描述這個(gè)區(qū)域的特征信息，如圖6所示，進(jìn)行了幾種不同位置的輪轂氣閥進(jìn)行檢測(cè)，并用等價(jià)橢圓的形式標(biāo)記出來(lái)質(zhì)心位置，如圖7所示，它們返回的特征信息如表1所示。

表1 不同位置輪轂的特征信息

4 實(shí)驗(yàn)結(jié)果

前面引言部分通過(guò)實(shí)驗(yàn)指出了機(jī)器人在多次運(yùn)行后會(huì)造成一個(gè)重復(fù)累計(jì)誤差，隨著運(yùn)行次數(shù)的增加會(huì)給檢測(cè)效果帶來(lái)影響。為了測(cè)試通過(guò)定位后是否還存在這種誤差，我們對(duì)圖6(a)所示的工件進(jìn)行實(shí)驗(yàn)驗(yàn)證。具體的實(shí)現(xiàn)步驟如下:

1)將工件平放在工作臺(tái)上，調(diào)整此時(shí)機(jī)器人的位置，使其相機(jī)垂直于工件，記錄下此時(shí)的機(jī)器人的坐標(biāo)位置，設(shè)置好機(jī)器人的運(yùn)動(dòng)軌跡，使其能夠?qū)嗇炦M(jìn)行檢測(cè)。

圖6 不同位置的原始圖像

圖7 幾種不同位置的輪轂氣閥定位結(jié)果

2)檢測(cè)完成后回到初始位置，通過(guò)定位算法對(duì)初始位置進(jìn)行判斷和校正后，開(kāi)始進(jìn)行檢測(cè)。

3)重復(fù)步驟2，每間隔10次測(cè)試后記錄下當(dāng)前初始位置的坐標(biāo)信息。

通過(guò)180次測(cè)試之后的機(jī)器人初始位置和第一次檢測(cè)的初始位置并無(wú)偏差，為了避免出現(xiàn)因重復(fù)次數(shù)較少而未造成誤差的影響，又多做了100次測(cè)試，發(fā)現(xiàn)280次也未發(fā)生偏差。實(shí)驗(yàn)表明通過(guò)視覺(jué)定位校正之后可以克服機(jī)器人開(kāi)環(huán)系統(tǒng)所造成的重復(fù)精度誤差。此外還驗(yàn)證了工件在一定傾斜情況下是否能夠檢測(cè)。首先調(diào)用之前設(shè)置好的能夠檢測(cè)的程序，記錄下當(dāng)前的位姿。之后通過(guò)陀螺儀依次調(diào)節(jié)工件的角度，每次只改變機(jī)器人Y軸的角度，使其與工件垂直，其他的參數(shù)不變，運(yùn)行之前的運(yùn)動(dòng)軌跡看是否能夠正常檢測(cè)。如表2所示，記錄了幾組不同角度下的機(jī)器人的坐標(biāo)位置的運(yùn)行結(jié)果。

表中的數(shù)據(jù)是在世界坐標(biāo)系下記錄的，其中X，Y，Z分別對(duì)應(yīng)X軸、Y軸和Z軸的位置，W，P，R分別對(duì)應(yīng)X軸、Y軸和Z軸的回轉(zhuǎn)角。通過(guò)表2我們可以得出在工件水平的情況下，傳送帶在誤差10°以?xún)?nèi)的情況下，機(jī)器人都能夠完成對(duì)輪轂的檢測(cè)。在一定程度上解決了輪轂在傳送過(guò)程中存在的傾斜問(wèn)題。

表2 不同角度下的機(jī)器人坐標(biāo)

5 結(jié)論

本文結(jié)合了工業(yè)機(jī)器人和機(jī)器視覺(jué)系統(tǒng)對(duì)輪轂進(jìn)行定位和檢測(cè)，利用MATLAB圖像處理軟件對(duì)輪轂圖像進(jìn)行預(yù)處理，提取出輪轂氣閥的區(qū)域，利用圖像矩的特征分析求出質(zhì)心的坐標(biāo)以及等價(jià)橢圓的方法求出輪轂的方向。通過(guò)機(jī)器人的集成控制系統(tǒng)調(diào)節(jié)相機(jī)的位姿，以此來(lái)完成對(duì)輪轂的檢測(cè)。通過(guò)實(shí)驗(yàn)表明，系統(tǒng)能夠完成不同角度的輪轂氣閥定位，以及工件在傳送過(guò)程中有可能存在較小傾斜的問(wèn)題，能夠滿(mǎn)足當(dāng)前的生產(chǎn)環(huán)境要求。