馬子領(lǐng)，張瑞珠，吳林峰

(華北水利水電大學(xué)機(jī)械學(xué)院，鄭州 450045)

0 引言

目前國(guó)內(nèi)對(duì)基于視覺(jué)工業(yè)機(jī)械手抓取的已有研究有:(1)基于單目視覺(jué)的機(jī)械手智能抓取系統(tǒng)［1］。這類系統(tǒng)一般將攝像機(jī)安裝在工業(yè)機(jī)械手工作空間的上方，同時(shí)觀察目標(biāo)和機(jī)械手末端執(zhí)行器，利用攝像機(jī)作為中間媒介建立起目標(biāo)與機(jī)械手之間的關(guān)系。(2)基于立體視覺(jué)的機(jī)器人控制系統(tǒng)［2］。這類系統(tǒng)一般是使用兩臺(tái)攝像機(jī)對(duì)目標(biāo)同時(shí)進(jìn)行拍攝，利用視覺(jué)差和立體匹配技術(shù)獲取目標(biāo)的空間位姿，從而對(duì)機(jī)械手抓取進(jìn)行控制。這兩種方法都有其局限性:第一種方法要求攝像機(jī)能夠同時(shí)觀察目標(biāo)和機(jī)械手末端執(zhí)行器，這對(duì)系統(tǒng)的配置要求較高，工作現(xiàn)場(chǎng)的條件時(shí)常不能滿足。另外由于攝像機(jī)的安裝位置原因，機(jī)械手會(huì)對(duì)目標(biāo)產(chǎn)生遮擋，導(dǎo)致抓取失敗;第二種方法由于使用到了兩臺(tái)攝像機(jī)，硬件成本提高，并且計(jì)算量大，視場(chǎng)角較?。?］。針對(duì)這些問(wèn)題，楊賀然［4］等提出了單攝像機(jī)和工業(yè)機(jī)械手分別固定安裝在傳送帶兩端的智能抓取系統(tǒng)。這種配置的優(yōu)點(diǎn)是:系統(tǒng)安裝靈活，能夠充分發(fā)揮視覺(jué)系統(tǒng)的功能，算法簡(jiǎn)單，計(jì)算量少。由于該方法中目標(biāo)和機(jī)械手不能同時(shí)出現(xiàn)在攝像機(jī)視野中，因此也被稱作末端開(kāi)環(huán)視覺(jué)系統(tǒng)。顯然，該配置方法不能滿足同一傳送帶上有多個(gè)位置需要抓取產(chǎn)品的情況，不利于系統(tǒng)擴(kuò)展。本文以蘋果手機(jī)整機(jī)檢測(cè)生產(chǎn)線上從傳送帶上抓取位置和姿態(tài)各異的手機(jī)并以固定姿態(tài)放置到檢測(cè)設(shè)備卡槽或托盤里為研究背景，研究一種基于輔助定位機(jī)構(gòu)的視覺(jué)識(shí)別技術(shù)。該技術(shù)的基本思想是將部分視覺(jué)功能交由輔助定位機(jī)構(gòu)實(shí)現(xiàn)，從而簡(jiǎn)化視覺(jué)系統(tǒng)設(shè)計(jì)和降低成本。本文重點(diǎn)研究該技術(shù)中的圖像識(shí)別算法。

1 智能搬運(yùn)機(jī)械手系統(tǒng)組成

如圖1所示，該系統(tǒng)由輔助定位機(jī)構(gòu)［5］、視覺(jué)系統(tǒng)、搬運(yùn)機(jī)械手、傳送帶、手機(jī)托盤等組成。

圖1 智能搬運(yùn)機(jī)械手系統(tǒng)三維結(jié)構(gòu)原理圖

輔助定位機(jī)構(gòu)包括導(dǎo)向柱，轉(zhuǎn)輪1，轉(zhuǎn)輪2，導(dǎo)向槽，擋板。其功能是將傳送帶上過(guò)來(lái)的位姿各異的手機(jī)進(jìn)行排列，一個(gè)接一個(gè)地進(jìn)入到導(dǎo)向槽里面，最前面的手機(jī)到達(dá)擋板后即停止不動(dòng)，等待機(jī)械手的抓取，當(dāng)機(jī)械手將緊挨擋板的手機(jī)抓走后，導(dǎo)向槽里面的手機(jī)在傳送帶帶動(dòng)下繼續(xù)向前移動(dòng)到擋板并停止等待下一次抓取。

視覺(jué)系統(tǒng)包括攝像頭支架、攝像頭及圖像處理程序。其工作原理是:經(jīng)輔助定位機(jī)構(gòu)初步定位后進(jìn)入通道槽的手機(jī)將呈現(xiàn)正反面及上下方向倒置等組合成的四種不同姿態(tài)。假定手機(jī)出現(xiàn)正面的情況為A，反面為B，上下倒置的情況分別為C、D，于是AC表示A情況和C情況同時(shí)出現(xiàn)，其他三種狀態(tài)同理。在系統(tǒng)中存儲(chǔ)這四種狀態(tài)典型圖片的特征作為判斷準(zhǔn)則，對(duì)導(dǎo)向槽里面的圖片進(jìn)行識(shí)別以確定導(dǎo)向槽里面的圖片屬于哪一種狀態(tài)，將這種狀態(tài)對(duì)應(yīng)的信號(hào)指令發(fā)給機(jī)械手，機(jī)械手即可進(jìn)行相應(yīng)的操作動(dòng)作將手機(jī)以固定的姿態(tài)放置到手機(jī)托盤里面。顯然，輔助定位機(jī)構(gòu)的運(yùn)用大大降低了手機(jī)位姿的不確定性，極大地減少了視覺(jué)處理的工作量，從而可以簡(jiǎn)化視覺(jué)系統(tǒng)軟硬件配置，降低系統(tǒng)總成本。

2 圖像識(shí)別算法

2.1 圖像的預(yù)處理

2.1.1 圖像裁剪

為識(shí)別手機(jī)姿態(tài)，需選擇手機(jī)本身的特征目標(biāo)作為識(shí)別對(duì)象，選擇的原則是為了更好的獲得每個(gè)圖像的特征，選擇的目標(biāo)如圖2所示。

圖2 選擇的目標(biāo)

圖像裁剪的目的是選擇一組“少而精”的對(duì)分類有效的特征。如圖2(c)中除了左邊的有效目標(biāo)外，還有右邊的白色干擾目標(biāo)，因此需要對(duì)圖像進(jìn)行裁剪。為了后續(xù)處理時(shí)不用考慮邊緣像素，裁剪圖形時(shí)以略大于包圍有效目標(biāo)最小矩形的矩形對(duì)采集圖像進(jìn)行裁剪，裁剪后的圖像如圖3所示。

為研究測(cè)試整體光照條件變化時(shí)該圖像識(shí)別算法的有效性，采集了11組非極端光照下不同光照情況下的手機(jī)裁剪圖片，圖3所示是其中一組。這里所述極端情況是指超低照度和超高照度，這種情況在工業(yè)現(xiàn)場(chǎng)幾乎不可能出現(xiàn)。

圖3 裁剪后圖像

2.1.2 兩次中值濾波和灰度變換

圖像噪聲會(huì)使圖像模糊，甚至淹沒(méi)圖像特征，從而使圖像識(shí)別無(wú)法進(jìn)行。因此，先要對(duì)圖像進(jìn)行濾波，消除干擾噪聲信號(hào)。本文采用中值濾波，它能在濾除噪聲的同時(shí)很好的保持圖像邊緣。實(shí)驗(yàn)發(fā)現(xiàn)，一次中值濾波后，圖像中存在的突變點(diǎn)在很大程度上被消除了。但是，較高光照下的采集圖像經(jīng)過(guò)一次中值濾波后就進(jìn)行灰度變換，發(fā)現(xiàn)由于干擾信號(hào)去除不夠徹底導(dǎo)致灰度變換達(dá)不到要求，因此需再進(jìn)行一次中值濾波。測(cè)試顯示，所有采集圖片經(jīng)兩次中值濾波后，后續(xù)處理效果都能滿足要求了。

實(shí)驗(yàn)發(fā)現(xiàn)，采集圖像經(jīng)兩次中值濾波后的直方圖顯示圖像像素灰度只在某一灰度范圍出現(xiàn)，這將使閾值分割非常容易出現(xiàn)失效，而且圖像對(duì)比度不高，圖像包含信息少。因此，采用線性變換的方法將像素灰度范圍擴(kuò)展到0～255之間以利于閾值分割等操作。

2.2 閾值分割

閾值分割的關(guān)鍵是確定合適的閾值。當(dāng)然，確定閾值的原則只有一個(gè)，就是為了從背景中恰當(dāng)?shù)奶崛〕瞿繕?biāo)［6］。

2.2.1 圖像特征

在確定閾值之前，首先對(duì)四種手機(jī)姿態(tài)下各圖像的直方圖進(jìn)行了分析，結(jié)果發(fā)現(xiàn)圖像的灰度分布呈現(xiàn)兩種情況，一種是圖像背景低灰度值像素集中于低照度范圍，而目標(biāo)像素與背景像素相比較少;另一種是圖像灰度值并不集中于某一區(qū)域，而是在各個(gè)范圍內(nèi)都有分布。

根據(jù)直方圖呈現(xiàn)的兩種情況，為方便閾值計(jì)算，研究了圖像中灰度值出現(xiàn)次數(shù)最多的灰度值和所有像素的灰度值均值。采集的4種姿態(tài)11組圖像除去邊緣像素以外出現(xiàn)次數(shù)最多的灰度值 (maxcount)和灰度均值 (average)如表1所示。

表1 四種姿態(tài)圖像的特征

2.2.2 閾值確定準(zhǔn)則

確定閾值的方法很多，本文根據(jù)圖像具體特性進(jìn)行閾值選取。在選取閾值時(shí)采用線性運(yùn)算，線性運(yùn)算完全滿足要求。

對(duì)于直方圖呈現(xiàn)的第一種情況，多數(shù)像素灰度分布在低灰度區(qū)域，于是考慮將maxcount做線性運(yùn)算作為閾值，這樣就可將大部分背景置為0，余下的就是目標(biāo)。不過(guò)經(jīng)分析發(fā)現(xiàn)，在第一種情況中，maxcount和average非常接近，為了簡(jiǎn)化計(jì)算算法，可直接用average做線性運(yùn)算作為閾值。而對(duì)于第二種情況，顯然用與maxcount相關(guān)的函數(shù)值來(lái)選取閾值并不恰當(dāng)，于是直接用average做線性運(yùn)算來(lái)選取閾值。結(jié)論是，無(wú)論屬于哪種情況，都用average做線性運(yùn)算作為分割的閾值。

試驗(yàn)中發(fā)現(xiàn)，在0～255整個(gè)區(qū)域內(nèi)實(shí)行單一的線性運(yùn)算是不合適的，例如選取閾值時(shí)，對(duì)表1中所有的圖像進(jìn)行閾值分割是合適的，但是如果在實(shí)際情況中出現(xiàn)average為135時(shí)，閾值，顯然在運(yùn)算時(shí)會(huì)溢出，從而不能有效分割圖像。

經(jīng)進(jìn)一步試驗(yàn)，最后采用分段方式確定了決定閾值的準(zhǔn)則:

當(dāng)average＜50，閾值T用式 (1)計(jì)算。

當(dāng)average＞=50，閾值T用式 (2)計(jì)算。

該分段線性閾值分割準(zhǔn)則能滿足特征識(shí)別的要求。圖4、圖5、圖6、圖7分別是手機(jī)四種狀態(tài)下average＜50和average＞=50情況下分割結(jié)果的一個(gè)例子。雖然圖像邊緣像素未經(jīng)過(guò)直方圖變換處理，但根據(jù)圖像裁剪時(shí)的設(shè)定可知圖像邊緣與目標(biāo)之間的距離較大，這里直接將邊緣像素灰度置0，其并不影響結(jié)果。

式 (1)和式 (2)均是根據(jù)本文具體研究對(duì)象在正常光照環(huán)境下經(jīng)過(guò)多次試驗(yàn)歸納出來(lái)的最佳結(jié)果，由于其涵蓋了文中所述的多種情況，因此對(duì)其他對(duì)象也具有一定的適應(yīng)性。如果應(yīng)用對(duì)象過(guò)于復(fù)雜，則可通過(guò)調(diào)整式中的參數(shù)或average分段點(diǎn)的值以適應(yīng)新對(duì)象，也可通過(guò)增加average分段即增加閾值判斷的式子去適應(yīng)新情況，具體如何調(diào)整則依據(jù)對(duì)象在正常光照環(huán)境下average的分布情況。

2.3 中值濾波和區(qū)域標(biāo)記

圖像經(jīng)過(guò)直方圖變換后進(jìn)行的分割可能出現(xiàn)很多微小的目標(biāo)區(qū)域，目標(biāo)數(shù)目甚至?xí)^(guò)255個(gè)，這會(huì)對(duì)區(qū)域標(biāo)記造成嚴(yán)重影響。因此，區(qū)域標(biāo)記前對(duì)閾值分割后的圖像進(jìn)行一次中值濾波，以濾去圖像中微小的無(wú)效目標(biāo)。

區(qū)域標(biāo)記［7］是對(duì)目標(biāo)區(qū)域進(jìn)行區(qū)分常采用的方式，本文采用一種基于區(qū)域生長(zhǎng)的快速連通區(qū)域標(biāo)記算法［8］進(jìn)行區(qū)域標(biāo)記。該方法的特點(diǎn)是在一次圖像掃描中完成所有連通區(qū)域的標(biāo)記，而且該方法不受所標(biāo)記的圖形形狀的影響，能夠?qū)Ω鞣N形狀的區(qū)域進(jìn)行標(biāo)記處理。為計(jì)算簡(jiǎn)便，所有連通區(qū)域標(biāo)記算法均采用4連通區(qū)域準(zhǔn)則。

2.4 圖像識(shí)別

圖像特征是識(shí)別圖像的根本依據(jù)［910］。本算法先采用面積特征找到面積最大的一個(gè)或兩個(gè)目標(biāo)，再采用其位置特征作為識(shí)別的依據(jù)。

從圖6中可以看到，部分圖像可能存在多個(gè)目標(biāo)區(qū)域，造成識(shí)別困難，這里選取目標(biāo)區(qū)域中面積最大的目標(biāo)，因?yàn)檫@個(gè)目標(biāo)才是圖像中最能反應(yīng)手機(jī)方位的最重要依據(jù)。但在圖4(a)中，目標(biāo)被割裂成兩個(gè)小目標(biāo)。所以并不能只選擇面積最大的一個(gè)目標(biāo)來(lái)識(shí)別圖像，而是需要選擇面積最大的兩個(gè)主要目標(biāo)作為圖像的主要特征，這里分別稱之為第一目標(biāo)和第二目標(biāo)。

圖4 AC分割結(jié)果

圖5 AD分割結(jié)果

圖6 BC分割結(jié)果

圖7 BD分割結(jié)果

表2是所采集11組圖像中AC姿態(tài)時(shí)選擇的目標(biāo)特征，其中 sumx、sumy、ultraxl、ultraxr、ultrayu、ultrayd 的含義如下。

如果圖像中只有一個(gè)有效目標(biāo)，sumx和sumy分別表示該目標(biāo)區(qū)域的質(zhì)心x坐標(biāo)和y坐標(biāo);如果圖像中存在兩個(gè)有效目標(biāo)，sumx和sumy分別表示兩個(gè)目標(biāo)區(qū)域的質(zhì)心x坐標(biāo)和y坐標(biāo)。

ultraxl、ultraxr、ultrayu、ultrayd分別表示第一目標(biāo)的最小的x方向坐標(biāo)、最大的x方向坐標(biāo)、最小的y方向坐標(biāo)、最大的y方向坐標(biāo)。

表2 AC目標(biāo)特征值

采用同樣的方法計(jì)算AD、BC和BD姿態(tài)的目標(biāo)特征值。然后對(duì)比AC、AD、BC和BD各姿態(tài)的目標(biāo)特征值，發(fā)現(xiàn)不同光照下各組圖像特征值之間的差值總體變化很小，只有AC的ultraxr特征值和BC的ultrayu特征值存在一個(gè)較大的跳變，其他各特征值的變化范圍均不超過(guò)10。因此，考慮以差值變化范圍小的特征值來(lái)確定圖像識(shí)別的準(zhǔn)則，首先計(jì)算各特征的平均值，如表3所示，其中的空單元格表示該特征值變化較大，不用其作為判別準(zhǔn)則。

表3 各目標(biāo)特征均值

AC、AD與BC、BD的sumx差別較大，所以可確定一個(gè)值M來(lái)確定圖像屬于AC、AD或是BC、BD。因AC、AD與BC、BD的sumx距離較遠(yuǎn)，故直接取其均值為M，即M=(59+36+258+227)/4=145。

在區(qū)別AC、AD時(shí)，其各特征區(qū)別并不是很大，但ultrayd－ultrayu的值卻相差很大。

對(duì)于 AC，ultrayd－ultrayu=122－91=31。

對(duì)于 AD，ultrayd－ultrayu=152－58=94。

這里取AC和AD二者的均值來(lái)區(qū)別AC、AD并取之為N，即N=(31+94)/2=63。

在區(qū)別 BC、BD時(shí)，其各特征區(qū)別也不是很大，但ultraxr－ultraxl的值卻相差很大。

對(duì)于 BC，ultraxr－ultraxl=274－244=30。

對(duì)于 BD，ultraxr－ultraxl=290－164=126。

于是取BC和BD二者均值來(lái)區(qū)別BC、BD并取之為Q，即Q=(30+126)/2=78。因此，圖像識(shí)別的流程如圖8所示。

圖8 圖像識(shí)別流程圖

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)所用攝像頭為普通視頻聊天攝像頭。根據(jù)市場(chǎng)價(jià)格計(jì)算，采用輔助定位機(jī)構(gòu)+普通攝像頭+低自由度機(jī)械手的識(shí)別方法相對(duì)于采用高端攝像頭+多自由度機(jī)械手的方法在成本上至少降低50%以上。

在VC中的測(cè)試結(jié)果顯示，采集的11組44張典型圖片全部正確識(shí)別，但該識(shí)別算法本就來(lái)自于這些圖片，所以該結(jié)果并不能證明算法完全正確。因此，又采集了4張普通光照下的圖片來(lái)驗(yàn)證算法的適應(yīng)性，實(shí)驗(yàn)過(guò)程如下:

1)將實(shí)驗(yàn)設(shè)備隨機(jī)移動(dòng)到一個(gè)新的室內(nèi)環(huán)境;

2)用同型號(hào)的手機(jī)作為實(shí)驗(yàn)對(duì)象，AC、AD、BC和BD等4種姿態(tài)各拍攝一張圖片;

3)將4張圖片依次導(dǎo)入編制的VC程序進(jìn)行測(cè)試。

采集的4張圖像和處理的結(jié)果如圖9所示。顯然，新環(huán)境下拍攝的圖像的處理結(jié)果也完全正確，這證明了在普通光照下該算法的適應(yīng)性是很好的。

4 結(jié)論

本文以手機(jī)整機(jī)檢測(cè)流水線上用機(jī)械手替代人工操作時(shí)手機(jī)位姿的識(shí)別為對(duì)象，提出了一種基于輔助定位機(jī)構(gòu)的視覺(jué)識(shí)別方法，并介紹了基于該方法的系統(tǒng)組成和關(guān)鍵子系統(tǒng)的功能。然后通過(guò)對(duì)非極端光照條件下采集的不同光照下的11組共44張手機(jī)圖像進(jìn)行研究分析，給出了適應(yīng)性很好的閾值分割準(zhǔn)則和特征識(shí)別算法，并完成了對(duì)圖像的識(shí)別。最后，以普通視頻聊天攝像頭為實(shí)驗(yàn)設(shè)備采集了一組共4張普通光照下的圖片進(jìn)了算法適應(yīng)性驗(yàn)證。實(shí)驗(yàn)結(jié)果證明:在非極端光照且光源環(huán)境基本穩(wěn)定的情況下，所提圖像處理算法是完全正確的，該視覺(jué)方法能夠穩(wěn)定可靠地實(shí)現(xiàn)手機(jī)位姿識(shí)別。為避免工作現(xiàn)場(chǎng)幾乎不可能出現(xiàn)的極端光照情況影響算法的穩(wěn)定性，采用遮光罩將環(huán)境光源進(jìn)行隔離，在遮光罩里面安裝固定光源。根據(jù)該方法提出的實(shí)際環(huán)境，該方法可以廣泛應(yīng)用于類手機(jī)形狀產(chǎn)品的生產(chǎn)線上。

圖9 采集的圖像及識(shí)別結(jié)果