杜 剛，張善文

(西京學(xué)院 信息工程學(xué)院，陜西 長(zhǎng)安 710123)

基于強(qiáng)定位與三點(diǎn)手眼標(biāo)定的目標(biāo)移載視覺引導(dǎo)算法*

杜 剛，張善文

(西京學(xué)院 信息工程學(xué)院，陜西 長(zhǎng)安 710123)

為了解決當(dāng)前定位算法受目標(biāo)背景干擾影響大，且其采用的物理接觸標(biāo)定技術(shù)易損傷工件表面的不足，提出了基于強(qiáng)定位與三點(diǎn)手眼標(biāo)定的視覺引導(dǎo)算法。首先，利用高斯濾波處理Hessian矩陣，采用非極大值抑制法來確定特征點(diǎn)和方向，從而構(gòu)造了surf特征點(diǎn)描述子，完成目標(biāo)位置邊緣和中心點(diǎn)的強(qiáng)定位，達(dá)到去除背景和環(huán)境光干擾，精確定位目標(biāo)中心點(diǎn)與角度。然后提出三點(diǎn)標(biāo)定法，計(jì)算縮放旋轉(zhuǎn)矩陣和平移矩陣參數(shù)，完成Robot世界坐標(biāo)與相機(jī)圖像坐標(biāo)的綁定映射。最后，編程實(shí)現(xiàn)算法和系統(tǒng)，實(shí)驗(yàn)測(cè)試結(jié)果顯示：與當(dāng)前工件材料移載系統(tǒng)相比，文中系統(tǒng)擁有更高的目標(biāo)定位與標(biāo)定移載成功率。

視覺引導(dǎo)；強(qiáng)定位；三點(diǎn)手眼標(biāo)定；縮放旋轉(zhuǎn)矩陣

0 引言

隨著“智能制造”、“中國(guó)制造2025”的概念升華與深化發(fā)展，在未來人力成本不斷升高的大背景下，企業(yè)已經(jīng)認(rèn)識(shí)到利用先進(jìn)的信息技術(shù)，實(shí)現(xiàn)工業(yè)無人化制造的必然趨勢(shì)[1-2]。制造流水線中有大量移載工作，以往采用人力，現(xiàn)在隨著機(jī)器人應(yīng)用的推廣，很多企業(yè)開始使用機(jī)器人完成移載工作[3-4]。但是隨著應(yīng)用的深入，也出現(xiàn)了問題，比如機(jī)器人需要依賴物理定位塊完成對(duì)產(chǎn)品的抓取和移載，而物理?yè)鯄K的夾取容易導(dǎo)致材料損傷。因此已經(jīng)有廠家開始基于視覺完成機(jī)器人移載工作，但也出現(xiàn)了兩個(gè)需要解決的問題：①制造環(huán)境目標(biāo)背景復(fù)雜和光照干擾，影響視覺目標(biāo)定位。②精確計(jì)算機(jī)器人世界坐標(biāo)與相機(jī)圖像坐標(biāo)的關(guān)系映射，即手眼標(biāo)定。

在視覺定位與標(biāo)定方面，國(guó)內(nèi)研究人員已經(jīng)將計(jì)算機(jī)視覺技術(shù)引入到該領(lǐng)域中，對(duì)其展開研究，如胡明星[5]提出了基于Canny檢測(cè)與SIFT特征的旋轉(zhuǎn)工件目標(biāo)識(shí)別算法。首先，對(duì)采集工件圖像的RGB三通道完成權(quán)重分配，獲取灰度化圖像;并利用Canny邊緣檢測(cè)和霍夫直線檢測(cè)處理灰度圖像，計(jì)算出工件旋轉(zhuǎn)角度;并基于幾何變換，定義圖像校正模型，消除工件旋轉(zhuǎn)角度，對(duì)其完成復(fù)位處理，并采用模板匹配在圖像中定位工件，達(dá)到定位標(biāo)定目的。但是，此技術(shù)依靠準(zhǔn)確的輪廓抓取，在復(fù)雜背景影響邊緣捕捉時(shí)，往往影響了視覺定位。杜剛[6]提出了基于計(jì)算機(jī)在機(jī)器人單目視覺系統(tǒng)中的廣泛應(yīng)用，主要集中在對(duì)攝像機(jī)定位，拍攝圖像的分割計(jì)算，模式的坐標(biāo)識(shí)別，探測(cè)目標(biāo)距離，將視覺系統(tǒng)應(yīng)用到機(jī)器人中的運(yùn)用與分析，達(dá)到了視覺定位標(biāo)定目的。然而，這種技術(shù)依賴大量模式經(jīng)驗(yàn)，在相機(jī)與機(jī)器人相對(duì)位置不可預(yù)知時(shí)，往往不能準(zhǔn)確綁定機(jī)器人與相機(jī)坐標(biāo)系。

綜上所述，為了提高智能機(jī)器人基于視覺定位與標(biāo)定完成材料移載能力，本文提出了基于強(qiáng)定位算子與手眼標(biāo)定的視覺引導(dǎo)系統(tǒng)，并編程實(shí)現(xiàn)算法，驗(yàn)證本文系統(tǒng)功能。

1 本文目標(biāo)移載視覺引導(dǎo)算法

本文提出的視覺引導(dǎo)技術(shù)過程見圖1。該方法首先對(duì)復(fù)雜背景和環(huán)境光干擾下的目標(biāo)圖像進(jìn)行強(qiáng)定位處理，繼而得到目標(biāo)中心點(diǎn)與角度，通過三點(diǎn)手眼標(biāo)定法，綁定機(jī)器人坐標(biāo)與圖像坐標(biāo)，完成手眼標(biāo)定，把計(jì)算得到的圖像目標(biāo)坐標(biāo)轉(zhuǎn)換為機(jī)器人世界坐標(biāo)。機(jī)器人根據(jù)計(jì)算得到的坐標(biāo)，抓取目標(biāo)材料，完成移載工作。

材料目標(biāo)與背景如圖2所示，可見環(huán)境光照的反光嚴(yán)重、圖像背景復(fù)雜，對(duì)目標(biāo)視覺定位與標(biāo)定的影響較大。

圖1 本文目標(biāo)移載視覺引導(dǎo)機(jī)制

圖2 待定位圖像

1.1 基于Surf的工件強(qiáng)定位

工業(yè)制造環(huán)境對(duì)目標(biāo)定位的干擾來源兩個(gè)方面：環(huán)境光照射帶來的反光干擾、復(fù)雜背景帶來的目標(biāo)邊緣定位困難。針對(duì)此問題，提出基于Surf特征[7-8](Speed Up Robust Feature)的強(qiáng)定位機(jī)制，見圖3。為了分析每個(gè)像素點(diǎn)本身與周邊特性，首先建立Surf的基礎(chǔ)數(shù)據(jù)，計(jì)算每個(gè)像素點(diǎn)的Hessian矩陣[9]行列式：

(1)

式中，(x,y)代表圖像中任一像素點(diǎn)，f(x,y)為圖像坐標(biāo)(x,y)的灰度值，Hessian矩陣H由函數(shù)、偏導(dǎo)數(shù)組成，求H矩陣判別式為：

(2)

其中，det的值是H矩陣的特征值，可以利用判定結(jié)果的符號(hào)將所有點(diǎn)分類，根據(jù)判別式取值正負(fù)，來判別該點(diǎn)是或不是極值點(diǎn)。

二階標(biāo)準(zhǔn)高斯函數(shù)作為濾波器，卷積計(jì)算二階偏導(dǎo)數(shù)，計(jì)算H矩陣的三元素Lxx，Lxy，Lyy來估算H矩陣：

(3)

為了達(dá)到特征點(diǎn)與尺度無關(guān)的目的，對(duì)hessian矩陣進(jìn)行高斯濾波：

L(x,t)=G(t)·f(x,t)

(4)

其中，L(x,t)表示不同解析度下的圖像表示，可以利用高斯核G(t)與圖像函數(shù)f(x) 在點(diǎn)x的卷積來實(shí)現(xiàn)[10]，其中高斯核G(t)：

(5)

其中，g(x)為高斯函數(shù)，t為高斯方差。

通過上述過程，可以為圖像中每個(gè)像素計(jì)算出其H行列式的特征值。得到hessian矩陣值后，開始定位特征點(diǎn)：

(1)利用非極大值抑制[11-12]初步確定特征點(diǎn)。得到hessian矩陣處理過的每個(gè)像素點(diǎn)與其3維領(lǐng)域的26個(gè)點(diǎn)進(jìn)行大小比較，如果它是這26個(gè)點(diǎn)中的最大值或者最小值，則保留下來，當(dāng)作特征點(diǎn)。

(2)選取特征點(diǎn)的主方向。統(tǒng)計(jì)特征點(diǎn)領(lǐng)域內(nèi)的水平haar小波特征和垂直haar小波特征的總和，作為該特征點(diǎn)的主方向。

(3)構(gòu)造surf特征點(diǎn)描述算子。在特征點(diǎn)周圍取一個(gè)帶方向的正方形框。

(4)從特征點(diǎn)中選取目標(biāo)最小外接矩形的四個(gè)頂角，計(jì)算得到目標(biāo)中心點(diǎn)與傾斜角度。

圖3 強(qiáng)定位過程

普通定位算法的邊緣定位性能易受到復(fù)雜背景干擾和環(huán)境光反射干擾，而本文的強(qiáng)定位算法，基于高斯hessian矩陣和surf特征點(diǎn)尋找，克服了以上干擾，完成精確定位。如圖4a所示，特征點(diǎn)如圖標(biāo)注；如圖4b所示，可見本文強(qiáng)定位機(jī)制能夠準(zhǔn)確定位目標(biāo)材料的輪廓；如圖4c所示，可見本文強(qiáng)定位算法準(zhǔn)確的定位旋轉(zhuǎn)目標(biāo)材料的輪廓。

(a)特征點(diǎn)

(b)定位成功

(c)旋轉(zhuǎn)目標(biāo)定位成功圖4 基于surf特征的強(qiáng)定位結(jié)果

1.2 三點(diǎn)手眼標(biāo)定過程

得到目標(biāo)中心點(diǎn)與角度后，需要把相機(jī)圖像坐標(biāo)轉(zhuǎn)換為Robot世界坐標(biāo)，這個(gè)過程即手眼標(biāo)定[13]，以便Robot準(zhǔn)確抓取目標(biāo)，補(bǔ)償旋轉(zhuǎn)角度，完成移載作業(yè)，其過程見圖5。手眼標(biāo)定的目的是綁定相機(jī)圖像坐標(biāo)與Robot世界坐標(biāo)，找出映射關(guān)系，核心是計(jì)算縮放旋轉(zhuǎn)矩陣、平移矩陣，如下式所示：

(6)

式中，R為縮放旋轉(zhuǎn)矩陣，a、b、a′、b′為縮放旋轉(zhuǎn)矩陣參數(shù)元素。接著介紹平移矩陣：

(7)

式中，M為平移矩陣，c、c′為平移矩陣參數(shù)元素。聯(lián)立縮放旋轉(zhuǎn)矩陣、平移矩陣、圖像坐標(biāo)和Robot坐標(biāo)：

(8)

(x,y)表示圖像坐標(biāo)，(x′,y′)代表機(jī)器人坐標(biāo)，該式分解如下：

(9)

式中，a、b、c、a′、b′、c′為所求參數(shù)，接著進(jìn)行行列式化：

(10)

根據(jù)式(10)中的a、b、c、a′、b′、c′構(gòu)成旋轉(zhuǎn)縮放平移矩陣。操作機(jī)器人在不同直線上走3個(gè)點(diǎn)，并記錄對(duì)應(yīng)Robot坐標(biāo)和圖像坐標(biāo)，然后代入式(10)，可得：

(11)

(12)

然后對(duì)式(11)、式(12)進(jìn)行行列式化：

(13)

(14)

根據(jù)式(13)、式(14)進(jìn)行行列式計(jì)算，得到a、b、c、a′、b′、c′，從而構(gòu)成旋轉(zhuǎn)縮放平移矩陣。

圖5 標(biāo)定算法流程

2 實(shí)驗(yàn)與討論

為了體現(xiàn)本文算法的優(yōu)勢(shì)，將當(dāng)前標(biāo)定性能較好的技術(shù)—文獻(xiàn)[3]、文獻(xiàn)[4]設(shè)為對(duì)照組，本文系統(tǒng)基于VS2010平臺(tái)開發(fā)實(shí)現(xiàn)，算法實(shí)驗(yàn)參數(shù)如：縮放旋轉(zhuǎn)矩陣為[321,435,-463,-431]、平移矩陣為[435,-463]。

本文開發(fā)的工件標(biāo)定系統(tǒng)界面如圖6，具有視覺定位、坐標(biāo)計(jì)算功能。采用強(qiáng)定位和三點(diǎn)標(biāo)定技術(shù)處理圖6中左上角的原圖，首先利用深化hessian矩陣尋找特征點(diǎn)，在此基礎(chǔ)上，用強(qiáng)定位技術(shù)得到圖像坐標(biāo)中心點(diǎn)和角度。然后采用機(jī)器人走三點(diǎn)完成手眼標(biāo)定，最終實(shí)現(xiàn)對(duì)材料的自動(dòng)準(zhǔn)確移載。如圖7所示，本文開發(fā)的系統(tǒng)準(zhǔn)確定位移載目標(biāo)材料，同時(shí)用綠色標(biāo)注出材料輪廓。而利用文獻(xiàn)[3]技術(shù)處理圖6左上角的原圖時(shí)，由于此技術(shù)依靠準(zhǔn)確的輪廓抓取，在背景復(fù)雜和環(huán)境光干擾嚴(yán)重時(shí)，往往影響視覺定位標(biāo)定功能，如圖8所示, 以綠色標(biāo)注，可見，該技術(shù)存在明顯的定位偏差，影響移載工作的完成。同時(shí)，利用文獻(xiàn)[4]技術(shù)處理圖6左上角的原圖時(shí)，由于依賴大量固定樣本，在機(jī)器人與相機(jī)相對(duì)關(guān)系未知且多變時(shí)，往往不能精確完成標(biāo)定，同時(shí)缺乏定位精細(xì)度，如圖9所示, 綠色標(biāo)注，可見，這種算法存在明顯的定位偏差，降低了工作的移載精度。原因是本文算法充分利用了hessian矩陣與高斯濾波的尺度旋轉(zhuǎn)無關(guān)性，精確定位工件的特征角點(diǎn)，并引入最大值抑制技術(shù)，去除偽特征點(diǎn)，得到工件的surf特征點(diǎn)，有效提高了特征點(diǎn)的魯棒性，根據(jù)提純之后的特征點(diǎn)，可準(zhǔn)確計(jì)算出工件中心坐標(biāo)，實(shí)現(xiàn)復(fù)雜背景下工件的強(qiáng)定位。而且，本文算法的過機(jī)器人在相機(jī)視野中走三個(gè)點(diǎn)(不在同一條直線上)，記錄圖像與機(jī)器人坐標(biāo)，以計(jì)算出縮放、旋轉(zhuǎn)參數(shù)，達(dá)到圖像坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換綁定，使得算法對(duì)工件位置變化具有良好的魯棒性，從而實(shí)現(xiàn)工件準(zhǔn)確抓取。而文獻(xiàn)[3]是依靠普通的邊緣檢測(cè)算子來獲取目標(biāo)輪廓，對(duì)低對(duì)比度與噪聲干擾的復(fù)雜背景干擾較為敏感，致使其可用的邊緣信息不完整，并且該算法是主要是依靠工件、相機(jī)和機(jī)器人的相對(duì)位置關(guān)系來實(shí)現(xiàn)，導(dǎo)致其定位不準(zhǔn)確，最終使其對(duì)工件的移載精度較低。文獻(xiàn)[4]通過利用中值濾波算子與直方圖特性，聯(lián)合大量的固定樣本進(jìn)行工件定位與抓取，雖然該技術(shù)可以消除噪聲干擾，但是在光照條件不佳時(shí)，采集到的工件圖像直方圖信息存在丟失，且其是利用多模式坐標(biāo)轉(zhuǎn)換來實(shí)現(xiàn)工件標(biāo)定，在實(shí)際工件移載過程中，工件、相機(jī)以及機(jī)器人的位置是動(dòng)態(tài)變化的，從而導(dǎo)致其移載存在偏差。

圖6 工件移載視覺引導(dǎo)系統(tǒng)的界面

圖7 本文視覺引導(dǎo)技術(shù)的工件定位結(jié)果

圖8 文獻(xiàn)[3]定位標(biāo)定結(jié)果

圖9 文獻(xiàn)[4]定位標(biāo)定結(jié)果

3 結(jié)論

為了解決前目標(biāo)定位算法受復(fù)雜背景和環(huán)境光干擾嚴(yán)重、標(biāo)定困難的問題，本文提出了基于強(qiáng)定位與手眼標(biāo)定的視覺引導(dǎo)系統(tǒng)。實(shí)現(xiàn)對(duì)圖像hessian矩陣深化建立、特征點(diǎn)計(jì)算、目標(biāo)圖像中心點(diǎn)計(jì)算。然后分析三點(diǎn)標(biāo)定法，計(jì)算縮放旋轉(zhuǎn)平移矩陣，完成圖像坐標(biāo)與機(jī)器人坐標(biāo)的映射。實(shí)驗(yàn)結(jié)果表明：在背景光照干擾嚴(yán)重的情況下，相較普通技術(shù)，本文算法具有更強(qiáng)的魯棒性，能夠提取更加精確的魯棒特征，以及更好地實(shí)現(xiàn)圖像坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換綁定來完成工件準(zhǔn)確定位與移載，更能夠適應(yīng)光照條件不佳等復(fù)雜環(huán)境，表現(xiàn)出更低的定位誤差與更強(qiáng)的抗干擾性。

[1] Adriana Giret, Emilia Garcia, Vicente Botti. An Engineering Framework for Service-Oriented Intelligent Manufacturing Systems[J]. Computers in Industry, 2016, 81(9): 116-127.

[2] 許杰. 基于改進(jìn)加權(quán)質(zhì)心和UKF的移動(dòng)目標(biāo)定位算法[J]. 吉林大學(xué)學(xué)報(bào)(工學(xué)版)，2016, 46(4):1354-1359.

[3] 王林波. 基于手眼視覺的合作目標(biāo)特征點(diǎn)精確定位算法研究[D]. 北京：中國(guó)科學(xué)院大學(xué)，2014.

[4] Wu Qian,Guan Haobing, Gu Jinan. Research on Image Preprocessing of Workpiece Recognition and Positioning System[J]. Journal of Convergence Information Technology, 2013, 8 (8): 187-193.

[5] 胡明星. 模板匹配優(yōu)化耦合圖像校正的旋轉(zhuǎn)工件目標(biāo)定位算法[J]. 組合機(jī)床與自動(dòng)化加工技術(shù)，2016(6)：35-38.

[6] 杜剛. 機(jī)器人雙目視覺系統(tǒng)的標(biāo)定與定位算法分析[J]. 信息系統(tǒng)工程，2016(2):39.

[7] WeiLong Zhang, LeiBo Liu, ShouYi Yin. An efficient VLSI architecture of speeded-up robust feature extraction for high resolution and high frame rate video[J]. Science China Information Sciences, 2013, 56 (7): 1-14.

[8] Hu Zhang Fang, Yang Lin, Luo Luan. The Research and Application of SURF Algorithm Based on Feature Point Selection Algorithm[J]. Sensors & Transducers, 2014, 169 (4): 67-72.

[9] Ying Wei, Rui Li, Jin-zhu Yang. An algorithm for segmentation of lung ROI by mean-shift clustering combined with multi-scale HESSIAN matrix dot filtering[J]. Journal of Central South University, 2012, 19 (12): 3500-3509.

[10] Zeping Wu, Donghui Wang, Patrick Okolo N. Unified estimate of Gaussian kernel width for surrogate models[J]. Neurocomputing, 2016, 203(26): 41-51.

[11] 陳金輝, 葉西寧. 行人檢測(cè)中非極大值抑制算法的改進(jìn) [J]. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015, 41(3): 371-378.

[12] 王文濤, 朱順安, 唐菀. 一種自適應(yīng)非極大值抑制邊緣檢測(cè)算法及FPGA設(shè)計(jì)實(shí)現(xiàn)[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2014, 35(8): 1926-1930.

[13] 胡小平, 左富勇, 謝珂. 微裝配機(jī)器人手眼標(biāo)定方法研究學(xué)標(biāo)定[J]. 儀器儀表學(xué)報(bào)，2012, 33(7): 1521-1526.

(編輯 李秀敏)

Objects Vision Guiding System Based on Strong Positioning and Hand-eye Calibration

DU Gang，ZHANG Shan-wen

(College of Information Engineering, Xijing University, Chang′an Shaanxi 710123, China)

In order to solve the current localization algorithm big background interference affects calibration methods exist damage, physical contact with the workpiece material on the surface of the problem, hand-eye calibration was proposed based on strong orientation and three visual guidance systems. First, deepen the Hessian matrix, using Gaussian filter, using the maximum inhibition precisely determine the feature points and direction, in order to construct surf feature points description, finish strong positioning operator based on surf, to remove the background and the ambient light interference, the purpose of accurate positioning center of the target with Angle. And then put forward three points calibration method, calculation scale rotation matrix and translation matrix parameters, complete the Robot world coordinates and binding mapping camera image coordinates. Finally, program implementation algorithm and system, the experiment results showed that compared with the current workpiece material transfer system, this system has higher goal orientation and calibration transfer success rate.

visual guidance; location; three point calibration of hand eye; zoom rotation matrix

1001-2265(2017)08-0021-04

10.13462/j.cnki.mmtamt.2017.08.005

2017-02-10；

2017-03-14

國(guó)家自然科學(xué)基金(61473237)；陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃(2014JM2-6096)

杜剛(1980—)，男，陜西武功人，西京學(xué)院講師，碩士，研究方向?yàn)閳D像處理、計(jì)算機(jī)應(yīng)用、信息安全與軟件，(E-mail)Dugang1980elexj@163.com。

TH166;TG659

A