邢 揚(yáng)， 史運(yùn)澤， 俞竹青

(常州大學(xué) 機(jī)械工程學(xué)院，江蘇 常州 213100)

圖像識(shí)別的機(jī)器手抓握滑移檢測(cè)系統(tǒng)開(kāi)發(fā)*

邢 揚(yáng)， 史運(yùn)澤， 俞竹青

(常州大學(xué) 機(jī)械工程學(xué)院，江蘇 常州 213100)

為實(shí)現(xiàn)機(jī)器手抓握物體時(shí)不發(fā)生脫落，首先應(yīng)檢測(cè)其與被抓握物體接觸面上的滑移信號(hào)。提出一種基于圖像識(shí)別的機(jī)器手抓握滑移檢測(cè)方法，采用中心區(qū)域匹配思想的歸一化互相關(guān)算法(NCC)匹配由視覺(jué)傳感器實(shí)時(shí)采集到的被抓握物體表面圖像，得到被抓握物體在采集圖像期間的滑移情況。實(shí)驗(yàn)結(jié)果表明：此系統(tǒng)可以準(zhǔn)確檢測(cè)被抓握物體是否發(fā)生滑移及滑移的方向和大小，具有高準(zhǔn)確度、高靈敏度等優(yōu)點(diǎn)。

圖像識(shí)別； 機(jī)器手； 滑移檢測(cè)； 歸一化互相關(guān)

0 引 言

機(jī)器手在抓取物品時(shí)，要實(shí)現(xiàn)被抓握的物體不發(fā)生脫落，首先應(yīng)該檢測(cè)機(jī)器手和被抓握物體接觸面上的滑覺(jué)信號(hào)，再將信號(hào)反饋給機(jī)器人以改變夾持控制力，通過(guò)控制夾持力來(lái)防止目標(biāo)物體的脫落，最終協(xié)助機(jī)器人完成抓取和操作任務(wù)。因此，滑移信號(hào)的檢測(cè)是機(jī)器人完成高精度抓取與操作任務(wù)的關(guān)鍵所在[1,2]。目前,常見(jiàn)的檢測(cè)機(jī)器手與抓握對(duì)象間滑移現(xiàn)象的方法有[3]：磁力式滑覺(jué)傳感器、觸針式壓電晶體滑覺(jué)傳感器、滾筒式滑覺(jué)傳感器、振動(dòng)式滑覺(jué)傳感器、基于電聲原理觸滑覺(jué)傳感器、基于新型壓阻觸滑覺(jué)傳感器、基于壓電材料聚偏二氟乙烯(polyvinylidene fluo-ride,PVDF)薄膜滑覺(jué)傳感器等，但以上的滑覺(jué)檢測(cè)方法分別存在結(jié)構(gòu)復(fù)雜，靈敏度低，成本高等缺點(diǎn)。本文嘗試提出了一種基于圖像識(shí)別的機(jī)器手抓握滑移檢測(cè)方法。

1 基于圖像識(shí)別的機(jī)器手抓握滑移檢測(cè)系統(tǒng)

基于圖像識(shí)別機(jī)器手抓握系統(tǒng)裝置如圖1所示。固定于機(jī)器人手指腔內(nèi)的高清攝像機(jī)和鏡頭實(shí)時(shí)采集被抓握物體表面的圖像，并將采集到的信號(hào)傳至控制計(jì)算機(jī)。

圖1 基于圖像識(shí)別機(jī)器手抓握滑移檢測(cè)裝置

控制計(jì)算機(jī)通過(guò)對(duì)連續(xù)采集的被抓握物體表面圖像做實(shí)時(shí)圖像匹配分析，判斷是否發(fā)生滑移及滑移的方向和大小。如圖2所示，圖(a)、(b)為視覺(jué)傳感器連續(xù)采集被抓握物體表面的兩幀圖像。將(a)圖中的特征區(qū)域S作為模板，定義其左上角為點(diǎn)P1。在(b)圖中通過(guò)圖像匹配算法可找到特征區(qū)域S，并定義特征區(qū)域S的左上角為點(diǎn)P2。對(duì)比特征區(qū)域S在兩幀圖像中P1，P2點(diǎn)的位置坐標(biāo)，若x1≠x2或y1≠y2，則被抓握物體在采集這兩幀圖像的過(guò)程中發(fā)生了滑移。

圖2 被抓握物體表面的兩幀圖像及匹配

2 圖像匹配

圖像匹配就是從包含同一景物拍攝的兩幅圖像在空間上進(jìn)行對(duì)準(zhǔn)，以確定出這兩幅圖像間相對(duì)位置的過(guò)程[4]。基于灰度信息的歸一化互相關(guān)(normalized cross-correlation,NCC)算法是圖像匹配領(lǐng)域中被認(rèn)為是最佳的相似性評(píng)判依據(jù),具有算法簡(jiǎn)單，匹配精度高，不受外部光照影響，對(duì)噪聲具有一定的魯棒性等優(yōu)點(diǎn)，且當(dāng)圖像相對(duì)縮放、旋轉(zhuǎn)和畸變差異不大時(shí)，也能夠得到滿意的匹配[5]。如圖3所示，NCC算法的主要思想為[6]：設(shè)待匹配圖像S的大小為M×N，模板圖像T的大小為m×n。Su,v表示模板T在待匹配圖像S上平移時(shí)，搜素窗口所覆蓋的子圖區(qū)域。其中，(u,v)表示子圖區(qū)域左上角頂點(diǎn)在S中的位置坐標(biāo)。計(jì)算并記錄子圖Su,v與模板圖T的NCC相關(guān)值，其中，最大值對(duì)應(yīng)的子圖位置即為最佳匹配點(diǎn)的位置。

圖3 待匹配圖像S與模板圖像T的示意圖

NCC匹配算法的公式定義為[7]

R(u,v)=

(1)

Su,v=S(u+i,v+j)

(2)

(3)

T=T(i,j)

(4)

(5)

3 基于圖像識(shí)別的抓握滑移檢測(cè)算法

由于相鄰的兩幀圖像存在相同特征區(qū)域，通過(guò)對(duì)比這些相同特征區(qū)域的位置信息可以判斷出機(jī)器手所抓握物體表面是否發(fā)生滑移和滑移的方向與大小。在檢測(cè)中，將抓取過(guò)程中采集的某一幀圖像作為第一幀圖像，連續(xù)采集到的下一幀圖像作為第二幀圖像。由于采集時(shí)間間隔較小，連續(xù)采集到的兩幀圖像相同特征區(qū)域不會(huì)有大幅度的位置變化，且圖像的主要特征體現(xiàn)在靠近中心的區(qū)域部分，因此為減少計(jì)算量，可采取中心區(qū)域匹配的思想來(lái)提高匹配準(zhǔn)確度及降低NCC算法的時(shí)間。計(jì)算步驟如下：

4)利用Matlab得到NCC系數(shù)對(duì)應(yīng)的三維圖，最大的NCC系數(shù)對(duì)應(yīng)子圖為匹配圖像，其左上角為起始點(diǎn)記為點(diǎn)P。

5)根據(jù)模板起始點(diǎn)P0和匹配圖像起始點(diǎn)P的坐標(biāo)，計(jì)算被抓握物體的滑移情況，包括滑移的方向和大小。

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)對(duì)橡膠材質(zhì)和紙質(zhì)材質(zhì)兩種物體進(jìn)行了抓握滑移檢測(cè)實(shí)驗(yàn)分析。

4.1 橡膠材質(zhì)物體的滑移檢測(cè)實(shí)驗(yàn)分析

圖4前幀圖像a和本幀圖像b為視覺(jué)傳感器連續(xù)采集到的被抓握橡膠物體表面的兩幀圖像，大小為150像素×150像素。采用上述算法，以前幀圖像a的中心50像素×50像素作為模板，則其左上角點(diǎn)坐標(biāo)為P0(50,50)，本幀圖像b的中心100像素×100像素作為待匹配圖像。模板與待匹配圖覆蓋子圖的NCC系數(shù)三維圖如圖5所示，圖中X,Y軸為模板在待匹配圖上覆蓋子圖的左上角點(diǎn)的坐標(biāo)，Z軸表示相應(yīng)坐標(biāo)對(duì)應(yīng)的NCC系數(shù)值，NCC系數(shù)的值域?yàn)閇-1,1]，相似性最大時(shí)值為1，不相關(guān)時(shí)值為0，當(dāng)兩幅圖像視覺(jué)上看內(nèi)容一樣，亮度相反，相似性為-1。NCC系數(shù)的值越接近1，模板與其在待匹配圖覆蓋的子圖的相似度越高，最大NCC系數(shù)對(duì)應(yīng)的子圖即為最佳匹配圖像。

圖4 視覺(jué)傳感器連續(xù)采集到橡膠物體表面的兩幀圖像

由圖5可以看出，最大NCC系數(shù)對(duì)應(yīng)子圖的左上角像素點(diǎn)位置坐標(biāo)為P(32,67)。對(duì)比兩起始點(diǎn)坐標(biāo)可知，該物體發(fā)生了滑移，滑移量為x=-18，y=17。由實(shí)驗(yàn)計(jì)算結(jié)果可知：被抓握的橡膠物體在此期間發(fā)生了滑移，水平方向向左滑移了18個(gè)像素點(diǎn)，垂直方向向下滑移了17個(gè)像素點(diǎn)。

圖5 橡膠表面物體歸一化互相關(guān)系數(shù)三維圖

為驗(yàn)證本實(shí)驗(yàn)的準(zhǔn)確性，利用專業(yè)圖像軟件可得上述兩幀實(shí)時(shí)圖像相同特征點(diǎn)對(duì)應(yīng)的位置坐標(biāo)，如圖6所示。由圖可知，相同特征點(diǎn)(鼠標(biāo)筆尖點(diǎn))在前幀圖像a和本幀圖像b的位置坐標(biāo)分別為(76,95),(58,112)。對(duì)比兩點(diǎn)坐標(biāo)，可得被抓握物體在此期間發(fā)生了滑移，滑移量為Δx＇=-18，Δy＇=17，與上述實(shí)驗(yàn)結(jié)果一致，證明了本方法的準(zhǔn)確性。

圖6 視覺(jué)傳感器連續(xù)采集到橡膠物體表面的兩幀圖像及相同特征點(diǎn)坐標(biāo)

4.2 紙質(zhì)材質(zhì)物體的滑移檢測(cè)實(shí)驗(yàn)分析

圖7前幀圖像a和本幀圖像b為連續(xù)采集到的被抓握紙質(zhì)物體表面的兩幀圖像，大小均為150像素×150像素。采用上述算法，則模板左上角點(diǎn)坐標(biāo)為Q0(50,50)，模板與待匹配圖覆蓋子圖的NCC系數(shù)三維圖如圖8所示。由圖8可知，最大NCC系數(shù)對(duì)應(yīng)子圖的左上角像素點(diǎn)位置坐標(biāo)為Q(39,61)。對(duì)比兩點(diǎn)坐標(biāo)可得該物體在采集這兩幀圖像期間發(fā)生了滑移，滑移量為Δx=-11,Δy=11，即水平方向向左滑移了11個(gè)像素點(diǎn)，垂直方向向下滑移了11個(gè)像素點(diǎn)。

圖7 視覺(jué)傳感器連續(xù)采集到紙質(zhì)物體表面的兩幀圖像

圖8 紙質(zhì)表面物體歸一化互相關(guān)系數(shù)三維圖

同樣，為驗(yàn)證實(shí)驗(yàn)的準(zhǔn)確性，利用專業(yè)圖像軟件可得上述兩幀圖像相同特征點(diǎn)對(duì)應(yīng)的位置坐標(biāo)如圖9所示。由圖可知,相同特征點(diǎn)在兩幀圖像的位置坐標(biāo)分別為(55,74),(44,85)。計(jì)算可得Δx＇=-11，Δy＇=11，即被抓握的紙質(zhì)物體在采集這兩幀圖像期間，水平方向向左滑移了11個(gè)像素點(diǎn)，垂直方向向下滑移了11個(gè)像素點(diǎn)，與上述實(shí)驗(yàn)結(jié)果一致，充分證明了本方法的正確性。

圖9 視覺(jué)傳感器連續(xù)采集到紙質(zhì)物體表面的兩幀圖像及相同特征點(diǎn)坐標(biāo)

5 結(jié) 論

提出了一種基于圖像識(shí)別機(jī)器手抓握滑移檢測(cè)的系統(tǒng)，采用圖像匹配領(lǐng)域中被認(rèn)為最佳相似性評(píng)判依據(jù)的歸一化互相關(guān)算法，利用中心區(qū)域匹配的思想匹配連續(xù)采集到的被抓握物體表面圖像，判斷被抓握物體是否產(chǎn)生滑移及滑移量的大小。實(shí)驗(yàn)研究分析了機(jī)器手抓握橡膠物體和紙質(zhì)物體時(shí)發(fā)生的滑移情況，并利用專業(yè)圖像處理軟件對(duì)比兩幀圖像相同特征點(diǎn)的位置坐標(biāo)得到物體實(shí)際滑移量，驗(yàn)證了算法的正確性。實(shí)驗(yàn)結(jié)果表明：此系統(tǒng)可以準(zhǔn)確檢測(cè)被抓握物體是否發(fā)生滑移及滑移的方向和大小，具有高準(zhǔn)確度、高靈敏度等優(yōu)點(diǎn)。

[1] 朱樹(shù)平．基于滑覺(jué)檢測(cè)的農(nóng)業(yè)機(jī)器人果蔬抓取研究[D]．南京:南京農(nóng)業(yè)大學(xué)，2012．[2] Cranny A，Cotton D P J，Chappell P H．Thick-film force and slip sensors for prosthetic hand[J]．Sensors and Actuators A，2005(123-124)：162-171．

[3] 向 婷，陳進(jìn)軍．基于新型壓阻觸滑覺(jué)傳感器軟抓取機(jī)械手的研究[J]．制造業(yè)自動(dòng)化，2013，35(3)：69-71．

[4] 李子印，許 斌，陳立峰．基于自適應(yīng)步長(zhǎng)選擇的NCC圖像匹配算法[J]．光電工程，2013，40(10)：77-84．

[5] Tsai Duming，Lin Chienta．Fast normalized cross correlation for defect detection [J]．Pattern Recognition Letters，2003，24：2625-2631．

[6] 孫卜郊，周東華．基于NCC的存在旋轉(zhuǎn)的圖像匹配方法[J]．傳感器與微系統(tǒng)，2008，27(5)：43-45．

[7] 胡 敏，賀曉佳，王曉華．快速區(qū)域質(zhì)心圖像匹配算法[J]．電子測(cè)量與儀器學(xué)報(bào)，2011，25(5)：455-462．

Development on robot hand grasping and slipping detecting system based on image recognition*

XING Yang, SHI Yun-ze, YU Zhu-qing

(School of Mechanical Engineering，Changzhou University，Changzhou 213100，China)

To achieve the object to be grasped by robot without shedding,the first thing to do is detecting the slipping signal between the object and the robot.A method for slipping signal detection based on image recognition is presented,use normalized cross-correlation algorithm(NCC)to match surface image of object real-time collected by the visual sensor,slipping case during collecting images of grasped object robot can be obtained by comparing these two images.Experimental results indicates that this method can accurately detect the slip signal of the object which grasping by robot and the direction and size of slipping,the method possesses advantages of high accuracy,and high sensitivity etc.

image recognition; robot hand; slipping detecting;normalized cross correlation(NCC)

10.13873/J.1000—9787(2017)04—0131—03

2016—06—21

科技部中小企業(yè)技術(shù)創(chuàng)新基金項(xiàng)目(14C26213201195)

TP 242.6

A

1000—9787(2017)04—0131—03

邢 揚(yáng)(1991-)，女，碩士研究生，研究方向?yàn)橹鲝碾S動(dòng)機(jī)器人的研究與開(kāi)發(fā)。

俞竹青(1962-)，男，通訊作者，工學(xué)博士，教授，從事機(jī)電一體化與機(jī)器人技術(shù)的研究工作，E—mail:yzhuqing@cczu.edu.cn。