袁路路，張娓娓

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽 473000)

?

遠(yuǎn)程控制采摘機(jī)器人手勢識別研究
——基于勢場蟻群算法

袁路路，張娓娓

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽 473000)

采摘機(jī)器人在作業(yè)時(shí)遇到通過自主導(dǎo)航無法越過的障礙物時(shí)，或者在危險(xiǎn)的地帶無法進(jìn)行人工采摘作業(yè)時(shí)，需要借助遠(yuǎn)程方式進(jìn)行實(shí)時(shí)控制，使其成功越過障礙物，并在高危環(huán)境中有效地展開采摘作業(yè)。為了優(yōu)化采摘機(jī)器人遠(yuǎn)程控制系統(tǒng)，提出了一種基于手勢識別的遠(yuǎn)程控制方案，并引入了勢場蟻群算法，提高了機(jī)器人的控制的準(zhǔn)確性和高效性。在遠(yuǎn)程控制方案中，將基于視覺的手勢識別與遠(yuǎn)程控制機(jī)械手相結(jié)合，通過深度相機(jī)采集手勢圖像并提取手勢特征，轉(zhuǎn)換為機(jī)械手舵機(jī)的控制命令，并通過無線網(wǎng)絡(luò)發(fā)送至采摘機(jī)器人控制單元，實(shí)現(xiàn)視覺手勢對機(jī)器人的遠(yuǎn)程控制。對采摘機(jī)器人進(jìn)行了測試，通過測試發(fā)現(xiàn)：基于蟻群算法的手勢識別系統(tǒng)可以有效地追蹤得到不同的動(dòng)態(tài)手勢，且可以準(zhǔn)確地識別手勢所代表的意義，成功實(shí)現(xiàn)了機(jī)器人遠(yuǎn)程控制的手勢識別。該方法不僅可以遠(yuǎn)程實(shí)現(xiàn)機(jī)器人避障功能，還可以將其應(yīng)用在山谷、沼澤等危險(xiǎn)地帶進(jìn)行采摘作業(yè)，實(shí)現(xiàn)其非凡的使用價(jià)值。

采摘機(jī)器人；人工勢場；蟻群算法；手勢識別；遠(yuǎn)程控制

0 引言

遠(yuǎn)程控制機(jī)械手臂可代替人工在極限環(huán)境下進(jìn)行作業(yè)，對提高作業(yè)效率和保障人身安全均有重要的意義。傳統(tǒng)的遠(yuǎn)程控制機(jī)器人需要利用布線的方式，實(shí)現(xiàn)其遠(yuǎn)程控制，由于采摘環(huán)境的限制，不允許大范圍布線，使傳統(tǒng)的遠(yuǎn)程控制在采摘機(jī)器人上的應(yīng)用受到了限制。而基于視覺手勢識別的機(jī)器人，采用計(jì)算機(jī)、攝像頭和通信設(shè)備，便可以完成手勢信號的采集、識別和機(jī)器人的路徑跟蹤任務(wù)，其成本低、系統(tǒng)簡單、操作性較好。手勢包含了豐富的信息，是一種非常直觀的人機(jī)交互手段，利用相機(jī)和圖像分析可以識別命令信息，還原操作意圖，是完成人機(jī)交互的一種非常好的方法，對采摘機(jī)器人遠(yuǎn)程控制的設(shè)計(jì)具有重要的意義。

1 采摘機(jī)器人手勢識別遠(yuǎn)程控制方案

1981年，美國航天飛機(jī)將一套加拿大斯巴宇航公司研制的六自由度機(jī)械臂系統(tǒng)送入空間站，宇航員可以通過遠(yuǎn)程控制實(shí)現(xiàn)機(jī)械手的抓取和搬運(yùn)動(dòng)作，成為機(jī)械手遠(yuǎn)程操作系統(tǒng)的典范；后來對其進(jìn)行了改進(jìn)，使其具有了15個(gè)自由度，是迄今為止最為復(fù)雜的太空機(jī)械手臂，可以完成各種復(fù)雜的操作，其結(jié)構(gòu)如圖1所示。

圖1 加拿大第2臂遠(yuǎn)程控制機(jī)械手

為了保證采摘機(jī)器人遠(yuǎn)程控制系統(tǒng)的穩(wěn)定運(yùn)行，系統(tǒng)的設(shè)計(jì)需要滿足以下幾個(gè)要求：

1)算法的效率較高。利用相關(guān)算法對圖像處理算法進(jìn)行改進(jìn)，從而縮短機(jī)器人識別系統(tǒng)對每一幀圖像的處理時(shí)間，實(shí)現(xiàn)機(jī)器人遠(yuǎn)程操作、操控的實(shí)時(shí)性。

2)識別準(zhǔn)確率高。采用相關(guān)算法提高機(jī)器人手勢識別的準(zhǔn)確率，如果識別準(zhǔn)確率不達(dá)標(biāo)，會(huì)造成機(jī)器人的錯(cuò)誤操作，這就需要相關(guān)算法可在惡劣環(huán)境中正確識別有效手勢。

3)通信穩(wěn)定。穩(wěn)定的通信環(huán)境可以保證數(shù)據(jù)的有效傳輸，使用最少的指令，完成控制命令。

基于以上設(shè)計(jì)要求，機(jī)器人的手勢識別和遠(yuǎn)程控制流程設(shè)計(jì)如圖3所示。

圖2 采摘機(jī)器人遠(yuǎn)程控制總體設(shè)計(jì)方案

圖3 機(jī)器人手勢識別遠(yuǎn)程控制流程

首先，利用深度相機(jī)對手勢圖像進(jìn)行實(shí)時(shí)采集，然后通過蟻群算法對路徑進(jìn)行規(guī)劃，完成機(jī)器人的動(dòng)作控制。為了提高動(dòng)作控制和路徑的優(yōu)化，采用人工勢場對蟻群算法進(jìn)行改進(jìn)，提高了采摘機(jī)器人遠(yuǎn)程控制的準(zhǔn)確性和高效性。

2 基于勢場蟻群算法手勢識別和路徑?jīng)Q策

對于采摘機(jī)器人的動(dòng)作規(guī)劃，可以采用柵格法。柵格法簡單、便于實(shí)現(xiàn)，執(zhí)行效果較好。根據(jù)采摘機(jī)器人的尺寸和體積，在二維環(huán)境內(nèi)對其移動(dòng)距離進(jìn)行規(guī)劃，而規(guī)劃的依據(jù)是手勢識別。手勢識別的3D模型如圖4所示。

新教師需求為工科新教師培訓(xùn)目標(biāo)之基石。學(xué)校培訓(xùn)總目標(biāo)與學(xué)校培訓(xùn)分目標(biāo)均以新教師需求為出發(fā)點(diǎn)，結(jié)合學(xué)校與國家之要求，高于新教師之需求，成為新教師參加培訓(xùn)的指揮棒、力量發(fā)動(dòng)機(jī)、效率生發(fā)器。

將3D模型進(jìn)行有限元?jiǎng)澐?，可以劃分出多種手勢動(dòng)作，控制機(jī)器人的各種移動(dòng)。利用柵格法，在進(jìn)行手勢識別后，機(jī)器人需要重新規(guī)劃路徑，其移動(dòng)方向?yàn)?個(gè)，將二維環(huán)境劃分為0和1二值化信息圖，柵格序號Q和坐標(biāo)(x,y)的關(guān)系為

(1)

圖4 手勢3D識別模型

為了提高采摘機(jī)器人的移動(dòng)效率，使用蟻群算法對移動(dòng)路徑進(jìn)行控制。利用柵格法，第k只螞蟻在t時(shí)刻由節(jié)點(diǎn)Pt+1(x,y)=u移動(dòng)到下一節(jié)點(diǎn)Pt+1(x,y)= ν的概率規(guī)則為

(2)

其中，Tuv(t)表示節(jié)點(diǎn)ν信息素濃度；α表示濃度的因子；β表示啟發(fā)因子；allowedk(t)表示采摘機(jī)器人下一步的選擇節(jié)點(diǎn)；ηuv(t)表示距離函數(shù)，其表達(dá)式為

ηuv(t)=1/duv

(3)

螞蟻在進(jìn)行一次循環(huán)后，利用信息濃度對路徑進(jìn)行更新，則有

Tuv(t+ζ)=(1-ρ)Tuv(t)+ΔTuv

(4)

(5)

(6)

其中，ρ(0<ρ<1)表示信息濃度所具有的揮發(fā)性；ΔTuv表示信息濃度在本次循環(huán)中的增量；Lk表示采摘機(jī)器人控制路徑的長度。定義人工勢場的引力函數(shù)為Uatt(x)，其表達(dá)式為

(7)

其中，Katt表示人工勢場系數(shù)；XB和X分別表示機(jī)器人的目標(biāo)和所處的位置，其表達(dá)式為

(X,XE)=‖X-XE‖

(8)

遠(yuǎn)程控制通過手勢識別，其目標(biāo)識別的引力為場函數(shù)的負(fù)梯度，其表達(dá)式為

(9)

其中，ng表示目標(biāo)位置和當(dāng)前位置指向矢量。為了提高手勢識別的準(zhǔn)確率，引入了斥力場函數(shù)Ump(X)，從而保證了目標(biāo)點(diǎn)為全局最小，其表達(dá)式為

Ump(X)=

(10)

其中，Kmp表示斥力場系數(shù)；X0表示目標(biāo)手勢；X表示機(jī)器人當(dāng)前位置；λ表示手勢的影響范圍。移動(dòng)機(jī)器人所受到的斥力范圍為

(11)

(12)

(13)

其中，n0表示采摘機(jī)器人和障礙物的指向單位矢量；ng表示機(jī)器人和目標(biāo)的指向單位矢量；分力Frep1表示斥力作用；Frep2表示引力作用。于是，采摘機(jī)器受到的場合力F為

F=Frep1+Frep2

(14)

在場合力的作用下，通過手勢圖像識別，利用無線通信設(shè)備可實(shí)現(xiàn)采摘機(jī)器人的遠(yuǎn)程控制功能。

3 采摘機(jī)器人手勢識別遠(yuǎn)程控制測試

為了驗(yàn)證本次設(shè)計(jì)的勢場蟻群算法的可行性，在普通采摘機(jī)器人上安裝了手勢識別的遠(yuǎn)程控制系統(tǒng)，通過硬件編程的方式對算法進(jìn)行了測試。在測試設(shè)備中，機(jī)器人識別系統(tǒng)需要采用深度相機(jī)，為了節(jié)約實(shí)驗(yàn)成本，采用微軟推出的游戲機(jī)XBOX的外部設(shè)備Kinect，實(shí)現(xiàn)了圖像的連續(xù)抓拍和識別。采摘機(jī)器人的作用測試過程如圖5所示。本次測試使用的遠(yuǎn)程控制采摘機(jī)器人，在識別系統(tǒng)中使用了Kinect相機(jī)，該相機(jī)采用光編碼技術(shù)，與傳統(tǒng)的光測量技術(shù)不同，采用連續(xù)照明而不是脈沖照明；其芯片不許特殊制造，采用普通的CMOS感光芯片即可，成本低，而功能強(qiáng)大。

圖5 手勢識別遠(yuǎn)程控制測試使用機(jī)器人

為了測試手勢識別功能，首先定義了動(dòng)態(tài)手勢，手勢命令描述和意義如表1所示。

表1 動(dòng)態(tài)手勢定義表

不同的手勢代表了不同的機(jī)器人控制命令，令機(jī)器人進(jìn)行不同的操作，實(shí)現(xiàn)了人和機(jī)器人的交互性功能。手勢識別過程如圖6所示。

圖6 向右命令手勢示意圖

由圖6可以看出：基于蟻群算法的手勢識別系統(tǒng)可以有效地追蹤得到不同的動(dòng)態(tài)手勢，而且可以準(zhǔn)確地識別手勢所代表的意義。通過測試得到的手勢識別結(jié)果如表2所示。

表2 手勢識別實(shí)驗(yàn)結(jié)果表

由表2可以看出：本次設(shè)計(jì)的蟻群算法手勢識別系統(tǒng)的識別率較高，穩(wěn)定性較好，具有很強(qiáng)的實(shí)時(shí)性。為了驗(yàn)證人工勢場對蟻群算法的作用，對比了常規(guī)蟻群算法和人工勢場蟻群算法的結(jié)果，如圖7所示。

圖7 迷失螞蟻數(shù)量對比結(jié)果

由結(jié)果對比可以看出：使用人工勢場可有效降低迷失螞蟻的數(shù)量，并提高算法的準(zhǔn)確性。圖8表示通過計(jì)算得到的路徑長度控制結(jié)果。

圖8 路徑長度控制對比結(jié)果

通過對比常規(guī)蟻群算法和人工勢場蟻群算法的結(jié)果發(fā)現(xiàn)，使用人工勢場可以有效地縮短控制路徑的長度，提高了算法的效率。

4 結(jié)論

依據(jù)人工勢場和蟻群算法，采用Kinect深度相機(jī)，結(jié)合手勢識別方法，設(shè)計(jì)了一種新的采摘機(jī)器人遠(yuǎn)程手勢控制系統(tǒng)，實(shí)現(xiàn)了采摘機(jī)器人的遠(yuǎn)程人機(jī)交互功能，提高了采摘機(jī)器人對惡劣環(huán)境的適應(yīng)性。

通過Kinect深度相機(jī)采集了手勢圖像并提取了手勢特征，并將其轉(zhuǎn)換成了機(jī)械手舵機(jī)的控制命令，通過無線網(wǎng)絡(luò)發(fā)送至采摘機(jī)器人控制單元，實(shí)現(xiàn)了視覺手勢對機(jī)器人的遠(yuǎn)程控制。

通過對基于蟻群算法的手勢識別系統(tǒng)進(jìn)行測試后發(fā)現(xiàn)：該系統(tǒng)可以有效追蹤得到不同的動(dòng)態(tài)手勢，手勢命令的識別率較高；并且使用人工勢場可以有效地改進(jìn)蟻群算法，提高了算法的準(zhǔn)確性，有效地縮短控制路徑的長度，提高了算法的效率。

[1] 杜釗君,吳懷宇.基于激光測距與雙目視覺信息融合的移動(dòng)機(jī)器人SLAM 研究[J].計(jì)算機(jī)測量與控制, 2013, 21(1):180-183.

[2] 杜釗君,吳懷宇,韓濤，等.基于遺傳算法的移動(dòng)機(jī)械臂軌跡優(yōu)化研究[J].機(jī)械設(shè)計(jì)與制造,2013(5):133- 136.

[3] 關(guān)然,徐向民,羅雅愉，等.基于計(jì)算機(jī)視覺的手勢檢測識別技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1): 155-159, 164.

[4] 梁秀波, 張順,李啟雷，等.運(yùn)動(dòng)傳感驅(qū)動(dòng)的 3D 直觀手勢交互[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(3): 521-526, 533.

[5] 包加桐,宋愛國,郭晏，等.基于 SURF 特征跟蹤的動(dòng)態(tài)手勢識別算法[J].機(jī)器人,2011,33(4): 482-489.

[7] 于美娟,馬希榮.基于 HMM方法的動(dòng)態(tài)手勢識別技術(shù)的改進(jìn)[J].計(jì)算機(jī)科學(xué), 2011,38(1): 251-252.

[8] 李忠海,王莉,崔建國，等.基于Camshift 和Particle Filter 的小目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與應(yīng)用, 2011, 47(9): 192-195, 199.

[9] 王洪光,姜勇,房立金, 等.雙足爬壁機(jī)器人壁面凹過渡步態(tài)規(guī)劃研究[J].智能系統(tǒng)學(xué)報(bào),2007(4):40-45.

[10] 薛勝雄,任啟樂,陳正文,等.磁隙式爬壁機(jī)器人的研制[J]. 機(jī)械工程學(xué)報(bào), 2011,47(21): 37-42.

[11] 李志海,付宜利,王樹國.四輪驅(qū)動(dòng)滑動(dòng)吸盤爬壁機(jī)器人的動(dòng)力學(xué)研究[J].機(jī)器人,2010, 32 (5): 601-607.

[12] 鐘灶生,薛方正,敬成林.分布式電源在仿人機(jī)器人控制系統(tǒng)中的應(yīng)用[J].傳感器與微系統(tǒng),2011,30(2): 139-143.

[13] 李文生,解梅,鄧春健，等. 基于多點(diǎn)手勢識別的人機(jī)交互技術(shù)框架[J].計(jì)算機(jī)工程與設(shè)計(jì),2011,32(6): 2129-2133.

[14] 張毅,張爍,羅元，等.基于Kinect深度圖像信息的手勢軌跡識別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2012,29(9): 3547-3550.

[15] 馮秀軍,楊立東.2BDY-8型2壟密型高速氣吹式精密播種機(jī)簡析[J].農(nóng)業(yè)機(jī)械,2007(8):85-86.

[16] 孟慶山.水源熱泵機(jī)組變流量水系統(tǒng)節(jié)能優(yōu)化探討[J].制冷與空調(diào),2010,10(1):84-89.

[17] 荊雷,馬文君,常丹華，等.基于動(dòng)態(tài)時(shí)間規(guī)整的手勢加速度信號識別[J].傳感技術(shù)學(xué)報(bào),2012,25(1):72-76.

[18] 王東,趙宇,王秀紅.一種改進(jìn)的DFT迭代的MIMO-OFDM系統(tǒng)信道估計(jì)算法[J].應(yīng)用科技，2009(3):19-22.

[19] 徐忠燕,簡毅,任海洋.基于P87LPC768的小功率直流電動(dòng)機(jī)調(diào)速系統(tǒng)[J].機(jī)械與電子,2009(7):46-47.

[20] 趙慶波,趙德安,姬偉, 等.采摘機(jī)器人視覺伺服控制系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2009, 40( 1): 152-156.

[21] 于美娟,馬希榮.基于 HMM 方法的動(dòng)態(tài)手勢識別技術(shù)的改進(jìn)[J].計(jì)算機(jī)科學(xué), 2011,38(1): 251-252.

[22] 吳忠強(qiáng),張曉霞,舒杰.柔性機(jī)器人基于自適應(yīng)模糊動(dòng)態(tài)面的實(shí)用穩(wěn)定控制[J].中國機(jī)械工程,2012,23(19): 2297-2301.

[23] 過希文,王群京,李國麗.基于動(dòng)態(tài)面的機(jī)械臂軌跡跟蹤神經(jīng)網(wǎng)絡(luò)自適應(yīng)算法[J].系統(tǒng)仿真學(xué)報(bào),2011,23(11):2327-2332.

[24] 李曉剛,劉晉浩.基于反演設(shè)計(jì)的碼垛機(jī)器人神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制[J].包裝工程,2012,33(1):80-85.

Research on Hand Gesture Recognition of Remote Control Picking Robot Based on Potential Field and Ant Colony Algorithm

Yuan Lulu, Zhang Weiwei

(Henan Polytechnic Institute, Nanyang 473000, China)

When the robot is unable to cross the obstacle in the operation, or when the dangerous area can not be manually picked up, it needs to use the remote method for real-time control, so that it can successfully cross the obstacles, and in the high risk environment to carry out the picking operation effectively. In order to optimize the robot remote control system, a remote control scheme based on gesture recognition is proposed, and the potential field ant colony algorithm is introduced to improve the accuracy and efficiency of the robot. In the remote control scheme, the gesture recognition combined with remote control robot arm based on the depth camera gesture image and extract the gesture features into manipulator servo control commands, and through the wireless network to the picking robot control unit, to realize the remote control of the robot visual gestures. Finally, the robot is tested. The recognition system based on ant colony algorithm can effectively track the different dynamic gestures, and can accurately identify the meaning of gestures. This method can not only realize the function of obstacle avoidance, but also can be used in the area of the valley, the swamp and so on.

picking robot; artificial potential field; ant colony algorithm; hand gesture recognition; remote control

2016-03-10

河南省自然科學(xué)基金項(xiàng)目(2015ZCB115)；南陽市科技攻關(guān)項(xiàng)目(2012GG029)

袁路路(1982-)，女，河南南陽人，講師，碩士。

張娓娓(1985-)，女，河南南陽人，助教，碩士，(E-mail)wwandll80@qq.com。

S225；TP391.41

A

1003-188X(2017)05-0236-05