張 千，高國琴

并聯(lián)機器人串類水果抓取模型及抓取位姿計算

張 千，高國琴※

（江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013）

針對隨機放置串類水果圖像中主果梗和非主果梗間特征區(qū)別不明顯、平面輪廓法獲取的機器人抓取位姿信息較少的問題，該文構(gòu)建了并聯(lián)機器人串類水果三維抓取模型，并提出一種基于主果梗骨架和三維抓取模型的4-R(2-SS)并聯(lián)機器人隨機放置串類水果抓取位姿計算方法，以獲取較高精度、包含較多信息的抓取位姿，進(jìn)一步提高機器人對串類水果的抓取成功率。采用果粒和果梗區(qū)域的輪廓間距構(gòu)建用于提取串類水果果梗輪廓的形態(tài)學(xué)圖像分割法，并基于多維特征向量和高斯混合模型聚類算法提取主果梗；根據(jù)主果梗三維位姿和機器人夾持機構(gòu)特征構(gòu)建4種基于主果梗骨架的隨機放置串類水果三維抓取模型，獲取夾持機構(gòu)的空間位置、繞軸的旋轉(zhuǎn)角度以及手指開口寬度的抓取位姿信息。將提出的抓取位姿計算方法應(yīng)用于課題組研制的4-R(2-SS)并聯(lián)機器人串類水果機器視覺自動分揀系統(tǒng)進(jìn)行試驗驗證。試驗結(jié)果表明，相對于基于平面輪廓的抓取位姿獲取方法，基于該文方法的有分支主果梗和無分支主果梗串類水果的抓取成功率分別提高14和12個百分點，平均抓取成功率提高13個百分點。該文提出的抓取位姿計算方法可有效提高4-R(2-SS)并聯(lián)機器人機器視覺系統(tǒng)對隨機放置串類水果抓取位姿的獲取精度，有助于進(jìn)一步實現(xiàn)串類水果的準(zhǔn)確快速自動分揀。

機器人；機器視覺；水果；抓取模型；抓取位姿

0 引 言

利用機器人技術(shù)實現(xiàn)水果的自動分揀對農(nóng)業(yè)生產(chǎn)和農(nóng)產(chǎn)品加工的自動化、規(guī)模化、精確化發(fā)展具有重要意義[1]。在水果自動分揀過程中，高精度高效率的抓取位姿獲取是機器人實現(xiàn)準(zhǔn)確、快速、無損抓取控制的前提條件[2]。目前，機器人的抓取位姿檢測方法主要有紅外傳感器法[3]、光譜分析法[4]、機器視覺法[5]等。其中機器視覺由于具有非接觸、強適用性、高性價比等優(yōu)點，適合用于解決機器人自動分揀水果的抓取位姿獲取問題[6]。與蘋果、梨、菠蘿等獨立水果相比[7]，葡萄、桂圓、荔枝等串類水果由于其果串形態(tài)多樣、主果梗無形狀和位置約束，其抓取位姿的獲取仍是難點[8]。同時，基于精度高、速度快并聯(lián)機器人的串類水果自動分揀對抓取位姿獲取的準(zhǔn)確性和快速性提出了更高的要求[9]。

在基于機器視覺和機器人的抓取位姿獲取研究中，現(xiàn)有方法可分為固定對象抓取、多類對象抓取以及未知對象抓取3類。固定對象抓取主要針對抓取對象的固有特征獲取其抓取位姿或位置。如對橙子、草莓等具有固定形態(tài)的獨立水果，基于輪廓分析和幾何模型計算水果質(zhì)心、慣性主軸、曲率等參數(shù)，實現(xiàn)對象抓取位置的獲取[10-11]。針對自然懸掛生長狀態(tài)的串類水果，現(xiàn)有方法主要根據(jù)主果梗位于果串上方、外形近似直線、無分支等特征約束，采用邊緣檢測和直線檢測方法對主果梗進(jìn)行檢測，得到準(zhǔn)確的抓取點或采摘點[12-13]。多類對象抓取主要基于圖像匹配方法實現(xiàn)對象的檢測和定位。如通過改進(jìn)圖像匹配方法提高目標(biāo)旋轉(zhuǎn)或平移位姿的檢測精度[14]。未知對象抓取主要基于深度學(xué)習(xí)和強化學(xué)習(xí)對多種已知對象的抓取策略進(jìn)行學(xué)習(xí)和訓(xùn)練，實現(xiàn)對未知對象抓取位姿的檢測[15]。隨機放置串類水果由于主果梗無形狀和位置約束，難以計算主果梗輪廓幾何參數(shù)，且平面輪廓法獲取的機器人抓取位姿缺少軸坐標(biāo)、抓取角度以及手指開口寬度等信息，使得現(xiàn)有固定對象抓取的位姿或位置獲取方法并不適用。同時，果串形態(tài)的多樣性給精確構(gòu)建串類水果的三維匹配模型帶來了困難，基于圖像模板匹配的現(xiàn)有多類對象抓取方法難以獲取高精度的隨機放置串類水果抓取位姿。未知對象抓取需要在大型數(shù)據(jù)集中長時間、大規(guī)模地訓(xùn)練模型，成本較高，耗時較長，仿真環(huán)境與真實環(huán)境之間的差異也易造成訓(xùn)練模型的不準(zhǔn)確。

在串類水果抓取位姿獲取中，可用于果梗輪廓提取的方法主要有閾值分割法、輪廓分割法、模糊均值聚類法、形態(tài)學(xué)法等[16-18]，其中形態(tài)學(xué)法由于其簡單高效，得到了廣泛的使用?，F(xiàn)有的形態(tài)學(xué)方法需要根據(jù)試驗或經(jīng)驗預(yù)先設(shè)定圖像卷積核大小，基于圖像卷積消除非目標(biāo)區(qū)域[19]。但由于串類水果放置的隨機性，圖像中果梗、果粒、果蒂以及其他背景的輪廓間距隨機，難以找到一個最佳固定卷積核。主果梗區(qū)域提取的方法主要有區(qū)域選擇和區(qū)域分類，其中區(qū)域選擇法基于特征構(gòu)建閾值，并用于篩選目標(biāo)，該方法簡單有效但精度和魯棒性并不高[20-21]。區(qū)域分類法主要基于區(qū)域特征和圖像像素，其中基于圖像像素的區(qū)域分類法雖然將像素作為分類的輸入可以保留較多的圖像信息，但也伴隨著圖像信息的冗余[22]?；谔卣鞯膮^(qū)域分類法具有速度快、精度高、適應(yīng)性強等優(yōu)勢[23]，但由于串類水果放置的隨機性，果梗區(qū)域中的主果梗和非主果梗的輪廓特征區(qū)別不明顯，難以直接計算區(qū)別特征并進(jìn)一步實現(xiàn)主果梗骨架的準(zhǔn)確提取和擬合。

基于此，本文針對4-R(2-SS)并聯(lián)機器人機器視覺系統(tǒng)，通過擬合串類水果主果梗骨架和構(gòu)建三維抓取模型，提出一種并聯(lián)機器人隨機放置串類水果抓取位姿計算方法。采用果粒和果梗區(qū)域的輪廓間距構(gòu)建提取串類水果果梗輪廓的形態(tài)學(xué)圖像分割法，基于多維特征向量和高斯混合模型（gaussian mixture model, GMM）聚類算法提取主果梗區(qū)域，以解決果串形態(tài)多樣、圖像中主果梗和非主果梗區(qū)域間特征區(qū)別不明顯導(dǎo)致的主果梗骨架難以準(zhǔn)確提取和擬合的問題。根據(jù)主果梗三維位姿和機器人夾持機構(gòu)特征構(gòu)建4種基于主果梗骨架的隨機放置串類水果三維抓取模型，無需計算主果梗的輪廓參數(shù)，解決平面輪廓法獲取的機器人抓取位姿缺少軸坐標(biāo)、抓取角度以及手指開口寬度等信息的問題?；谥鞴９羌芎腿S抓取模型解算不同抓取條件下夾持機構(gòu)的空間位置、繞軸的旋轉(zhuǎn)角度以及手指開口寬度的抓取位姿信息，并基于坐標(biāo)變換鏈的封閉性計算夾持機構(gòu)在世界坐標(biāo)系下從當(dāng)前位姿轉(zhuǎn)換為抓取位姿的轉(zhuǎn)換矩陣，實現(xiàn)串類水果的自動抓取。

1 4-R(2-SS)并聯(lián)機器人串類水果機器視覺自動分揀系統(tǒng)

課題組研制的4-R(2-SS)并聯(lián)機器人串類水果機器視覺自動分揀系統(tǒng)如圖1所示，機器人主體包括由4個運動學(xué)結(jié)構(gòu)相同的R(2-SS)支鏈構(gòu)成的并聯(lián)機構(gòu)和夾持機構(gòu)，可實現(xiàn)空間三維平動和繞軸的一維轉(zhuǎn)動。根據(jù)串類水果分揀需求，采用Eye-to-Hand系統(tǒng)，將相機安裝在機器人外部，不隨夾持機構(gòu)運動。為獲取隨機放置串類水果的三維坐標(biāo)信息，采用基于TOF（time of flight）的Kinect立體相機獲取圖像，其中Kinect相機由彩色相機和紅外相機組成。抓取時，夾持機構(gòu)電機驅(qū)動滑動絲杠，帶動手指相對運動，進(jìn)而夾緊串類水果果梗，將水果送到接果位置后，電機反轉(zhuǎn)帶動手指張開，水果落入接果裝置，完成自動分揀。

1. 連接塊2. 滑動絲杠3. 滑塊4. 驅(qū)動電機5. 壓力傳感器6. 底部連板7. 左手指8. 右手指9. 從動桿10. 滑座11. 彈簧12. 并聯(lián)機構(gòu)13. 標(biāo)定板14. 夾持機構(gòu)15. Kinect相機16. 水果串

1. Connecting block 2. Sliding screw 3. Slider 4. Driving motor 5. Pressure sensor 6. Bottom connecting plate 7. Left finger 8. Right finger 9. Driven rod 10. Sliding base 11. Spring 12. Parallel mechanism 13. Calibration plate 14. Clamping mechanism 15. Kinect camera 16. Fruit cluster

注：O-XYZ為機器人基礎(chǔ)坐標(biāo)系，也是世界坐標(biāo)系，原點O位于并聯(lián)機構(gòu)上部的中心，XY平面平行于水平面；O-XYZ為標(biāo)定板坐標(biāo)系，O位于標(biāo)定板中心；O-XYZ為夾持機構(gòu)坐標(biāo)系，原點O位于左右手指間的中心，Y軸垂直于手指內(nèi)側(cè)面，X軸平行于手指內(nèi)側(cè)面；Z和Z共線，XY平面和XY平面均與水平面平行；O-XYZ為抓取對象坐標(biāo)系，基于抓取位姿進(jìn)行建立；O-XYZ為Kinect相機中的紅外相機坐標(biāo)系，也是Kinect相機的基礎(chǔ)坐標(biāo)系；O-XYZ為Kinect相機中的彩色相機坐標(biāo)系，O和O為對應(yīng)相機的中心，Z和Z與對應(yīng)的相機光軸重合。

Note:O-XYZis the basic coordinate system of robot and the world coordinate system. OriginOis located in the center of upper part of parallel mechanism.XYplane is parallel to the horizontal plane.O-XYZis the calibration plate coordinate system. OriginOis located in the center of calibration plate.O-XYZis the clamping mechanism coordinate system. OriginOis located in the center between left and right fingers.Yis perpendicular to the inner side of finger andXis parallel to the inner side of finger.ZandZare collinear.XYplane andXYplane are parallel to the horizontal plane.O-XYZis grasping object coordinate system and is established based on grasping pose.O-XYZis infrared camera coordinate system of Kinect camera and the basic coordinate system of Kinect camera.O-XYZis color camera coordinate system of Kinect camera.OandOare the centers of infrared camera and color camera respectively.Zand the optical axis of infrared camera are collinear.Zand the optical axis of color camera are collinear.

圖1 4-R(2-SS)并聯(lián)機器人串類水果機器視覺自動分揀系統(tǒng)

Fig.1 Machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot

2 4-R(2-SS)并聯(lián)機器人串類水果抓取模型與解算

并聯(lián)機器人的抓取姿態(tài)即為夾持機構(gòu)抓取串類水果時在O-XYZ下的位姿。因此，相對于二維抓取位姿(,)，三維抓取位姿可以表示為O-XYZ與O-XYZ之間的轉(zhuǎn)換參數(shù)(,,,,,)。由于4-R(2-SS)并聯(lián)機器人的自由度限制，夾持機構(gòu)的抓取姿態(tài)包括O在O-XYZ下的空間位置(,,)和繞軸的旋轉(zhuǎn)角度，不包括繞軸和軸的旋轉(zhuǎn)角度和。同時，為提高抓取成功率，減少抓取時手指運動時間，本文將手指開口寬度也作為抓取位姿信息。因此本文以夾持機構(gòu)抓取位姿參數(shù)(,,,,)對基于機器視覺的4-R(2-SS)并聯(lián)機器人串類水果抓取進(jìn)行建模，其中旋轉(zhuǎn)方向以逆時針旋轉(zhuǎn)為正。

根據(jù)主果梗類型，將串類水果分為有分支主果梗和無分支主果梗2類。有分支主果梗骨架可以簡化為人字形線段、和，無分支主果梗骨架可以簡化為直線段。對于有分支主果梗，抓取時可分別基于2種主果梗元素：一種為線段，一種為2個相交線段和。對于無分支主果梗，抓取時僅采用。同時，由于主果梗長度不等，為使抓取時主果梗盡可能靠近夾持機構(gòu)的手指中心O，不同的主果梗元素對應(yīng)不同的三維抓取模型。本文根據(jù)主果梗元素特征，將三維抓取模型分為4類：A-AB三維抓取模型，B-AB三維抓取模型，B-CBD三維抓取模型和E-CBD三維抓取模型。

2.1 A-AB三維抓取模型

注：h、l和g分別為手指的高、長和寬，mm；A點為主果梗上遠(yuǎn)離水果串的端點；無分支主果梗上的B點為r5與r2的交點；r2為線段AB所在的直線；r5為果串輪廓最外點的切線，無分支主果梗上的r5垂直于r2；F點為AB與靠近水果串一側(cè)手指邊緣的交點；r2￠為直線r2在XwYw平面內(nèi)的投影直線；A￠、B￠、F￠和Og￠分別為點A、B、F和Og在XwYw平面內(nèi)的投影點；k為手指的內(nèi)平面；zd為檢測平面與XwYw平面的距離，mm。

式中1和1為2的空間直線方程參數(shù)。抓取時，交點=(x,y,z)應(yīng)滿足：點位于主果梗直線2上；點在XY平面上的投影點￠在直線2￠上，且|￠￠|=。為使抓取時2盡可能位于平面的中部，保持抓取穩(wěn)定性，夾持機構(gòu)中心點g需位于的垂直分量上。同時，為使夾持機構(gòu)抓取時不接觸檢測平面，避免夾持機構(gòu)底部與檢測平面的摩擦，抓取時夾持機構(gòu)底部與檢測平面最小距離為dmin，則抓取位姿參數(shù)由式（3）計算：

式中￠=(z+z)/2。抓取時，由于主果梗為單線段模型，抓取位姿參數(shù)由式（4）計算：

=dmax+dmin（4）

式中dmin為抓取時夾持機構(gòu)內(nèi)邊緣與抓取對象間的最小要求距離，mm；dmax為主果梗最大直徑，mm。由式（1）～（4）即可解算A-AB三維抓取模型的夾持機構(gòu)抓取位姿參數(shù)(,,,,)。

2.2 B-AB三維抓取模型

2.3　B-CBD三維抓取模型

注：有分支主果梗上的B點為第一個果梗分支的交點；C點和D點分別為r5與主果梗分支直線的交點；E點為r5與r1的交點；有分支主果梗上的r5垂直于r1；r1為平面m內(nèi)DDBC的角平分線；m為線段和所在的平面；r1￠為直線r1在XwYw平面內(nèi)的投影直線；點G和H分別為CB和DB與平面n的交點；n為靠近水果串的手指平面；G￠和H￠分別為點G和H在XwYw平面內(nèi)的投影點；dG和dH分別為G￠和H￠到直線r1￠的距離，mm；r3和r4分別為CB和DB所在的直線。

抓取時端點處于夾持機構(gòu)邊緣，主果梗直線1位于平面上，因此，O在XY平面上的投影點O￠位于投影直線1￠上，且|O￠￠|=/2，抓取位姿參數(shù)(,)由式（7）計算。

=d+d+dmin（8）

由式（3）和式（6）～（8）即可求得B-CBD三維抓取模型的夾持機構(gòu)抓取位姿參數(shù)(,,,,)。

2.4 E-CBD三維抓取模型

抓取時端點處于夾持機構(gòu)邊緣，主果梗直線1位于平面，O￠位于投影直線1￠上，且|O￠￠|=/2，抓取位姿參數(shù)（,）可由式（10）計算。

3 基于主果梗骨架和三維抓取模型的隨機放置串類水果抓取位姿計算

本文基于主果梗骨架和三維抓取模型的隨機放置串類水果抓取位姿計算流程如圖4所示。在彩色圖像的色調(diào)通道（hue,）中采用形態(tài)學(xué)提取果梗輪廓，基于多特征和GMM提取隨機放置串類水果的主果梗骨架，根據(jù)4-R(2-SS)并聯(lián)機器人串類水果抓取模型計算抓取位姿。

注：x為隨機變量；Aj為區(qū)域集合；p為概率密度；W為參數(shù)集合；fi為權(quán)重系數(shù)；n為參數(shù)數(shù)量；s為標(biāo)準(zhǔn)差；m為均值；A1為主果梗區(qū)域集；A2為非主果梗區(qū)域集。

3.1 圖像采集與配準(zhǔn)

為獲取隨機放置串類水果的主果梗三維坐標(biāo)，采用由彩色相機和紅外相機組成的Kinect立體相機獲取圖像。為實現(xiàn)獲取的彩色圖像和深度圖像的配準(zhǔn)，采用張正友相機標(biāo)定法對深度相機和彩色相機進(jìn)行標(biāo)定。紅外相機標(biāo)定時將Kinect上的紅外投射器遮擋住，采用額外的紅外光源照射標(biāo)定板獲取圖像。標(biāo)定之后，基于標(biāo)定參數(shù)和圖像匹配點計算圖像轉(zhuǎn)換關(guān)系，并基于轉(zhuǎn)換關(guān)系對彩色圖像進(jìn)行映射，得到與深度圖像匹配的配準(zhǔn)彩色圖像。由于串類水果與背景間、串類水果中的果粒、果梗、果蒂間具有一定的顏色差異，因此為增加圖像前景與背景的對比度，對配準(zhǔn)后的彩色圖像進(jìn)行HSV（hue, saturation, value）通道分解，并基于式（12）提取圖像色彩信息具有明顯區(qū)分度的H（hue）通道用于果梗提取[24]。根據(jù)隨機放置串類水果果梗區(qū)域的紋理特征，采用式（13）和（14）[25]對提取的H通道圖像進(jìn)行預(yù)處理，并采用中值濾波降低噪聲影響。

3.2 基于形態(tài)學(xué)和高斯混合模型的隨機放置串類水果主果梗骨架提取與擬合

3.2.1 基于形態(tài)學(xué)的果梗輪廓提取

基于局部閾值對預(yù)處理后的H通道圖像進(jìn)行分割，并根據(jù)區(qū)域的面積、形狀特征進(jìn)行區(qū)域篩選，得到串類水果中包含果粒、果梗、果蒂等部分的區(qū)域。通過統(tǒng)計水果果粒和果梗區(qū)域的輪廓間距閾值，構(gòu)建大小為的圓形卷積核對串類水果區(qū)域進(jìn)行形態(tài)學(xué)閉運算和開運算。形態(tài)學(xué)閉運算時，閉合輪廓距離較小的果梗區(qū)域，保持其他果粒區(qū)域的較大空隙。之后再進(jìn)行形態(tài)學(xué)開運算時，將具有較大空隙、較小連接的區(qū)域斷開，保留連接在一起的較大區(qū)域，再通過基于面積和形狀特征的區(qū)域篩選，即可保留果梗區(qū)域。基于掩膜操作剔除果梗以外的圖像，并對提取的果梗圖像進(jìn)行局部閾值分割，得到包含主果梗、次果梗以及果蒂的果梗區(qū)域輪廓。

3.2.2 基于高斯混合模型的主果梗骨架提取與擬合

由于串類水果放置的隨機性，使得獲取的果梗區(qū)域中的主果梗和非主果梗的輪廓特征區(qū)別不明顯，難以直接計算區(qū)別特征并進(jìn)一步實現(xiàn)主果梗骨架的準(zhǔn)確提取和擬合。因此本文采用可以自主學(xué)習(xí)對象特征的高斯混合模型聚類算法對果梗區(qū)域樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)并分類，實現(xiàn)基于GMM的主果梗區(qū)域提取。

GMM中隨機變量的概率密度為

對于提取的主果梗區(qū)域，根據(jù)待檢測像素為中心3×3像素鄰域內(nèi)的特征，從區(qū)域外圍向區(qū)域中心不斷腐蝕細(xì)化，直至腐蝕到單層像素寬度得到圖像骨架?；诓噬珗D像中主果梗骨架的圖像坐標(biāo)位置，在深度圖像中搜索對應(yīng)位置的深度信息，計算對應(yīng)主果梗的三維位置坐標(biāo)，并將不同種類的主果梗對應(yīng)的不同主果梗元素分別進(jìn)行直線擬合，得到三維直線段方程。由圖5得到的主果梗骨架三維擬合直線段可知，具有主分支的有分支主果梗擬合后的3條線段組成人字形結(jié)構(gòu)，無主分支的有分支主果梗擬合后的2條線段組成八字形結(jié)構(gòu)，無分支主果梗擬合線段為直線形結(jié)構(gòu)。

3.3 4-R(2-SS)并聯(lián)機器人機器視覺抓取位姿計算模型選擇原則

為防止抓取時夾持機構(gòu)與果串碰觸導(dǎo)致水果果粒脫落和損壞，本文以抓取時夾持機構(gòu)盡可能遠(yuǎn)離水果串、主果梗盡可能多地被手指夾持以保證抓取穩(wěn)定為原則，基于主果梗骨架的擬合線段對三維抓取模型進(jìn)行選擇。

對于有分支主果梗，其抓取模型的選擇原則為

對于無分支主果梗，其抓取模型的選擇原則為

圖5 主果梗骨架的直線擬合結(jié)果

4 夾持機構(gòu)抓取位姿的轉(zhuǎn)換

5 驗證試驗

5.1 試驗平臺

1.顯示屏 2.控制柜 3.檢測柜 4.并聯(lián)機器人 5.光源 6.串類水果

5.2 試驗方法

為驗證本文并聯(lián)機器人隨機放置串類水果抓取位姿計算方法的有效性，分別對有分支主果梗和無分支主果梗的白羅莎葡萄串進(jìn)行抓取位姿試驗。為驗證本文方法相對于基于平面輪廓的抓取位姿獲取方法[27]對隨機放置串類水果抓取性能的優(yōu)越性，分別采用2種方法進(jìn)行抓取試驗。

5.2.1 抓取位姿試驗

分別對有分支主果梗和無分支主果梗2類串類水果的6種抓取方式進(jìn)行6組試驗。即無分支主果梗的-模型、無分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型和有分支主果梗的-模型6組試驗。每組試驗分別采集對應(yīng)主果梗類別的白羅莎葡萄串隨機放置狀態(tài)下的20幅彩色圖像和深度圖像，并基于本文抓取位姿計算方法求取對應(yīng)葡萄串的抓取位姿。將計算的抓取位姿與實際抓取位姿進(jìn)行對比分析。

5.2.2 抓取試驗

分別對有分支主果梗和無分支主果梗的葡萄串進(jìn)行抓取試驗。并分別采用本文抓取位姿計算方法和基于平面輪廓的抓取位姿獲取方法求取對應(yīng)葡萄串的抓取位姿，并基于抓取位姿抓取水果串，統(tǒng)計抓取成功率。

5.2.3 試驗指標(biāo)

實際抓取位姿的測量以夾持機構(gòu)盡可能遠(yuǎn)離水果串、保證抓取穩(wěn)定、優(yōu)先抓取直線主果梗為準(zhǔn)則，人工采用激光測距儀INR-Laser Scanner H和電子羅盤Honeywell-HMR3100測量夾持機構(gòu)的抓取位姿。抓取成功率基于機器人的抓取過程計算，將機器人成功抓取并穩(wěn)定運送水果到指定位置視為抓取成功，未抓取到水果、運送過程水果掉落、未抓取水果主果梗等均視為抓取失敗。

5.3 試驗結(jié)果與分析

抓取位姿試驗結(jié)果如表1所示，計算的抓取位姿與實際測量的抓取位姿誤差如圖7所示。

表1 抓取位姿試驗結(jié)果

注：(,,)為O在O-XYZ下的坐標(biāo)，mm；為夾持機構(gòu)繞Z軸的旋轉(zhuǎn)角度，(°)；為夾持機構(gòu)手指開口寬度，mm。

Note: (,,) is coordinate ofOinO-XYZ, the unit is mm.is rotation angle of clamping mechanism aboutZ-axis, the unit is (°).is finger opening width of clamping mechanism, the unit is mm.

圖7 抓取位姿誤差曲線

由表1和圖7可知，無分支主果梗的A-AB抓取模型的抓取位姿平均誤差分別為（0.172 mm，0.151 mm，0.579 mm，2.075°，0.539 mm）；無分支主果梗的B-AB抓取模型的抓取位姿平均誤差分別為（0.463 mm，0.404 mm，0.938 mm，2.429°，0.507 mm）；有分支主果梗的A-AB抓取模型的抓取位姿平均誤差分別為（1.014 mm，0.885 mm，1.415 mm，2.932°，0.538 mm）；有分支主果梗的B-AB抓取模型的抓取位姿平均誤差分別為（1.347 mm，1.178 mm，1.781 mm, 3.267°，0.499 mm）；有分支主果梗的E-CBD抓取模型的抓取位姿平均誤差分別為（2.339 mm，2.020 mm，2.757 mm，4.252°，1.186 mm）；有分支主果梗的B-CBD抓取模型的抓取位姿平均誤差分別為（3.064 mm，2.665 mm，3.554 mm，5.033°，1.729 mm）。6組試驗的抓取位姿平均誤差分別為（1.400 mm，1.217 mm，1.837 mm，3.331°，0.833 mm）。

表2 白羅莎葡萄串抓取試驗結(jié)果對比

6 結(jié) 論

針對隨機放置串類水果圖像中主果梗和非主果梗間特征區(qū)別不明顯、平面輪廓法獲取的機器人抓取位姿信息較少的問題，該文構(gòu)建并聯(lián)機器人串類水果三維抓取模型，并提出一種基于主果梗骨架和三維抓取模型的4-R(2-SS)并聯(lián)機器人隨機放置串類水果抓取位姿計算方法，以進(jìn)一步提高機器人基于機器視覺對串類水果的抓取成功率，主要結(jié)論如下：

1）根據(jù)主果梗有無分支、主果梗中心線與夾持機構(gòu)手指長度關(guān)系，將主果梗分為無分支長主果梗、無分支短主果梗、有分支長主果梗、有分支短主果梗4種類型，構(gòu)建了4種基于主果梗骨架的隨機放置串類水果三維抓取模型，以主果梗骨架的形式簡化了模型，無需計算無形狀和位置約束主果梗的輪廓參數(shù)，解決了平面輪廓法獲取的機器人抓取位姿缺少軸坐標(biāo)、抓取角度以及手指開口寬度等信息的問題。

2）提出在色調(diào)圖像中基于形態(tài)學(xué)和GMM的隨機放置串類水果主果梗骨架提取與擬合方法，解決了果串形態(tài)多樣、圖像中主果梗和非主果梗區(qū)域間特征區(qū)別不明顯導(dǎo)致的主果梗骨架難以準(zhǔn)確提取和擬合的問題。

3）將擬合的主果梗骨架和構(gòu)建的三維抓取模型用于解算不同抓取條件下夾持機構(gòu)的空間位置、繞Z軸的旋轉(zhuǎn)角度以及手指開口寬度的抓取位姿信息，實現(xiàn)了串類水果的穩(wěn)定抓取。

4）將提出的抓取位姿計算方法成功應(yīng)用于課題組研制的4-R(2-SS)并聯(lián)機器人串類水果機器視覺自動分揀系統(tǒng)。試驗結(jié)果表明，相對于基于平面輪廓的抓取位姿獲取方法，基于本文方法的平均抓取成功率提高了13個百分點。提出的抓取位姿計算方法可有效提高4-R(2-SS)并聯(lián)機器人機器視覺系統(tǒng)對隨機放置串類水果抓取位姿的獲取精度，有助于進(jìn)一步實現(xiàn)串類水果的準(zhǔn)確快速自動分揀。

[1]黃辰，費繼友. 基于圖像特征融合的蘋果在線分級方法[J].農(nóng)業(yè)工程學(xué)報，2017，33(1)：285－291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285－291. (in Chinese with English abstract)

[2]周俊，朱樹平. 農(nóng)業(yè)機器人果蔬抓取中滑覺檢測研究[J].農(nóng)業(yè)機械學(xué)報，2013，44(2)：171－176.

Zhou Jun, Zhu Shuping. Slippage detection in gripping fruits and vegetables for agricultural robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 171－176. (in Chinese with English abstract)

[3]袁挺，李偉，譚豫之，等. 溫室環(huán)境下黃瓜采摘機器人信息獲取[J]. 農(nóng)業(yè)機械學(xué)報，2009，40(10)：151－155.

Yuan Ting, Li Wei, Tan Yuzhi, et al. Information acquisition for cucumber harvesting robot in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 151－155. (in Chinese with English abstract)

[4]袁挺，紀(jì)超，張震華，等. 基于近紅外圖像的溫室小型西瓜采摘信息獲取技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2012，43(7)：174－178，155.

Yuan Ting, Ji Chao, Zhang Zhenhua, et al. Information acquisition technique of mini-watermelon for harvesting based on near-infrared image in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 174－178, 155. (in Chinese with English abstract)

[5]熊俊濤，鄒湘軍，陳麗娟，等. 采摘機械手對擾動荔枝的視覺定位[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(14)：36－41.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Visual position of picking manipulator for disturbed litchi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 36－41. (in Chinese with English abstract)

[6]Seema, Kumar A, Gill GS. Automatic fruit grading and classification system using computer vision: A review[C]// International Conference on Advances in Computing and Communication Engineering. IEEE, 2015: 598－603.

[7]Lin G C, Tang Y C, Zou X J, et al. Fruit detection in natural environment using partial shape matching and probabilistic Hough transform[J/OL]. Precision Agriculture, 2019-04-24 [2019-12-08]. https://doi.org/10.1007/s11119-019-09662-w.

[8]Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127(C): 395－405.

[9]倪鶴鵬，劉亞男，張承瑞，等. 基于機器視覺的Delta機器人分揀系統(tǒng)算法[J]. 機器人，2016，38(1)：49－55.

Ni Hepeng, Liu Yanan, Zhang Chengrui, et al. Sorting system algorithms based on machine vision for Delta robot[J]. Robot, 2016, 38(1): 49－55. (in Chinese with English abstract)

[10]周俊，劉銳，張高陽. 基于立體視覺的水果采摘機器人系統(tǒng)設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報，2010，41(6)：158－162.

Zhou Jun, Liu Rui, Zhang Gaoyang. Design of fruit harvesting robot based on stereo vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(6): 158－162. (in Chinese with English abstract)

[11]Cubero S, Maria P D, Jose B, et al. A new method for pedicel/peduncle detection and size assessment of grapevine berries and other fruits by image analysis[J]. Biosystems Engineering, 2014, 117(1): 62－72.

[12]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機器人采摘點的自動定位[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(2)：14－21.

Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[13]Luo L, Tang Y, Zou X, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90－104.

[14]Zhang W, Mei J, Ding Y, et al. Angle recognition algorithm based on discrete series data of object-boundary in polar coordinate[J]. Optik-International Journal for Light and Electron Optics, 2013, 124(12): 1273－1277.

[15]閆哲，杜學(xué)丹，曹淼，等. 基于深度學(xué)習(xí)的機器人抓取位置檢測方法[J]. 高技術(shù)通訊，2018，28(1)：58－66.

Yan Zhe, Du Xuedan, Cao Miao, et al. A method for robotic grasping position detection based on deep learning[J]. Chinese High Technology Letters, 2018, 28(1): 58－66. (in Chinese with English abstract)

[16]Cubero S, Diago M P, Blasco J, et al. A new method for assessment of bunch compactness using automated image analysis[J]. Australian Journal of Grape and Wine Research, 2015, 21(1): 101－109.

[17]Yuan L M, Cai J R, Sun L, et al. A preliminary discrimination of cluster disqualified shape for table grape by mono-camera multi-perspective simultaneously imaging approach[J]. Food Analytical Methods, 2016, 9(3): 758－767.

[18]Hirvonen J, Kallio P. Automatic image-based detection and inspection of paper fibres for grasping[J]. Computer Vision Iet, 2015, 9(4): 588－594.

[19]Aquino-Martín A, Millan B, Diago M P, et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis[J]. Biosystems Engineering, 2017, 156: 80－95.

[20]Reis M J C S, Morais R, Pereira C, et al. A low-cost system to detect bunches of grapes in natural environment from color images[C]// Advances Concepts for Intelligent Vision Systems, International Conference. Ghent, Belgium, 2011: 92－102.

[21]Reis M J C S, Morais R, Peres E, et al. Automatic detection of bunches of grapes in natural environment from color images[J]. Journal of Applied Logic, 2012, 10(4): 285－290.

[22]Yu X, Liu K, Wu D, et al. Raisin quality classification using least squares support vector machine (lssvm) based on combined color and texture features[J]. Food and Bioprocess Technology, 2012, 5(5): 1552－1563.

[23]Tang S, Zhao D, Jia W, et al. Feature extraction and recognition based on machine vision application in lotus picking robot[C]// International Conference on Computer and Computing Technologies in Agriculture. Springer, Cham, 2015: 485－501.

[24]張凱兵，章愛群，李春生. 基于HSV空間顏色直方圖的油菜葉片缺素診斷[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(19)：179－187.

Zhang Kaibing, Zhang Aiqun, Li Chunsheng. Nutrient deficiency diagnosis method for rape leaves using color histogram on HSV space[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 179－187. (in Chinese with English abstract)

[25]Wang W, Liu Y, Shen Y, et al.Visualization enhancement of arthrosis tissues structure in ultrasound image based on improved diffusion[C]// International Conference on Biomedical Engineering & Informatics. IEEE, 2008: 290－294.

[26]Qin Y C, Priebe C E. Maximum Lq-likelihood estimation via the expectation-maximization algorithm: a robust estimation of mixture models[J]. Journal of the American Statistical Association, 2013, 108(503): 914－928.

[27]仲訓(xùn)杲，徐敏，仲訓(xùn)昱，等. 基于多模特征深度學(xué)習(xí)的機器人抓取判別方法[J]. 自動化學(xué)報，2016，42(7)：1022－1029.

Zhong Xungao, Xu Min, Zhong Xunyu, et al. Multimodal features deep learning for robotic potential grasp recognition[J]. Acta Automatica Sinica, 2016, 42(7): 1022－1029. (in Chinese with English abstract)

Grasping model and pose calculation of parallel robot for fruit cluster

Zhang Qian, Gao Guoqin※

(,,212013,)

Grasping pose calculation with high accuracy and efficiency is precondition to realize the accurate, fast and nondestructive automatic sorting based on machine vision for a robot. Due to the unconstraint shape and location of stalk, the variability of cluster morphology, and unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster, it is difficult to acquire the grasping pose parameters of robot for fruit cluster sorting based on machine vision accurately. Therefore, in this paper, a grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model is proposed by fitting stalk skeleton of fruit cluster and constructing 3D grasping model for the machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. Firstly, according to the stalk node, the relationship between the finger length of robot clamping mechanism and centerline of stalk, the stalk of fruit cluster is divided into four categories: the long stalk without node, the short stalk without node, the long stalk with node and the short stalk with node. Four 3D grasping models of randomly placed fruit cluster based on the stalk skeleton are constructed according to the 3D pose of stalk and the features of robot clamping mechanism. The models does not need to calculate the contour parameters of stalk without constraint shape and location, and solve the problem that it is difficult to grasp randomly placed fruit cluster stably and effectively adopting the 2D grasping pose based on plane contour parameters. Secondly, a morphological image segmentation method for extracting stem region of fruit cluster is designed based on the distance between the contours of stem region and berry region. Then a multi-dimensional feature vector is constructed based on the descriptors of region. The Gaussian mixture model that can learn the object features independently is adopted to extract the stalk region from the stem region. It can solve the problem that it is difficult to extract and fit the stalk skeleton accurately because of the variability of cluster morphology, unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster. Thirdly, the grasping pose parameters including spatial position, rotation angle about-axis and finger opening width of clamping mechanism under different grasping conditions are calculated based on the stalk skeleton of fruit cluster and 3D grasping model. Then the transformation matrix of clamping mechanism from the current pose to the grasping pose in world coordinate system is calculated based on the closed loop of coordinate transformation chain, which can be directly used to realize the automatic and stable grasping of fruit cluster. Finally, the proposed grasping pose calculation method is verified by experiments with the self-developed machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. The average errors of pose parameters,,,andcalculated by the proposed grasping pose calculation method are 1.400 mm, 1.217 mm, 1.837 mm, 3.331° and 0.833 mm respectively. Compared with the existing 2D grasping pose calculation method, the success rates of grasping for the fruit cluster with stalk node and the fruit cluster without stalk node, and the average success rate of grasping based on the proposed method increased by 14, 12 and 13 percentage points respectively. Experimental results demonstrate that the proposed grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model can effectively improve the grasping accuracy of 4-R(2-SS) parallel robot for randomly placed fruit cluster based on machine vision, and realize accurate and fast automatic sorting of fruit clusters.

robots; machine vision; fruit; grasping model; grasping pose

張 千，高國琴. 并聯(lián)機器人串類水果三維抓取模型及抓取位姿計算[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(23)：37－47.doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

Zhang Qian, Gao Guoqin. Grasping model and pose calculation of parallel robot for fruit cluster[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 37－47. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

2019-07-04

2019-11-20

國家自然科學(xué)基金項目（51375210）；鎮(zhèn)江市重點研發(fā)計劃（GZ2018004）；江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項目；江蘇省研究生科研與實踐創(chuàng)新計劃項目（KYCX17_1780）

張 千，博士生，主要從事基于機器視覺的并聯(lián)機器人抓取檢測研究。Email：stella_zq@foxmail.com

高國琴，教授，博士生導(dǎo)師，主要從事并/混聯(lián)機器人控制及機器視覺檢測等研究。Email：gqgao@ujs.edu.cn

10.11975/j.issn.1002-6819.2019.23.005

TP242; TP751

A

1002-6819(2019)-23-0037-11