羅陸鋒 譚遠(yuǎn)良 盧清華 鄒湘軍

摘 要：研發(fā)水果采摘機(jī)器人對(duì)提高收獲效率、保證果實(shí)品質(zhì)和減輕勞動(dòng)強(qiáng)度具有重要意義，但由于果園環(huán)境的非結(jié)構(gòu)性，使得采摘機(jī)器人極易因目標(biāo)定位不準(zhǔn)、采摘順序不當(dāng)、夾剪位姿不合理等導(dǎo)致果實(shí)碰傷或刮落，造成該損傷的主要原因是防碰損采摘的視覺(jué)認(rèn)知與執(zhí)行機(jī)構(gòu)耦合問(wèn)題尚未得到解決。為梳理水果采摘機(jī)器人防碰損作業(yè)的最新研究進(jìn)展，從防碰損采摘中果實(shí)多維信息（采摘點(diǎn)、果梗位姿、防碰空間包圍體等）的視覺(jué)感知、采摘機(jī)器人的視覺(jué)認(rèn)知與智能防碰損采摘行為規(guī)劃、防損采摘機(jī)構(gòu)設(shè)計(jì)及其行為控制等三方面進(jìn)行了全面綜述和分析，并對(duì)今后需重點(diǎn)解決的核心關(guān)鍵問(wèn)題進(jìn)行總結(jié)和展望，為進(jìn)一步研究和攻克非結(jié)構(gòu)環(huán)境下水果智能防碰損采摘問(wèn)題提供參考和依據(jù)。

關(guān)鍵詞：工業(yè)機(jī)器人技術(shù)；采摘機(jī)器人；末端執(zhí)行器；視覺(jué)認(rèn)知；智能規(guī)劃

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1008-1542（2018）03-0204-10

保證水果低損、采收及時(shí)是果農(nóng)面臨的實(shí)際問(wèn)題，鮮食水果的收獲僅靠人工采摘，不僅采摘人員的勞動(dòng)強(qiáng)度大，采摘成本也較高。為了提高采摘效率，保證水果品質(zhì)和減輕采摘人員的勞動(dòng)強(qiáng)度，用機(jī)器人代替人工采摘是未來(lái)水果采收的發(fā)展趨勢(shì)，也是未來(lái)智能農(nóng)業(yè)機(jī)械的發(fā)展方向[1]。

機(jī)器人在采摘水果之前，需先由視覺(jué)系統(tǒng)對(duì)作業(yè)目標(biāo)和環(huán)境進(jìn)行感知與定位，再以感知定位信息為基礎(chǔ)進(jìn)行防碰損作業(yè)的認(rèn)知計(jì)算與行為規(guī)劃，最后通過(guò)視覺(jué)伺服控制采摘機(jī)構(gòu)執(zhí)行夾剪作業(yè)[2]。水果經(jīng)常簇生、果梗桿莖小且果實(shí)嬌嫩，而且水果生長(zhǎng)位置的隨機(jī)性，使得果實(shí)之間經(jīng)常出現(xiàn)相互重疊、貼靠和遮擋等復(fù)雜情況，如圖1所示。

這些非結(jié)構(gòu)因素使得機(jī)器人執(zhí)行機(jī)構(gòu)在夾剪過(guò)程中極易因視覺(jué)定位不準(zhǔn)、采摘順序規(guī)劃不當(dāng)、進(jìn)給和夾剪位姿不合理導(dǎo)致果實(shí)碰傷或刮落[3]。造成這些損傷的主要原因在于采摘中果實(shí)信息視覺(jué)認(rèn)知不準(zhǔn)確、夾剪機(jī)構(gòu)設(shè)計(jì)或其行為決策不合理。為解決該難題，提高采摘作業(yè)的精準(zhǔn)度和柔性度，需要采摘機(jī)器人視覺(jué)系統(tǒng)與執(zhí)行機(jī)構(gòu)之間具備良好的自主防碰損耦合能力，該能力主要體現(xiàn)在果實(shí)多維信息的視覺(jué)感知（采摘點(diǎn)、果梗位姿、防碰空間包圍體等）、隨機(jī)多目標(biāo)防碰損采摘順序的視覺(jué)認(rèn)知與規(guī)劃、執(zhí)行機(jī)構(gòu)與果串之間適形防碰損夾剪位姿的自主耦合等行為上，最終用機(jī)構(gòu)、視覺(jué)、傳感器等硬件和軟件實(shí)現(xiàn)其運(yùn)動(dòng)和智能行為決策。

國(guó)內(nèi)外針對(duì)采摘機(jī)器人的研究已有40多年的歷史[2]。荷蘭、美國(guó)、日本、丹麥、法國(guó)等國(guó)研究了甜椒[4]（圖2 a））、柑橘[5]、黃瓜[6]（圖2 b））、西紅柿[7]（圖2 c））、草莓[8]等采摘機(jī)器人。中國(guó)農(nóng)業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)、華南農(nóng)業(yè)大學(xué)、江蘇大學(xué)、浙江大學(xué)、上海交通大學(xué)、西北農(nóng)林科技大學(xué)、東北農(nóng)業(yè)大學(xué)等單位研究了草莓[9]（圖2 d））、蘋果[10-11]（圖2 e））、黃瓜[12]、茄子[13]、荔枝[14]（圖2 f））、獼猴桃[15]等果蔬的采摘機(jī)器人。但到目前為止，商品化實(shí)用的采摘機(jī)器人依然鮮有報(bào)道，究其原因是多方面的[16]，其中對(duì)果實(shí)造成損傷嚴(yán)重是主要原因之一。為實(shí)現(xiàn)無(wú)損采摘，國(guó)內(nèi)外學(xué)者圍繞水果視覺(jué)感知[17-19]、路徑規(guī)劃[6]、采摘機(jī)構(gòu)[20-21]、果實(shí)損傷及力學(xué)特性[22-24]等開(kāi)展了大量研究。為梳理水果采摘機(jī)器人防碰損作業(yè)的最新研究進(jìn)展，本文將從果實(shí)多維信息視覺(jué)感知、采摘機(jī)器人的視覺(jué)認(rèn)知與智能規(guī)劃、防損采摘機(jī)構(gòu)及行為控制等3個(gè)方面進(jìn)行闡述。

1 水果防碰損采摘的視覺(jué)認(rèn)知及機(jī)構(gòu)設(shè)計(jì)研究狀況與分析

1.1 果實(shí)多維信息視覺(jué)感知的研究進(jìn)展

為了能準(zhǔn)確獲取水果的視覺(jué)信息，學(xué)者們以水果色彩空間為基礎(chǔ)研究出了多種圖像分割與識(shí)別方法[25-30]。CHAMELAT等[25]提出利用Zemike距和顏色信息對(duì)復(fù)雜環(huán)境下的葡萄進(jìn)行識(shí)別；REIS等[26]基于照片彩色信息在自然環(huán)境下對(duì)葡萄進(jìn)行識(shí)別與定位；田銳等[27]計(jì)算葡萄圖像在RGB顏色空間中樣本值，根據(jù)樣本值對(duì)目標(biāo)進(jìn)行圖像分割；熊俊濤等[28]通過(guò)提取顏色模型YCrCb中Cr分量對(duì)成熟荔枝進(jìn)行識(shí)別；羅陸鋒等[29-30]針對(duì)對(duì)果園葡萄的識(shí)別，提出了基于改進(jìn)人工蜂群優(yōu)化模糊聚類的圖像分割方法和基于多顏色空間和集成學(xué)習(xí)的圖像識(shí)別方法。盡管在水果圖像分割方面，國(guó)內(nèi)外學(xué)者已提出了許多有效方法，但僅僅通過(guò)這些方法還難以實(shí)現(xiàn)對(duì)重疊、貼靠和遮擋等非結(jié)構(gòu)情況下串型水果的逐個(gè)精準(zhǔn)識(shí)別與定位。在對(duì)重疊、貼靠和遮擋果實(shí)的識(shí)別方面，國(guó)內(nèi)外對(duì)蘋果[10，31-34]、番茄[35]、柑橘[36]的報(bào)道較多，大多通過(guò)分析果實(shí)幾何形狀來(lái)設(shè)計(jì)相應(yīng)的識(shí)別算法。例如：利用凸殼算法[32]、圓檢測(cè)[10]、輪廓還原[36]等方法對(duì)蘋果目標(biāo)進(jìn)行識(shí)別；以深度圖為基礎(chǔ)結(jié)合邊緣曲率分析[35]實(shí)現(xiàn)對(duì)重疊、黏連番茄的識(shí)別與定位。這些方法在特定條件下對(duì)單一水果的重疊、貼靠等復(fù)雜情況具有實(shí)用性，但對(duì)于串型水果來(lái)說(shuō)，因果串輪廓的不規(guī)則性，上述方法通用性依然非常有限。

在水果采摘點(diǎn)的識(shí)別與定位研究上，國(guó)內(nèi)外學(xué)者針對(duì)蘋果[10]、番茄[35]等水果提出了以形心作為采摘點(diǎn)的定位方法。BULANON等[37]分別采用單目相機(jī)移動(dòng)方法和雙目相機(jī)的立體視覺(jué)方法對(duì)蘋果的果實(shí)采摘點(diǎn)的空間位置計(jì)算進(jìn)行了研究；XIANG等[35]采用雙目立體視覺(jué)對(duì)成熟番茄進(jìn)行定位研究，以番茄的形心為采摘點(diǎn)；李斌等[38]利用單目視覺(jué)研究了菠蘿果實(shí)形心點(diǎn)的求取方法。然而，這些以形心作為采摘點(diǎn)的方法對(duì)于以?shī)A剪果梗為采摘方式的串型水果來(lái)說(shuō)，實(shí)用性不強(qiáng)。在以?shī)A剪果梗為采摘方式的水果采摘中，熊俊濤等[39]利用Hough圓擬合方法先對(duì)柑橘圖像進(jìn)行分割，再運(yùn)用約束斜率為-0.45～0.45的Hough直線檢測(cè)對(duì)柑橘果梗上的采摘點(diǎn)進(jìn)行搜索；楊慶華等[40]通過(guò)提取葡萄圖像輪廓的外接矩形對(duì)目標(biāo)進(jìn)行識(shí)別與定位；張鐵中等[18]利用草莓圖像重心和果尖點(diǎn)來(lái)對(duì)采摘點(diǎn)進(jìn)行識(shí)別與定位；郭艾俠等[19]設(shè)計(jì)了一種融合Harris與SIFT算法的荔枝果梗采摘點(diǎn)計(jì)算方法；羅陸鋒等[41]根據(jù)葡萄的生長(zhǎng)特點(diǎn)，提出了一種基于點(diǎn)線最小距離約束的采摘點(diǎn)定位方法，如圖3所示。

在果梗位姿的視覺(jué)檢測(cè)研究上，INKYU等[42]對(duì)果園環(huán)境下的甜辣椒果梗檢測(cè)進(jìn)行了研究，先利用RGB-D傳感器采集圖像數(shù)據(jù)，獲取點(diǎn)云數(shù)據(jù)后使用幾何特征（如表面法線和曲率估計(jì)）對(duì)甜椒三維幾何形狀進(jìn)行識(shí)別，結(jié)合HSV顏色特征和PFH（point feature histograms）對(duì)監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)對(duì)果梗檢測(cè)，過(guò)程如圖4所示。

在水果防碰空間包圍體的求解與定位研究上，羅陸鋒等[43]提出一種基于雙目立體視覺(jué)的葡萄包圍體求解與定位方法，如圖5所示。先通過(guò)尋找與重心距離最小的直線來(lái)定位果梗上的采摘點(diǎn)；再運(yùn)用圓檢測(cè)法獲取外接矩形區(qū)域內(nèi)果粒的圓心和半徑，求解采摘點(diǎn)和果粒圓心的空間坐標(biāo)；最后以采摘點(diǎn)的空間坐標(biāo)為原點(diǎn)構(gòu)建葡萄空間坐標(biāo)系，求解葡萄最大截面，再將該截面繞中心軸旋轉(zhuǎn)360°得到葡萄空間包圍體。但目前該方法只能處理單串葡萄，對(duì)重疊、貼靠和遮擋葡萄串的防碰包圍體定位還需進(jìn)一步深入研究解決。

1.2 采摘機(jī)器人的視覺(jué)認(rèn)知與智能規(guī)劃的研究進(jìn)展

為避免損傷果串，采摘機(jī)器人在作業(yè)規(guī)劃中需要先根據(jù)環(huán)境信息自主規(guī)劃防碰損的采摘順序后再到達(dá)采摘點(diǎn)執(zhí)行夾剪作業(yè)；在夾持和剪斷果梗時(shí)，又需要機(jī)器人能自主確立防碰損的執(zhí)行機(jī)構(gòu)進(jìn)給方位和夾剪角度。BAC等[44]根據(jù)視覺(jué)定位信息約束末端執(zhí)行器旋轉(zhuǎn)切刀（圖6）的初始方位角來(lái)進(jìn)行防損采摘，從而實(shí)現(xiàn)對(duì)甜椒的低損收獲，但甜椒與串型水果的形態(tài)特征差異較大，且采摘方式亦不盡相同，因而該方法對(duì)于串型水果來(lái)說(shuō)可移植性不強(qiáng)；HENTEN等[6]從逆運(yùn)動(dòng)學(xué)角度研究了黃瓜采摘機(jī)械臂的免碰撞路徑規(guī)劃問(wèn)題，逆運(yùn)動(dòng)學(xué)是一個(gè)非線性規(guī)劃問(wèn)題，通過(guò)遺傳算法解決，但是由于過(guò)程需要大量的計(jì)算時(shí)間，所以該黃瓜采摘機(jī)器人的基本模型采用有冗余度的P6R操作器。梁喜鳳等[45]基于偽距離避障法，以番茄收獲機(jī)械手可操作度最大化為目標(biāo)函數(shù)，采用偽距離避障法和迭代法相結(jié)合的方法能夠使番茄收獲機(jī)械手在保證良好工作性能的前提下實(shí)現(xiàn)避障運(yùn)動(dòng)規(guī)劃，機(jī)械手由初始位置沿預(yù)定路徑運(yùn)動(dòng)至目標(biāo)位置，并能成功避開(kāi)障礙物；尹建軍等[46]以關(guān)節(jié)型機(jī)械臂避開(kāi)垂直莖稈或撐桿采摘番茄為研究對(duì)象，提出了一種基于構(gòu)形空間的關(guān)節(jié)型機(jī)械臂避障路徑規(guī)劃方法，以能量最優(yōu)函數(shù)優(yōu)選避障規(guī)劃的關(guān)節(jié)終點(diǎn)角，利用A*算法可以得到平面R-R機(jī)械臂的避障路徑，獲得一系列表示空間連桿位置的相交豎直面，并在豎直面內(nèi)進(jìn)行其余關(guān)節(jié)角的規(guī)劃。

在采摘順序規(guī)劃方面，王冰心等[47]基于仿生學(xué)思想設(shè)計(jì)了一種基于視覺(jué)選擇性注意機(jī)制的果實(shí)簇識(shí)別與采摘順序規(guī)劃方法，如圖7所示。該研究一方面有利于提高果實(shí)簇識(shí)別算法對(duì)復(fù)雜農(nóng)業(yè)環(huán)境的適應(yīng)能力，提高算法對(duì)不同種類果實(shí)識(shí)別的通用性；另一方面通過(guò)提前規(guī)劃視域內(nèi)多個(gè)果實(shí)簇的采摘順序，減少采摘過(guò)程中的重復(fù)動(dòng)作，提高作業(yè)效率。但目前該方法尚未考慮采摘過(guò)程中的防碰損規(guī)劃問(wèn)題；羅陸鋒等[48]開(kāi)展對(duì)多目標(biāo)防碰損采摘順序規(guī)劃算法進(jìn)行仿真試驗(yàn)研究，將實(shí)物視覺(jué)與虛擬現(xiàn)實(shí)相結(jié)合設(shè)計(jì)了采摘機(jī)器人硬件在環(huán)虛擬試驗(yàn)系統(tǒng)，為防碰損采摘的視覺(jué)定位及行為控制算法提供了仿真試驗(yàn)平臺(tái)。

1.3 防損采摘機(jī)構(gòu)及行為控制的研究進(jìn)展

采摘機(jī)器人采摘機(jī)構(gòu)及行為模型對(duì)實(shí)現(xiàn)無(wú)損采摘至關(guān)重要。BLANES等[49]通過(guò)設(shè)計(jì)具有形狀自適應(yīng)的夾指機(jī)構(gòu)來(lái)降低茄子采摘中的機(jī)械損傷，如圖9、圖10所示，該末端執(zhí)行器由3個(gè)機(jī)械手指和1個(gè)真空吸盤組成，其中3個(gè)機(jī)械手指均裝有慣性傳感器，當(dāng)末端執(zhí)行器接觸不同形狀的茄子時(shí)，其內(nèi)部顆粒狀物質(zhì)的干擾從柔軟到堅(jiān)硬，其中1根手指可以適應(yīng)并復(fù)制茄子的形狀，同時(shí)其他的手指也可以使用冗余的自由度適應(yīng)茄子的形狀；劉繼展等[21]針對(duì)機(jī)器人摘取及移送過(guò)程中導(dǎo)致的果穗振動(dòng)與果粒脫落問(wèn)題，提出了一種面向穗軸激勵(lì)輸入的果穗振動(dòng)仿真模型，該研究以葡萄為研究對(duì)象，在果穗“梗-果”結(jié)構(gòu)特性基礎(chǔ)上，提出了“撓性桿-鉸鏈-剛性桿-質(zhì)量球”復(fù)合果穗模型，并由試驗(yàn)確定了模型中各級(jí)梗間鉸鏈彈性系數(shù)與阻尼系數(shù)、果粒尺寸與質(zhì)量的正態(tài)分布規(guī)律，獲得了主穗軸的抗彎特性，進(jìn)而利用激光3D掃描重構(gòu)得到梗系統(tǒng)，根據(jù)試驗(yàn)結(jié)果分別進(jìn)行剛性、撓性桿件定義和果粒與梗間鉸鏈的添加，構(gòu)建得到果穗振動(dòng)仿真模型；金波等[20]為了實(shí)現(xiàn)果蔬的無(wú)損采摘，采用欠驅(qū)動(dòng)原理設(shè)計(jì)出具有形狀自適應(yīng)能力的末端執(zhí)行器夾指，如圖11、圖12所示，該手爪用1個(gè)驅(qū)動(dòng)電動(dòng)機(jī)控制3個(gè)手指、9個(gè)指節(jié)，可以實(shí)現(xiàn)對(duì)果實(shí)的包絡(luò)抓取，并且通過(guò)PID閉環(huán)力控制方式，實(shí)現(xiàn)了對(duì)遠(yuǎn)指關(guān)節(jié)和所有關(guān)節(jié)中最大接觸力的有效控制，實(shí)現(xiàn)期望的抓取與最大接觸力控制功能，并具有控制簡(jiǎn)單可靠、抓取穩(wěn)定、不損傷果實(shí)等特點(diǎn)；姬偉等[22]為減少夾持器抓取蘋果時(shí)的碰撞、擠壓損傷，通過(guò)壓縮試驗(yàn)后計(jì)算得到了蘋果果皮、果肉和果核3個(gè)不同部分的力學(xué)參數(shù)，建立了單個(gè)蘋果的3層實(shí)體力學(xué)模型，為蘋果收獲機(jī)器人夾持器結(jié)構(gòu)設(shè)計(jì)和控制方法提供參考數(shù)據(jù)和可控措施；陳燕等[50]為減少采摘中荔枝的機(jī)械損傷，通過(guò)建立采摘器剪切運(yùn)動(dòng)和剪切力模型對(duì)末端執(zhí)行器的結(jié)構(gòu)進(jìn)行了參數(shù)優(yōu)化；李娜等[51]針對(duì)溫室內(nèi)地壟式栽培草莓自動(dòng)低損采摘的需求，利用氣動(dòng)肌腱驅(qū)動(dòng)創(chuàng)新設(shè)計(jì)了多指式剛?cè)峄炻?lián)欠驅(qū)動(dòng)草莓采摘機(jī)械手，如圖13所示，該機(jī)械手設(shè)置欠驅(qū)動(dòng)關(guān)節(jié)，具有結(jié)構(gòu)簡(jiǎn)單、低能耗的特點(diǎn)，同時(shí)在手指單元中加入柔順構(gòu)件，利用其柔性變形可減小采摘中對(duì)果實(shí)的損壞；饒洪輝等[52]為實(shí)現(xiàn)油茶果低損采摘，設(shè)計(jì)一種氣吸式油茶果采摘機(jī)構(gòu)，該機(jī)構(gòu)先通過(guò)真空泵產(chǎn)生的負(fù)壓吸住待摘油茶果，再用電機(jī)驅(qū)動(dòng)真空吸盤旋轉(zhuǎn)來(lái)對(duì)油茶果進(jìn)行旋脫；王學(xué)林等[53]為減少末端執(zhí)行器對(duì)果蔬抓持損傷，設(shè)計(jì)了基于灰色預(yù)測(cè)的增量式比例積分夾持力控制算法，實(shí)現(xiàn)夾持機(jī)構(gòu)和果蔬之間動(dòng)態(tài)抓持過(guò)程的自適應(yīng)調(diào)整；李建偉等[54]根據(jù)目前蘋果采摘末端執(zhí)行器存在的問(wèn)題，設(shè)計(jì)了依靠驅(qū)動(dòng)刀片在動(dòng)力驅(qū)使下繞指外圍圓周方向自由旋轉(zhuǎn)1周，切除蘋果柄任意位置的末端執(zhí)行器，如圖14所示，設(shè)計(jì)方式既可避免刀片傷到蘋果，又可以切斷蘋果柄，極大提高了采摘效率，且控制程序簡(jiǎn)單，降低了機(jī)器成本；羅陸鋒等[55]通過(guò)分析葡萄等串型水果的形狀和生長(zhǎng)特點(diǎn)，設(shè)計(jì)了一種夾持-托舉-剪斷式串型水果采摘機(jī)構(gòu)，該機(jī)構(gòu)先由柔性?shī)A指夾持住果梗，再用托盤從后下方托舉果串以防脫落，最后通過(guò)剪刀對(duì)果梗進(jìn)行切斷，但目前尚未使用該執(zhí)行器進(jìn)行視覺(jué)關(guān)聯(lián)的采摘試驗(yàn)，其機(jī)構(gòu)與控制參數(shù)還有待通過(guò)采摘試驗(yàn)進(jìn)行優(yōu)化和修正。

2 研究展望

通過(guò)國(guó)內(nèi)外研究狀況分析發(fā)現(xiàn)：目前針對(duì)機(jī)器人無(wú)損采摘的研究主要集中于果實(shí)目標(biāo)的識(shí)別與定位[17-19，56-57]、免碰撞路徑規(guī)劃[6，46]、柔順夾切機(jī)構(gòu)設(shè)計(jì)[20]、果串防脫落夾持模型[21]、損傷力學(xué)特性[22-24]和采摘中夾持力控制[53]等方面，而對(duì)于非結(jié)構(gòu)環(huán)境下水果采摘機(jī)構(gòu)與視覺(jué)關(guān)聯(lián)的智能行為研究還很少，為增強(qiáng)采摘機(jī)器人的智能化、無(wú)損化作業(yè)水平，未來(lái)還有諸多問(wèn)題需要研究解決。

1）戶外果園環(huán)境下光照強(qiáng)度的不確定性使得水果識(shí)別算法的魯棒性受到了很大挑戰(zhàn)，目前還未發(fā)現(xiàn)有通用算法能解決不斷變化光照下的目標(biāo)識(shí)別問(wèn)題，盡管世界各地的學(xué)者從視覺(jué)傳感器、圖像處理算法上進(jìn)行了大量研究，但仍需要進(jìn)一步研究和完善。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，水果識(shí)別算法的魯棒性打破了傳統(tǒng)的圖像識(shí)別方法，目前已獲得極大的成功，該方法通過(guò)構(gòu)建多層深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)來(lái)模擬人腦的認(rèn)知規(guī)律，但需要通過(guò)大量數(shù)據(jù)進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，未來(lái)將深度學(xué)習(xí)運(yùn)用于農(nóng)業(yè)非結(jié)構(gòu)環(huán)境中的目標(biāo)識(shí)別將是一個(gè)非常有潛力的方向。

2）果實(shí)果梗采摘點(diǎn)的識(shí)別與定位是采摘機(jī)器人視覺(jué)系統(tǒng)的核心難點(diǎn)問(wèn)題，盡管國(guó)內(nèi)外學(xué)者已經(jīng)提出了一些有效的實(shí)現(xiàn)方法，但大多數(shù)是針對(duì)單一水果，通用性不強(qiáng)，且精準(zhǔn)度還有待進(jìn)一步提升。在今后的研究中，以深度相機(jī)等先進(jìn)視覺(jué)傳感器為基礎(chǔ)，綜合運(yùn)用點(diǎn)云形態(tài)學(xué)建模與智能計(jì)算方法來(lái)構(gòu)建果實(shí)識(shí)別模型，可有望提高非結(jié)構(gòu)環(huán)境下果實(shí)采摘點(diǎn)的識(shí)別與定位準(zhǔn)確度。

3）非結(jié)構(gòu)因素使得機(jī)器人在夾剪過(guò)程中極易因定位不準(zhǔn)而導(dǎo)致末端執(zhí)行器損傷水果；容易因采摘順序規(guī)劃不當(dāng)造成果串之間發(fā)生干涉碰撞而導(dǎo)致水果滑落損傷；當(dāng)末端執(zhí)行器靠近采摘點(diǎn)時(shí)，又容易因進(jìn)給方向和夾剪角度設(shè)置不恰當(dāng)導(dǎo)致執(zhí)行機(jī)構(gòu)碰傷果實(shí)。在今后的研究中，需將采摘機(jī)器人作業(yè)方式與水果規(guī)范化種植進(jìn)行有機(jī)結(jié)合，實(shí)現(xiàn)農(nóng)機(jī)和農(nóng)藝高度融合，最終用機(jī)構(gòu)、視覺(jué)、傳感器等硬件和軟件實(shí)現(xiàn)機(jī)器人防損采摘的智能行為決策。

4）設(shè)計(jì)具有智能防碰損采摘能力的夾剪執(zhí)行機(jī)構(gòu)及其視覺(jué)伺服系統(tǒng)是采摘機(jī)器人關(guān)鍵所在，傳統(tǒng)采摘機(jī)構(gòu)及其控制系統(tǒng)的設(shè)計(jì)大多依據(jù)采摘對(duì)象的形狀特點(diǎn)及其生物力學(xué)特性來(lái)設(shè)計(jì)相應(yīng)的機(jī)構(gòu)構(gòu)型與控制方法，其視覺(jué)系統(tǒng)和采摘機(jī)構(gòu)通常是分開(kāi)設(shè)計(jì)后再進(jìn)行，在今后的研究中非常需要對(duì)防碰損采摘的視覺(jué)認(rèn)知與執(zhí)行機(jī)構(gòu)進(jìn)行協(xié)同耦合建模，通過(guò)對(duì)耦合過(guò)程模型進(jìn)行反復(fù)試驗(yàn)來(lái)改進(jìn)和優(yōu)化水果防碰損采摘系統(tǒng)的機(jī)構(gòu)設(shè)計(jì)參數(shù)和視覺(jué)伺服控制參數(shù)。

參考文獻(xiàn)/References：

[1] 王儒敬， 孫丙宇. 農(nóng)業(yè)機(jī)器人的發(fā)展現(xiàn)狀與展望[J].中國(guó)科學(xué)院院刊，2015，30（6）：803-809.

WANG Rujing， SUN Bingyu. Development status and expectation of agricultural robot[J]. Bulletin of Chinese Academy of Science， 2015，30（6）：803-809.

[2] GONGAL A， AMATYA S， KARKEE M， et al. Sensors and systems for fruit detection and localization： A review[J]. Computers and Electronics in Agriculture，2015，116（8）：8-19.

[3] BECHAR A， VIGNEAULT C. Agricultural robots for field operations： Concepts and components[J]. Biosystems Engineering， 2016， 149： 94-111.

[4] BAC C W， HEMMING J， HENTEN E J V. Robust pixel-based classification of obstacles for robotic harvesting of sweet-pepper[J].Computers and Electronics in Agriculture， 2013， 96（12）：148-162.

[5] MEHTA S S， BURKS T F. Vision-based control of robotic manipulator for citrus harvesting[J]. Computers and Electronics in Agriculture， 2014，102（3）：146-158.

[6] HENTEN E J V， SCHENK E J， WILLIGENBURG L G V， et al. Collision-free inverse kinematics of the redundant seven-link manipulator used in a cucumber picking robot[J]. Biosystems Engineering， 2010， 106（2）： 112-124.

[7] KONDO N， YATA K， IIDA M， et al. Development of an end-effector for a tomato cluster harvesting robot[J]. Engineering in Agriculture Environment and Food， 2010，3（1）：20-24.

[8] HAYASHI S， YAMAMOTO S， SAITO S， et al. Structural environment suited to the operation of a strawberry-harvesting robot mounted on a travelling platform[J]. Engineering in Agriculture Environment and Food，2013， 6（1）：34-40.

[9] 王糧局，張立博，段運(yùn)紅，等.基于視覺(jué)伺服的草莓采摘機(jī)器人果實(shí)定位方法[J].農(nóng)業(yè)工程學(xué)報(bào)， 2015，31（22）：25-31.

WANG Liangju， ZHANG Libo， DUAN Yunhong， et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering， 2015，31（22）：25-31.

[10]SI Y， LIU G， FENG J. Location of apples in trees using stereoscopic vision[J]. Computers and Electronics in Agriculture， 2015， 112（3）： 68-74.

[11]ZHAO D A， LYU J， JI W， et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering， 2011， 110（2）： 112-122.

[12]紀(jì)超，馮青春，袁挺，等.溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J].機(jī)器人， 2011， 33（6）： 726-730.

JI Chao， FENG Qingchun， YUAN Ting， et al. Development and performance analysis on cucumber harvesting robot system in greenhouse[J]. Robot， 2011， 33（6）： 726-730.

[13]宋健，孫學(xué)巖，張鐵中，等. 開(kāi)放式茄子采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009， 40（1）：143-147.

SONG Jian， SUN Xueyan， ZHANG Tiezhong， et al. Design and experiment of opening picking robot for eggplant[J]. Transactions of the Chinese Society for Agricultural Machinery， 2009， 40（1）：143-147.

[14]葉敏，鄒湘軍，羅陸鋒，等.荔枝采摘機(jī)器人雙目視覺(jué)的動(dòng)態(tài)定位誤差分析[J].農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（5）： 50-56.

YE Min， ZOU Xiangjun， LUO Lufeng， et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（5）： 50-56.

[15]崔永杰，蘇帥，王霞霞，等.基于機(jī)器視覺(jué)的自然環(huán)境中獼猴桃識(shí)別與特征提取[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（5）：247-252.

CUI Yongjie， SU Shuai， WANG Xiaxia， et al. Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery，2013，44（5）：247-252.

[16]HAYASHI S， SHIGEMATSU K， YAMAMOTO S， et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering， 2010， 105（2）： 160-171.

[17]項(xiàng)榮，應(yīng)義斌，蔣煥煜，等.基于雙目立體視覺(jué)的番茄定位[J].農(nóng)業(yè)工程學(xué)報(bào)， 2012，28（5）：161-167.

XIANG Rong， YING Yibin， JIANG Huanyu， et al. Localization of tomatoes based on binocular stereo vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2012，28（5）：161-167.

[18]張鐵中，陳利兵，宋健.草莓采摘機(jī)器人的研究：Ⅱ.基于圖像的草莓重心位置和采摘點(diǎn)的確定[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2005，10（1）： 48-51.

ZHANG Tiezhong， CHEN Libing， SONG Jian. Study on strawberry harvesting robot： Ⅱ.Images based identifications of strawberry barycenter and plucking position[J]. Journal of China Agricultural University，2005，10（1）： 48-51.

[19]郭艾俠，熊俊濤，肖德琴，等.融合Harris與SIFT算法的荔枝采摘點(diǎn)計(jì)算與立體匹配[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46（12）：11-17.

GUO Aixia， XIONG Juntao， XIAO Deqin， et al. Computation of picking point of litchi and its binocular stereo matching based on combined algorithm of Harris and SIFT[J]. Transactions of the Chinese Society for Agricultural Machinery， 2015，46（12）：11-17.

[20]金波，林龍賢.果蔬采摘欠驅(qū)動(dòng)機(jī)械手爪設(shè)計(jì)及其力控制[J].機(jī)械工程學(xué)報(bào)，2014， 50（19）： 1-8.

JIN Bo， LIN Longxian. Design and force control of an underactuated robotic hand for fruit and vegetable picking[J]. Journal of Mechanical Engineering， 2014， 50（19）： 1-8.

[21]劉繼展，唐善奇，單帥，等.機(jī)器人采摘葡萄果穗振動(dòng)仿真與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（5）：1-8.

LIU Jizhan， TANG Shanqi， SHAN Shuai， et al. Simulation and test of grape fruit cluster vibration for robotic harvesting[J]. Transactions of the Chinese Society for Agricultural Machinery， 2016，47（5）：1-8.

[22]姬偉，李俊樂(lè)，楊俊，等.機(jī)器手采摘蘋果抓取損傷機(jī)理有限元分析及驗(yàn)證[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31（5）：17-22.

JI Wei， LI Junle， YANG Jun， et al. Analysis and validation for mechanical damage of apple by gripper in harvesting robot based on finite element method[J]. Transactions of the Chinese Society of Agricultural Engineering， 2015，31（5）：17-22.

[23]陳燕，蔡偉亮，鄒湘軍，等.荔枝的力學(xué)特性測(cè)試及其有限元分析[J].農(nóng)業(yè)工程學(xué)報(bào)，2011，27（12）： 358-363.

CHEN Yan， CAI Weiliang， ZOU Xiangjun， et al. Mechanical properties test and finite element analysie for litchi[J]. Transactions of the Chinese Society of Agricultural Engineering， 2011，27（12）： 358-363.

[24]蔣志林，陳燕，談建豪，等.荔枝應(yīng)力松弛特性及其損傷的試驗(yàn)研究[J].現(xiàn)代食品科技，2015，31（5）：96-101.

JIANG Zhilin， CHEN Yan， TAN Jianhao， et al. Experimental study on stress relaxation characteristics and associated damage litchi[J]. Modern Food Science and Technology， 2015，31（5）：96-101.

[25]CHAMELAT R， ROSSO E， CHOKSURIWONG A， et al. Grape detection by image processing[C]//Conference of the IEEE Industrial Electronics Society.[S.l.]：[s.n.]，2006： 3697-3702.

[26]REIS M J C S， MORAIS R， PERES E， et al. Automatic detection of bunches of grapes in natural environment from color images[J]. Journal of Applied Logic， 2012， 10（4）：285-290.

[27]田銳，郭艷玲.基于機(jī)器視覺(jué)的葡萄自動(dòng)識(shí)別技術(shù)[J].東北林業(yè)大學(xué)學(xué)報(bào)，2008，36（11）：95-97.

TIAN Rui， GUO Yanling. Automatic identification techniques of grape based on computer vision[J]. Journal of Northeast Forestry University， 2008，36（11）：95-97.

[28]熊俊濤，鄒湘軍，陳麗娟，等.基于機(jī)器視覺(jué)的自然環(huán)境中成熟荔枝識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2011， 42（9）： 162-166.

XIONG Juntao， ZOU Xiangjun， CHEN Lijuan， et al. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery， 2011， 42（9）： 162-166.

[29]羅陸鋒，鄒湘軍，楊洲，等.基于改進(jìn)人工蜂群模糊聚類的葡萄圖像快速分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015， 46（3）：23-28.

LUO Lufeng， ZOU Xiangjun， YANG Zhou， et al. Grape image fast segmentation based on improved artificial bee colony and fuzzy clustering[J]. Transactions of the Chinese Society for Agricultural Machinery， 2015， 46（3）：23-28.

[30]LUO Lufeng， TANG Yunchao， ZOU Xiangjun， et al. Robust grape cluster detection in a vineyard by combining the AdaBoost framework and multiple color components[J]. Sensors，2016， 16（12）： 2098-2117.

[31]趙德安，沈甜，陳玉，等.蘋果采摘機(jī)器人快速跟蹤識(shí)別重疊果實(shí)[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31（2）：22-28.

ZHAO Dean， SHEN Tian， CHEN Yu， et al. Fast tracking and recognition of overlapping fruit for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering， 2015，31（2）：22-28.

[32]宋懷波，張傳棟，潘景朋，等.基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29（3）：163-168.

SONG Huaibo， ZHANG Chuandong， PAN Jingpeng， et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering， 2013，29（3）：163-168.

[33]WANG D， SONG H， TIE Z， et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory： A comparison[J]. Multimedia Tools and Applications， 2016，75（6）：3177-3198.

[34]徐越，李盈慧，宋懷波，等.基于Snake模型與角點(diǎn)檢測(cè)的雙果重疊蘋果目標(biāo)分割方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31（1）：196-203.

XU Yue， LI Yinghui， SONG Huaibo， et al. Segmentation method of overlapped double apples based on snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering， 2015，31（1）：196-203.

[35]XIANG R， JIANG H， YING Y. Recognition of clustered tomatoes based on binocular stereo vision[J].Computers and Electronics in Agriculture， 2014，106（5）： 75-90.

[36]盧軍，桑農(nóng).變化光照下樹(shù)上柑橘目標(biāo)檢測(cè)與遮擋輪廓恢復(fù)技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（4）：76-81.

LU Jun， SANG Nong. Detection of citrus fruits within tree canopy and recovery of occlusion contour in variable illumination[J]. Transactions of the Chinese Society for Agricultural Machinery， 2014，45（4）：76-81.

[37]BULANON D， KATAOKA T， OKAMOTO H， et al. Determining the 3-D location of the apple fruit during harvest[C] //Automation Technology for Off-Road Equipment Proceedings of the 2004 Conference.[S.l.]：[s.n.]， 2004： 91- 97.

[38]李斌，Ning Wang，汪懋華， 等.基于單目視覺(jué)的田間菠蘿果實(shí)識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26（10）： 345-349.

LI Bin， WANG Ning， WANG Maohua， et al. In-field pineapple recognition based on monocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2010，26（10）： 345-349.

[39]熊俊濤，鄒湘軍，彭紅星，等.擾動(dòng)柑橘采摘的實(shí)時(shí)識(shí)別與采摘點(diǎn)確定技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（8）：38-43.

XIONG Juntao， ZOU Xiangjun， PENG Hongxing， et al. Real-time identification and picking point localization of disturbance citrus picking[J]. Transactions of the Chinese Society for Agricultural Machinery， 2014，45（8）：38-43.

[40]楊慶華，劉燦，荀一， 等.葡萄套袋機(jī)器人目標(biāo)識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（8）：234-239.

YANG Qinghua， LIU Can， XUN Yi， et al. Target recognition for grape bagging robot[J]. Transactions of the Chinese Society for Agricultural Machinery， 2013，44（8）：234-239.

[41]羅陸鋒，鄒湘軍，熊俊濤，等.自然環(huán)境下葡萄采摘機(jī)器人采摘點(diǎn)的自動(dòng)定位[J].農(nóng)業(yè)工程學(xué)報(bào)， 2015， 31（2）： 14-21.

LUO Lufeng， ZOU Xiangjun， XIONG Juntao， et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering， 2015， 31（2）： 14-21.

[42]INKYU S， LEHNERT C， ENGLISH A， et al. Peduncle detection of sweet pepper for autonomous crop harvesting-combined color and 3-D information[J]. IEEE Robotics & Automation Letters， 2017，2（2） ：765-772.

[43]羅陸鋒， 鄒湘軍， 葉敏， 等. 基于雙目立體視覺(jué)的葡萄采摘防碰空間包圍體求解與定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（8）： 41-47.

LUO Lufeng， ZOU Xiangjun， YE Min， et al. Calculation and localization of bounding volume of grape for undamaged fruit picking based on binocular stereo vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（8）： 41-47.

[44]BAC C W， ROORDA T， RESHEF R， et al. Analysis of a motion planning problem for sweet-pepper harvesting in a dense obstacle environment[J]. Biosystems Engineering，2015， 146（6）：85-97.

[45]梁喜鳳， 王永維， 苗香雯. 番茄收獲機(jī)械手避障運(yùn)動(dòng)規(guī)劃[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2008， 39（11）： 89-93.

LIANG Xifeng， WANG Yongwei， MIAO Xiangwen. Motion planning of a tomato harvesting manipulator for obstacle avoidance[J]. Transactions of the Chinese Society for Agricultural Machinery， 2008， 39（11）： 89-93.

[46]尹建軍， 武傳宇， Yang Simon X， 等. 番茄采摘機(jī)器人機(jī)械臂避障路徑規(guī)劃[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（12）： 171-175.

YIN Jianjun， WU Chuanyu， YANG Simon X， et al. Obstacle-avoidance path planning of robot arm for tomato-picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（12）： 171-175.

[47]王冰心，王孫安，于德弘.基于選擇性注意機(jī)制的果實(shí)簇識(shí)別與采摘順序規(guī)劃[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（11）：1-7.

WANG Bingxin， WANG Sunan， YU Dehong. Fruit cluster recognition and picking sequence planning based on selective attention[J]. Transactions of the Chinese Society for Agricultural Machinery， 2016，47（11）：1-7.

[48]羅陸鋒， 鄒湘軍， 程堂燦，等. 采摘機(jī)器人視覺(jué)定位及行為控制的硬件在環(huán)虛擬試驗(yàn)系統(tǒng)設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（4）：39-46.

LUO Lujin， ZOU Xiangjun， CHENG Tangcan， et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（4）：39-46.

[49]BLANES C， ORTIZ C， MELLADO M. Assessment of eggplant firmness with accelerometers on a pneumatic robot gripper[J]. Computers and Electronics in Agriculture， 2015， 113（4）： 44-50.

[50]陳燕， 蔡偉亮， 向和平， 等. 荔枝采摘器優(yōu)化設(shè)計(jì)與仿真[J]. 農(nóng)機(jī)化研究， 2013（8）： 84-87.

CHEN Yan， CAI Weiliang， XIANG Heping， et al. Optimized design and simulation of litchi harvesting device[J]. Journal of Agricultural Mechanization Research， 2013（8）： 84-87.

[51]李娜， 王家忠， 張建寶， 等. 一種剛?cè)峄炻?lián)欠驅(qū)動(dòng)草莓采摘機(jī)械手設(shè)計(jì)[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2015， 38（1）： 118-121.

LI Na， WANG Jiazhong， ZHANG Jianbao， et al. Design of under actuated strawberry harvesting manipulator with rigid-compliant structured[J]. Journal of Agricultural University of Hebei， 2015， 38（1）： 118-121.

[52]饒洪輝， 羅時(shí)挺， 徐諧慶，等. 一種氣吸式油茶果采摘機(jī)[P].中國(guó)專利： CN201520070541.1， 2015-02-06.

[53]王學(xué)林，姬長(zhǎng)英，周俊，等.基于灰色預(yù)測(cè)控制的果蔬抓取系統(tǒng)設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)工程學(xué)報(bào)，2010， 26（3）： 112-117.

WANG Xuelin， JI Changying， ZHOU Jun， et al. Design and experiment of fruit and vegetable grasping system based on grey prediction control[J]. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（3）： 112-117.

[54]李建偉，陳艷艷.蘋果采摘機(jī)器人末端執(zhí)行器的原理及試驗(yàn)研究[J].農(nóng)機(jī)化研究， 2017（9）：139-142.

LI Jianwei， CHEN Yanyan. Structural principle and experimental research on the end effector of apple picking robot[J]. Journal of Agricultural Mechanization Research， 2017（9）：139-142.

[55]羅陸鋒， 楊自尚，徐東升，等.串型水果采摘機(jī)器人的末端執(zhí)行器[P]. 中國(guó)專利： CN201610843191.7， 2016-12-28.

[56]ZOU X， ZOU H， LU J. Virtual manipulator-based binocular stereo vision positioning system and errors modeling[J]. Machine Vision and Applications， 2012， 23（1）： 43-63.

[57]LUO Lufeng， TANG Yunchao， ZOU Xiangjun， et al. Vision-based extraction of spatial information in grape cluster for harvesting robots[J]. Biosystems Engineering， 2016， 151（11）：90-104.