王周宇

（廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣東 廣州 510630）

0 引言

近年來(lái)，我國(guó)設(shè)施園藝發(fā)展迅速。截至2019年，我國(guó)設(shè)施園藝面積達(dá)370 萬(wàn)hm2，是世界設(shè)施園藝面積最大的國(guó)家，設(shè)施園藝成為許多省市農(nóng)業(yè)中的支柱產(chǎn)業(yè)和農(nóng)民致富的主要途徑[1-2]。辣椒作為設(shè)施園藝的主要種植對(duì)象之一，其全球總產(chǎn)量已超過(guò)6 000 萬(wàn)t，是世界上排名第3 的蔬菜作物[3]，20 世紀(jì)90 年代我國(guó)引進(jìn)彩椒品種，因其果形大，果皮光滑，色彩鮮艷，口感甜脆，適合鮮食，營(yíng)養(yǎng)價(jià)值高，抗病性好等特點(diǎn)受到廣大國(guó)民的青睞，彩椒也是我國(guó)設(shè)施農(nóng)業(yè)種植面積較大的品種之一[4-6]。如今我國(guó)的彩椒種植在收獲階段基本上還是依靠人工完成。彩椒人工采摘工作量大、勞動(dòng)強(qiáng)度高，需要大量勞動(dòng)力，采摘環(huán)節(jié)勞動(dòng)力的使用量占整個(gè)生產(chǎn)過(guò)程中勞動(dòng)力使用量的40%～50%[7-8]。我國(guó)由于勞動(dòng)力高齡化和大量青壯年勞動(dòng)力流向非農(nóng)行業(yè)，導(dǎo)致農(nóng)業(yè)勞動(dòng)力資源緊缺，勞動(dòng)力成本驟升，彩椒人工采摘成本占其全生產(chǎn)成本的33%～50%[9]。隨著人口老齡化及農(nóng)業(yè)勞動(dòng)人口的減少，進(jìn)行彩椒智能采摘機(jī)器人開(kāi)發(fā)，對(duì)于降低勞動(dòng)力成本，提高彩椒產(chǎn)業(yè)利潤(rùn)具有重要意義。

1 國(guó)內(nèi)外研究現(xiàn)狀

彩椒采摘機(jī)器人研究涉及應(yīng)用機(jī)器視覺(jué)識(shí)別、機(jī)械臂路徑規(guī)劃與避障、人工智能、機(jī)器人控制以及自主導(dǎo)航等多項(xiàng)高新技術(shù)[10-15]。彩椒采摘機(jī)器人通常由整機(jī)結(jié)構(gòu)、控制系統(tǒng)、末端執(zhí)行器、視覺(jué)識(shí)別系統(tǒng)等重要部分組成。

1.1 彩椒采摘機(jī)器人整機(jī)結(jié)構(gòu)

日本及歐盟的專家和研究院對(duì)彩椒采摘機(jī)器人的設(shè)計(jì)研發(fā)起步較早。如日本的高知技術(shù)大學(xué)持續(xù)對(duì)彩椒采收機(jī)器人進(jìn)行了研究，開(kāi)發(fā)了基于三自由度直角坐標(biāo)機(jī)械臂和剪刀式末端執(zhí)行器的移動(dòng)采摘機(jī)器人[16]（如圖1a 所示），隨后又針對(duì)單支雙株式栽培的彩椒開(kāi)發(fā)了基于多自由度關(guān)節(jié)式機(jī)械臂的彩椒采摘機(jī)器人（如圖1b 所示）[17]。歐洲的瓦格寧根大學(xué)在2010—2014 年間對(duì)彩椒采摘機(jī)器人進(jìn)行了研究與開(kāi)發(fā)工作，其領(lǐng)導(dǎo)開(kāi)發(fā)的彩椒采摘機(jī)器人主要由軌道式移動(dòng)平臺(tái)、9 自由度的關(guān)節(jié)機(jī)械臂、ToF相機(jī)與彩色CCD 相機(jī)組成的視覺(jué)系統(tǒng)、以及末端執(zhí)行器組成，并開(kāi)發(fā)了Crops 彩椒采摘機(jī)器人（如圖1c 所示），2015—2018 年瓦格寧根大學(xué)又開(kāi)發(fā)了Sweeper 彩椒采摘機(jī)器人[18-19]（如圖1d 所示）。澳大利亞昆士蘭科技大學(xué)[20]（如圖1e 所示）和以色列本古里安大學(xué)[21]（如圖1f 所示）等也進(jìn)行了基于UR多關(guān)節(jié)機(jī)械臂的新型彩椒采摘機(jī)器人的開(kāi)發(fā)。

圖1 國(guó)內(nèi)外彩椒采摘機(jī)器人整機(jī)實(shí)物

1.2 彩椒采摘機(jī)器人控制系統(tǒng)

采摘機(jī)器人涉及到多種傳感器信息以及多種執(zhí)行元件，一般采用主從控制模式協(xié)調(diào)控制眾多的傳感器和執(zhí)行元件。主從控制模式的控制系統(tǒng)分上位機(jī)和下位機(jī)，通常由1 臺(tái)上位機(jī)和多臺(tái)下位機(jī)組成。上位機(jī)主要負(fù)責(zé)系統(tǒng)的整體控制，進(jìn)行任務(wù)規(guī)劃，協(xié)調(diào)各個(gè)下位機(jī)的功能，上位機(jī)同時(shí)部署有需要大的運(yùn)算能力的功能，比如視覺(jué)識(shí)別程序以及機(jī)械臂路徑規(guī)劃算法等。各個(gè)功能模塊的控制系統(tǒng)作為系統(tǒng)的下位機(jī)，用于處理上位機(jī)發(fā)送的任務(wù)指令或反饋功能模塊感知到的信息。此類控制模式的系統(tǒng)容易搭建，各個(gè)功能模塊的具體功能由下位機(jī)實(shí)現(xiàn)，上位機(jī)僅需專注于整個(gè)系統(tǒng)的控制，利于多人協(xié)同開(kāi)發(fā)。比如上位機(jī)發(fā)送指令使末端執(zhí)行器進(jìn)行采摘?jiǎng)幼?，下位機(jī)的末端執(zhí)行器控制系統(tǒng)控制完成末端執(zhí)行器的動(dòng)作，比如剪切、夾取等。上位機(jī)與下位機(jī)一般通過(guò)串口、USB、網(wǎng)絡(luò)等方式通信。瓦格寧根大學(xué)的HEMMING 等人研發(fā)的彩椒采摘機(jī)器人使用基于x86 的專用電腦的工控機(jī)作為上位機(jī)，傳感器通過(guò)網(wǎng)絡(luò)接口或USB 接口與上位機(jī)通信，末端執(zhí)行器及驅(qū)動(dòng)單元通過(guò)網(wǎng)絡(luò)接口和CAN 總線與上位機(jī)通信，對(duì)算力有要求的任務(wù)如圖像處理等放在另一臺(tái)電腦上執(zhí)行，并通過(guò)網(wǎng)口與作為上位機(jī)的工控機(jī)通信。HEMMING 基于ROS（Robot Operating System，機(jī)器人操作系統(tǒng)）系統(tǒng)開(kāi)發(fā)了采摘機(jī)器人的控制系統(tǒng)[18]，ROS 是一種分布式的進(jìn)程框架，實(shí)現(xiàn)各個(gè)功能的部件作為節(jié)點(diǎn)，各個(gè)節(jié)點(diǎn)之間通過(guò)話題、服務(wù)互相通信，便于機(jī)器人的控制系統(tǒng)開(kāi)發(fā)。

1.3 彩椒采摘機(jī)器人末端執(zhí)行器

彩椒采摘機(jī)器人的末端執(zhí)行器方面，日本高知技術(shù)大學(xué)的SHIVAJI 等人設(shè)計(jì)了一款基于熱切割系統(tǒng)的彩椒采摘末端執(zhí)行器[17]，如圖2 所示，其主要由夾取機(jī)構(gòu)和切割機(jī)構(gòu)組成。夾取架構(gòu)通過(guò)伺服電機(jī)驅(qū)動(dòng)齒輪齒條機(jī)構(gòu)從而使槽口板向前或向后運(yùn)動(dòng)，槽口板向前移動(dòng)時(shí)夾持桿夾緊以抓取甜椒，槽口板向后運(yùn)動(dòng)時(shí)夾持桿向兩邊運(yùn)動(dòng)從而松開(kāi)甜椒。切割機(jī)構(gòu)分別使用電弧熱切割系統(tǒng)（EATCS）以及溫度電弧熱切割系統(tǒng)（TATCS），其中EATCS 是在電極兩端加載高壓產(chǎn)生電弧，從而對(duì)彩椒果梗進(jìn)行切割，TATCS 是在金屬線兩端加載電流使金屬線產(chǎn)生高溫從而對(duì)果梗進(jìn)行切割。試驗(yàn)結(jié)果表明通過(guò)熱切割采摘的彩椒保鮮時(shí)間為15 d，而用剪刀采收的彩椒保鮮時(shí)間為5 d，但熱切割時(shí)間需要1.5 s，耗時(shí)較長(zhǎng)。圖3 是末端執(zhí)行器的實(shí)物圖，結(jié)構(gòu)復(fù)雜，體積較大，容易與葉子、果莖等部位碰撞。

圖2 日本高知技術(shù)大學(xué)SHIVAJI 設(shè)計(jì)的末端執(zhí)行器

圖3 SHIVAJI 設(shè)計(jì)的末端執(zhí)行器實(shí)物圖

日本高知技術(shù)大學(xué)的KITAMURA 等[16]設(shè)計(jì)的彩椒采摘專用末端執(zhí)行器為剪刀式如圖4 所示，包括剪刀、平行連桿機(jī)構(gòu)以及驅(qū)動(dòng)機(jī)構(gòu)等部分。剪刀是日常使用的剪刀，方便更換和研磨，從而保持其鋒利性，提高切割成功率。該末端執(zhí)行器未設(shè)計(jì)夾持機(jī)構(gòu)，切割后彩椒會(huì)直接落到地上，無(wú)法實(shí)現(xiàn)自動(dòng)裝籃，且體積較為龐大，容易與葉片和果莖產(chǎn)生碰撞，其試驗(yàn)也表明，去除了甜椒附近的葉片才能成功采摘彩椒，若不去除甜椒附近的葉片則采摘成功率較低。荷蘭瓦格寧根大學(xué)的HEMMING 等[18]設(shè)計(jì)了2 種溫室彩椒采摘機(jī)器人的末端執(zhí)行器，如圖5所示，分別為唇吸式末端執(zhí)行器和夾持式末端執(zhí)行器。唇吸式末端執(zhí)行器主要由2 個(gè)自適應(yīng)手指、剪刀和末端二次定位系統(tǒng)組成，二次定位系統(tǒng)由ToF相機(jī)、彩色相機(jī)和LED 燈組成，二次定位系統(tǒng)可以對(duì)剪切位置進(jìn)行定位和微調(diào)，形成視覺(jué)伺服。唇吸式末端執(zhí)行器主要由吸盤、2 個(gè)唇形刀架、二次定位系統(tǒng)組成，該末端執(zhí)行器用吸盤固定彩椒果實(shí)，再使用唇形切刀將果梗切斷。這2 種末端執(zhí)行器在自然條件下果實(shí)收獲的最高成功率分別為26%和33%，在去除果實(shí)附近的葉片后，2 種末端執(zhí)行器的采摘成功率分別為93%和61%，切割成功率分別為29%和76%，但是這2 種末端執(zhí)行器體積較大，不夠靈活，在有葉片的情況下采摘成功率較低。

圖4 日本高知技術(shù)大學(xué)甜椒末端執(zhí)行器

圖5 瓦格寧根大學(xué)設(shè)計(jì)的甜椒末端執(zhí)行器

1.4 彩椒采摘機(jī)器人視覺(jué)識(shí)別方法

以色列本古里安大學(xué)的E.VITZRABIN 使用Kinect相機(jī)搭建了彩椒識(shí)別系統(tǒng)，并使用兩個(gè)150 W 的鹵素?zé)暨M(jìn)行照明，如圖6 所示。其對(duì)比了以高TPR（真陽(yáng)性率）為目標(biāo)和以低FPR（假陽(yáng)性率）為目標(biāo)的兩種算法，分別使用兩種算法對(duì)目標(biāo)彩椒進(jìn)行識(shí)別和抓取，試驗(yàn)得到結(jié)果是以高TPR 為目標(biāo)的算法成功抓取率為80%，而以低FPR 為目標(biāo)的算法成功抓取率為50%，表明以高TPR 為目標(biāo)的識(shí)別算法能更好的提高彩椒采摘機(jī)器人的成功抓取率，同時(shí)試驗(yàn)表明，添加鹵素?zé)糇鳛槿斯ふ彰鞑⒉豢偰芴岣咦R(shí)別準(zhǔn)確率，特別是當(dāng)自然光照強(qiáng)烈時(shí)，添加人工照明會(huì)造成照片過(guò)曝，導(dǎo)致識(shí)別率下降[21]。日本高知技術(shù)大學(xué)的S.KITAMURA 等搭建的識(shí)別系統(tǒng)如圖7 所示，其由2 臺(tái)彩色CCD 相機(jī)、1 塊數(shù)據(jù)采集板和圖像處理程序組成，2 臺(tái)彩色CCD 相機(jī)平行放置組成雙目視覺(jué)系統(tǒng)，從而獲取相機(jī)與被測(cè)量甜椒之間的距離。S.KITAMURA 等人在左邊的相機(jī)周圍安裝了LED 燈，如圖8 所示，限制LED 燈的照明面積使左眼與右眼的圖像處理結(jié)果相同，使用白色LED 燈照射彩椒時(shí)，彩椒與彩椒葉子的色調(diào)具有明顯不同，如圖9 所示，利用這種差異，在HSI 顏色空間下將彩椒從葉子中識(shí)別分割出來(lái)。此方法對(duì)于彩椒的識(shí)別率為80.8%，未出現(xiàn)識(shí)別樹(shù)葉的錯(cuò)誤結(jié)果，但該種識(shí)別方法需要在夜間或者自然光線很差的環(huán)境下使用[22]。江蘇大學(xué)的姬偉[23-24]提出了青椒及采摘點(diǎn)識(shí)別方法，首先基于模糊集理論算法增強(qiáng)青椒圖像，然后采用SEEDS 超像素算法對(duì)青椒圖像進(jìn)行分割，再基于改進(jìn)的流行排序顯著性檢測(cè)算法對(duì)青椒進(jìn)行識(shí)別，識(shí)別率為85.6%，最后利用SUSAN 角點(diǎn)檢測(cè)算法確定果梗采摘點(diǎn)。佛山科學(xué)技術(shù)學(xué)院[25]提出了一種基于MaskRCNN 的青椒圖像檢測(cè)方法，通過(guò)訓(xùn)練獲得基于青椒圖像的MaskR-CNN 檢測(cè)青椒的模型，使用識(shí)別模型對(duì)青椒進(jìn)行識(shí)別并獲得青椒的坐標(biāo)信息，然后基于采摘序列算法規(guī)劃視野范圍內(nèi)彩椒的采摘順序。

圖6 E.VITZRABIN 搭建的識(shí)別系統(tǒng)示意圖

圖7 S.KITAMURA 搭建的識(shí)別系統(tǒng)示意圖

圖8 安裝在CCD 相機(jī)上的LED 燈

圖9 使用白光LED 捕獲的圖像

2 存在的問(wèn)題及發(fā)展方向

2.1 整機(jī)結(jié)構(gòu)

彩椒采摘機(jī)器人研究目前集中于日本、歐盟、澳大利亞、以色列等國(guó)，國(guó)內(nèi)主要在彩椒采摘機(jī)器人的視覺(jué)識(shí)別方面進(jìn)行了相關(guān)研究。國(guó)外機(jī)構(gòu)如日本的高知技術(shù)大學(xué)、歐洲的瓦格寧根大學(xué)以及澳大利亞昆士蘭科技大學(xué)研發(fā)的彩椒采摘機(jī)器人樣機(jī)可在實(shí)驗(yàn)室環(huán)境下實(shí)現(xiàn)彩椒采摘的功能，但是采摘機(jī)器人的總體結(jié)構(gòu)龐大。由于彩椒種植環(huán)境的空間一般相對(duì)狹小，所以彩椒采摘機(jī)器人應(yīng)向小型化發(fā)展以適應(yīng)彩椒種植環(huán)境，后續(xù)彩椒采摘機(jī)器人的開(kāi)發(fā)應(yīng)著力于使整體結(jié)構(gòu)更加緊湊。

2.2 末端執(zhí)行器

為實(shí)現(xiàn)彩椒自動(dòng)采摘需要研發(fā)專用末端執(zhí)行器，目前學(xué)者們研發(fā)了各種原理的末端執(zhí)行器，但由于其結(jié)構(gòu)復(fù)雜，動(dòng)力源多，導(dǎo)致整體結(jié)構(gòu)龐大，難以避開(kāi)障礙物，遇到葉子遮擋時(shí)，會(huì)降低采摘成功率。部分末端執(zhí)行器僅僅有剪切的功能，沒(méi)有夾持的功能，剪切完后彩椒會(huì)落到地面，無(wú)法完成自動(dòng)裝籃的過(guò)程，需要人工進(jìn)行二次撿拾。所以彩椒采摘末端執(zhí)行器應(yīng)向小型化、靈巧化方向發(fā)展，同時(shí)具備夾持功能或配合其他收集裝置實(shí)現(xiàn)自動(dòng)裝籃功能。

2.3 控制系統(tǒng)

目前研發(fā)的彩椒采摘機(jī)器人控制系統(tǒng)大多搭載在PC 機(jī)上，因此PC 機(jī)需要安裝在彩椒采摘機(jī)器人上，導(dǎo)致彩椒采摘機(jī)器人體積龐大。隨著深度學(xué)習(xí)以及用于深度學(xué)習(xí)的嵌入式技術(shù)發(fā)展，采摘機(jī)器人可以采用計(jì)算性能好的嵌入式硬件作為采摘機(jī)器人的控制系統(tǒng)，此類嵌入式硬件體積較小，可以大幅減小采摘機(jī)器人的體積。隨著5G 技術(shù)的發(fā)展，也可以在云端部署彩椒采摘機(jī)器人的控制系統(tǒng)，控制系統(tǒng)與采摘機(jī)器人之間可以通過(guò)5G 信號(hào)進(jìn)行通信，實(shí)現(xiàn)控制系統(tǒng)對(duì)采摘機(jī)器人的控制。

2.4 采摘效率

目前彩椒采摘機(jī)器人的研究還停留在實(shí)驗(yàn)室或小規(guī)模試驗(yàn)，未有成熟的產(chǎn)品能夠直接應(yīng)用，其原因是多樣的，如采摘成功率低、采摘效率低、裝備運(yùn)行不穩(wěn)定等。針對(duì)采摘機(jī)器人采摘成功率較低的問(wèn)題，可以對(duì)彩椒采摘機(jī)器人的各個(gè)部件進(jìn)行優(yōu)化，研發(fā)更輕便靈巧的末端執(zhí)行器，研究更智能的機(jī)械臂路徑規(guī)劃與避障方法；除此之外，還應(yīng)該與農(nóng)藝相結(jié)合，在農(nóng)藝上改變?cè)耘喾椒?，使彩椒更便于機(jī)械化采收，多項(xiàng)舉措并行，從而提高采摘成功率。采摘效率低的主要因素是機(jī)械臂因避障產(chǎn)生的無(wú)效行程較多，應(yīng)研究更智能便捷的機(jī)械臂路徑規(guī)劃算法，同時(shí)在農(nóng)作物力學(xué)特性范圍內(nèi)盡可能提高機(jī)械臂運(yùn)行速度，從而提高采摘效率。針對(duì)采摘機(jī)器人運(yùn)行不穩(wěn)定問(wèn)題，除了在實(shí)驗(yàn)室進(jìn)行樣機(jī)試驗(yàn)外，還應(yīng)在實(shí)際場(chǎng)景中進(jìn)行大量長(zhǎng)時(shí)間的彩椒采摘試驗(yàn)，在試驗(yàn)中發(fā)現(xiàn)問(wèn)題并解決，形成正反饋，提高采摘機(jī)器人的穩(wěn)定性，早日實(shí)現(xiàn)商業(yè)化。

3 結(jié)語(yǔ)

2020 年，農(nóng)業(yè)農(nóng)村部發(fā)布的《關(guān)于加快推進(jìn)設(shè)施種植機(jī)械化發(fā)展的意見(jiàn)》提出了到2025 年我國(guó)設(shè)施機(jī)械化水平總體達(dá)到50%以上的要求，在此背景下，針對(duì)性研發(fā)適用于中國(guó)設(shè)施園藝產(chǎn)業(yè)的彩椒智能采摘機(jī)器人，可解決彩椒生產(chǎn)過(guò)程中勞動(dòng)力緊缺的問(wèn)題，對(duì)于降低勞動(dòng)力成本，提高彩椒產(chǎn)業(yè)利潤(rùn)具有重要意義，同時(shí)也可提高設(shè)施園藝機(jī)械化與智能化程度，具有良好的推廣應(yīng)用價(jià)值。