劉 然， 吳 昊， 湯晶宇， 肖 冰*， 畢宏偉

(1.國(guó)家林業(yè)和草原局哈爾濱林業(yè)機(jī)械研究所，黑龍江 哈爾濱 150086；2.國(guó)家林業(yè)和草原局林業(yè)機(jī)電工程重點(diǎn)實(shí)驗(yàn)室，黑龍江 哈爾濱 150086；3.國(guó)家林業(yè)和草原局林業(yè)裝備工程技術(shù)研究中心，黑龍江 哈爾濱 150086)

中國(guó)是世界上面積最大的林果種植地之一，同時(shí)林果產(chǎn)量位于世界前列[1]，林果業(yè)的快速發(fā)展逐漸成為中國(guó)農(nóng)林業(yè)的主要經(jīng)濟(jì)來(lái)源之一。林果的采收是其中一個(gè)重要的環(huán)節(jié)，大多的采收過(guò)程都是以人工作業(yè)來(lái)完成，不但費(fèi)時(shí)費(fèi)力，而且在采摘過(guò)程中時(shí)常需要攀爬梯子在樹冠旁作業(yè)，容易造成工人受傷的情況發(fā)生。隨著林果種植面積規(guī)模的不斷擴(kuò)大，人工成本的不斷增加，需要提供更多的林果采收機(jī)器，以實(shí)現(xiàn)機(jī)器換人[2]。近年來(lái)最具智能化的機(jī)器人不斷地應(yīng)用于現(xiàn)代農(nóng)林業(yè)，采摘機(jī)器人代替人工進(jìn)行采收作業(yè)具有良好的發(fā)展前景。任何一種林果采摘機(jī)器人的成功運(yùn)行都離不開(kāi)對(duì)目標(biāo)果實(shí)的準(zhǔn)確識(shí)別與定位，其為機(jī)械手提供正確的空間位姿，來(lái)完成對(duì)林果的采摘[3]。因此，林果采摘機(jī)器人中視覺(jué)系統(tǒng)的好壞決定了采摘成功率與采摘效率的高低[4]。本文針對(duì)林果采摘機(jī)器人視覺(jué)系統(tǒng)中的識(shí)別和定位方法進(jìn)行分析梳理，結(jié)合近年來(lái)最新的圖像識(shí)別與定位技術(shù)，提出一些改進(jìn)措施。

1 林果采摘機(jī)器人研究現(xiàn)狀

林果采摘機(jī)器人是主要與林果相關(guān)的采摘機(jī)器人，本文將列舉具有代表性的采摘機(jī)器人(包括蘋果、柑橘等)。美國(guó)Silwal等設(shè)計(jì)了一種七自由度蘋果采摘機(jī)器人[5]，如圖1所示。機(jī)器人視覺(jué)系統(tǒng)采用全局相機(jī)，可以對(duì)周圍果樹果實(shí)進(jìn)行360°識(shí)別定位，識(shí)別范圍廣，在成功定位果實(shí)后，使用7自由度機(jī)械手對(duì)目標(biāo)果實(shí)進(jìn)行采摘。經(jīng)過(guò)多次試驗(yàn)得出，每個(gè)果實(shí)的平均定位時(shí)間為1.5 s，平均采摘時(shí)間為6 s，采摘成功率為84%。該機(jī)器人的機(jī)械臂具有7自由度，提高了機(jī)器人的靈活性和避障能力。但是本次實(shí)驗(yàn)場(chǎng)地主要針對(duì)規(guī)則特定的栽培環(huán)境，并且去除了成簇的果實(shí)，降低了環(huán)境的復(fù)雜性。

圖1 蘋果采摘機(jī)器人1.全景攝像頭；2.7自由度機(jī)械臂；3.末端執(zhí)行器；4.控制系統(tǒng)；5.移動(dòng)底盤

西安交通大學(xué)楊長(zhǎng)輝[6]等設(shè)計(jì)了一種柑橘采摘機(jī)器人，如圖2所示。該采摘機(jī)器人的設(shè)計(jì)方案主要針對(duì)自然環(huán)境下的柑橘采摘作業(yè)，利用深度相機(jī)Kinect V2和卷積神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建識(shí)別與定位系統(tǒng)，可以獲得采摘目標(biāo)和障礙物的位置信息，為復(fù)雜環(huán)境下機(jī)器人對(duì)目標(biāo)果實(shí)進(jìn)行精準(zhǔn)采摘奠定基礎(chǔ)。但是在采摘精度提高的同時(shí)采摘速度降低，未來(lái)在實(shí)用性上還需提高。

圖2 柑橘采摘機(jī)器人1.采摘執(zhí)行器；2.采摘機(jī)械臂；3.深度相機(jī)；4.機(jī)器人控制系統(tǒng)；5.履帶式移動(dòng)底盤

迄今為止，國(guó)內(nèi)外學(xué)者在研究采摘機(jī)器人的首要研究?jī)?nèi)容時(shí)都離不開(kāi)機(jī)器人的視覺(jué)系統(tǒng)，林果采摘機(jī)器人作業(yè)時(shí)首先要獲取目標(biāo)林果的數(shù)字圖像，其次是使林果圖像中目標(biāo)林果和背景區(qū)分開(kāi)來(lái)并將提取其特征輪廓，最后將識(shí)別過(guò)后的目標(biāo)林果的三維位置信息傳遞到采摘機(jī)器人控制系統(tǒng)，利用機(jī)械臂的末端執(zhí)行器來(lái)完成采摘?jiǎng)幼鳌Ｒ虼?，本文將著重研究近年?lái)的林果采摘機(jī)器人視覺(jué)系統(tǒng)中的識(shí)別與定位技術(shù)。

2 林果采摘機(jī)器人視覺(jué)系統(tǒng)研究現(xiàn)狀

2.1 林果目標(biāo)識(shí)別方法研究

林果識(shí)別一般是林果采摘的第一步，通過(guò)機(jī)器人視覺(jué)系統(tǒng)中的視覺(jué)傳感器對(duì)目標(biāo)林果進(jìn)行特征識(shí)別，提取出林果的形狀、顏色特征，最后通過(guò)這些特征來(lái)識(shí)別出正確的目標(biāo)果實(shí)[7]。本文將林果識(shí)別方式主要分為傳統(tǒng)數(shù)字圖像處理技術(shù)與機(jī)器學(xué)習(xí)的林果識(shí)別和基于深度學(xué)習(xí)網(wǎng)絡(luò)技術(shù)去梳理研究。

2.1.1 傳統(tǒng)圖像處理技術(shù)和機(jī)器學(xué)習(xí)的林果識(shí)別

傳統(tǒng)的林果識(shí)別主要依靠對(duì)果實(shí)的形狀、顏色、紋理特征來(lái)識(shí)別，而且這些方法通常會(huì)與機(jī)器學(xué)習(xí)的圖像識(shí)別進(jìn)行結(jié)合使用，國(guó)內(nèi)外對(duì)此已做了大量研究工作，并取得了相關(guān)的研究成果。江蘇大學(xué)蔡健容[8]等利用Otsu自適應(yīng)閾值算法對(duì)柑橘圖像進(jìn)行分割，利用形態(tài)運(yùn)算消除分割后的噪聲，利用優(yōu)化的圓形霍夫變換提取出目標(biāo)柑橘輪廓的中心和半徑，并且在色彩上基于2R-G-B色差圖來(lái)進(jìn)行分割，減少在光照條件下果實(shí)反光對(duì)識(shí)別效果較差的問(wèn)題，經(jīng)過(guò)驗(yàn)證識(shí)別柑橘的成功率在95%左右。中國(guó)農(nóng)業(yè)大學(xué)司永勝[9]等提出了利用色差R-G和色差比(R-G)/(G-B)相結(jié)合的蘋果識(shí)別方法，針對(duì)蘋果輪廓圖像，采用多次遺傳算法進(jìn)行形狀特征提取，處理蘋果圖像中蘋果重疊的問(wèn)題，該方法可以消除一部分的陰影和光照的影響，識(shí)別率達(dá)到97%左右。田有文[10]等提出利用支持向量機(jī)的方法對(duì)葡萄圖像識(shí)別，并能通過(guò)紋理和顏色特征來(lái)識(shí)別出是否具有病蟲害。西北農(nóng)業(yè)大學(xué)崔永杰[11]等對(duì)自然環(huán)境下獼猴桃的識(shí)別進(jìn)行研究，選用0.9R-G顏色特征和Otsu法進(jìn)行閾值分割，再通過(guò)Canny算子提取獼猴桃邊界，最后利用橢圓形Hough變換對(duì)邊界形狀進(jìn)行擬合并對(duì)目標(biāo)進(jìn)行識(shí)別。麥春艷[12]等針對(duì)自然光照條件下蘋果識(shí)別做出進(jìn)一步對(duì)比研究，通過(guò)對(duì)比提出BPNN的蘋果顏色分割方法以及Log邊緣檢測(cè)算子與Hough邊緣算子相結(jié)合的識(shí)別方法，在自然環(huán)境下識(shí)別率達(dá)到91%。華南農(nóng)業(yè)大學(xué)羅陸鋒[13]等為了識(shí)別雙串疊貼葡萄，提出了一種改進(jìn)的K-means聚類方法對(duì)葡萄圖像進(jìn)行分割，并將此算法移植到采摘機(jī)器人的雙目視覺(jué)系統(tǒng)中，在模擬采摘實(shí)驗(yàn)中證明了可行性。

2.1.2 基于深度學(xué)習(xí)網(wǎng)絡(luò)的林果識(shí)別

隨著近年來(lái)深度學(xué)習(xí)的快速發(fā)展，相比于傳統(tǒng)圖像和機(jī)器學(xué)習(xí)的圖像識(shí)別，由于深度學(xué)習(xí)對(duì)目標(biāo)的高維特征提取能力較強(qiáng)，因此其被應(yīng)用于采摘機(jī)器人中視覺(jué)系統(tǒng)的頻率越來(lái)越高，并取得了更佳的識(shí)別效果。BARGOTI[14]等構(gòu)建了一種改進(jìn)的Faster R-CNN林果識(shí)別檢測(cè)系統(tǒng)，可以對(duì)芒果、杏仁和蘋果三種水果目標(biāo)進(jìn)行識(shí)別。華南農(nóng)業(yè)大學(xué)彭紅星[15]等提出一種改進(jìn)的SSD深度學(xué)習(xí)水果檢測(cè)模型，將原有的VGG模型替換成ResNet-101模型，并將此模型利用遷徙學(xué)習(xí)和隨機(jī)梯度下降法進(jìn)行優(yōu)化，可以在自然環(huán)境下對(duì)蘋果、臍橙、柑橘和荔枝進(jìn)行識(shí)別檢測(cè)。岳有軍[16]等采用改進(jìn)的Mask RCNN網(wǎng)絡(luò)對(duì)蘋果進(jìn)行識(shí)別檢測(cè)，在網(wǎng)絡(luò)中加入邊界加權(quán)損失函數(shù)，有效地提高邊界識(shí)別結(jié)果的準(zhǔn)確性，對(duì)復(fù)雜環(huán)境下的蘋果識(shí)別檢測(cè)而言效果更加顯著。魏純[17]等搭建YOLO V2卷積神經(jīng)網(wǎng)絡(luò)柑橘識(shí)別模型，并將識(shí)別模型輸入雙目識(shí)別視覺(jué)系統(tǒng)中，經(jīng)實(shí)驗(yàn)證明了該系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。趙輝[18]等提出一種改進(jìn)的YOLO V3蘋果果實(shí)識(shí)別方法，在模型網(wǎng)絡(luò)中增加SPP模塊，進(jìn)一步地提高全局和局部特征的融合度，提高了對(duì)小型果實(shí)的識(shí)別率，在實(shí)驗(yàn)中對(duì)比該識(shí)別模型在魯棒性和實(shí)時(shí)性上要高于Faster RCNN和RetinaNet識(shí)別網(wǎng)絡(luò)。蔡舒平[19]等利用改進(jìn)的YOLOV4目標(biāo)識(shí)別模型對(duì)果園障礙物進(jìn)行識(shí)別分類，將網(wǎng)絡(luò)中用逆殘差組件取代原有的殘差組件，讓網(wǎng)絡(luò)模型更加輕量，增強(qiáng)了對(duì)果園障礙物識(shí)別的實(shí)時(shí)性，為后續(xù)機(jī)器人的林果采摘奠定基礎(chǔ)。綜合上述分析傳統(tǒng)數(shù)字圖像識(shí)別方法在復(fù)雜果園環(huán)境下容易受到環(huán)境因素干擾，而機(jī)器學(xué)習(xí)的圖像識(shí)別在數(shù)據(jù)獲取中也存在魯棒性不強(qiáng)的問(wèn)題，而深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)更加適合復(fù)雜的林果采摘環(huán)境。

2.2 林果目標(biāo)三維定位方法研究

林果定位是林果識(shí)別后的關(guān)鍵步驟，由于國(guó)內(nèi)外林果采摘視覺(jué)系統(tǒng)傳感器各不相同，導(dǎo)致其定位方式不同。本文重點(diǎn)探討單目相機(jī)、雙目相機(jī)、深度相機(jī)的林果定位。

2.2.1 基于單目相機(jī)和雙目相機(jī)的林果定位

單目相機(jī)的三維定位就是通過(guò)單目相機(jī)獲取目標(biāo)信息，然后通過(guò)圖像特征信息、幾何投影和相機(jī)模型參數(shù)來(lái)確定目標(biāo)信息。Bulanon[20]等利用單目彩色相機(jī)從多個(gè)角度去定位同一個(gè)柑橘果實(shí)目標(biāo)，并用實(shí)驗(yàn)證明該方法提高了柑橘機(jī)器人的采摘效率。Si[21]等將單目相機(jī)安裝在采摘機(jī)器人機(jī)械臂末端，確定果實(shí)的質(zhì)心位置，通過(guò)控制器規(guī)劃?rùn)C(jī)械臂完成果實(shí)的抓取動(dòng)作。雖然單目相機(jī)結(jié)構(gòu)簡(jiǎn)單，能夠較快的獲取圖像二維位置信息，但是獲取三維信息需要結(jié)合目標(biāo)的幾何特征點(diǎn)和投影信息，所以定位精度較低，采摘成功率不高。雙目視覺(jué)是建立在單目視覺(jué)基礎(chǔ)上的，Plebe[22]等在橙子采摘機(jī)器人的兩個(gè)臂上分別安裝了雙目攝像頭，通過(guò)對(duì)橙子質(zhì)心的立體匹配確定橙子在三維坐標(biāo)系下的坐標(biāo)。為了提高采摘機(jī)器人的采摘速度，Williams[23]等設(shè)計(jì)了一種四臂采摘機(jī)器人，而且每個(gè)機(jī)械臂都對(duì)應(yīng)一套雙目視覺(jué)系統(tǒng)，四臂獼猴桃采摘機(jī)器人如圖3所示。視覺(jué)系統(tǒng)對(duì)完整的獼猴桃圖像處理時(shí)間為3 s，視覺(jué)定位成功率可達(dá)到89.6%，機(jī)器人機(jī)構(gòu)設(shè)計(jì)靈活，四臂和四對(duì)雙目視覺(jué)可以協(xié)同工作。Luo[24]等提出一種雙目視覺(jué)的葡萄簇空間信息獲取方法，該方法能夠有效避免末端執(zhí)行器對(duì)葡萄果實(shí)的傷害。

圖3 四臂獼猴桃采摘機(jī)器人1.雙目攝像頭；2.獼猴桃收納槽；3.末端執(zhí)行器；4.照明

2.2.2 基于深度相機(jī)的林果定位

隨著科技的的不斷進(jìn)步，人們通過(guò)對(duì)3D技術(shù)的使用來(lái)還原人眼看到的真實(shí)信息，RGB-D相機(jī)是基于飛行時(shí)間法的彩色深度相機(jī)，主要由景深相機(jī)、彩色相機(jī)和激光傳感器構(gòu)成。其中彩色相機(jī)獲取林果的二維彩色圖像，利用激光和景深相機(jī)來(lái)獲取圖像的深度值。Nguyen[25]等利用RGB-D相機(jī)來(lái)識(shí)別果園非結(jié)構(gòu)環(huán)境中樹上的紅色與綠色蘋果，并開(kāi)發(fā)了一種基于顏色和形狀特征的雙色蘋果檢測(cè)和定位算法，該方法位置估計(jì)誤差均小于10 mm，同時(shí)檢測(cè)20個(gè)蘋果用時(shí)低于1 s。Tao[26]等為了提高機(jī)器人在三維空間的識(shí)別能力和感知能力，提出了一種基于點(diǎn)云數(shù)據(jù)的蘋果識(shí)別與定位方法，該方法訓(xùn)練一個(gè)基于GA優(yōu)化支持向量機(jī)的自動(dòng)識(shí)別分類器，結(jié)合RGB-D相機(jī)獲取蘋果樹點(diǎn)云數(shù)據(jù)，針對(duì)遮擋的蘋果具有較好的識(shí)別定位能力，如圖4所示。

圖4 基于RGB-D相機(jī)與點(diǎn)云分割的蘋果識(shí)別與定位

3 結(jié)論

林果采摘機(jī)器人目標(biāo)識(shí)別與三維定位一直以來(lái)都是林業(yè)機(jī)械研究領(lǐng)域的關(guān)鍵技術(shù)問(wèn)題，相比于傳統(tǒng)的識(shí)別定位方法，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)合深度相機(jī)的識(shí)別定位方法更加值得研究關(guān)注。但是由于農(nóng)業(yè)環(huán)境的復(fù)雜和不確定性，視覺(jué)系統(tǒng)在實(shí)際應(yīng)用環(huán)境中仍然存在較大的定位誤差。根據(jù)目前存在的不足提出三條建議：

(1)在林果的實(shí)際采摘環(huán)境中，需要采摘的目標(biāo)對(duì)象往往不屬于同一類型，而深度學(xué)習(xí)的圖像識(shí)別算法需要根據(jù)特定的采摘對(duì)象來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，容易造成算法通用性不強(qiáng)的問(wèn)題，未來(lái)應(yīng)加強(qiáng)算法的通用性，更好地識(shí)別相似特征的林果目標(biāo)。

(2)為了降低林果采摘系統(tǒng)的定位誤差，需要結(jié)合機(jī)器人控制系統(tǒng)和機(jī)構(gòu)的創(chuàng)新設(shè)計(jì)，提高視覺(jué)和機(jī)器人的容錯(cuò)技術(shù)，實(shí)現(xiàn)精確定位和精準(zhǔn)采摘。

(3)規(guī)范林果的種植環(huán)境，減少非結(jié)構(gòu)環(huán)境，是降低機(jī)器人對(duì)林果的識(shí)別與定位難度的有效方法。