楊長輝 劉艷平 王 毅 熊龍燁 許洪斌 趙萬華

(1.西安交通大學(xué)機(jī)械工程學(xué)院， 西安 710049； 2.重慶理工大學(xué)機(jī)械工程學(xué)院， 重慶 400054)

0 引言

近年來，由于人力成本的上升導(dǎo)致果蔬采摘成本大幅提高，果實(shí)采摘機(jī)器人逐漸成為研究熱點(diǎn)，有關(guān)番茄、蘋果、甜椒[1-4]等采摘機(jī)器人的研究居多。識(shí)別定位系統(tǒng)是采摘機(jī)器人的重要組成部分，通常采用機(jī)器視覺方法實(shí)現(xiàn)對(duì)采摘環(huán)境的感知[5]。文獻(xiàn)[6]通過K-means聚類分割和Hough圓擬合實(shí)現(xiàn)柑橘果實(shí)的識(shí)別分割，文獻(xiàn)[7]采用貝葉斯分類器實(shí)現(xiàn)櫻桃樹樹干識(shí)別，文獻(xiàn)[8]通過K-means聚類算法和HSV閾值分割方法實(shí)現(xiàn)柑橘果實(shí)的識(shí)別。上述傳統(tǒng)機(jī)器視覺方法在自然環(huán)境中對(duì)光照變化較為敏感，不能準(zhǔn)確提取遮擋果實(shí)及枝干等障礙物的特征信息，從而導(dǎo)致機(jī)器人不能準(zhǔn)確感知周圍環(huán)境，在采摘過程中經(jīng)常會(huì)因?yàn)榕鲎舱系K物導(dǎo)致采摘失敗，對(duì)執(zhí)行器或機(jī)械臂造成破壞。

目前，深度學(xué)習(xí)在物體檢測領(lǐng)域取得了巨大進(jìn)展，可較好地解決機(jī)器視覺在自然環(huán)境下識(shí)別物體泛化性較弱的問題。如文獻(xiàn)[9]針對(duì)田間環(huán)境下的多簇獼猴桃果實(shí)識(shí)別，提出基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，實(shí)現(xiàn)了多類果實(shí)的同時(shí)識(shí)別。文獻(xiàn)[10]采用基于SSD(Single shot multibox detector)卷積神經(jīng)網(wǎng)絡(luò)的多類水果識(shí)別模型，通過加深網(wǎng)絡(luò)模型和數(shù)據(jù)集增強(qiáng)處理，提升識(shí)別正確率。文獻(xiàn)[11]采用基于Darknet19的網(wǎng)絡(luò)識(shí)別柑橘果實(shí)，該方法對(duì)果實(shí)的識(shí)別率達(dá)到86.9%，實(shí)現(xiàn)了柑橘果實(shí)的多場景識(shí)別。文獻(xiàn)[12]針對(duì)蘋果樹枝干提出了基于R-CNN(Regions-convolutional neural network)的識(shí)別方法。文獻(xiàn)[13]基于SSD檢測模型和Kinect V2三維測量模型實(shí)現(xiàn)物體的快速準(zhǔn)確定位。

以上研究成果在自然環(huán)境下均能實(shí)現(xiàn)對(duì)采摘果實(shí)和采摘場景的識(shí)別。本文針對(duì)傳統(tǒng)機(jī)器視覺方法在自然環(huán)境下不能準(zhǔn)確理解采摘場景的問題，構(gòu)建柑橘采摘機(jī)器人識(shí)別定位系統(tǒng)，提出障礙物的分類準(zhǔn)則。通過改進(jìn)YOLO V3識(shí)別算法實(shí)現(xiàn)障礙物和采摘果實(shí)的識(shí)別分類，采用Kinect V2深度圖映射得到柑橘果實(shí)和障礙物的位置信息，實(shí)現(xiàn)目標(biāo)物柑橘和障礙物的快速識(shí)別和精準(zhǔn)定位，并在自然環(huán)境下使用自行研制的柑橘采摘機(jī)器人進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 目標(biāo)識(shí)別定位流程與算法

1.1 識(shí)別定位系統(tǒng)組成

柑橘采摘機(jī)器人識(shí)別與定位系統(tǒng)由物體識(shí)別和三維定位兩個(gè)模塊組成。物體識(shí)別模塊采用卷積神經(jīng)網(wǎng)絡(luò)作為識(shí)別算法，將原圖的目標(biāo)物進(jìn)行分類并得到目標(biāo)物位置邊框信息。定位模塊將每個(gè)目標(biāo)物的位置邊框信息轉(zhuǎn)換為目標(biāo)物二維中心點(diǎn)坐標(biāo)，通過二維中心點(diǎn)坐標(biāo)在Kinect V2深度映射圖上獲取該坐標(biāo)點(diǎn)深度值。最后采用Kinect V2三維定位技術(shù)將目標(biāo)物二維中心點(diǎn)坐標(biāo)轉(zhuǎn)換為三維空間坐標(biāo)。系統(tǒng)組成如圖1所示。

圖1 識(shí)別定位系統(tǒng)組成Fig.1 Schematic of recognition and position system

1.2 果實(shí)與障礙物位置關(guān)系分類

柑橘采摘機(jī)器人采摘場景中主要由柑橘果實(shí)、樹葉和枝干3類物體組成，本文根據(jù)3類物體在柑橘樹上不同的空間位置關(guān)系定義4類障礙物目標(biāo)和1類可采摘果實(shí)，詳細(xì)定義如下：

(1)枝干遮擋果實(shí)(Branch occluded)，簡稱BO。定義枝干對(duì)果實(shí)造成的遮擋為枝干遮擋果實(shí)類。

(2)樹葉遮擋果實(shí)(Leaf occluded)，簡稱LO。設(shè)樹葉遮擋面積為SL，被遮擋果實(shí)擬合圓面積為Sf，二者之比為

P=SL/Sf

(1)

定義P≥1/3為樹葉遮擋果實(shí)類。

(3)重疊果實(shí)(Overlapping)，簡稱OL。設(shè)果實(shí)重疊數(shù)量為N，定義2≤N≤4為重疊果實(shí)類。

(4)枝干類(Main branch)，簡稱MB。果樹的一、二級(jí)枝干承擔(dān)著果樹的營養(yǎng)運(yùn)輸任務(wù)，為了保護(hù)果樹的一、二級(jí)枝干不受破壞，同時(shí)也為了確保采摘機(jī)器人的安全，定義果樹的一、二級(jí)枝干為枝干類。

(5)正常無遮擋果實(shí)(Normal)，簡稱NM。果實(shí)前面無遮擋物，樹葉遮擋面積小于1/3均為正常無遮擋果實(shí)類。

以上5類中，正常無遮擋果實(shí)能直接進(jìn)行采摘。由于本課題組設(shè)計(jì)的末端執(zhí)行器只能針對(duì)單個(gè)果實(shí)進(jìn)行采摘作業(yè)[14]，因此樹葉遮擋果實(shí)、枝干遮擋果實(shí)和重疊果實(shí)均不能直接采摘，將其和枝干類一起作為采摘過程中的障礙物。如圖2所示。

圖2 識(shí)別目標(biāo)物類別Fig.2 Classification of recognition object

1.3 障礙物識(shí)別檢測模型

YOLO V3[15-17]具有識(shí)別速度快、識(shí)別準(zhǔn)確率高等優(yōu)點(diǎn)。該算法將整幅圖像用作輸入，并將圖像分割成S×S大小的網(wǎng)格，若某個(gè)格子中包含檢測目標(biāo)，則該格子負(fù)責(zé)檢測該目標(biāo)，并預(yù)測位置邊框和物體置信度。位置邊框信息為該格子位置的偏移寬度和高度，置信度反映是否包含物體以及包含物體情況下的準(zhǔn)確性。位置邊框采用losgistic進(jìn)行預(yù)測

(2)

式中cx、cy——網(wǎng)格的坐標(biāo)偏移量

pw、ph——預(yù)設(shè)anchor框的邊長

bx、by、bw、bh——最終得到的邊框坐標(biāo)值

tx、ty、tw、th——網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)

通過對(duì)每種尺度預(yù)測多個(gè)邊框來提高多尺度目標(biāo)預(yù)測準(zhǔn)確率。

對(duì)于枝干和樹葉遮擋的果實(shí)，特征信息相似度較高，相互干擾較為嚴(yán)重，因此采用最大池化層強(qiáng)化卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中對(duì)枝干和樹葉遮擋紋理特征的提取，以提高識(shí)別準(zhǔn)確率。在YOLO V3第2個(gè)卷積層模塊中，添加3層最大池化層，第1層尺寸為5×5，第2層尺寸為9×9，第3層尺寸為13×13，第2和第3層最大池化層融合卷積模塊中第1層卷積層輸出的特征信息，如圖3所示。

圖3 障礙物識(shí)別檢測網(wǎng)絡(luò)模型Fig.3 Network model for obstacle recognition and detection

1.4 障礙物三維定位

獲取Kinect V2視場內(nèi)障礙物的三維坐標(biāo)(X,Y,Z)，其中三維坐標(biāo)中的深度Z通過Kinect V2自帶的SDK函數(shù)(MapColorFrameTo DepthSpace)獲得，該函數(shù)將彩色相機(jī)(1 920像素×1 080像素)的像素點(diǎn)映射到深度相機(jī)空間中，得到彩色圖中每個(gè)像素點(diǎn)的深度Z。通過彩色相機(jī)的標(biāo)定得到內(nèi)外參數(shù)矩陣，從而建立像素坐標(biāo)系到相機(jī)坐標(biāo)系的映射關(guān)系，得到坐標(biāo)(X,Y,Z)。

1.4.1像素坐標(biāo)點(diǎn)與基坐標(biāo)空間點(diǎn)的轉(zhuǎn)換

采用張正友標(biāo)定法[18]和Matlab標(biāo)定工具箱對(duì)Kinect V2彩色鏡頭進(jìn)行標(biāo)定。得到標(biāo)定結(jié)果內(nèi)部參數(shù)矩陣Krgb為

則彩色鏡頭焦距為(fx,fy)=(1 092.213 7,1 093.432 7),主光點(diǎn)為(u0,v0)=(963.451 5,540.945 0)。

物體的三維空間坐標(biāo)與圖像坐標(biāo)存在線性關(guān)系[19]，假設(shè)相機(jī)坐標(biāo)系中采摘點(diǎn)PC的坐標(biāo)為(XC,YC,ZC)，像素坐標(biāo)系上與之對(duì)應(yīng)的坐標(biāo)為p(x,y)，其關(guān)系式為

(3)

其中ZC由深度鏡頭獲取，u0、v0、fx、fy為前面標(biāo)定結(jié)果，代入式(3)可得

(4)

利用式(4)可計(jì)算物體標(biāo)記點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)。實(shí)際采摘中使用機(jī)械臂坐標(biāo)系為基準(zhǔn)，因此需要將相機(jī)坐標(biāo)系的三維坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)基坐標(biāo)系中的三維坐標(biāo)。在機(jī)械臂末端放置帶有標(biāo)記點(diǎn)的標(biāo)記板，通過控制移動(dòng)機(jī)械臂到基坐標(biāo)系中某點(diǎn)Prob(Xrob,Yrob,Zrob)處，利用式(4)計(jì)算點(diǎn)Prob位置處標(biāo)記點(diǎn)在相機(jī)坐標(biāo)系中的三維點(diǎn)坐標(biāo)(XC,YC,ZC)。按照上述步驟重復(fù)測量80組基坐標(biāo)系與相機(jī)坐標(biāo)系對(duì)應(yīng)的三維點(diǎn)坐標(biāo)，使用Opencv函數(shù)EstimateAffine3D建立相機(jī)坐標(biāo)系與基坐標(biāo)系的轉(zhuǎn)換關(guān)系，該函數(shù)為計(jì)算2個(gè)三維點(diǎn)集的理想仿射變換矩陣，得到仿射變換矩陣

則

(5)

由式(5)可計(jì)算物體中心點(diǎn)在基坐標(biāo)系中的三維坐標(biāo)，其中Xrob、Yrob、Zrob為采摘機(jī)器人基坐標(biāo)系中三維坐標(biāo)值。

1.4.2目標(biāo)物空間特征獲取

Kinect V2彩色相機(jī)采集的圖像經(jīng)過本文識(shí)別模型識(shí)別后，輸出結(jié)果包含目標(biāo)物的類別信息和位置邊框，位置邊框信息為像素坐標(biāo)系中左上角PLT(XL,YL)點(diǎn)坐標(biāo)和右下角PRD(XR,YR)點(diǎn)坐標(biāo)，如圖4所示。

圖4 障礙物三維空間示意圖Fig.4 Digram of 3D space area of obstacles

(6)

點(diǎn)PC(XC,YC,ZC)為NM類的采摘點(diǎn)。以點(diǎn)PC為圓柱體表面中心，min(LW,LH)為直徑、max(LW,LH)為高度構(gòu)造的圓柱體為障礙物BO、LO、OL和MB類的三維空間區(qū)域。

2 數(shù)據(jù)集制作與模型訓(xùn)練

2.1 圖像采集

圖像采集平臺(tái)包括微軟公司生產(chǎn)的Kinect V2相機(jī)、相機(jī)三腳架和聯(lián)想Think Pad E535型便攜式計(jì)算機(jī)，如圖5a所示。Kinect V2相機(jī)結(jié)構(gòu)如圖5b所示，彩色鏡頭分辨率為1 920像素×1 080像素，深度鏡頭分辨率為512像素×424像素，垂直和水平方向視場角分別為60°和70°，深度測量范圍為0.5～4.5 m。光照強(qiáng)度測試儀為勝利儀器生產(chǎn)的VC1010A型。

圖5 圖像采集平臺(tái)硬件Fig.5 Platform for collecting experimental dataset1.柑橘樹 2.Kinect V2相機(jī) 3.相機(jī)三腳架 4.計(jì)算機(jī)終端 5.彩色鏡頭 6.深度鏡頭 7.紅外鏡頭

本文數(shù)據(jù)集采自于重慶市北碚金果園(果園A)與重慶理工大學(xué)柑橘實(shí)驗(yàn)基地(果園B)，柑橘樹樹齡為12 a。相機(jī)感受視野與拍攝距離LC相關(guān)，設(shè)相機(jī)視場角α=60°，樹冠視為直徑為d的類球體。則

(7)

圖6 樹冠直徑直方圖Fig.6 Histogram of canopy diameter

統(tǒng)計(jì)果園A和果園B中隨機(jī)分布的160株12 a樹齡柑橘樹樹冠直徑，樹冠直徑直方圖如圖6所示。由圖可知，樹冠直徑集中在1.0～1.1 m，取該區(qū)間平均值1.05 m作為樹冠直徑。由式(7)可知LC為0.38 m。結(jié)合Kinect V2相機(jī)最小測距距離為0.50 m，本文使用的采摘機(jī)械臂最大采摘距離為0.90 m，因此LC應(yīng)滿足：0.50 m

為了模擬自然環(huán)境下不同光照強(qiáng)度的環(huán)境，設(shè)計(jì)3種拍攝角度：順光、側(cè)光和逆光，所有訓(xùn)練數(shù)據(jù)集均按此拍攝角度進(jìn)行采集。

2.2 數(shù)據(jù)集建立

在果園A和果園B中采集1 400幅圖像，從中隨機(jī)選用1 200幅圖像按照3∶1配置訓(xùn)練集和測試集，200幅作為驗(yàn)證集。采用labelImg標(biāo)注工具進(jìn)行數(shù)據(jù)集標(biāo)注，用鼠標(biāo)框選目標(biāo)物，形成的四邊形框外接目標(biāo)物輪廓邊緣。本文對(duì)形狀不規(guī)則的枝干采用形狀規(guī)則的四邊形離散化標(biāo)記，四邊形的尺寸沒有強(qiáng)制性要求，其包含的像素點(diǎn)面積盡量和柑橘果實(shí)包含的像素點(diǎn)面積一致，四邊形邊框兩條對(duì)角線中的任一對(duì)角線應(yīng)在枝干區(qū)域內(nèi)。標(biāo)記樣例如圖7所示。

圖7 訓(xùn)練數(shù)據(jù)集標(biāo)注樣例Fig.7 Example of training dataset annotation

2.3 anchor boxes參數(shù)設(shè)置

YOLO V3使用anchor boxes對(duì)圖像中的目標(biāo)進(jìn)行檢測，其尺寸設(shè)置與數(shù)據(jù)集的標(biāo)記框尺寸有關(guān)。本文對(duì)形狀不規(guī)則的枝干采用離散化標(biāo)記方法，枝干類和果實(shí)類的標(biāo)記邊框尺寸差異明顯，因此需要對(duì)數(shù)據(jù)集的標(biāo)記框尺寸做K-means聚類分析[20]，得到合適的anchor boxes參數(shù)。

圖8 K-means聚類分析結(jié)果Fig.8 Result of K-means cluster analysis

本文K選取[1，40]，分別對(duì)訓(xùn)練集中標(biāo)記邊框尺寸進(jìn)行K-means聚類分析，得到的結(jié)果如圖8所示。由圖可知，在K=12之后，曲線下降趨勢減緩，逐漸趨于平緩，所以anchor boxes設(shè)置為12。

2.4 模型訓(xùn)練與性能評(píng)估

識(shí)別模型使用遷移學(xué)習(xí)訓(xùn)練，訓(xùn)練過程中對(duì)數(shù)據(jù)集旋轉(zhuǎn)、增加對(duì)比度、增加曝光進(jìn)行數(shù)據(jù)增強(qiáng)，實(shí)現(xiàn)3倍數(shù)據(jù)集擴(kuò)充。訓(xùn)練階段動(dòng)量項(xiàng)為0.9，每一個(gè)batch包含16幅圖像，衰減系數(shù)為0.000 5。迭代訓(xùn)練50 000次，其中1 000～5 000次迭代訓(xùn)練中，權(quán)值學(xué)習(xí)率為0.02，加速模型的收斂。5 000～15 000次迭代訓(xùn)練中，權(quán)值學(xué)習(xí)率為0.002，精調(diào)模型，15 000～24 000迭代訓(xùn)練中，權(quán)值學(xué)習(xí)率為0.000 2，優(yōu)化模型。模型訓(xùn)練過程中每1 000次迭代保存一次網(wǎng)絡(luò)的權(quán)重文件。

模型迭代訓(xùn)練50 000次，其迭代訓(xùn)練過程中的損失率曲線如圖9所示。由圖9可知，訓(xùn)練模型在迭代訓(xùn)練20 000次左右時(shí)損失率不再下降。為了查看mAP(Mean average precision)在迭代訓(xùn)練20 000次左右的變化趨勢，在迭代訓(xùn)練20 000次基礎(chǔ)上增加8 000次，即選用28 000以內(nèi)的權(quán)重文件計(jì)算mAP，其mAP曲線如圖10所示。

圖9 識(shí)別模型訓(xùn)練損失率曲線Fig.9 Loss curve of proposed model

圖10 識(shí)別模型mAP曲線Fig.10 mAP curve of proposed model

mAP計(jì)算公式為

(8)

(9)

(10)

式中P(k)——在閾值k時(shí)的準(zhǔn)確率

ΔR(k)——在閾值k時(shí)的召回率變化量

TP——真實(shí)正樣本數(shù)量

FP——虛假正樣本數(shù)量

FN——虛假的負(fù)樣本數(shù)量

k——閾值P——準(zhǔn)確率

R——召回率N——引用閾值的數(shù)量

由圖10可知，在迭代20 000次之后，mAP達(dá)到85%左右，并逐漸趨于平穩(wěn)，因此本文選擇迭代20 000次的權(quán)重文件作為識(shí)別模型。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 障礙物與采摘果實(shí)識(shí)別實(shí)驗(yàn)

F1值是物體檢測模型綜合評(píng)價(jià)指標(biāo)，是精確率和召回率的調(diào)和均值，因此本文使用F1對(duì)模型的識(shí)別性能進(jìn)行評(píng)估，其計(jì)算公式為

(11)

3.1.1驗(yàn)證集識(shí)別結(jié)果

使用驗(yàn)證集的200幅圖像對(duì)迭代訓(xùn)練20 000次的識(shí)別模型進(jìn)行性能測試，同時(shí)與改進(jìn)前的YOLO V3算法對(duì)比，部分識(shí)別效果如圖11所示。統(tǒng)計(jì)識(shí)別模型對(duì)5類目標(biāo)物識(shí)別的F1值。障礙物的F1值為非NM類F1值的平均值。圖11a中1號(hào)黃色框?yàn)槁┳R(shí)別MB類，在統(tǒng)計(jì)MB類的F1值時(shí)，漏識(shí)別的MB數(shù)量參照枝干標(biāo)記規(guī)則，此處應(yīng)為3個(gè)MB類目標(biāo)。實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果如表1所示。

圖11 部分識(shí)別效果Fig.11 Partial recognition results

由表1統(tǒng)計(jì)結(jié)果可知，本文方法對(duì)枝干類的F1最低，為79.4%；對(duì)NM類和OL類的F1值較高，分別為91.9%和89.3%；對(duì)BO類和LO類的F1值為83.5%和82.0%，對(duì)障礙物的F1值為83.6%。與改進(jìn)前的YOLO V3相比，本文方法對(duì)NM類、OL類和MB類的提升效果不明顯。對(duì)BO類和LO類的F1值提升了3.3個(gè)百分點(diǎn)和3.4個(gè)百分點(diǎn)，對(duì)障礙物的F1值提升了2.1個(gè)百分點(diǎn)。

其原因在于改進(jìn)前模型對(duì)BO類和LO類的誤識(shí)別率較高，相互干擾較為嚴(yán)重。改進(jìn)后的模型強(qiáng)化了模型對(duì)枝干和樹葉的紋理特征提取，減少了BO類和LO類的誤識(shí)別，小幅提升了F1值，圖11a中2號(hào)黃色框與圖11e中4號(hào)黃色框所示，YOLO V3方法對(duì)BO類均出現(xiàn)了誤識(shí)別。從圖11a的識(shí)別效果可以發(fā)現(xiàn)，識(shí)別模型對(duì)MB類在枝干底部區(qū)域有較好的識(shí)別效果，在靠近樹冠區(qū)域開始出現(xiàn)漏識(shí)別現(xiàn)象。其原因在于從柑橘樹的生長姿態(tài)來看，靠近樹冠區(qū)域的枝干其直徑比底部區(qū)域枝干的直徑要小。且由于靠近樹冠區(qū)域，背景開始出現(xiàn)樹葉和柑橘的干擾，降低MB類的F1值。而NM類的特征較為明顯，且訓(xùn)練數(shù)據(jù)集中NM類是最多的類別。因此NM類的F1值是最高的。OL類由于是多果重疊，其形狀特征明顯，尺度較大，且遮擋物干擾較少，有利于模型對(duì)OL類的特征提取。圖11a中OL類的位置邊框尺度為198像素×215像素和117像素×220像素，NM類的邊框尺度為115像素×127像素。而圖中較遠(yuǎn)的目標(biāo)物對(duì)采摘機(jī)器人沒有識(shí)別意義，不作為識(shí)別目標(biāo)物。圖11c中3號(hào)黃色框的柑橘尺寸為38像素×42像素，而離相機(jī)最近的柑橘樹上最小的柑橘尺寸為72像素×75像素。BO類和LO類由于枝葉的遮擋，造成模型對(duì)遮擋面積過大的目標(biāo)難以識(shí)別。圖11e中5號(hào)黃色框內(nèi)的目標(biāo)物，枝干遮擋面積超過了果實(shí)面積的60%，且遮擋面積較多的目標(biāo)物在訓(xùn)練集中較少出現(xiàn)，降低了模型對(duì)該類別的F1值。綜合來看，本文改進(jìn)后的方法識(shí)別效果優(yōu)于改進(jìn)前的YOLO V3方法。

表1 識(shí)別模型性能指標(biāo)F1統(tǒng)計(jì)結(jié)果Tab.1 Recognition model performance indicators F1 %

3.1.2不同光照環(huán)境識(shí)別結(jié)果

由于本文的識(shí)別模型要滿足采摘機(jī)器人在果園環(huán)境中的采摘要求，測試識(shí)別模型在不同光照環(huán)境中的識(shí)別性能。由3.1.1節(jié)可知，改進(jìn)后的識(shí)別模型識(shí)別效果優(yōu)于改進(jìn)前，因此只對(duì)改進(jìn)后的識(shí)別模型進(jìn)行不同光照測試實(shí)驗(yàn)。按照采集數(shù)據(jù)集時(shí)的3種拍攝角度采集圖像，每次拍攝采集時(shí)記錄當(dāng)前拍攝角度的光照強(qiáng)度。每種拍攝角度采集20幅圖像，共計(jì)60幅圖像作為模型在變光照環(huán)境中性能評(píng)估的驗(yàn)證集，統(tǒng)計(jì)3種拍攝角度的光照強(qiáng)度變化范圍分別為6 300～11 800 lx、48 000～76 000 lx和21 000～43 000 lx。計(jì)算模型在每一種光照強(qiáng)度區(qū)間中對(duì)5類目標(biāo)物的平均F1值。

圖12 不同光照環(huán)境識(shí)別結(jié)果Fig.12 Recognition results in variable illuminations

在光照強(qiáng)度較弱的6 300～11 800 lx和21 000～43 000 lx環(huán)境中模型對(duì)5類物體的F1最高為83.8%和84.5%，識(shí)別效果最好。在該環(huán)境中，每類物體表面沒有出現(xiàn)過曝區(qū)域，紋理特征明顯，有利于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別。在強(qiáng)光照48 000～76 000 lx環(huán)境中，F(xiàn)1為81.1%，比弱光環(huán)境低3個(gè)百分點(diǎn)左右。如圖12a所示，圖中拍攝時(shí)的光照強(qiáng)度為69 600 lx。圖中黃色框1、2均為目標(biāo)物過曝區(qū)域，均失去枝干表面特征信息，造成卷積神經(jīng)網(wǎng)絡(luò)無法識(shí)別MB類目標(biāo)物。圖12b光照強(qiáng)度為47 500 lx，圖中3、4號(hào)黃色框中的枝干處于曝光不足，造成枝干表面出現(xiàn)黑色區(qū)域，不能真實(shí)反映枝干的特征，同樣造成模型對(duì)曝光不足的MB類識(shí)別率較低。因此在曝光不足或過曝區(qū)域，本文識(shí)別模型對(duì)MB類的識(shí)別容易出現(xiàn)漏識(shí)別現(xiàn)象，降低模型的F1值。

3.2 三維定位與避障采摘實(shí)驗(yàn)

3.2.1定位精度評(píng)估

為了評(píng)估本文識(shí)別與定位系統(tǒng)的定位精度，在自然環(huán)境下采用本課題組研發(fā)的采摘機(jī)器人進(jìn)行定位測試實(shí)驗(yàn)[21]，采摘機(jī)器人平臺(tái)如圖13所示。由Kinect V2相機(jī)、履帶式移動(dòng)底盤、采摘機(jī)械臂、控制主機(jī)和自組研制的末端執(zhí)行器組成?？刂浦鳈C(jī)配置如下：CPU為Intel i7 7800X，GPU為2塊11 GB NVIDA1080Ti，主機(jī)運(yùn)行內(nèi)存32 GB。

圖13 柑橘采摘機(jī)器人樣機(jī)Fig.13 Overview of citrus picking robot1.采摘執(zhí)行器 2.采摘機(jī)械臂 3.Kinect V2相機(jī) 4.機(jī)器人控制器 5.履帶式移動(dòng)底盤

Kinect V2相機(jī)基于TOF實(shí)現(xiàn)物體深度值測量，其測量過程受光照變化影響較小[22]。為了驗(yàn)證強(qiáng)光照環(huán)境中Kinect V2相機(jī)對(duì)采摘場景中目標(biāo)物的深度值測量性能，設(shè)計(jì)如下實(shí)驗(yàn)：采用光照強(qiáng)度測試儀測量目標(biāo)物表面光照強(qiáng)度，如圖14所示。在2019年5月16日13:00—17:00時(shí)間段內(nèi)，采用順光拍攝角度采集圖像和記錄對(duì)應(yīng)的光照強(qiáng)度，最后選取光照強(qiáng)度最強(qiáng)圖像進(jìn)行深度測量，如圖15所示。Kinect V2相機(jī)采集的深度圖中每個(gè)像素點(diǎn)的灰度為16位二進(jìn)制數(shù)，其數(shù)值在0～65 535之間，圖像效果較暗。為了提高深度圖的可視化效果，將深度圖中每個(gè)像素點(diǎn)16位的灰度左移兩位進(jìn)行深度圖增強(qiáng)，增強(qiáng)深度圖只作為可視化效果圖。

圖14 光照強(qiáng)度測試Fig.14 Measurement of light intensity on fruit surface

圖15 識(shí)別圖與增強(qiáng)深度圖Fig.15 Recognition result and enhanced depth images

使用本文的三維坐標(biāo)計(jì)算模型得到目標(biāo)物標(biāo)記點(diǎn)Prob的三維坐標(biāo)(Xrob,Yrob,Zrob)。在采摘機(jī)械臂末端關(guān)節(jié)安裝長度為45 mm的探針，將坐標(biāo)(Xrob,Yrob,Zrob-45)作為采摘機(jī)械臂的運(yùn)動(dòng)位置點(diǎn)，待采摘機(jī)械臂末端探針移動(dòng)到Prob位置時(shí)，測量探針端點(diǎn)Pz與標(biāo)記點(diǎn)Prob的距離ΔE，設(shè)定位系統(tǒng)在X、Y和Z方向上的定位誤差為ΔX、ΔY和ΔZ，則

(12)

ΔE即為識(shí)別定位系統(tǒng)的綜合定位誤差。統(tǒng)計(jì)結(jié)果如表2所示。

表2 柑橘果實(shí)中心點(diǎn)三維坐標(biāo)點(diǎn)計(jì)算結(jié)果Tab.2 Results of 3D coordinate of citrus fruits central points

由表2可知，測試期間，自然環(huán)境光照強(qiáng)度最強(qiáng)在54 500 lx左右，部分柑橘果實(shí)表面由于樹葉的遮擋，其表面光照強(qiáng)度有所減弱。實(shí)驗(yàn)結(jié)果表明Kinect V2相機(jī)在光照強(qiáng)度30 000～55 000 lx的自然環(huán)境中，可實(shí)現(xiàn)三維坐標(biāo)測量。平均定位誤差達(dá)到5.9 mm。定位誤差主要來源于相機(jī)的標(biāo)定誤差和手動(dòng)測量誤差。同時(shí)由于測量過程中的實(shí)時(shí)性，自然環(huán)境中的風(fēng)向造成目標(biāo)物的隨機(jī)微弱擺動(dòng)對(duì)三維坐標(biāo)的實(shí)時(shí)測量也有一定影響。

3.2.2避障采摘實(shí)驗(yàn)

由本文設(shè)計(jì)的識(shí)別定位系統(tǒng)得到目標(biāo)物邊框中心點(diǎn)坐標(biāo)，結(jié)合Kinect V2相機(jī)三維坐標(biāo)計(jì)算模型和式(5)獲得柑橘果實(shí)和枝干在基坐標(biāo)系中的三維坐標(biāo)點(diǎn)，將該坐標(biāo)點(diǎn)作為果實(shí)的采摘點(diǎn)和避障路徑特征坐標(biāo)點(diǎn)。應(yīng)用快速擴(kuò)展隨機(jī)樹算法(Rapid-exploration Random Trees,RRT)進(jìn)行避障[23]，該算法是一種基于隨機(jī)采樣的規(guī)劃算法，能夠快速有效地搜索高維空間。通過隨機(jī)采樣點(diǎn)，把搜索導(dǎo)向空白區(qū)域，從而尋找到一條從起始點(diǎn)到目標(biāo)點(diǎn)的規(guī)劃路徑。

采摘機(jī)械臂完成一次采摘?jiǎng)幼餍枰?4 s左右，本文設(shè)定每隔5 s進(jìn)行一次圖像采集和識(shí)別定位。設(shè)計(jì)每組采摘實(shí)驗(yàn)為采摘一棵柑橘樹機(jī)械臂采摘范圍內(nèi)的可采摘柑橘果實(shí)，共進(jìn)行20組實(shí)驗(yàn)。統(tǒng)計(jì)指標(biāo)為采摘過程中成功采摘的柑橘果實(shí)數(shù)量和采摘機(jī)械臂與障礙物發(fā)生碰撞的次數(shù)。識(shí)別定位系統(tǒng)界面如圖16所示，圖中左上方為采集原圖，右上方為識(shí)別效果圖，下方包含5類目標(biāo)物坐標(biāo)信息，其中NM類為采摘中心點(diǎn)坐標(biāo)，BO、LO、OL和MB類為中心點(diǎn)坐標(biāo)和三維圓柱體的直徑和高度。采摘過程如圖17所示。實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果如圖18所示。設(shè)可采摘果實(shí)數(shù)量為Q，成功采摘果實(shí)數(shù)量為M，與障礙物發(fā)生碰撞次數(shù)為P，則采摘成功率ΔM為

(13)

圖16 識(shí)別定位系統(tǒng)界面Fig.16 Recognition and location system interface

圖17 采摘實(shí)驗(yàn)過程示意圖Fig.17 Process of picking experiment

圖18 每組采摘實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果Fig.18 Statistical results of harvesting experiments

避障成功率ΔP為

(14)

從統(tǒng)計(jì)結(jié)果可知，本文設(shè)計(jì)的識(shí)別定位系統(tǒng)在自然環(huán)境下采摘成功率達(dá)到80.51%，避障成功率達(dá)到75.79%。采摘實(shí)驗(yàn)中，存在采摘失敗的主要原因在于采摘路徑和采摘姿態(tài)求解失敗[24]，導(dǎo)致采摘機(jī)械臂不能完成采摘?jiǎng)幼?。采摘過程中，障礙物的誤識(shí)別和避障算法本身不足是導(dǎo)致避障失敗的主要原因。采摘過程中，采摘機(jī)器人識(shí)別1幅圖像的時(shí)間為0.4 s，小于完成一次采摘時(shí)間14 s，滿足采摘機(jī)器人的實(shí)時(shí)性采摘要求。

4 結(jié)論

(1)針對(duì)自然環(huán)境下柑橘采摘機(jī)器人障礙物的識(shí)別提出了障礙物分類準(zhǔn)則，對(duì)不規(guī)則枝干的識(shí)別提出離散化標(biāo)記方法，解決了不規(guī)則枝干的識(shí)別問題。在自然環(huán)境下的識(shí)別實(shí)驗(yàn)中，本文的識(shí)別模型對(duì)障礙物和可采摘果實(shí)的識(shí)別綜合評(píng)價(jià)指數(shù)為83.6%和91.9%，在6 300～76 000 lx光照強(qiáng)度區(qū)間范圍內(nèi)對(duì)5類目標(biāo)物的識(shí)別綜合評(píng)價(jià)指數(shù)均值為83.13%，在自然環(huán)境下有良好的泛化性。

(2)通過自然環(huán)境下定位精度實(shí)驗(yàn)驗(yàn)證了Kinect V2相機(jī)在自然光照條件下的深度測量性能，并得到定位模塊的綜合定位誤差為5.9 mm。整個(gè)識(shí)別定位系統(tǒng)實(shí)時(shí)處理一幅圖像的時(shí)間為0.4 s。

(3)自然環(huán)境下識(shí)別定位系統(tǒng)實(shí)驗(yàn)表明，采摘機(jī)器人采摘成功率達(dá)到80.51%，避障成功率達(dá)到75.79%。在滿足自然環(huán)境下采摘作業(yè)的同時(shí)，提高了機(jī)器人采摘作業(yè)過程中的安全性。該系統(tǒng)可應(yīng)用于其他各類采摘機(jī)器人識(shí)別定位系統(tǒng)中，具有良好的泛化性。