文朝武 龍潔花,2 張 宇 郭文忠 林 森 梁曉婷,2

(1.北京市農(nóng)林科學院智能裝備技術(shù)研究中心， 北京 100097； 2.上海海洋大學信息學院， 上海 201306)

0 引言

番茄是溫室生產(chǎn)的主要作物之一，大約90%以上的大型玻璃溫室均用來種植番茄，由于番茄屬于典型的雌雄同花植物[1]，在溫室環(huán)境內(nèi)缺乏自然風和昆蟲活動，往往導致授粉不良。目前大型溫室內(nèi)番茄授粉方式主要采用熊蜂授粉，但授粉熊蜂存在養(yǎng)殖費用高、生存周期短、重復利用率低下等問題[2]。采用智能授粉機器人可代替人工和熊蜂授粉，具有降低勞動力成本與生產(chǎn)費用以及擁有較高的重復利用率等優(yōu)點[3]。北京市農(nóng)林科學院智能裝備技術(shù)研究中心研發(fā)了一種采用機器視覺定位開花花朵、自適應(yīng)間歇噴氣引起花朵震動的智能番茄授粉機器人，并提出一種基于溫室內(nèi)番茄花朵定位方法。而授粉機器人對授粉花朵的精準定位是決定授粉精度和授粉效率的關(guān)鍵，因此，研究一種基于3維(3D)視覺的番茄授粉花朵定位方法是授粉機器人的必要條件。

在花朵的識別上，學術(shù)界提出的基于2維(2D)目標檢測的框架得到廣泛應(yīng)用[4]，該類方法利用花朵的形態(tài)、外觀以及顏色等特征作為卷積神經(jīng)網(wǎng)絡(luò)的攝入信息，以獲得更好的識別效果。OPPENHEIM[5]提出一種對溫室內(nèi)番茄花朵檢測算法，在不同光照條件下實現(xiàn)了番茄的黃花計數(shù)，該方法并未解決對花朵的定位問題。YUAN等[6]提出了一種將 SSD 深度學習技術(shù)引入到花卉檢測與識別領(lǐng)域的方法，該方法在 VOC2007 上平均準確率為83.64%，在VOC2012 上平均準確率為 87.4%，并引入視頻流解決了對2個或多個目標花卉的檢測，但其識別準確率和時間效率有待提高，在機器人上不適用。2D場景下的目標檢測對于3D真實世界的場景描述依然不夠，3D目標檢測在定位時返回3D Bounding boxes，而它需要的信息除了2D的RGB圖像以外，還包含與之對應(yīng)的深度圖像。王玲等[7]以棉花為研究對象，提出一種面向采摘機器人的棉花激光定位方法，利用形態(tài)學圖像分割方法和模式識別理論，結(jié)合棉花的特性測量了單朵棉花的三維坐標，該方法在單株棉花上識別率達96.76%，利用激光測距和手工測量作對比，其相關(guān)系數(shù)為0.993 4。該方法與結(jié)構(gòu)光相機原理相似，但處理方法不同，且僅限于單棵棉株使用。王萌等[8]提出一種櫻桃小番茄腋芽去除點定位方法，該方法將采集相機安裝在機器人手臂上，由手臂牽引相機采集圖像，雖然識別率達到了93.94%，但該葉芽摘除執(zhí)行器與葉芽相對距離為固定距離，不適應(yīng)溫室復雜環(huán)境。

在3D目標定位方面，GUPTA等[9]提出了一種在2D目標檢測區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)的框架基礎(chǔ)上，增加深度圖像進行模型利用的方法。該方法基于RGB和深度圖像檢測中的輪廓，并生成包含目標每個像素的視差、高度和傾斜角的2.5個維度的提議方法，然后利用卷積神經(jīng)網(wǎng)絡(luò)(CNN) 進行特征提取，融合深度卷積神經(jīng)網(wǎng)絡(luò)(Depth CNN) 和RGB卷積神經(jīng)網(wǎng)絡(luò)分別學習深度圖像和2D圖像的特征，最后利用支持向量機(SVM)進行分類，但其計算過程相對復雜，難以適用在設(shè)施番茄機器人上。CHEN等[10]以面向自動駕駛為場景，提出一種新的目標檢測方法，該方法將目標中每一個3D bounding box用一個元組來表示，元組中包含x、y、z、q、c，其中(x，y，z)為中心點坐標，q為方位角，c表示目標類別，t為相應(yīng)的3D box模板集合。該方法認為，其3D box應(yīng)具有以下特征：包含點云的高密度區(qū)域、不能與free space 重疊、點云不應(yīng)該垂直延伸在3D box外、box附近的點云高度應(yīng)該比之低，該方法對光滑平面固體的抓取具有良好的效果，而番茄花束區(qū)域為非平滑平面，此方法無法產(chǎn)生高密度重疊。番茄有效授粉區(qū)域為花束的實際占有面積區(qū)域，以上方法均存在局限性。

針對溫室番茄花束花朵的非結(jié)構(gòu)性，即非平滑平面或曲面[11]，本文提出一種基于RGB-D結(jié)構(gòu)光相機的番茄授粉花朵定位方法。采用YOLO v4神經(jīng)網(wǎng)絡(luò)對溫室環(huán)境下番茄花束進行識別，提取RGB圖像中花束的像素區(qū)域。采用主動對齊方式融合深度圖像獲取點云數(shù)據(jù)，并使用離群濾波算法對干擾點坐標去噪。最后采用雙向均衡算法擬合花束3D box 授粉平面的質(zhì)心坐標。最終結(jié)合手眼標定算法將相機坐標轉(zhuǎn)換為機械臂坐標，并引導機器人授粉末端執(zhí)行授粉功能。

1 定位方法

1.1 圖像采集設(shè)備

采集相機為圖漾科技公司生產(chǎn)的3D視覺傳感器FM851-GI-E1，采用主動雙目結(jié)構(gòu)光視覺技術(shù)，包括雙目紅外攝像頭、彩色攝像頭和光學增強系統(tǒng)，并具有主、被動方式的雙目模式切換功能。分辨率包括640像素×480像素和1 280像素×960像素兩種尺度，且支持同步尺寸的RGB-D對齊功能，x、y方向測量精度為4 mm，深度z測量精度為2 mm，有效測量范圍是0.7～8 m。機器人核心控制器采用工業(yè)控制計算機，i7-4700MQ 2.4 GHz CPU、16 GB DDR3L內(nèi)存和500 GB硬盤。

設(shè)施番茄授粉機器人手臂部件為遨博(北京)智能科技有限公司生產(chǎn)的AUBO-i5六軸協(xié)同機械臂，臂展為1 008 mm，可滿足在0～886 mm范圍內(nèi)工作，定位精度為0.2 mm，且末端最大移動速度為4 m/s。如圖1所示，3D工業(yè)相機安裝在機器人的固定高度處，角度固定，以獲得手臂有效工作范圍內(nèi)的最大視野。計算機系統(tǒng)為Ubuntu 16.04系統(tǒng)，算法編程平臺使用OpenCV 3.4.5和Qt 5.9，使用Cmake 11和Qmake編譯工具實現(xiàn)識別和定位控制系統(tǒng)的開發(fā)。神經(jīng)網(wǎng)絡(luò)模型在Ubuntu 16.04系統(tǒng)上，基于Darknet框架， 1個12GB GeForce GTX 2080ti GPU，在64 GB內(nèi)存上進行訓練和測試。

圖1 番茄授粉機器人結(jié)構(gòu)Fig.1 Structure of tomato pollination robot

1.2 圖像采集結(jié)果

試驗對象選用智能玻璃溫室內(nèi)使用巖棉栽培技術(shù)種植的草莓番茄花朵，在番茄開花期(2020年10月20日—11月10日)使用機器人自帶工業(yè)相機進行圖像采集。并在玻璃溫室環(huán)境下進行拍攝，總共獲得100幅RGB花朵圖像(1 280像素×960像素) 及其相同尺寸的深度圖像。采集的RGB圖像與深度圖像樣例如圖2所示。

圖2 番茄RGB圖像與深度圖像Fig.2 RGB image and depth map of tomato

分別在08:00、12:00、18:00采集樣本，并根據(jù)不同遮擋程度進行分類。如表1所示，試驗設(shè)定遮擋程度小于5%則判定為無遮擋，遮擋程度大于95%為完全遮擋并不做研究。考慮到晴天中午受太陽光照的影響，適當增加12:00采集的樣本數(shù)量，增強網(wǎng)絡(luò)模型的魯棒性。然后對RGB圖像進行平移、旋轉(zhuǎn)、曝光、亮度等調(diào)節(jié)，將圖像擴充到500幅用于神經(jīng)網(wǎng)絡(luò)的訓練，按照7∶2∶1劃分為訓練集、驗證集和測試集。為驗證逆光環(huán)境的定位精度，采集時采用順光、逆光進行拍攝。

表1 不同時間段和遮擋程度樣本數(shù)量Tab.1 Number of samples in different time periods and degrees of occlusion 幅

1.3 番茄花朵定位方法

本文提出的番茄授粉花朵自動定位方法包含圖像預處理、YOLO v4 識別RGB圖像中的目標花束、融合深度圖像對齊花束區(qū)域、點云濾波去噪以及雙向均衡算法提取授粉質(zhì)心坐標等步驟。

在溫室環(huán)境中，由于光線變化，需提前對相機實時采集的RGB圖像亮度、曝光度進行簡單預處理，以增強模型的識別精度和魯棒性[12]。YOLO v4神經(jīng)網(wǎng)絡(luò)對目標花束識別提取出花束區(qū)域?qū)?yīng)的回歸框的寬度和高度，計算原始圖像中花束的Bounding box，RGB圖像融合深度圖像進行對齊后計算番茄花束的三維點云坐標[13]。使用統(tǒng)計濾波算法剔除花束附近的干擾坐標，最后使用雙向均衡算法計算花束3D box的授粉質(zhì)心坐標。若坐標位于手臂有效工作范圍內(nèi)，則根據(jù)手眼標定算法將相機坐標轉(zhuǎn)換為手臂坐標，并引導授粉末端完成授粉功能。

1.3.1花束區(qū)域提取

設(shè)施番茄在授粉過程中，采用人工振蕩授粉可以提高番茄的坐果率、產(chǎn)量和品質(zhì)，不受噴藥、熏藥和室內(nèi)溫濕度的限制，此外可以減少番茄灰霉病的發(fā)生[14]。故機器人在執(zhí)行授粉過程中，采用自適應(yīng)間歇噴氣產(chǎn)生花朵震動模擬人工振蕩授粉，噴氣和振動授粉的工作范圍為番茄花束區(qū)域。本文基于YOLO v4 神經(jīng)網(wǎng)絡(luò)對番茄花束進行精準識別并提取花束區(qū)域。

YOLO v4由BOCHKOVSKIY等[15]提出，利用CSPDarknet 53[16]卷積神經(jīng)網(wǎng)絡(luò)進行目標特征提取，引入SPP網(wǎng)絡(luò)結(jié)構(gòu)，采用3種尺寸張量預測輸出，在目標大小不一和部分遮擋情況下都具有較好的檢測效果。神經(jīng)網(wǎng)絡(luò)預測坐標(tx，ty，tw，th)、圖像中目標最左邊偏移量坐標(cx,cy)和邊界框的高度pw、寬度ph。輸出預測值包括bx、by、bw、bh和置信度，置信度為預測結(jié)果的可信度，預測值計算公式為

bx=β(tx)+cx

(1)

by=β(ty)+cy

(2)

bw=pwetw

(3)

bh=pheth

(4)

式中bx——目標實際中心X像素值

by——目標實際中心Y像素值

bw——目標實際框?qū)挾?/p>

bh——目標實際框高度

tx——預測框X像素值

ty——預測框Y像素值

tw——預測框預測寬度

th——預測框預測高度

β——sigmoid函數(shù)

使用YOLO v4對目標花束進行識別，預測輸出的矩形框為實際花束區(qū)域。

如圖3所示，將番茄花原圖傳入網(wǎng)絡(luò)輸入層， CBM模塊進行卷積操作，接著進行批量標準化和激活函數(shù)激活，下一步傳入CSP等結(jié)構(gòu)完成特征提取；然后傳入YOLO結(jié)構(gòu)進行3種尺寸(19×19，32×32，76×76)預測和回歸，再回歸至原圖進行多尺度花束預測。融合3種尺寸特征圖完成目標檢測，在原圖分辨率上寬bx、高by為區(qū)域中心提取目標花束，最終獲取花束區(qū)域圖像，即授粉花束在原始圖像中的2D坐標區(qū)域張量[17-20]。

圖3 基于YOLO v4的花束區(qū)域提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of extraction of floral area based on YOLO v4

1.3.2圖像對齊與去噪

采用RGB-D相機獲取番茄花束和植株周邊環(huán)境的RGB圖像和深度圖像，并采用相機SDK主動對齊方式對齊，結(jié)合點云庫(PCL)進行RGB圖像和深度圖像的點云對齊[21]，建立RGB-D相機空間坐標系。RGB圖像花束區(qū)域提取后，采用區(qū)域內(nèi)色系單視角線性遍歷方法，對花束RGB和深度圖像區(qū)域?qū)R配準，獲取花束區(qū)域點云坐標。在RGB圖像中，花束區(qū)域以黃色色系花朵填充，本文對預測框內(nèi)像素點進行色系判斷，剔除非花朵像素，并進行花束區(qū)域點云精對齊操作。圖像中每個像素點包含R、G、B通道值(fR,fG,fB)。在判斷過程中，采用從左至右、自上而下的線性遍歷方法逐一對區(qū)域內(nèi)像素點進行色系判斷。像素點色系計算公式為

(5)

式中H——色系，取0～360

max——最大色系

min——最小色系

本文判定H在60～300區(qū)域內(nèi)為黃色色系像素點[22]。由于花束中花朵目標為非平面結(jié)構(gòu)，提取出的花束區(qū)域點云數(shù)據(jù)中常存在一些離群噪聲點[23]，本文采用統(tǒng)計濾波方法將其剔除[24]。對于目標花束區(qū)域內(nèi)點云，數(shù)量為n，每個點云坐標pi(xi,yi,zi)(i=1,2,…,n)到它的空間臨近點pj(xj,yj,zj)(j=1,2,…,k)的平均距離di計算公式為

(6)

本文設(shè)定k=70，距離di在μ±ασ(μ為平均距離均值，σ為標準差)以外的點為噪聲點，其中α取值為1-1/k，取0.3時效果最好。

1.3.3授粉質(zhì)心坐標計算

授粉質(zhì)心坐標是定位算法的終極目標，精準計算授粉花束的質(zhì)心坐標是機器人執(zhí)行授粉操作的必要條件[25-26]。一個花束區(qū)域中，常常含有多個目標花朵，本文提出一種基于三維坐標系的雙向均值法計算授粉質(zhì)心坐標[27]，在三維點云集中，采用雙平面質(zhì)心算法獲得目標花束空間點云坐標(x,y,z)，除此之外，點云信息中還包含各個像素點的R、G、B值[28]。

圖像質(zhì)心也稱為圖像重心[29]，如圖4所示，同一授粉花束中花朵分布不規(guī)則，存在聚集或單一花朵四周分布現(xiàn)象，此時需要計算該花束的統(tǒng)一授粉質(zhì)心點，使得花束重心兩端的花朵質(zhì)量相等。

圖4 花束圖像質(zhì)心Fig.4 Bouquet image centroid

YOLO v4檢測后，將目標花束在2D圖像的像素中心坐標值bx、by以及寬度bw、高度bh作為點云的輸入，在RGB圖像與深度圖像對齊后，每個像素點(bx,by)與點云pi(xi,yi,zi)(i=1,2,…,n)的轉(zhuǎn)換公式為

pi(xi,yi,zi)=pindex(x，y，z)

(7)

其中

index=bxbyl

(8)

式中index——像素到點云的索引，對應(yīng)點pi的3D點云為pindex的實際點云值

pindex——索引點

l——相機圖像對齊指數(shù)，取1.325

花束中往往存在大量間隙，取一個坐標點作為授粉點時精準性較低。在濾波去噪之后的點云集p中，每個點云pi(xi,yi,zi)(i=1,2,…,n)都含有獨立的坐標值，此時需要在寬度bw與高度bh的預測輸出框內(nèi)進行平面擬合，分別從x、y、z方向獨立計算花束的質(zhì)心，在質(zhì)心上、下、左、右4個方向該花束的距離權(quán)重相等，計算公式為

(9)

(10)

(11)

式中n——區(qū)域內(nèi)有效點云個數(shù)，不大于200

x0、y0、z0——授粉質(zhì)心點p0的坐標值

使用雙向均值法將花束區(qū)域內(nèi)xi、yi、zi坐標分別取均值，得到一個合理的授粉點，同時去掉較近點導致授粉距離不夠和較遠點授粉過程帶來遮擋和碰撞的情況。

2 花束識別與提取結(jié)果

RGB圖像在預處理后，使用YOLO v4神經(jīng)網(wǎng)絡(luò)模型對番茄花束進行識別，并預測出目標花束中心坐標和包含目標預測框區(qū)域，使花束目標在實時圖像中實現(xiàn)識別和定位。同時，將該區(qū)域與深度圖像對齊，減少復雜環(huán)境下RGB圖像與深度圖像精對齊過程。

圖5為基于YOLO v4的番茄花束區(qū)域提取結(jié)果。識別模型所占內(nèi)存為244 MB，網(wǎng)絡(luò)試驗時輸入圖像分辨率1 280像素×960像素；花束提取試驗結(jié)果顯示，本文使用的YOLO v4神經(jīng)網(wǎng)絡(luò)可以對溫室環(huán)境下花束進行準確識別，并有效提取出目標花束在原圖中的面積區(qū)域，網(wǎng)絡(luò)檢測精度平均值(mAP)為97.67%，單幅圖像提取時間為14.95 ms，為授粉機器人實現(xiàn)區(qū)域性授粉功能提供二維花束區(qū)域信息。

3 圖像對齊與去噪效果

將RGB圖像中各像素點的R、G、B值和深度圖像進行對齊[30]。本文在對齊過程中，選用中心點擴散將番茄植株進行對齊，其目的在于將二維像素坐標值與深度值進行對齊，即根據(jù)像素點求取對應(yīng)點的3D坐標值。

對齊后，圖像中含有各像素點的R、G、B值和深度X、Y、Z值。如圖6所示，對齊效果圖中除具有植株顏色特征外，還添加了植株輪廓3D值，并可根據(jù)RGB圖像中某像素點映射出該點對應(yīng)的3D值。此外，由于環(huán)境干擾等現(xiàn)象，圖像中往往含有很多干擾噪聲數(shù)據(jù)，如圖6c對齊效果圖左、右上角都含有許多小黑點，該噪聲點在使用過程中不僅沒意義，而且還增加了算法的時間復雜度，因此本文將圖中除植株區(qū)域外的離群區(qū)域都定義為噪聲點，并采用統(tǒng)計濾波算法將其剔除，單幅圖像對齊及去噪平均耗時為100 ms。

圖6 圖像對齊和濾波去噪Fig.6 Image alignment and filtering denoising

4 手眼標定

授粉機器人機械臂(手)在執(zhí)行授粉前，需要3D相機(眼)實時對番茄植株的RGB圖像和深度圖像進行定位操作，其中，RGB圖像用于花束的實時檢測，在識別檢測后，若含有授粉花束，則需要融合深度圖像進行花束目標定位。并在機器人手眼標定后轉(zhuǎn)換為機械臂末端坐標，機器人使用該坐標引導機械臂末端完成授粉功能。

本文使用矩陣公因子相乘[31]計算機器人相機與機械臂之間的距離相關(guān)系數(shù)，其中機器人相機獲取的實時坐標RE和機械臂實時坐標RH均為1×3行列式，標定過程中隨機選取機器人相機視野和機械臂工作范圍內(nèi)6組對應(yīng)坐標。手眼標定參數(shù)θ和機械臂工作坐標RH的計算公式為

RH=REθ

(12)

其中

(13)

式中RE1～RE6——相機采集的6組坐標值

RH1～RH6——機械臂的6組坐標值

在選取每組坐標期間，以視野最大和手臂伸展最遠為最佳，本試驗的標定參數(shù)矩陣系數(shù)為

(14)

5 定位性能分析

在定位過程中，主要定位區(qū)域為獨立花束區(qū)域，使用噴氣方式在該區(qū)域內(nèi)達到最佳授粉效果。使用的YOLO v4神經(jīng)網(wǎng)絡(luò)檢測所生成的候選區(qū)域定義為授粉區(qū)域，但花束區(qū)域?qū)嶋H特征為非規(guī)則平面，本文使用區(qū)域雙向均值法擬合該花束曲面，得出一個較準確的授粉定位點?；ㄊ鴧^(qū)域點云數(shù)據(jù)處理效果如圖7所示，在相機所采集的番茄植株RGB圖像上，使用神經(jīng)網(wǎng)絡(luò)進行花束區(qū)域提取，并映射在深度圖像上，同時采用均值擬合該花束區(qū)域，使該區(qū)域內(nèi)深度值均相等，為授粉末端提供可靠的深度定位信息。

圖7 授粉花束區(qū)域位置RGB圖像與深度圖像Fig.7 RGB and depth processing of pollination bouquet area position

本文使用機械臂手動控制器實時顯示的坐標與算法獲取的坐標進行對比。首先手動控制機械臂末端移動至花束授粉點作為實際值，定位數(shù)據(jù)中包含花束的2D像素坐標、相機獲取的花束3D坐標、標定轉(zhuǎn)換坐標和機械臂坐標。其中，本文方法獲得花束3D坐標的平均時間為300 ms，試驗分別對比X、Y、Z值的相對誤差。

試驗過程中，選擇20個不同花束進行定位算法準確度分析，包含不同時間(08:00、12:00、18:00)、不同遮擋程度下溫室內(nèi)番茄花束的識別與實際定位功能。其中每個花束都含有2D像素坐標、相機點云坐標、通過手眼標定轉(zhuǎn)換得到的手臂坐標以及機械臂反饋的實際坐標等信息，接著對標定轉(zhuǎn)換坐標與實際反饋坐標數(shù)據(jù)進行對比分析，并通過擬合曲線表述其誤差變化特性(圖8)。表2為單一花束包含的各項坐標信息。

圖8 定位試驗結(jié)果三維圖Fig.8 3D map of positioning test results

表2中，花束二維像素坐標是由YOLO v4神經(jīng)網(wǎng)絡(luò)識別出的花束像素區(qū)域，根據(jù)花束圖像重心算法計算出花束的重心坐標(Xi,Yi)。在圖像對齊去噪后，根據(jù)二維像素坐標轉(zhuǎn)換得3D坐標(X3D,Y3D,Z3D)，該坐標由3D相機實時獲取的深度通過質(zhì)心算法計算所得。在相機獲取坐標中，X、Y軸坐標最小精度為±0.001 mm，而Z軸最小精度為±1 mm，Z軸坐標值表示為目標花束至相機視點的實際距離，例如花束1的Z3D為970.00 mm，手工測得其距離約為970 mm；機器人手臂工作最遠距離約為1.2 m，在花束2中，相機獲取坐標值Z3D為1 791.00 mm，導致標定轉(zhuǎn)換坐標Ybz為0.922 77 m，但實際坐標Yt是0.523 46 m，誤差約為0.4 m，其誤差是由花束中花朵間距較大導致的。由于相機結(jié)構(gòu)光投射現(xiàn)象導致其深度不準[32]，從而產(chǎn)生誤差，在實際運用過程中，可使用花束區(qū)域均值剔除其干擾，從而提高計算精度。

圖8為定位試驗結(jié)果三維圖，平穩(wěn)淡藍色層(下層)為對應(yīng)的實際坐標。由圖8可知，波峰的Z值接近最大值4 cm，波谷的Z值最接近-4 cm，X的范圍為-0.8～1.0 m，Y的范圍為-0.4～0.4 m，Z的范圍為-0.4～0.6 m。由于溫室內(nèi)番茄花朵生長的復雜性，出現(xiàn)波峰的主要原因是花束間隙太大，花束中花朵少，且花朵間間隔較大導致深度數(shù)據(jù)較少，從而使深度值增大。出現(xiàn)波谷的原因主要來自遮擋問題，且遮擋程度達80%以上。但Z值出現(xiàn)了負數(shù)，原因是在逆光強光環(huán)境下，光線對結(jié)構(gòu)光相機造成干擾，其主要原因是強太陽光對結(jié)構(gòu)光相機發(fā)射的紅外信號進行了隔離和反作用，但機器人實際工作中，有效工作深度恒大于0，負值無效。圖8中其余平穩(wěn)值為順光和無強光環(huán)境下計算所得，該數(shù)據(jù)是有效范圍內(nèi)的定位數(shù)值。從總體上看，彩色層與淡藍色層的間隙較小，即通過算法計算的坐標值與實際坐標值誤差較小，在遮擋程度小于80%的情況下，本文算法可對溫室內(nèi)番茄花束進行準確定位，說明本文算法具有較強的實用性，該識別定位精度可為授粉機器人授粉定位提供可靠依據(jù)[33]。

將本文算法部署在授粉機器人上，考慮強光逆光對相機的影響，試驗選擇早晨或傍晚無強光條件下，在大型玻璃溫室內(nèi)對番茄盛開花束進行算法驗證(圖9)，并在不進行曝光度調(diào)節(jié)情況下驗證本文算法的適用性，試驗判定當系統(tǒng)獲得有效3D坐標值，且機器人成功執(zhí)行授粉動作時即為定位成功。

圖9 定位算法驗證試驗現(xiàn)場圖Fig.9 Field diagram of location algorithm verification test

溫室內(nèi)單個番茄植株上，平均花束個數(shù)約為4個，系統(tǒng)定位成功數(shù)略比實際花束數(shù)量低，這是由于某些花束被枝葉遮擋超過了80%。而在定位成功后，機器人成功執(zhí)行授粉出現(xiàn)誤差的主要原因是花束距離機器人手臂太遠，不在有效工作范圍內(nèi)。綜上，本文使用的定位算法能夠滿足授粉機器人對番茄花束的定位要求，并能為授粉機器人執(zhí)行授粉提供一個有效的定位方法。定位精度有待提高，其主要影響因素是結(jié)構(gòu)光相機在光線較強環(huán)境下無法測距，該現(xiàn)象也是光學研究中亟待解決的問題[34]，本文不做研究。

6 結(jié)論

(1)采用YOLO v4神經(jīng)網(wǎng)絡(luò)實現(xiàn)番茄花束識別和區(qū)域提取，能夠解決機器視覺實時花束目標檢測問題，并能有效提取出花束在RGB圖像中的授粉區(qū)域；解決RGB圖像和深度圖像精對齊；代替復雜的花束圖像分割過程，實現(xiàn)花束區(qū)域的完整采集和提取。

(2)通過區(qū)域內(nèi)色系單視角線性遍歷方法對齊花束RGB圖像和深度圖像，并映射出花束區(qū)域點云數(shù)據(jù)，能夠提高花束區(qū)域內(nèi)點云精度，花束以外區(qū)域進行粗對齊，減少復雜點云的計算過程，提高授粉精度。

(3)使用雙向均衡算法計算花束3D區(qū)域授粉質(zhì)心坐標，解決花束區(qū)域不平滑導致的非線性點云數(shù)據(jù)，從X、Y、Z三維坐標方向均衡計算各個方向的均值，并排除花束區(qū)域內(nèi)大空隙點云干擾數(shù)據(jù)，擬合出三維花束平面區(qū)域，可以有效提高機器人授粉精度。在實際驗證中，使用的神經(jīng)網(wǎng)絡(luò)對花束的提取精度達97.67%，花束區(qū)域提取時間為14.95 ms；圖像對齊與去噪時間為100 ms，算法成功獲取花束質(zhì)心點云坐標時間為300 ms；總體來說，在沒有強光照射、遮擋程度小于80%時，本文算法基本能夠?qū)崿F(xiàn)機器人對溫室內(nèi)番茄花朵的定位，并成功執(zhí)行授粉動作。