朱立成 韓振浩 趙 博 周利明 王瑞雪 靳 晨

(1.中國(guó)農(nóng)業(yè)機(jī)械化科學(xué)研究院集團(tuán)有限公司, 北京 100083; 2.農(nóng)業(yè)裝備技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室, 北京 100083)

0 引言

我國(guó)作為世界上最大的果品生產(chǎn)國(guó)與消費(fèi)國(guó),水果產(chǎn)業(yè)已經(jīng)成為國(guó)民經(jīng)濟(jì)和農(nóng)民收入的重要來(lái)源。隨著我國(guó)經(jīng)濟(jì)的發(fā)展與城鎮(zhèn)化建設(shè),高度依賴(lài)人工的生產(chǎn)模式已經(jīng)成為水果產(chǎn)業(yè)發(fā)展的重要阻礙。為了進(jìn)一步降低人工生產(chǎn)成本、提高果品生產(chǎn)效率,果園農(nóng)機(jī)裝備自動(dòng)化、無(wú)人化、智能化成為未來(lái)發(fā)展的必然趨勢(shì)。

自動(dòng)駕駛作為智能農(nóng)機(jī)裝備的關(guān)鍵技術(shù)之一,是當(dāng)前國(guó)內(nèi)外學(xué)者的研究重點(diǎn)。果園環(huán)境中由于存在地形復(fù)雜與樹(shù)冠遮擋等干擾因素,廣泛應(yīng)用于大田農(nóng)機(jī)裝備的衛(wèi)星導(dǎo)航存在著多路徑效應(yīng)與信號(hào)遮擋等問(wèn)題。視覺(jué)導(dǎo)航具有數(shù)據(jù)獲取量大、語(yǔ)義信息豐富等特點(diǎn),是當(dāng)前果園導(dǎo)航的研究方向。

當(dāng)前國(guó)內(nèi)外學(xué)者針對(duì)果園視覺(jué)導(dǎo)航開(kāi)展了大量研究。有學(xué)者基于天空、道路等圖像特征直接生成導(dǎo)航線,進(jìn)行了果園行駛路徑識(shí)別研究,TORRES-SOSPEDRA等[1]在神經(jīng)網(wǎng)絡(luò)圖像分割的基礎(chǔ)上,通過(guò)霍夫變換提取邊界直線,進(jìn)而生成橘園導(dǎo)航信息;RADCLIFFE等[2]根據(jù)天空和樹(shù)冠的差異,從樹(shù)冠背景中分割天空識(shí)別導(dǎo)航路徑;SHARIFI等[3]基于圖分割理論將聚類(lèi)后的圖像進(jìn)行分割,應(yīng)用霍夫變換提取導(dǎo)航路徑特征;韓振浩等[4]基于U-Net網(wǎng)絡(luò),進(jìn)行果園道路語(yǔ)義分割,并識(shí)別行駛路徑;彭順正等[5]針對(duì)矮化密植棗園,提出了一種基于圖像處理的棗園導(dǎo)航線生成基準(zhǔn)算法。有學(xué)者為了給果園機(jī)器人自主導(dǎo)航提供參照依據(jù),進(jìn)行了果園環(huán)境中樹(shù)干、樹(shù)冠的識(shí)別研究,畢松等[6]提出了基于實(shí)例分割的果園機(jī)器人行駛偏航角、橫向偏移和果樹(shù)位置的計(jì)算方法;XUE等[7]為了準(zhǔn)確檢測(cè)樹(shù)干,提出了一種基于視覺(jué)攝像機(jī)和二維激光掃描儀的數(shù)據(jù)融合算法;王輝等[8]基于Mask R-CNN神經(jīng)網(wǎng)絡(luò)模型,進(jìn)行了單株柑橘樹(shù)冠識(shí)別與分割;JUMAN等[9]基于KINECT傳感器采集的彩色圖像和深度信息,進(jìn)行油棕種植園樹(shù)干檢測(cè);崔永杰等[10]基于卷積層特征可視化,進(jìn)行獼猴桃樹(shù)干特征提取,用于道路導(dǎo)航線的擬合。通過(guò)分析現(xiàn)有研究可知,目前關(guān)于果園視覺(jué)導(dǎo)航的研究大多應(yīng)用于果品采摘、果樹(shù)植保以及園內(nèi)巡檢等作業(yè)場(chǎng)景,面向果品自主運(yùn)輸作業(yè)場(chǎng)景以果園運(yùn)輸機(jī)械為研究對(duì)象的視覺(jué)導(dǎo)航研究相對(duì)較少。傳統(tǒng)的自走式果園運(yùn)輸機(jī)械往往無(wú)法進(jìn)入柑橘園內(nèi)部,因此果農(nóng)采摘完柑橘后,多通過(guò)肩背人扛的方式將盛滿果實(shí)的果筐、果桶往復(fù)運(yùn)送至連接各個(gè)果樹(shù)行行頭的果園支路,勞動(dòng)強(qiáng)度相對(duì)較大、作業(yè)效率相對(duì)較低。為解決該問(wèn)題,課題組參考傳統(tǒng)柑橘運(yùn)輸方案,在研制適用于柑橘園行間行駛運(yùn)輸?shù)墓麍@運(yùn)輸車(chē)行走底盤(pán)的基礎(chǔ)上,提出了一種結(jié)合“自主尋筐+果農(nóng)跟隨+衛(wèi)星導(dǎo)航”的機(jī)具輔助采摘運(yùn)輸方案。

為了進(jìn)一步提升果品運(yùn)輸效率,為果園運(yùn)輸車(chē)自主作業(yè)提供研究參考,本文面向規(guī)范化緩坡寬皮柑橘園果品運(yùn)輸作業(yè)環(huán)境,擬提出一種基于VINS-MONO和改進(jìn)YOLO v4-Tiny的果園自主尋筐方法?；谝曈X(jué)慣性里程計(jì)算法VINS-MONO,進(jìn)行果園運(yùn)輸車(chē)實(shí)時(shí)位置姿態(tài)估計(jì)?；诟倪M(jìn)YOLO v4-Tiny目標(biāo)檢測(cè)算法,進(jìn)行果筐實(shí)時(shí)檢測(cè)并獲取對(duì)應(yīng)深度信息。根據(jù)運(yùn)輸車(chē)當(dāng)前位置姿態(tài)、果筐深度信息以及深度相機(jī)內(nèi)參,進(jìn)行果筐識(shí)別、位置更新?；贐樣條曲線擬合原理,進(jìn)行尋筐路徑實(shí)時(shí)擬合,進(jìn)而引導(dǎo)果園運(yùn)輸車(chē)抵近果筐。

1 方法與模型

“自主尋筐+果農(nóng)跟隨+衛(wèi)星導(dǎo)航”的機(jī)具輔助采摘運(yùn)輸方案如圖1所示。

圖1 機(jī)具輔助采摘運(yùn)輸方案Fig.1 Method of machine-assisted harvest and transport

具體步驟為:柑橘收獲時(shí),果農(nóng)將采摘后的果實(shí)放置于位于行間的果筐中,運(yùn)輸車(chē)在行間自主尋筐,發(fā)現(xiàn)果筐后抵近至目標(biāo)附近;果農(nóng)裝載果筐至運(yùn)輸車(chē)后,運(yùn)輸車(chē)進(jìn)行下一個(gè)果筐的尋找,直至所有果筐裝載完畢,運(yùn)輸車(chē)巡線行駛至果樹(shù)行行頭;在衛(wèi)星導(dǎo)航或果農(nóng)跟隨的引導(dǎo)下,運(yùn)輸車(chē)在果園支路自主行走,到達(dá)指定卸車(chē)位置從而完成機(jī)具輔助運(yùn)輸。相較于傳統(tǒng)肩背人扛的柑橘運(yùn)輸方案,本文提出的機(jī)具輔助采摘運(yùn)輸方案能夠讓果農(nóng)專(zhuān)注于果實(shí)采摘,通過(guò)運(yùn)輸車(chē)自主抵近裝滿果實(shí)的果筐,輔助果農(nóng)在果樹(shù)行完成果實(shí)裝載,果農(nóng)的作業(yè)半徑將主要圍繞各個(gè)果樹(shù),不需要手提裝滿果實(shí)的果筐、果桶往復(fù)穿梭于果樹(shù)行間,能夠最大程度降低果農(nóng)勞動(dòng)強(qiáng)度,節(jié)省人力作業(yè)成本。

自主尋筐、果農(nóng)跟隨和衛(wèi)星導(dǎo)航是機(jī)具輔助運(yùn)輸方案中的重要環(huán)節(jié)。自主尋筐過(guò)程中,考慮到運(yùn)輸車(chē)在柑橘園行間行駛衛(wèi)星定位信號(hào)會(huì)受樹(shù)冠遮擋,本文擬通過(guò)視覺(jué)的方式開(kāi)展自主尋筐問(wèn)題的研究。由于機(jī)具在柑橘園行駛存在行間地形起伏、背景變化以及運(yùn)輸車(chē)自身視角擺動(dòng)等干擾因素,通過(guò)視覺(jué)進(jìn)行自主尋筐面臨著難以保證果筐識(shí)別準(zhǔn)確性和作業(yè)穩(wěn)定性問(wèn)題。

本文提出的果園運(yùn)輸車(chē)視覺(jué)自主尋筐方法主要由4部分組成:運(yùn)輸車(chē)位姿實(shí)時(shí)估計(jì)、果筐目標(biāo)檢測(cè)、果筐位置更新和尋筐路徑擬合。

1.1 基于VINS-MONO的運(yùn)輸車(chē)位姿實(shí)時(shí)估計(jì)方法

受果筐擺放位置與行駛地形影響,果園運(yùn)輸車(chē)在進(jìn)行自主尋筐的過(guò)程中,車(chē)體的俯仰角、滾轉(zhuǎn)角以及偏航角會(huì)不斷發(fā)生變化,由于相機(jī)視野范圍有限,待尋找的果筐極易在相機(jī)視野中丟失進(jìn)而造成果筐遺漏。為解決該問(wèn)題,本文基于視覺(jué)慣性里程計(jì)算法進(jìn)行果園運(yùn)輸車(chē)實(shí)時(shí)位置姿態(tài)估計(jì),果筐識(shí)別完成后將所有果筐投影至參考坐標(biāo)系對(duì)應(yīng)位置,即使果筐在相機(jī)視野中丟失,也不會(huì)影響到下一個(gè)果筐的搜尋。

本文選擇香港科技大學(xué)沈劭劼團(tuán)隊(duì)提出的VINS-MONO[11]視覺(jué)慣性里程計(jì)算法進(jìn)行車(chē)體位置姿態(tài)的實(shí)時(shí)估計(jì),通過(guò)融合相機(jī)與慣性測(cè)量單元測(cè)量的傳感數(shù)據(jù),相對(duì)于ORB-SLAM[12]、DSO[13]等純視覺(jué)里程計(jì)具有更高的精度與初始化魯棒性[11],更適合本文面向的作業(yè)場(chǎng)景。VINS-MONO算法整體由前端數(shù)據(jù)預(yù)處理、估計(jì)器初始化以及滑動(dòng)窗口優(yōu)化3部分組成,整體結(jié)構(gòu)如圖2所示。

圖2 算法整體結(jié)構(gòu)Fig.2 Overall structure of algorithm

算法運(yùn)行時(shí),前端數(shù)據(jù)預(yù)處理部分對(duì)單目相機(jī)和IMU采集的數(shù)據(jù)進(jìn)行預(yù)處理操作,對(duì)相鄰幀的圖像數(shù)據(jù)進(jìn)行特征識(shí)別與追蹤,并判斷新輸入的圖像是否是關(guān)鍵幀,同時(shí)對(duì)相鄰幀的IMU數(shù)據(jù)進(jìn)行預(yù)積分。預(yù)處理完成后,估計(jì)器初始化部分通過(guò)對(duì)齊IMU預(yù)積分和純視覺(jué)SfM(Structure from motion)結(jié)果,得到估計(jì)器系統(tǒng)狀態(tài)的初始值,其中包括對(duì)陀螺儀偏移標(biāo)定、初始化速度、重力以及尺度因子。估計(jì)器初始化完成后,基于滑動(dòng)窗口的緊耦合單目視覺(jué)慣性里程計(jì)進(jìn)行系統(tǒng)狀態(tài)的變量估計(jì),分別對(duì)特征點(diǎn)深度、IMU誤差以及關(guān)鍵幀位置姿態(tài)進(jìn)行后端優(yōu)化,并通過(guò)緊耦合重定位消除累計(jì)漂移,進(jìn)而根據(jù)重定位結(jié)果通過(guò)全局位姿圖優(yōu)化部分對(duì)歷史位姿進(jìn)行全局一致配置,得到優(yōu)化后的位姿數(shù)據(jù)。視覺(jué)慣性里程計(jì)算法運(yùn)行效果如圖3所示,其中紅框?yàn)楫?dāng)前相機(jī)的位置姿態(tài),綠線為里程計(jì)估計(jì)的歷史軌跡,紅線為后端優(yōu)化后的部分軌跡,白點(diǎn)為當(dāng)前幀追蹤的特征點(diǎn),綠點(diǎn)為歷史特征點(diǎn)。通過(guò)EuRoC等數(shù)據(jù)集測(cè)試,該算法定位精度能夠達(dá)到分米級(jí)[11],能夠滿足本文果園運(yùn)輸車(chē)在柑橘園環(huán)境中的果筐定位需求。

圖3 視覺(jué)慣性里程計(jì)實(shí)時(shí)位姿估計(jì)結(jié)果Fig.3 Visual-inertial odometry for real-time position attitude estimation

1.2 基于改進(jìn)YOLO v4-Tiny的果筐目標(biāo)檢測(cè)

柑橘園行間行駛環(huán)境復(fù)雜多變,人工提取特征識(shí)別果筐易受多種因素干擾。相較于傳統(tǒng)圖像處理算法,深度神經(jīng)網(wǎng)絡(luò)具有更好的魯棒性、穩(wěn)定性以及運(yùn)行效率,更適用于本文面向的作業(yè)場(chǎng)景。

YOLO v4-Tiny是一種基于深度回歸模型的目標(biāo)檢測(cè)算法,具有多任務(wù)、端到端、注意力機(jī)制和多尺度的特點(diǎn),本文基于該算法進(jìn)行果筐實(shí)時(shí)識(shí)別,并根據(jù)實(shí)際任務(wù)特點(diǎn)進(jìn)行部分算法調(diào)整[14]。YOLO v4-Tiny屬于YOLO v4的輕量化模型,網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單,參數(shù)量相對(duì)較小,硬件要求相對(duì)較低,更適用于邊緣計(jì)算設(shè)備。YOLO v4-Tiny由主干特征提取網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)以及預(yù)測(cè)輸出3部分組成,算法整體結(jié)構(gòu)如圖4所示。

圖4 目標(biāo)檢測(cè)算法整體結(jié)構(gòu)Fig.4 Overall structure of target detection algorithm

YOLO v4-Tiny首先通過(guò)CSPDarknet53-Tiny主干特征提取網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取,將引出的有效特征層傳入多尺度特征融合網(wǎng)絡(luò)。然后多尺度特征融合網(wǎng)絡(luò)基于FPN特征金字塔思想,進(jìn)行多尺度檢測(cè)輸出具有更高語(yǔ)義信息的有效特征層。最后根據(jù)特征層輸出結(jié)果,通過(guò)檢測(cè)頭進(jìn)行結(jié)果預(yù)測(cè)并解碼,最終得到果筐識(shí)別框在輸入圖像中的位置?？紤]到果園運(yùn)輸車(chē)自主尋筐過(guò)程中,果筐在畫(huà)面中隨著運(yùn)輸車(chē)的逐漸接近由小變大,為了適應(yīng)不同尺度下的檢測(cè)目標(biāo),本文在原算法2個(gè)檢測(cè)頭的基礎(chǔ)上,額外增加1個(gè)檢測(cè)頭進(jìn)行結(jié)果檢測(cè)。對(duì)于分辨率為608像素×608像素×3通道的輸入圖像,本文YOLO v4-Tiny將分別輸出19×19×255、38×38×255和76×76×255共3個(gè)檢測(cè)頭,其中檢測(cè)頭前2個(gè)維度代表圖像劃分的網(wǎng)格個(gè)數(shù),適用于不同尺度的目標(biāo)檢測(cè),網(wǎng)格數(shù)越少感受野越大,大目標(biāo)的檢測(cè)效果越好。第3個(gè)維度255代表3×(4+1+80),其中3代表每個(gè)網(wǎng)格對(duì)應(yīng)的錨框數(shù),每個(gè)錨框?qū)?yīng)1個(gè)預(yù)測(cè)框,每個(gè)預(yù)測(cè)框在對(duì)應(yīng)錨框的基礎(chǔ)上進(jìn)行目標(biāo)位置尺寸的回歸,4代表回歸時(shí)預(yù)測(cè)框與錨框橫縱向相對(duì)位置、橫縱向尺寸相對(duì)大小,1代表置信度,80代表類(lèi)別概率。

在不同尺度的網(wǎng)格劃分下,每組錨框中心與對(duì)應(yīng)網(wǎng)格中心的位置重合,錨框尺寸由訓(xùn)練集所有真實(shí)框K-means聚類(lèi)獲得。進(jìn)行預(yù)測(cè)框回歸時(shí)每個(gè)錨框?qū)?yīng)的預(yù)測(cè)框位置(bx,by)和尺度(bw,bh)的表達(dá)式為

(1)

式中 (tx,ty,tw,th)——預(yù)測(cè)框與錨框相對(duì)位置

mx、my——錨框?qū)?yīng)網(wǎng)格橫、縱向位置

mw、mh——錨框聚類(lèi)寬、高

檢測(cè)頭解碼后對(duì)所有得到的預(yù)測(cè)框進(jìn)行置信度得分排序,通過(guò)非極大抑制篩選去除同一目標(biāo)重合的預(yù)測(cè)框,得到目標(biāo)檢測(cè)框在原圖的位置尺寸。

通過(guò)式(1)可知,被檢測(cè)目標(biāo)的位置越靠近網(wǎng)格邊緣,在sigmoid函數(shù)的作用下回歸預(yù)測(cè)框所需的(tx,ty)越接近于無(wú)窮,因此會(huì)影響網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)效果。為了避免該情況的出現(xiàn),本文在式(1)的基礎(chǔ)上增加了縮放因子s,使預(yù)測(cè)框位置(bx,by)可回歸范圍覆蓋網(wǎng)格邊緣,計(jì)算公式為

(2)

本文縮放因子s=2。

為了更快更好地獲得網(wǎng)絡(luò)最優(yōu)權(quán)重參數(shù),本文訓(xùn)練該網(wǎng)絡(luò)時(shí)采用的損失函數(shù)由3部分組成,正樣本坐標(biāo)損失、正負(fù)樣本置信度損失以及正樣本分類(lèi)損失,其中正樣本坐標(biāo)損失LN1的計(jì)算公式為

(3)

(4)

式中λcoord——正樣本權(quán)重系數(shù)

K——單邊網(wǎng)格個(gè)數(shù)

M——每個(gè)網(wǎng)格對(duì)應(yīng)的預(yù)測(cè)框個(gè)數(shù)

wi、hi——預(yù)測(cè)框?qū)?、?/p>

IOU——預(yù)測(cè)框與真實(shí)框交并比

ρ2(b,bgt)——預(yù)測(cè)框與真實(shí)框歐氏距離

q——預(yù)測(cè)框真實(shí)框最小閉包區(qū)域?qū)蔷€距離

β——長(zhǎng)寬比一致性參數(shù)

γ——權(quán)衡參數(shù)

正負(fù)樣本置信度損失LN2的計(jì)算公式為

(5)

式中λnoobj——負(fù)樣本權(quán)重系數(shù)

Ci——預(yù)測(cè)置信度

正樣本分類(lèi)損失LN3的計(jì)算公式為

(6)

本文在式(3)正樣本坐標(biāo)損失中采用CIOU損失,相較于傳統(tǒng)的IOU損失,CIOU損失在保留原有預(yù)測(cè)框和真實(shí)框交并比的基礎(chǔ)上,考慮到兩者之間的位置和寬高比。增加位置信息能夠避免訓(xùn)練時(shí)因兩者之間沒(méi)有重疊造成IOU損失為0,進(jìn)而出現(xiàn)反向傳播失敗的情況,同時(shí)增加寬高比信息能夠讓預(yù)測(cè)框?qū)M縱向尺度更敏感,在相同的交并比下與真實(shí)框之間的重疊程度更高。

相較于其他作業(yè)場(chǎng)景的目標(biāo)檢測(cè)任務(wù),本文由于需要識(shí)別的果筐數(shù)量相對(duì)較少,所以訓(xùn)練時(shí)正樣本數(shù)量相比負(fù)樣本數(shù)量少很多。正樣本數(shù)量過(guò)少會(huì)造成訓(xùn)練效率降低,并且負(fù)樣本梯度占主導(dǎo),從而導(dǎo)致模型性能衰退。因此為了擴(kuò)充正樣本數(shù)量,本文從兩個(gè)方面對(duì)現(xiàn)有算法進(jìn)行調(diào)整:①原算法中,訓(xùn)練過(guò)程中每個(gè)網(wǎng)格只有與真實(shí)框交并比最大的錨框才能進(jìn)行預(yù)測(cè)框的回歸,本文設(shè)定交并比閾值,只要錨框大于交并比閾值均可進(jìn)行回歸,擴(kuò)充了每個(gè)網(wǎng)格回歸預(yù)測(cè)框的數(shù)量。②原算法中,只有真實(shí)框?qū)?yīng)的網(wǎng)格才能進(jìn)行預(yù)測(cè)框的回歸,本文設(shè)定真實(shí)框?qū)?yīng)網(wǎng)格的橫縱向相鄰網(wǎng)格,網(wǎng)格中心只要與真實(shí)框中心距離小于1個(gè)網(wǎng)格邊,也可以進(jìn)行預(yù)測(cè)框的回歸,擴(kuò)充了每個(gè)真實(shí)框?qū)?yīng)網(wǎng)格的數(shù)量。本文通過(guò)這兩步調(diào)整,能夠增加每個(gè)檢測(cè)目標(biāo)真實(shí)框?qū)?yīng)回歸的網(wǎng)格數(shù)以及錨框數(shù),正樣本數(shù)量顯著增加,能夠平衡正負(fù)樣本數(shù)量,從而提高模型訓(xùn)練效率以及識(shí)別精度。

1.3 果筐位置更新

為了實(shí)時(shí)更新果筐位置,為下一步路徑擬合提供數(shù)據(jù)支撐,根據(jù)視覺(jué)慣性里程計(jì)估計(jì)的運(yùn)輸車(chē)實(shí)時(shí)位姿、目標(biāo)檢測(cè)算法識(shí)別的果筐圖像位置以及相機(jī)內(nèi)部參數(shù),本文提出了一種果筐位置更新方法,在實(shí)時(shí)添加新識(shí)別果筐位置點(diǎn)的同時(shí),剔除掉無(wú)效果筐位置點(diǎn),算法整體流程圖如圖5所示。

圖5 果筐位置更新方法流程圖Fig.5 Fruit basket location update method

果筐位置更新方法的具體步驟為:

(1)如果目標(biāo)檢測(cè)算法在當(dāng)前深度相機(jī)視野范圍內(nèi)成功識(shí)別果筐,根據(jù)果筐識(shí)別邊框在彩色圖像中的位置,遍歷對(duì)應(yīng)深度圖中的每個(gè)像素,基于針孔相機(jī)模型將2.5D深度圖轉(zhuǎn)換為局部坐標(biāo)系下的3D點(diǎn)云,同時(shí)剔除掉超出深度相機(jī)有效探測(cè)距離的無(wú)效深度點(diǎn)。深度信息至局部坐標(biāo)系點(diǎn)云的轉(zhuǎn)換公式為

(7)

(8)

z=d

(9)

式中 (u,v)——像素點(diǎn)坐標(biāo)

(x,y,z)——局部坐標(biāo)系坐標(biāo)

fx、fy、cx、cy——相機(jī)內(nèi)部參數(shù)

d——像素深度

(2)根據(jù)視覺(jué)慣性里程計(jì)估計(jì)的果園運(yùn)輸車(chē)位置姿態(tài),將當(dāng)前視野范圍內(nèi)的果筐點(diǎn)云從局部坐標(biāo)系轉(zhuǎn)換至全局坐標(biāo)系,其中局部坐標(biāo)系是相機(jī)自身作為參考系建立的移動(dòng)坐標(biāo)系,全局坐標(biāo)系是每次視覺(jué)慣性里程計(jì)初始化時(shí),以相機(jī)初始化位置為原點(diǎn)建立的固定坐標(biāo)系。果筐點(diǎn)云的轉(zhuǎn)換公式為

(10)

式中Pc——局部坐標(biāo)系坐標(biāo)

Pw——全局坐標(biāo)系坐標(biāo)

R——旋轉(zhuǎn)矩陣T——平移向量

O——零向量

(3)為了獲取當(dāng)前視野范圍內(nèi)每個(gè)果筐的全局坐標(biāo)位置,在半徑濾波離群點(diǎn)剔除的基礎(chǔ)上,通過(guò)歐氏聚類(lèi)對(duì)轉(zhuǎn)換后的果筐點(diǎn)云進(jìn)行分割提取,然后對(duì)分割得到的每簇點(diǎn)云分別計(jì)算形心,并認(rèn)為每個(gè)形心為每個(gè)果筐的全局坐標(biāo)位置。將計(jì)算結(jié)果更新至全局果筐位置點(diǎn)當(dāng)中,實(shí)現(xiàn)新果筐位置點(diǎn)的添加。算法運(yùn)行過(guò)程中,目標(biāo)檢測(cè)算法一旦識(shí)別到果筐,均會(huì)將其位置點(diǎn)更新至全局位置點(diǎn),即使運(yùn)輸車(chē)自主尋筐過(guò)程中部分果筐脫離相機(jī)視野,也不會(huì)丟失目標(biāo)。

(4)為了避免相機(jī)視角不變的情況下同一個(gè)果筐累計(jì)過(guò)多重復(fù)位置點(diǎn),影響下一步尋筐路徑擬合效果,同一果筐識(shí)別框投影的歷史全局位置點(diǎn)會(huì)被實(shí)時(shí)更新,只保留最新識(shí)別的果筐位置點(diǎn)。

(5)當(dāng)運(yùn)輸車(chē)抵近裝載完成一個(gè)果筐后,為了避免已裝載的果筐位置點(diǎn)仍存在于全局位置點(diǎn)中,影響下一步路徑擬合,當(dāng)運(yùn)輸車(chē)距離果筐位置點(diǎn)小于0.5 m后,認(rèn)為該果筐已被成功抵近,將該果筐位置點(diǎn)從全局果筐位置點(diǎn)中剔除。

(6)全局果筐位置點(diǎn)實(shí)時(shí)發(fā)布于話題中,供路徑擬合節(jié)點(diǎn)訂閱獲取。

室外場(chǎng)景下,果筐位置更新效果如圖6所示,從圖6可以看出,1.2節(jié)通過(guò)目標(biāo)檢測(cè)算法識(shí)別的果筐,能夠?qū)⑵湮恢糜行队爸寥肿鴺?biāo)系中。

圖6 果筐位置投影Fig.6 Position projection of fruit basket

根據(jù)果筐位置更新結(jié)果,可以得到全局坐標(biāo)系下運(yùn)輸車(chē)待抵近的果筐位置,同時(shí)運(yùn)輸車(chē)位置已知,下一步即可進(jìn)行果園運(yùn)輸車(chē)自主尋筐路徑擬合。

1.4 基于三次B樣條曲線的尋筐路徑擬合方法

根據(jù)待抵近的果筐位置,直接生成折線路徑需要運(yùn)輸車(chē)在每個(gè)果筐處原地轉(zhuǎn)向,為了盡量提高運(yùn)輸車(chē)的行駛連貫性,本文將果園運(yùn)輸車(chē)位置、果筐位置作為控制頂點(diǎn),連接折線作為B特征多邊形,進(jìn)行多段k次B樣條曲線擬合,生成的曲線作為自主尋筐路徑。

B樣條曲線由多段曲線段組成,對(duì)于n+1個(gè)控制頂點(diǎn)P0、P1、 …、Pn,則k次B樣條曲線的數(shù)學(xué)表達(dá)式為

(11)

其中Ni,k(g)是k次B樣條曲線的基函數(shù),通常采用Cox-deBoor遞推公式,其數(shù)學(xué)表達(dá)式為

(12)

式中g(shù)——節(jié)點(diǎn)參數(shù)

i——節(jié)點(diǎn)序號(hào)

k——基函數(shù)次數(shù)

根據(jù)節(jié)點(diǎn)矢量中節(jié)點(diǎn)的分布情況,可以確定B樣條曲線的具體類(lèi)型,對(duì)于具有n+1個(gè)控制頂點(diǎn)P0、P1、 …、Pn的k次B樣條曲線,都具有n+k+2個(gè)節(jié)點(diǎn)g0、g1、 …、gn+k+1,本文設(shè)置節(jié)點(diǎn)為等距分布,確定曲線類(lèi)型為均勻B樣條曲線。

基于3次B樣條曲線的路徑擬合效果如圖7所示,從圖7可以看出,擬合生成自主尋筐路徑光滑平順,能夠有效提升果園運(yùn)輸車(chē)的行駛連貫性。

圖7 尋筐路徑擬合Fig.7 Fitting out path to find fruit basket

2 試驗(yàn)與結(jié)果分析

融合課題組自研果園運(yùn)輸車(chē)自動(dòng)駕駛系統(tǒng),基于Ubuntu與ROS進(jìn)行程序開(kāi)發(fā),果園運(yùn)輸車(chē)自動(dòng)駕駛系統(tǒng)整體的ROS系統(tǒng)架構(gòu)如圖8所示。本文在訓(xùn)練改進(jìn)YOLO v4-Tiny果筐識(shí)別網(wǎng)絡(luò)的基礎(chǔ)上,分別進(jìn)行果筐定位測(cè)試以及自主尋筐測(cè)試。

圖8 果園運(yùn)輸車(chē)ROS系統(tǒng)架構(gòu)圖Fig.8 ROS system architecture for orchard transporter

2.1 試驗(yàn)條件

試驗(yàn)地點(diǎn)位于廣州省江門(mén)市新會(huì)區(qū)新會(huì)柑種植園,果樹(shù)種植行株距為3.5 m左右,果園道路寬度為4 m左右?；谡n題組自研的山地果園運(yùn)輸車(chē)進(jìn)行數(shù)據(jù)采集和試驗(yàn)。數(shù)據(jù)采集和試驗(yàn)日期為2022年9—12月,果園運(yùn)輸車(chē)田間信息采集與試驗(yàn)現(xiàn)場(chǎng)如圖9所示。

圖9 田間信息采集與試驗(yàn)現(xiàn)場(chǎng)Fig.9 Field information collection and test site

運(yùn)輸車(chē)車(chē)頭前方安裝有紅外深度相機(jī)與魚(yú)眼追蹤相機(jī),兩相機(jī)空間轉(zhuǎn)換關(guān)系已知,離地高度450 mm,其中紅外深度相機(jī)采集運(yùn)輸車(chē)前方果園深度圖像數(shù)據(jù),用于果筐圖像識(shí)別,型號(hào)采用Realsense D435i,圖像分辨率為1 280像素×720像素,采集幀率為60 f/s,深度視場(chǎng)角(87°±3°)×(58°±1°)×(95°±3°),有效深度范圍0.2～10 m。魚(yú)眼追蹤相機(jī)內(nèi)部集成Bosch BMI055型慣性測(cè)量單元,采集魚(yú)眼圖像和姿態(tài)數(shù)據(jù)用于運(yùn)輸車(chē)的位置姿態(tài)估計(jì),魚(yú)眼鏡頭型號(hào)為Realsense T265,視場(chǎng)角163°±5°。運(yùn)輸車(chē)內(nèi)部搭載NVIDIA Jetson Xavier NX邊緣計(jì)算工控機(jī)用于圖像數(shù)據(jù)的處理,試驗(yàn)時(shí),通過(guò)連接在同一局域網(wǎng)的便攜式計(jì)算機(jī)ssh遠(yuǎn)程登錄工控機(jī)進(jìn)行ROS節(jié)點(diǎn)的操作。

2.2 模型訓(xùn)練與驗(yàn)證

數(shù)據(jù)采集時(shí),將果筐隨機(jī)放置于果園道路兩側(cè),通過(guò)人工遙控運(yùn)輸車(chē)行走進(jìn)行ROS數(shù)據(jù)包錄制。從數(shù)據(jù)包中截取1 423幅圖像用于制作數(shù)據(jù)集,其中70%的圖像用于訓(xùn)練,20%的圖像用于驗(yàn)證,10%的圖像用于測(cè)試,采用LabelImg進(jìn)行圖像標(biāo)注,標(biāo)簽數(shù)字為 “0”。訓(xùn)練前為了防止過(guò)擬合、提升模型魯棒性和泛化能力,采用Mosaic數(shù)據(jù)增強(qiáng)方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行處理[15],基本工作原理為:在訓(xùn)練集中隨機(jī)抽取4幅圖像,分別進(jìn)行數(shù)據(jù)增廣操作,其中包含翻轉(zhuǎn)、縮放、色域變化以及偏移,然后分別截取固定區(qū)域拼接成新圖像,從而作為模型的訓(xùn)練數(shù)據(jù),新圖像包含原始圖像經(jīng)坐標(biāo)變換后的真實(shí)框。Mosaic增強(qiáng)后的圖像如圖10所示。

圖10 數(shù)據(jù)增強(qiáng)示例Fig.10 Example of data augmentation

使用計(jì)算機(jī)(操作系統(tǒng)為Ubuntu 18.04,處理器型號(hào)為Intel Core i7-10870H,顯卡型號(hào)為Nvidia GeForce RTX 2070 Super)開(kāi)展訓(xùn)練,模型訓(xùn)練時(shí),基于COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型開(kāi)展遷移學(xué)習(xí),圖像輸入網(wǎng)絡(luò)前統(tǒng)一將尺寸調(diào)整為608像素×608像素,梯度優(yōu)化采用基于動(dòng)量的隨機(jī)梯度下降法,批量大小為16。初始學(xué)習(xí)率為0.01,學(xué)習(xí)率動(dòng)量為0.937,訓(xùn)練周期為600輪。訓(xùn)練過(guò)程中當(dāng)模型訓(xùn)練到379輪時(shí)已經(jīng)收斂,其中最佳模型在279輪。正樣本坐標(biāo)損失LN1和正負(fù)樣本置信度損失LN2如圖11所示,由于只有1類(lèi)標(biāo)簽,所以分類(lèi)損失始終為0。

圖11 模型訓(xùn)練損失值曲線Fig.11 Model training loss curves

為了量化果園運(yùn)輸車(chē)果筐識(shí)別任務(wù)的實(shí)際效果,需要考慮目標(biāo)檢測(cè)網(wǎng)絡(luò)的精度,采用平均精度均值(mAP50)作為模型識(shí)別的精度指標(biāo),由于標(biāo)簽只有1類(lèi),所以平均精度均值(mAP50)的計(jì)算公式為

(13)

式中P——精準(zhǔn)率R——召回率

置信度閾值影響著模型精準(zhǔn)率P和召回率R,置信度閾值越大,模型對(duì)預(yù)測(cè)值更有信心,精準(zhǔn)率升高,相對(duì)的召回率降低。置信度閾值越小,模型放過(guò)的真實(shí)值越少,精準(zhǔn)率降低,但是召回率增高。本模型的置信度與精準(zhǔn)率P和召回率R之間的關(guān)系如圖12所示。

圖12 精準(zhǔn)率和召回率曲線Fig.12 Precision and recall curves

選取0～1的置信度閾值,可以在PR坐標(biāo)系下得到對(duì)應(yīng)PR點(diǎn),該模型的PR曲線如圖13所示。根據(jù)公式(13)可得模型的mAP50為93.96%。

圖13 模型PR曲線Fig.13 Model PR curve

在當(dāng)前硬件條件下,處理1幅圖像(608像素×608像素×3通道)的時(shí)間為14.7 ms,其中平均預(yù)處理時(shí)間為0.7 ms、平均推理時(shí)間為12.5 ms、平均后處理時(shí)間為1.5 ms。在訓(xùn)練本文所用YOLO v4-Tiny目標(biāo)檢測(cè)網(wǎng)絡(luò)的同時(shí),分別訓(xùn)練原始YOLO v4-Tiny、YOLO v4、SSD、EfficientDet和Faster R-CNN 5種目標(biāo)檢測(cè)網(wǎng)絡(luò)模型進(jìn)行對(duì)比[16-18],訓(xùn)練結(jié)果如表1所示。

表1 性能指標(biāo)對(duì)比Tab.1 Performance index comparison

由表1可知,改進(jìn)YOLO v4-Tiny雖然檢測(cè)速度相較于原始YOLO v4-Tiny稍慢,但平均精度相對(duì)提高7.45個(gè)百分點(diǎn),因此證明了本文針對(duì)原算法改進(jìn)的有效性。對(duì)于YOLO v4、SSD、EfficientDet、Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò),SSD和Faster R-CNN的平均精度和檢測(cè)速度均不如改進(jìn)YOLO v4-Tiny算法,雖然YOLO v4和EfficientDet的平均精度相對(duì)較高,但是檢測(cè)速度與改進(jìn)YOLO v4-Tiny相比仍存在較大差距,不能勝任果園運(yùn)輸車(chē)移動(dòng)端對(duì)于尋筐路徑更新的實(shí)時(shí)性需求。

為了檢驗(yàn)不同光照條件下的模型目標(biāo)檢測(cè)效果,加載訓(xùn)練后權(quán)重分別在弱光、普通光、強(qiáng)光測(cè)試集進(jìn)行測(cè)試,果園行間和果園道路的果筐識(shí)別檢測(cè)效果如圖14所示,檢測(cè)結(jié)果如表2所示。

表2 不同光照下的性能指標(biāo)對(duì)比Tab.2 Performance index comparison under different lighting conditions

圖14 果筐識(shí)別檢測(cè)效果Fig.14 Fruit basket recognition detection effects

從圖14可以看出,本文訓(xùn)練的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型在果園行間和果園道路兩種作業(yè)場(chǎng)景下均具有良好的果筐檢測(cè)效果。果筐與運(yùn)輸車(chē)的距離影響圖像中果筐識(shí)別目標(biāo)的尺寸,觀察檢測(cè)效果可知,該模型適合檢測(cè)不同距離下的果筐,能夠滿足運(yùn)輸車(chē)自主尋筐功能需求。同時(shí)可以發(fā)現(xiàn),果園運(yùn)輸車(chē)在進(jìn)行自主尋筐的過(guò)程中,即使擺放方式、地形起伏、視角變化造成果筐在圖像中顯示不完整、姿態(tài)不規(guī)律,也不會(huì)影響模型的實(shí)際檢測(cè)效果。

根據(jù)表2可知,模型受光照變化的干擾相對(duì)較小,在測(cè)試集中能夠保持良好的識(shí)別精度。這得益于模型訓(xùn)練過(guò)程中采用Mosaic方法進(jìn)行數(shù)據(jù)增強(qiáng),通過(guò)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行明亮度、飽和度、色調(diào)變化,提高模型在不同光照條件下的魯棒性。

通過(guò)以上研究可以發(fā)現(xiàn),本文采用的目標(biāo)檢測(cè)模型能夠有效預(yù)測(cè)果筐在圖像中的位置和尺寸,但是由于實(shí)際場(chǎng)景下的果筐姿態(tài)隨機(jī),所以預(yù)測(cè)框內(nèi)部會(huì)存在較大面積的背景。本文在1.3節(jié)中提出的果筐位置更新會(huì)獲取目標(biāo)檢測(cè)框中所有像素的深度信息,因此如果檢測(cè)過(guò)程中出現(xiàn)較大面積的背景,同時(shí)果筐周邊雜草長(zhǎng)勢(shì)旺盛,預(yù)測(cè)框會(huì)返回較多雜草深度信息,從而影響果筐位置定位精度。為了盡量避免這種情況的出現(xiàn),本文通過(guò)傳統(tǒng)的圖像處理方法過(guò)濾預(yù)測(cè)框中的無(wú)效像素,盡量只返回果筐像素對(duì)應(yīng)的深度信息,進(jìn)一步提高果筐位置計(jì)算的準(zhǔn)確性。

本文使用的果筐為藍(lán)色,通過(guò)HSV顏色模型可知,藍(lán)色色調(diào)分量的范圍為100～124,飽和度分量的范圍為43～255,亮度分量的范圍為46～255。考慮到算法處理的實(shí)時(shí)性,本文通過(guò)傳統(tǒng)圖像處理方法中的閾值分割—膨脹—腐蝕操作對(duì)預(yù)測(cè)框中的像素進(jìn)行處理[19],預(yù)測(cè)框中處理前和處理后的果筐像素如圖15所示。

圖15 預(yù)測(cè)框果筐像素處理Fig.15 Processing fruit basket pixels inside prediction box

本文選取HSV分割范圍為[95, 43, 10]至[124, 255, 255],由于藍(lán)色果筐在果園背景中相對(duì)較為明顯,因此觀察圖15中的第1行和第2行可以發(fā)現(xiàn),在不同光照條件下,通過(guò)傳統(tǒng)處理方法可以有效提取預(yù)測(cè)框中的果筐像素。如果果筐周邊雜草生長(zhǎng)較為茂盛,部分雜草遮擋了果筐部分像素,如第3行所示,采用本文提出的方法,也可以在一定程度上濾除大部分雜草,為本文1.3節(jié)中的果筐定位減少拼接點(diǎn)云時(shí)的噪點(diǎn)數(shù)量,提高果筐定位精度。

2.3 果筐定位精度測(cè)試

果筐定位精度影響著運(yùn)輸車(chē)自主尋筐的穩(wěn)定性,其中包括果筐與深度相機(jī)之間的距離和偏航角?？紤]到本文運(yùn)輸車(chē)為履帶式行走機(jī)構(gòu)且行駛速度相對(duì)較慢,同時(shí)深度相機(jī)采集幀率相對(duì)較高,運(yùn)動(dòng)狀態(tài)下采集到的圖像大部分清晰,因此本文主要開(kāi)展靜態(tài)定位精度測(cè)試。

訂閱ROS測(cè)距節(jié)點(diǎn)對(duì)果筐開(kāi)展距離測(cè)試,取100次測(cè)量結(jié)果與手測(cè)距離進(jìn)行對(duì)比。課題組開(kāi)展實(shí)際測(cè)試時(shí)發(fā)現(xiàn),雖然傳感器的有效深度獲取范圍為10 m,但是在當(dāng)前果園測(cè)試環(huán)境下,當(dāng)果筐距離超過(guò)4 m后,ROS測(cè)距節(jié)點(diǎn)返回的深度測(cè)量值開(kāi)始不穩(wěn)定且跳動(dòng)幅度逐漸增大,考慮到越遠(yuǎn)的果筐對(duì)于運(yùn)輸車(chē)臨近導(dǎo)航路線的影響越小,對(duì)實(shí)際尋筐效果影響不大,所以只對(duì)距離較近的果筐進(jìn)行定位精度測(cè)試,0～4 m果筐距離測(cè)試結(jié)果如圖16所示[20]。

圖16 果筐距離定位精度測(cè)試Fig.16 Position accuracy test of fruit basket

根據(jù)圖16可知,在0～4 m范圍內(nèi)待抵近果筐的距離定位誤差在4.02%以?xún)?nèi),能夠滿足果筐距離定位精度需求。隨著行進(jìn)過(guò)程中果園運(yùn)輸車(chē)與果筐之間的距離逐漸縮小,果園運(yùn)輸車(chē)臨近導(dǎo)航路徑將趨于穩(wěn)定,即使稍遠(yuǎn)距離的果筐距離定位存在一定誤差,也不會(huì)影響尋筐實(shí)際效果。

Realsense D435i型深度相機(jī)的水平視場(chǎng)范圍為69.4°±3°,考慮到果筐在圖中所占面積,所以針對(duì)偏航角±30°以?xún)?nèi)的果筐開(kāi)展測(cè)試,取100次測(cè)量結(jié)果與手測(cè)角度進(jìn)行對(duì)比,角度測(cè)試結(jié)果如圖17所示,其中果筐距離相機(jī)3 m。根據(jù)測(cè)試結(jié)果可知,果筐角度測(cè)量誤差均在3°之內(nèi)?？紤]到果筐尺寸為56 mm×42 mm×30 mm,當(dāng)運(yùn)輸車(chē)抵近距離最近的果筐時(shí),即使存在少量角度誤差,只要運(yùn)輸車(chē)能夠到達(dá)果筐指定距離,也不會(huì)影響果農(nóng)實(shí)際操作,因此該角度測(cè)量精度能夠滿足當(dāng)前作業(yè)場(chǎng)景。

圖17 果筐角度定位精度測(cè)試Fig.17 Angle accuracy test of fruit basket

2.4 田間測(cè)試

為了驗(yàn)證本文算法的實(shí)際作業(yè)效果,結(jié)合自研果園運(yùn)輸車(chē)自動(dòng)駕駛系統(tǒng),分別在行間和道路兩種場(chǎng)景下開(kāi)展自主尋筐試驗(yàn)。試驗(yàn)開(kāi)始前,果筐交錯(cuò)放置于運(yùn)輸車(chē)行駛道路兩旁,相鄰果筐間距不超過(guò)10 m,行駛盡頭放置1個(gè)果筐用于終點(diǎn)定位。果園運(yùn)輸車(chē)在尋筐過(guò)程中,如果果筐距離運(yùn)輸車(chē)小于0.5 m,認(rèn)為該果筐搜尋成功,運(yùn)輸車(chē)此時(shí)停止行進(jìn),直至人工將果筐搬運(yùn)至載物臺(tái)上。載物臺(tái)配備壓力傳感器,如果載物臺(tái)負(fù)載質(zhì)量增加,認(rèn)為果筐成功裝載,然后果園運(yùn)輸車(chē)?yán)^續(xù)恢復(fù)行進(jìn),直至抵近到終點(diǎn)定位果筐,此時(shí)認(rèn)為果園運(yùn)輸車(chē)完成果筐搜尋任務(wù)。為了避免果園運(yùn)輸車(chē)自主尋筐的過(guò)程中與兩側(cè)樹(shù)冠發(fā)生剮蹭,本文同時(shí)參考文獻(xiàn)[4],采用U-Net語(yǔ)義分割算法進(jìn)行可通行道路識(shí)別,如果算法識(shí)別的果筐尋筐路徑不在可通行道路區(qū)域內(nèi),果園運(yùn)輸車(chē)將停止行進(jìn),試驗(yàn)終止。兩種場(chǎng)景下的試驗(yàn)現(xiàn)場(chǎng)如圖18所示。

圖18 田間試驗(yàn)現(xiàn)場(chǎng)Fig.18 Field experiment site

丘陵山地果園道路崎嶇不平,行駛路況相對(duì)較差,現(xiàn)場(chǎng)試驗(yàn)時(shí)較難通過(guò)直接對(duì)比路徑的方式,得到算法擬合路徑與實(shí)際最優(yōu)搜尋路徑之間的定量導(dǎo)航誤差。因此為了定性地展示果園運(yùn)輸車(chē)果筐實(shí)際搜尋效果,本文通過(guò)視覺(jué)慣性里程計(jì)記錄果園運(yùn)輸車(chē)的空間行駛軌跡,并記錄每個(gè)被成功抵近果筐最后刷新的空間位置。由于視覺(jué)慣性里程計(jì)返回的行駛軌跡為三維空間點(diǎn)的組合,為了更直觀地展示果筐搜尋效果,本文對(duì)所有三維點(diǎn)進(jìn)行空間平面擬合,將得到的平面作為xy坐標(biāo)系平面,然后將所有三維空間點(diǎn)沿z軸投影至xy坐標(biāo)系平面之上,作為自主尋筐軌跡。投影后的果園運(yùn)輸車(chē)自主尋筐軌跡如圖19所示,其中藍(lán)線為行駛軌跡,紅點(diǎn)為果筐最后的刷新位置點(diǎn),果筐識(shí)別置信度為80%。

圖19 果筐搜尋軌跡Fig.19 Fruit basket searching track

由圖19可以發(fā)現(xiàn),行間尋筐軌跡彎折幅度相對(duì)較小,主要原因在于果樹(shù)行距為3.5 m左右,而運(yùn)輸車(chē)本體寬度為1.2 m,因此在果園行間橫向空間的限制下,尋筐軌跡彎折幅度相對(duì)較小。同時(shí)也可以發(fā)現(xiàn)部分軌跡接近于直線,主要原因在于,如果深度相機(jī)在當(dāng)前視野范圍內(nèi)只識(shí)別到1個(gè)果筐,此時(shí)樣條曲線相當(dāng)于只有2個(gè)控制點(diǎn),因此只能擬合直線軌跡。

田間測(cè)試時(shí)發(fā)現(xiàn),果筐識(shí)別置信度是影響運(yùn)輸車(chē)尋筐的關(guān)鍵指標(biāo),增大置信度雖然能夠提高果筐識(shí)別準(zhǔn)確率,但是遺漏果筐會(huì)導(dǎo)致尋筐過(guò)早停止。減小置信度雖然能夠避免果筐遺漏,但是果筐誤識(shí)別會(huì)讓算法擬合錯(cuò)誤路徑,讓果園運(yùn)輸車(chē)去尋找本不存在的果筐。針對(duì)不同果筐識(shí)別置信度進(jìn)行尋筐測(cè)試,結(jié)果如表3所示。

表3 果筐個(gè)數(shù)Tab.3 Numbers of fruit baskets

根據(jù)表3可知,當(dāng)果筐識(shí)別置信度為80%時(shí),果園運(yùn)輸車(chē)的尋筐效果相對(duì)較好。實(shí)際測(cè)試時(shí)發(fā)現(xiàn),在果園行間等可通行區(qū)域較窄的場(chǎng)景,如果發(fā)生了果筐誤識(shí)別,算法擬合的路徑可能會(huì)將運(yùn)輸車(chē)引導(dǎo)至不可通行區(qū)域,也會(huì)導(dǎo)致果筐搜尋提前終止。根據(jù)測(cè)試結(jié)果可知,置信度過(guò)高過(guò)低都會(huì)影響尋筐效果,理想值需要通過(guò)現(xiàn)場(chǎng)試驗(yàn)獲得。因此本文提出的尋筐方法下一步可以和可通行路徑識(shí)別結(jié)合,如果兩種算法同時(shí)參與果園運(yùn)輸車(chē)導(dǎo)航?jīng)Q策,即使發(fā)生了果筐誤識(shí)別或果筐遺漏,可通行路徑識(shí)別也會(huì)引導(dǎo)運(yùn)輸車(chē)正常行進(jìn)。

經(jīng)田間測(cè)試可知,本文提出的視覺(jué)尋筐方法能夠有效引導(dǎo)果園運(yùn)輸車(chē)自主抵近果筐,在果園行間與道路均有良好的環(huán)境適應(yīng)性。果園運(yùn)輸車(chē)實(shí)測(cè)平均行駛速度為3.3 km/h,果筐搜尋擬合路徑的平均更新時(shí)間為0.092 s,能夠滿足果園運(yùn)輸車(chē)自主尋筐時(shí)的實(shí)時(shí)性要求。

3 結(jié)論

(1)面向緩坡寬皮柑橘園果品采摘運(yùn)輸作業(yè)場(chǎng)景,提出了一種基于“自主尋筐+果農(nóng)跟隨+衛(wèi)星導(dǎo)航”的機(jī)具輔助采摘運(yùn)輸方案,針對(duì)其中的自主尋筐問(wèn)題,提出了一種基于VINS-MONO和改進(jìn)YOLO v4-Tiny的果園自主尋筐方法,該方法由運(yùn)輸車(chē)位姿估計(jì)、果筐目標(biāo)檢測(cè)、果筐位置更新以及尋筐路徑擬合4部分組成。

(2)綜合考慮現(xiàn)有目標(biāo)檢測(cè)算法的準(zhǔn)確性、魯棒性以及實(shí)時(shí)性,提出了一種基于改進(jìn)YOLO v4-Tiny的果筐目標(biāo)檢測(cè)方法。結(jié)果表明,訓(xùn)練后模型平均識(shí)別精度為93.96%,檢測(cè)時(shí)間14.7 ms,相較于YOLO v4-Tiny以及YOLO v4、SSD、EfficientDet和Faster R-CNN識(shí)別效果更好,能夠滿足本課題作業(yè)場(chǎng)景下的果筐識(shí)別需求。

(3)受地形起伏、相機(jī)視野限制等因素影響,果園運(yùn)輸車(chē)尋筐的過(guò)程中極易丟失果筐視野造成果筐遺漏,針對(duì)該問(wèn)題提出了一種基于VINS-MONO的果園運(yùn)輸車(chē)位置姿態(tài)估計(jì)方法和果筐位置實(shí)時(shí)更新方法。結(jié)果表明,4 m內(nèi)的果筐距離定位誤差小于4.02%,角度定位誤差小于3°,能夠滿足本課題作業(yè)場(chǎng)景下的果筐定位精度要求。

(4)田間試驗(yàn)表明,當(dāng)果筐識(shí)別置信度為80%時(shí),果園運(yùn)輸車(chē)的尋筐效果相對(duì)較好。果園運(yùn)輸車(chē)實(shí)測(cè)平均行駛速度為3.3 km/h,單幀圖像平均處理時(shí)間為0.092 s,能夠滿足果園運(yùn)輸車(chē)自主尋筐實(shí)時(shí)性要求。