金玉成 高 楊 劉繼展 胡春華 周 堯 李萍萍

(1.江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 鎮(zhèn)江 212013；2.南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院， 南京 210037； 3.南京林業(yè)大學(xué)生物與環(huán)境學(xué)院， 南京 210037)

0 引言

“手-眼”協(xié)調(diào)是果蔬采摘機(jī)器人的主體和完成自主采摘作業(yè)的關(guān)鍵[1-4]，而植株冠層環(huán)境的高度復(fù)雜性、果實(shí)目標(biāo)的隨機(jī)性與差異性，對(duì)機(jī)器人手-眼系統(tǒng)“感知-動(dòng)作”的智慧性提出了極大挑戰(zhàn)[5]?！癊ye-to-Hand”結(jié)構(gòu)首先在采摘機(jī)器人領(lǐng)域得到了廣泛研究并有力推動(dòng)了采摘機(jī)器人技術(shù)的進(jìn)步，但是外置相機(jī)遠(yuǎn)景探測(cè)造成圖像內(nèi)冗余信息過(guò)多、目標(biāo)果實(shí)搜尋過(guò)程復(fù)雜，手眼及果葉相互遮擋問(wèn)題突出，識(shí)別可靠性與視覺(jué)定位誤差較大[6-7]；“先看后動(dòng)”的靜態(tài)割裂方式缺乏對(duì)農(nóng)業(yè)非結(jié)構(gòu)化復(fù)雜環(huán)境和動(dòng)態(tài)變化的適應(yīng)能力[8-13]；同時(shí)其依賴精確手-眼坐標(biāo)系轉(zhuǎn)換、機(jī)器人運(yùn)動(dòng)學(xué)建模和逆像問(wèn)題求解，造成機(jī)械手誤差累積而影響定位精度[2-3,14]。與之相比，“Eye-in-Hand”的“看并動(dòng)”手眼協(xié)調(diào)模式中末端對(duì)目標(biāo)的定位可實(shí)現(xiàn)持續(xù)的視覺(jué)反饋和修正，達(dá)到實(shí)時(shí)視覺(jué)伺服控制[4,10, 14-16]，因而在采摘機(jī)器人領(lǐng)域逐漸得到重視。日本、美國(guó)、比利時(shí)等國(guó)面向柑橘[17]、茄子[18-19]、番茄[20]、蘋果[21]等開發(fā)的采摘機(jī)器人系統(tǒng)，都采用了掌心或腕部安裝相機(jī)的“Eye-in-Hand”配置方案。針對(duì)“Eye-in-Hand”的手眼協(xié)調(diào)控制問(wèn)題，VAN HENTEN 等[7, 22]提出通過(guò)掌上相機(jī)的位置變換獲得兩幅圖像，進(jìn)而3維重構(gòu)獲得果實(shí)的空間位置信息；BARTH 等[14]通過(guò)掌上相機(jī)以20 Hz持續(xù)檢測(cè)果實(shí)并計(jì)算機(jī)械手位姿，驅(qū)動(dòng)末端以速度0.03 m/s逼近目標(biāo)果實(shí)，但試驗(yàn)僅實(shí)現(xiàn)了二維圖像像素位置逼近，而無(wú)法實(shí)現(xiàn)深度(距離)定位，一個(gè)視覺(jué)伺服控制周期達(dá)到了45 s。瓦根寧大學(xué)的甜椒收獲機(jī)器采用CCD相機(jī)在手模式，實(shí)驗(yàn)室檢測(cè)與采摘成功率達(dá)97%和79%，但機(jī)械采放果路徑過(guò)長(zhǎng)，在運(yùn)動(dòng)規(guī)劃和動(dòng)作執(zhí)行上耗費(fèi)過(guò)多時(shí)間，單次作業(yè)時(shí)間高達(dá)106 s[23-24]。MEHTA等[25]研究發(fā)現(xiàn)末端的視覺(jué)伺服定位精度約為15 mm，僅能滿足大中型果實(shí)的采摘定位需要，同時(shí)路徑中枝干的存在會(huì)影響伺服控制性能甚至?xí)斐赡┒藞?zhí)行器損壞，而測(cè)量噪聲對(duì)基于高增益的反饋控制效果影響較大。

為實(shí)現(xiàn)復(fù)雜實(shí)際條件下的采摘機(jī)器人高效作業(yè)，基于RGB-D傳感器進(jìn)行“Eye-in-Hand”的手眼協(xié)調(diào)控制已成為客觀需要和研究共識(shí)[26-29]。CHEN等[30]開發(fā)了仿人型雙臂式番茄采摘機(jī)器人，在頭部和腕部分別安裝Xtion和PrimeSense 傳感器，首先由外置Xtion獲取并引導(dǎo)手臂到達(dá)果枝的近位，再由手上Carmine完成更細(xì)的果實(shí)識(shí)別定位，但僅通過(guò)室內(nèi)的簡(jiǎn)化試驗(yàn)證實(shí)了其可行性，試驗(yàn)精度不足且未完全實(shí)現(xiàn)完全自主的手眼協(xié)調(diào)控制。澳大利亞昆士蘭科技大學(xué)LEHNERT 等[16,31]研究的甜椒采摘機(jī)器人，需通過(guò)手上RealSense與作物行垂直進(jìn)行水平和豎直移動(dòng)掃描進(jìn)而重構(gòu)建立3維點(diǎn)云模型，然后由RGB-HSV轉(zhuǎn)換的顏色特征識(shí)別出紅色甜椒，用深度信息給出植株的位姿估計(jì)并引導(dǎo)機(jī)械臂抓取和分離果實(shí)，試驗(yàn)發(fā)現(xiàn)手眼協(xié)調(diào)完成采摘的耗時(shí)達(dá)到35～40 s，效率偏低[31-33]；SORIA 等[34]構(gòu)建了基于RealSense SR300傳感器的手-眼系統(tǒng)，首先定位在果枝前拍照確定機(jī)械手與蘋果植株的相對(duì)角度，進(jìn)而控制機(jī)械手沿球面移動(dòng)進(jìn)行多視角的點(diǎn)云獲取，將多視角點(diǎn)云圖像合成獲得真實(shí)的相對(duì)姿態(tài)，但尚未進(jìn)行手眼協(xié)調(diào)的控制研究。

為此，本文在RealSense深度傳感器的景深160～1 200 mm范圍和160 mm近景的果實(shí)可靠識(shí)別[35-36]基礎(chǔ)上，結(jié)合升降式采摘機(jī)器人結(jié)構(gòu)設(shè)計(jì)與新型手眼配置模式和“遠(yuǎn)近景”組合的手眼協(xié)調(diào)控制，進(jìn)行RealSense深度伺服的采摘機(jī)器人設(shè)計(jì)與遠(yuǎn)近景運(yùn)動(dòng)規(guī)劃，并通過(guò)試驗(yàn)進(jìn)行驗(yàn)證。

1 采摘機(jī)器人結(jié)構(gòu)

RealSense深度伺服小型升降式采摘機(jī)器人結(jié)構(gòu)示意圖如圖1所示，由自主移動(dòng)底盤、剪叉升降機(jī)構(gòu)、抽拉式果箱、3回轉(zhuǎn)機(jī)械臂、夾剪式末端執(zhí)行器和腕部RealSense SR300深度傳感器構(gòu)成。

(1)設(shè)計(jì)了由平置直流電機(jī)驅(qū)動(dòng)的多級(jí)剪叉升降機(jī)構(gòu)，并設(shè)計(jì)了彈性輔助啟停裝置以改善啟動(dòng)性能并實(shí)現(xiàn)下降的緩沖，從而有效解決狹小空間通行的底盤小型化與豎直作業(yè)的較大升降需要之間的矛盾。

(2)在2關(guān)節(jié)機(jī)械臂基礎(chǔ)上，設(shè)計(jì)了剪叉升降平臺(tái)上的基座水平伺服回轉(zhuǎn)機(jī)構(gòu)，由大小臂、水平回轉(zhuǎn)與豎直升降組合成為PRRR 4自由度機(jī)械臂，并將抽拉式果箱安裝于升降平臺(tái)上，在特定高度區(qū)域僅由機(jī)械臂的3回轉(zhuǎn)動(dòng)作規(guī)劃即可完成采摘和空中就近放果，大大縮短了周期作業(yè)的路徑長(zhǎng)度、運(yùn)動(dòng)規(guī)劃復(fù)雜性和耗時(shí)；滿足規(guī)范化種植下的采摘要求。

(3)針對(duì)該少自由度、短路徑的“采-放”周期作業(yè)，通過(guò)機(jī)械臂腕部安裝RealSense深度傳感器構(gòu)成“眼在手上”系統(tǒng)，利用其景深160～1 200 mm和較大視場(chǎng)范圍(豎直55°×水平71°)的1 280×720深度探測(cè)特點(diǎn)和在手RealSense深度伺服控制，從而保障遠(yuǎn)近景組合的手-眼協(xié)調(diào)精準(zhǔn)定位。

2 手-眼協(xié)調(diào)的姿態(tài)與坐標(biāo)

2.1 采放果工作空間與姿態(tài)分析

該采摘機(jī)器人通過(guò)豎直升降與機(jī)械臂的3自由度回轉(zhuǎn)實(shí)現(xiàn)大范圍采摘作業(yè)，而僅需機(jī)械臂的3自由度回轉(zhuǎn)實(shí)現(xiàn)對(duì)空中果箱的放果。升降與回轉(zhuǎn)的末端工作空間與姿態(tài)應(yīng)滿足矮化密植或吊蔓栽培的果實(shí)采摘需要，同時(shí)通過(guò)機(jī)械臂的關(guān)節(jié)回轉(zhuǎn)滿足將果實(shí)安全送入空中果箱的需要。

2.1.1工作空間分析

根據(jù)蒙特卡羅法對(duì)機(jī)械臂的工作空間進(jìn)行求解，調(diào)用Matlab機(jī)器人工具箱的Rand函數(shù)與Plot函數(shù)，畫出機(jī)械臂的工作空間點(diǎn)云圖。

回轉(zhuǎn)機(jī)械臂在升降機(jī)構(gòu)的基礎(chǔ)上，可對(duì)豎直范圍374～2 613 mm分布的果實(shí)進(jìn)行采摘，底盤距植株400 mm時(shí)的水平方向最大采摘深度為753 mm，從而滿足矮化密植果園冠幅在1.5 m內(nèi)的雙側(cè)采摘。

2.1.2姿態(tài)分析

結(jié)合機(jī)器人的工作空間與果樹的尺寸，對(duì)采摘機(jī)器人采放果姿態(tài)進(jìn)行分析，如圖2所示。

由圖2可知，根據(jù)果實(shí)位置和末端可達(dá)性，機(jī)器人采果呈現(xiàn)俯摘、平摘、仰摘3種不同姿態(tài)，同時(shí)根據(jù)空中抽拉式果箱與機(jī)械臂的相對(duì)安裝關(guān)系，放果時(shí)機(jī)械臂末端放果能到達(dá)的姿態(tài)為小臂與水平角度范圍70°～110°。

2.2 手-眼協(xié)調(diào)的坐標(biāo)變換

對(duì)“眼在手上”模式，果實(shí)定位需獲得果實(shí)相對(duì)于RealSense的位置，進(jìn)而根據(jù)RealSense與機(jī)械臂的相對(duì)安裝位置及其運(yùn)動(dòng)學(xué)方程，獲得果實(shí)相對(duì)于機(jī)器人坐標(biāo)系的位置坐標(biāo)。

假設(shè)由RealSense SR300獲得的果實(shí)位置坐標(biāo)為S0=(x0,y0,z0)，則目標(biāo)果實(shí)相對(duì)于機(jī)器人坐標(biāo)系的位置S1為

S1=S0M

(1)

其中

(2)

式中M——果實(shí)相機(jī)坐標(biāo)與機(jī)器人坐標(biāo)變換矩陣

z0——多級(jí)剪叉升降機(jī)構(gòu)豎直直線位移，mm

θ1——水平旋轉(zhuǎn)關(guān)節(jié)角位移，rad

θ2——機(jī)械臂大臂轉(zhuǎn)動(dòng)角位移，rad

θ3——小臂轉(zhuǎn)動(dòng)角位移，rad

L1～L6——機(jī)械臂各桿長(zhǎng)及RealSense與機(jī)械臂的相對(duì)安裝尺寸

L1～L6依次為168、8、313、-100、285、125 mm。

3 基于RealSense遠(yuǎn)近景組合的機(jī)械臂運(yùn)動(dòng)規(guī)劃

3.1 基于RealSense伺服的遠(yuǎn)近景手眼協(xié)調(diào)策略

與CCD被動(dòng)視覺(jué)相比，主動(dòng)深度視覺(jué)干擾信息少、受光線影響較小，但是消費(fèi)級(jí)RGB-D相機(jī)受分辨率和精度影響，只進(jìn)行一次遠(yuǎn)景識(shí)別定位不能獲得果實(shí)個(gè)體清晰的深度圖像且出現(xiàn)較大定位誤差。使用RealSense SR300作為視覺(jué)傳感器，可在景深160～1 200 mm范圍內(nèi)獲得遠(yuǎn)景的冠層深度與坐標(biāo)信息，同時(shí)可實(shí)現(xiàn)160 mm超近景和較小視場(chǎng)內(nèi)有限數(shù)量果葉的“大而清”圖像獲取和可靠識(shí)別定位[35-36]。基于RealSense將遠(yuǎn)景的冠層粗探測(cè)、子區(qū)域劃分定位和近景的果實(shí)精確識(shí)別定位有效結(jié)合，實(shí)現(xiàn)對(duì)機(jī)械臂的由粗及細(xì)引導(dǎo)和精確定位，并通過(guò)路徑關(guān)鍵點(diǎn)的分段路徑規(guī)劃和組合以提高“眼在手上”的圖像伺服控制實(shí)時(shí)性和穩(wěn)定性。

基于RealSense伺服的遠(yuǎn)近景手眼協(xié)調(diào)動(dòng)作流程如圖3所示。OABCD為初始采摘路徑；DBCD為周期作業(yè)路徑。

(1)機(jī)械臂腕部由初始位置O運(yùn)動(dòng)到遠(yuǎn)景位A，由RealSense SR300自遠(yuǎn)景位A獲得較大樹冠區(qū)域的深度圖和對(duì)應(yīng)坐標(biāo)信息；根據(jù)RealSense的豎直和水平視角范圍(55°×71°)和目標(biāo)距離，可獲得不同距離的視場(chǎng)范圍，進(jìn)而根據(jù)RealSense SR300的最佳近景視場(chǎng)范圍將遠(yuǎn)景深度區(qū)域劃分為若干近景子區(qū)域并完成子區(qū)域的定位(圖4)。

(2)機(jī)械臂依次根據(jù)某一近景子區(qū)域的坐標(biāo)，由遠(yuǎn)景位A向該子區(qū)域近景位B快速逼近，并在近景位完成對(duì)該子區(qū)域內(nèi)果實(shí)的近景精確識(shí)別定位。

(3)根據(jù)近景位的果實(shí)識(shí)別定位結(jié)果，由機(jī)械臂將末端執(zhí)行器向果實(shí)C送進(jìn)并完成對(duì)果實(shí)的摘取。

(4)末端由果實(shí)位置C運(yùn)動(dòng)到果箱內(nèi)的放果位D，完成放果作業(yè)后返回該子區(qū)域的近景位B，對(duì)這一子區(qū)域的剩余果實(shí)進(jìn)行依次采摘，在采摘點(diǎn)C完成采摘后送至果箱放果位D。

(5)將該子區(qū)域內(nèi)的果實(shí)采摘結(jié)束后，依上述流程對(duì)下一子區(qū)域繼續(xù)進(jìn)行采摘放果作業(yè)，直至果實(shí)采摘完成后，采摘機(jī)器人移動(dòng)至下一遠(yuǎn)景位進(jìn)行下一輪循環(huán)采摘作業(yè)。

在該策略中，RealSense分別在遠(yuǎn)景點(diǎn)和近景點(diǎn)兩次反饋“粗、細(xì)”不同深度信息，引導(dǎo)機(jī)械臂由遠(yuǎn)及近迫近目標(biāo)并完成采摘。該方法基于有限關(guān)鍵點(diǎn)的深度視覺(jué)伺服實(shí)現(xiàn)高精度的機(jī)械臂引導(dǎo)和連續(xù)作業(yè)，運(yùn)算量少，可靠性和穩(wěn)定性得到有效保證，從而為實(shí)現(xiàn)快速高成功率的機(jī)器人采摘作業(yè)提供保證。

3.2 手眼協(xié)調(diào)的關(guān)鍵路徑點(diǎn)

如圖5所示，RealSense視覺(jué)傳感器安裝在機(jī)械臂的腕部，在遠(yuǎn)近景協(xié)調(diào)策略下分別在遠(yuǎn)景點(diǎn)與近景點(diǎn)反饋目標(biāo)深度信息，引導(dǎo)機(jī)械臂運(yùn)動(dòng)至目標(biāo)果實(shí)采摘。根據(jù)機(jī)械臂的作業(yè)范圍，進(jìn)行RealSense遠(yuǎn)近景最佳探測(cè)范圍試驗(yàn)，可知RealSense SR300的最佳遠(yuǎn)景探測(cè)范圍為500～700 mm，最佳近景識(shí)別距離為200 mm。關(guān)鍵位的設(shè)定對(duì)機(jī)械臂的精確定位非常關(guān)鍵，在每個(gè)關(guān)鍵位的手-眼任務(wù)如下：

(1)遠(yuǎn)景位：機(jī)械臂距離冠層500～700 mm處以水平姿態(tài)掃描冠層，順利獲得一定高度遠(yuǎn)景的完整冠層深度數(shù)據(jù)，以進(jìn)行子區(qū)域劃分。700 mm處探測(cè)區(qū)域?yàn)? 008 mm×729 mm，500 mm處探測(cè)區(qū)域?yàn)?20 mm×520 mm。

(2)近景位：機(jī)械臂在確定子區(qū)域后，運(yùn)動(dòng)至目標(biāo)子區(qū)域的中心點(diǎn)，即為距離子區(qū)域200 mm處的最佳近景位，仍然以水平姿態(tài)作為理想姿態(tài)，視覺(jué)傳感器探測(cè)區(qū)域?yàn)?88 mm×208 mm。

(3)采摘位：機(jī)械臂根據(jù)目標(biāo)果實(shí)的坐標(biāo)，經(jīng)過(guò)姿態(tài)規(guī)劃到達(dá)采摘位，以水平或俯或仰的姿態(tài)進(jìn)行采摘。

(4)放果位：在雙側(cè)果箱的中心點(diǎn)，采摘完成后，機(jī)械臂移送果實(shí)至放果位。

3.3 采放果機(jī)械臂作業(yè)軌跡分段規(guī)劃

3.3.1軌跡規(guī)劃方法

為實(shí)現(xiàn)對(duì)機(jī)械臂的控制，需要在規(guī)劃之前給定初始與目標(biāo)點(diǎn)的機(jī)械臂末端的位姿。將機(jī)器人在笛卡爾空間的位姿換算為關(guān)節(jié)角，用函數(shù)對(duì)關(guān)節(jié)角擬合進(jìn)行軌跡描述。關(guān)節(jié)空間下常用的軌跡插值方法有三次多項(xiàng)式和五次多項(xiàng)式，三次多項(xiàng)式函數(shù)只對(duì)軌跡上的位置與速度進(jìn)行約束，為保證機(jī)械臂運(yùn)動(dòng)的平滑性，還需對(duì)關(guān)節(jié)起停處的加速度進(jìn)行約束，即使用五次多項(xiàng)式進(jìn)行軌跡插值。五次多項(xiàng)式插值函數(shù)式為

θ(t)=a0+a1t+a2t2+a3t3+a4t4+a5t5

(3)

對(duì)式(3)進(jìn)行一階與二階求導(dǎo)，可得到機(jī)械臂關(guān)節(jié)角速度時(shí)間函數(shù)以及加速度時(shí)間函數(shù)。通過(guò)起終點(diǎn)直接選取的各路徑點(diǎn)的約束條件可確定線性方程組，從而求解方程各系數(shù)。

在設(shè)定各關(guān)鍵點(diǎn)并確定直線軌跡后，需在各段軌跡上添加一定的插值點(diǎn)，并對(duì)這些插值點(diǎn)進(jìn)行五次多項(xiàng)式的插值計(jì)算，得出插值點(diǎn)的位姿坐標(biāo)隨時(shí)間的變化率，即通過(guò)插值點(diǎn)描述起點(diǎn)到終點(diǎn)過(guò)程末端位姿隨時(shí)間的變化關(guān)系。

3.3.2分段軌跡規(guī)劃

機(jī)械臂作業(yè)軌跡可分為采果與放果兩段軌跡，考慮到作業(yè)效率與控制難度，從初始位到遠(yuǎn)景位，以及采果完成后移送至果箱的這兩段路徑都采用直線軌跡作為本文最短路徑規(guī)劃方案。

從遠(yuǎn)景位到近景范圍、再到果實(shí)采摘位的過(guò)程，可以理解為機(jī)械臂從遠(yuǎn)景位逼近果實(shí)的作業(yè)路徑。在完成果實(shí)采摘后，機(jī)械臂再?gòu)牟烧粚⒐麑?shí)移送至果箱，進(jìn)而回復(fù)至遠(yuǎn)景位。由采摘位再結(jié)合遠(yuǎn)景位的位姿進(jìn)行逆解，在關(guān)節(jié)空間內(nèi)進(jìn)行軌跡規(guī)劃后生成關(guān)節(jié)角、角速度和加速度，使機(jī)械臂到達(dá)給定位姿(圖6)。

3.3.3軌跡銜接

從初始位置到遠(yuǎn)景位，機(jī)械臂末端速度在路徑兩端都為0，從遠(yuǎn)景點(diǎn)到近景點(diǎn)過(guò)程為快速逼近過(guò)程，速度不為0，而采果位到放果位這段軌跡的兩端速度都為0。根據(jù)采摘作業(yè)流程與各關(guān)鍵點(diǎn)可知，需對(duì)初始位到遠(yuǎn)景位、遠(yuǎn)景位到采果位以及采果位到放果位進(jìn)行三段直線軌跡規(guī)劃。首先需要將笛卡爾空間內(nèi)的各關(guān)鍵點(diǎn)坐標(biāo)轉(zhuǎn)換成關(guān)節(jié)空間下各轉(zhuǎn)動(dòng)關(guān)節(jié)的角度和直動(dòng)關(guān)節(jié)(升降)的位置，如表1所示。

表1 關(guān)鍵點(diǎn)坐標(biāo)與關(guān)節(jié)參數(shù)示例

為保證各擬合點(diǎn)直線軌跡的準(zhǔn)確性，每15 mm選取一個(gè)插值點(diǎn)，通過(guò)逆解得到各插補(bǔ)點(diǎn)對(duì)應(yīng)的機(jī)械臂各關(guān)節(jié)參數(shù)。對(duì)各段直線軌跡進(jìn)行Matlab編程仿真，得到P0到P1、P1到P2以及P2到P3的各段空間直線插補(bǔ)軌跡。

4 樣機(jī)與試驗(yàn)驗(yàn)證

4.1 樣機(jī)設(shè)計(jì)

小型升降式采摘機(jī)器人樣機(jī)如圖7所示，該樣機(jī)主要技術(shù)參數(shù)與性能指標(biāo)如表2所示。

表2 樣機(jī)參數(shù)

4.2 驗(yàn)證試驗(yàn)

4.2.1試驗(yàn)材料

如圖8所示，為方便采摘機(jī)器人精度試驗(yàn)的檢測(cè)，將定制的兩塊1 m×1 m、間隔尺寸為2 mm的透明刻度板通過(guò)鋁型材搭建成直角坐標(biāo)系的坐標(biāo)檢測(cè)裝置，并在機(jī)械臂腕部安裝激光筆。

調(diào)整并確定機(jī)械臂的初始位置，RealSense相機(jī)深度方向作為Z軸，測(cè)量機(jī)械臂初始位置在高度方向即X方向?yàn)?00 mm，腰部旋轉(zhuǎn)關(guān)節(jié)中心線為Y方向，在網(wǎng)格刻度板上記錄下相對(duì)于XOY平面為(800 mm，0，0)的參考點(diǎn)(圖9b)。之后每次測(cè)量末端坐標(biāo)的X、Y坐標(biāo)都通過(guò)坐標(biāo)點(diǎn)相對(duì)于該參考點(diǎn)的讀數(shù)，而Z方向可通過(guò)游標(biāo)卡尺測(cè)量，從而得出采摘機(jī)器人末端的實(shí)際坐標(biāo)。

4.2.2試驗(yàn)方法

(1)采摘機(jī)器人底盤固定不動(dòng)，調(diào)整機(jī)械臂至初始位置，在Z方向的透明刻度板上固定若干塑料柑橘果實(shí)，將果實(shí)中心點(diǎn)作為目標(biāo)點(diǎn)，并根據(jù)刻度記錄果實(shí)的實(shí)際坐標(biāo)。

(2)應(yīng)用基于RealSense伺服的遠(yuǎn)近景手眼協(xié)調(diào)策略和采放果機(jī)械臂作業(yè)軌跡分段規(guī)劃，執(zhí)行不同關(guān)鍵位的和各關(guān)鍵位之間的手-眼任務(wù)，完成單周期的果實(shí)采-放。

(3)調(diào)整鋁型材框架與機(jī)器人基坐標(biāo)系在Z方向的距離，并在不同的Z1、Z2、…、Zn平面改變果實(shí)的位置，對(duì)不同位置果實(shí)自主執(zhí)行手眼協(xié)調(diào)的果實(shí)采-放動(dòng)作。

(4)根據(jù)激光筆在刻度板上的Mark點(diǎn)讀取每次末端在XOY面的投影坐標(biāo)(圖9c)，由游標(biāo)卡尺測(cè)量末端與刻度板的距離(圖9d)，結(jié)合刻度板在機(jī)器人基坐標(biāo)系中Z方向的距離，得到末端在Z軸的坐標(biāo)值。同時(shí)運(yùn)行過(guò)程中用DV攝像機(jī)攝像，用視頻編輯軟件截取機(jī)械臂運(yùn)動(dòng)的視頻片段，得到其運(yùn)行時(shí)間。

4.2.3試驗(yàn)結(jié)果分析

采摘機(jī)器人由遠(yuǎn)及近手眼協(xié)調(diào)動(dòng)作的過(guò)程如圖10所示。末端實(shí)際到達(dá)的坐標(biāo)點(diǎn)測(cè)量值與相應(yīng)耗時(shí)如表3所示。

由表3可知，在RealSense信息反饋的遠(yuǎn)近景協(xié)調(diào)策略下，機(jī)器人在X、Y、Z方向的平均誤差分別為3.51、2.79、3.35 mm。采摘作業(yè)耗時(shí)隨果實(shí)距離的增加而增加，平均耗時(shí)為19.24 s，其中機(jī)械臂從初始位到采果動(dòng)作的平均耗時(shí)為12.04 s，中間識(shí)別與運(yùn)算的平均耗時(shí)為3.82 s，而放果動(dòng)作平均耗時(shí)為7.2 s，機(jī)械臂動(dòng)作耗時(shí)占整個(gè)環(huán)節(jié)的80.2%。該手眼協(xié)調(diào)動(dòng)作精度基本滿足采摘要求，達(dá)到了較好的采摘精度及效率的綜合效果。但是，其精度、效率仍然有較大的提升可能。本自主開發(fā)的機(jī)器人各關(guān)節(jié)存在一定誤差，特別是3回轉(zhuǎn)機(jī)械臂各關(guān)節(jié)之間存在一定間隙，經(jīng)測(cè)試靜止?fàn)顟B(tài)下機(jī)械臂的最大間隙為(2.8，2.2，2.5) mm，大約占實(shí)際定位誤差的80%，通過(guò)優(yōu)化可以顯著提高機(jī)器人手眼協(xié)調(diào)動(dòng)作精度。試驗(yàn)采取間隔15 mm插值計(jì)算機(jī)械臂路徑，機(jī)械臂實(shí)際到達(dá)精度會(huì)隨著插值點(diǎn)間隔的減小而提高，同時(shí)機(jī)器人計(jì)算能力的提升將使識(shí)別定位、插值計(jì)算時(shí)間進(jìn)一步減小。

表3 末端位置坐標(biāo)測(cè)量結(jié)果

5 結(jié)論

(1)設(shè)計(jì)了在手RealSense深度伺服的小型升降式采摘機(jī)器人，建立了手-眼協(xié)調(diào)的姿態(tài)與坐標(biāo)關(guān)系。

(2)采用眼在手上的手眼協(xié)調(diào)方式，對(duì)采摘機(jī)器人提出了基于在手RealSense深度伺服的由遠(yuǎn)及近手眼協(xié)調(diào)策略，并完成了基于深度視覺(jué)和遠(yuǎn)近景協(xié)調(diào)策略的作業(yè)流程及運(yùn)動(dòng)規(guī)劃。

(3)進(jìn)行了手眼協(xié)調(diào)采摘試驗(yàn)，結(jié)果表明末端在X、Y、Z方向平均定位精度為3.51、2.79、3.35 mm，平均耗時(shí)為19.24 s，其中機(jī)械臂從初始位開始采果的平均耗時(shí)為12.04 s，中間識(shí)別與運(yùn)算的平均耗時(shí)為3.82 s，放果動(dòng)作平均耗時(shí)為7.2 s，機(jī)械臂動(dòng)作耗時(shí)占整個(gè)環(huán)節(jié)的80.2%。

(4)該機(jī)器人結(jié)構(gòu)和在手RealSense深度伺服的手眼協(xié)調(diào)策略可滿足采摘作業(yè)需求，同時(shí)關(guān)節(jié)精度的提高和路徑插值計(jì)算的優(yōu)化可進(jìn)一步提升手眼協(xié)調(diào)的精度和效率。