張 璐，郭奇青

(河南工業(yè)職業(yè)技術(shù)學院，河南 南陽 473000)

?

采摘機器人選擇性作業(yè)信息獲取研究
——基于無標定視覺伺服系統(tǒng)

張 璐，郭奇青

(河南工業(yè)職業(yè)技術(shù)學院，河南 南陽 473000)

以采摘機器人采摘作業(yè)為研究對象，以選擇性采摘成熟果蔬為研究目標，基于無標定視覺伺服系統(tǒng)，結(jié)合果蔬成熟特性判斷目標果實是否適合采摘，設(shè)計了一套以MSP430F149為核心的智能檢測控制系統(tǒng)，可以實時處理相機采集到的圖像，并選擇性采摘符合要求的果實。本文重點研究了視覺伺服原理與模型、果實成熟度判斷、選擇性作業(yè)信息獲取，以及系統(tǒng)的硬軟件設(shè)計，并對文中設(shè)計研究的系統(tǒng)進行了可行性驗證。試驗結(jié)果表明：該無標定視覺伺服系統(tǒng)判斷準確，能夠較大程度提高機器人的可靠性與穩(wěn)定性，應(yīng)用前景寬廣。

采摘機器人；視覺伺服系統(tǒng)；選擇性作業(yè)；圖像信息

0 引言

21世紀以來，農(nóng)業(yè)機械智能化程度越來越高，機器人方面的技術(shù)也日益成熟，對我國農(nóng)業(yè)種植模式產(chǎn)生了較大影響。隨著科學技術(shù)手段和現(xiàn)代生產(chǎn)工具的逐漸發(fā)展，智能化技術(shù)將在農(nóng)業(yè)種植生產(chǎn)模式上發(fā)揮重要作用，促使我國實現(xiàn)精準化農(nóng)業(yè)，大力推進農(nóng)業(yè)現(xiàn)代化步伐。在采摘機器人研究中，對目標成熟度判斷和選擇性作業(yè)是重中之重。為此，將根據(jù)果蔬采摘作業(yè)環(huán)境的特點，結(jié)合果蔬成熟特征，根據(jù)無標定視覺伺服系統(tǒng)，采用MSP430F149搭建的智能控制系統(tǒng)，對該機器人選擇性收獲作業(yè)進行信息的收集和處理，達到采摘機器人對成熟目標進行選擇性作業(yè)的目的。

1 視覺伺服原理與模型

視覺伺服系統(tǒng)基礎(chǔ)知識主要包括成像原理及視覺伺服優(yōu)化算法等。視覺成像原理：首先給出小孔成像基礎(chǔ)知識，提出相機成像模型，對成像原理進行簡單說明。對于機器人運動模型，將介紹其關(guān)節(jié)變量、速度變換的運動學原理，結(jié)合視覺成像原理介紹手眼映射關(guān)系，進而介紹圖像處理的概念。本文對于視覺伺服的優(yōu)化算法主要采用擬牛頓法。

1.1 視覺成像原理

視覺成像一般是通過相機圖像采集形成，采集過程依據(jù)小孔成像原理進行。小孔成像原理：當光在同一介質(zhì)中，在無外界干擾的條件下，一般沿直線方向傳播，如圖1所示。

圖1 小孔成像原理

由圖1可以看出：當有一帶有小孔的遮光板擋在投射屏幕與物體之間時，屏幕上會出現(xiàn)物體的倒影。通過無標定視覺成像主要是利用小孔成像原理進行圖像映射的研究，在研究過程中要了解三維直角坐標系(Xw,Yw,Zw)，相機成像空間特征坐標(Xc,Yc,Zc)及圖像處理中的坐標向量(u,v)。相機成像模型示意如圖2所示。

根據(jù)圖2所建模型，三維直角坐標系與相機空間特征坐標之間關(guān)系可以表示為

(1)

其中，zc為相機與目標之間的距離；u0與v0為圖像中的坐標值；fx和fy是相機間的焦距；R和T為旋轉(zhuǎn)矩陣，與相機的方向和位置有關(guān)。

假設(shè)

(2)

則有

(3)

轉(zhuǎn)換形式后得

(4)

圖2 相機成像模型示意圖

1.2 視覺伺服的優(yōu)化算法

對于視覺伺服的優(yōu)化算法，本文采用擬牛頓法。其不僅收斂速度快，計算目標函數(shù)的難度也比較小，適合在復雜的條件下對目標函數(shù)進行優(yōu)化。牛頓法計算的基本思想為：僅利用目標函數(shù)f和一階梯度值g搜索新的迭代點。

首先，設(shè)xk∈Rn，并可以通過某一確定方式搜索得到xk+1，如果f(x)二階可導，則有梯度函數(shù)為

(5)

(6)

采用擬牛頓法優(yōu)化算法具體步驟如圖3所示。

圖3 擬牛頓法優(yōu)化算法流程圖

2 果實成熟度判斷與選擇性作業(yè)信息獲取

在環(huán)境復雜的蔬菜園中，選擇性地采摘成熟果實，采摘機器人要提前識別判斷果園中的成熟果實。無標定伺服視覺系統(tǒng)可以根據(jù)顏色空間模型算法和圖像處理及果蔬表皮的顏色、形態(tài)特征和距離信息準確判斷果蔬的成熟度。顏色模型是空間顏色坐標中能夠讓人們看得到的光子集合，RGB是空間坐標系顏色系統(tǒng)的一個單位像素。RGB顏色模型如圖4所示。

圖4 RGB顏色模型示意圖

無標定視覺伺服系統(tǒng)能夠統(tǒng)計果蔬顏色的色度、飽和度和亮度，然后進行數(shù)據(jù)信息儲存，進而判斷果實成熟度。則有

(7)

(8)

(9)

(10)

其中，R、G、B為紅、綠、藍三原色；H為顏色色彩；S為顏色彩度；I為顏色明度；θ為果蔬成熟度判定因子。根據(jù)其值并與儲存的果蔬各個時期數(shù)據(jù)信息作對比，就可以判斷果蔬的成熟度，然后對果蔬進行選擇性采摘作業(yè)。

3 目標果實定位的自動調(diào)整

采摘機器人作業(yè)過程中，末端執(zhí)行器沿著目標靠近時，發(fā)現(xiàn)與目標位置發(fā)生偏差，應(yīng)快速進行調(diào)整。當執(zhí)行器移動方向相對目標靠上或者靠下時，末端執(zhí)行器應(yīng)減小靠近速度，并調(diào)整末端執(zhí)行器前進角度；重新對準目標果實后，計算出末端執(zhí)行器與待摘果實之間在Y方向上的距離，實現(xiàn)對該果實的準確采摘。目標果實定位自動調(diào)整流程如圖5所示。

圖5 目標果實定位自動調(diào)整流程圖

對成熟果實的定位自動調(diào)整方法為：將相機所拍圖像進行有效處理、識別和計算，結(jié)合機械手和相機運動特點，得到目標果實位置、深度信息和采摘參數(shù)；然后進一步分析確定末端執(zhí)行器的移動方向與速度，實現(xiàn)待摘果實的精確采摘。

4 采摘機器人視覺伺服系統(tǒng)的硬軟件設(shè)計

4.1 采摘機器人控制系統(tǒng)的硬件設(shè)計

采摘機器人控制系統(tǒng)因作業(yè)環(huán)境復雜，一般需要有較高的穩(wěn)定性和可靠性?；谶@些方面的考慮，本系統(tǒng)硬件框架設(shè)計如圖6所示。

圖6 采摘機器人控制系統(tǒng)硬件框架

采摘機器人需要實時對視覺伺服系統(tǒng)進行數(shù)據(jù)采集的快速處理，同時高效快速地驅(qū)動機器人移動，并驅(qū)使末端執(zhí)行器完成采摘動作。因此，本文設(shè)計了以MSP430F149為核心控制單元的硬件體系，能實時完成信息的收集和處理。該硬件體系主要包括視覺伺服系統(tǒng)和驅(qū)動電路。

4.2 采摘機器人控制系統(tǒng)的軟件設(shè)計

考慮視覺伺服系統(tǒng)和驅(qū)動系統(tǒng)的精確性和可靠性，本文采摘機器人控制系統(tǒng)軟件設(shè)計采用IAR Embedded Workbench開發(fā)平臺，可為開發(fā)和管理MSP430嵌入式應(yīng)用程序提供極大便利。采摘機器人控制系統(tǒng)的軟件結(jié)構(gòu)由Main、圖像采集處理、電機驅(qū)動及傳感器采集等程序組成，框架如圖7所示。

圖7 采摘機器人控制系統(tǒng)軟件框架

根據(jù)機器人作業(yè)環(huán)境和工作過程，系統(tǒng)通過調(diào)用各子程序，控制機器人的正常運行，并根據(jù)傳感信息反饋實時修改控制指令。采摘機器人控制主程序流程，如圖8所示。

圖8 采摘機器人控制主程序流程圖

5 仿真實驗與結(jié)果分析

為了驗證該機器人選擇作業(yè)的可靠性，將該采摘機器人在一個蘋果種植園進行了測試，以蘋果成熟度判斷為研究對象。研究中首先選取500個番茄樣本進行圖像采集，并制定樣本集，然后對作業(yè)區(qū)域進行圖像采集，并與樣本集數(shù)據(jù)進行對比。圖像采集與處理流程如圖9和圖10所示。

(a) 圖像采集 (b) 處理結(jié)果 (c) 修正結(jié)果

(a) 通道圖像 (b) 二值化 (c) 優(yōu)化算法處理 (d) 輪廓分割圖

由于蘋果的輪廓一般不是一個規(guī)則的圓形，在進行處理過程中，需要用軟件進行擬合，會有一定的誤差。在復雜的環(huán)境下，由于取景光線的問題，也會產(chǎn)生一定的誤差。計算成熟度測試誤差的公式為

(11)

其中，E為誤差值；θ為蘋果成熟度判斷因子；s為蘋果輪廓面積。單個蘋果成熟度判斷識別結(jié)果如表1所示。

表1 單個蘋果成熟度判斷識別結(jié)果

表1說明：在對蘋果成熟度判定的實驗中，機器人能準確判斷其成熟度值，并根據(jù)誤差值決策是否適合采摘作業(yè)。實驗表明：該無標定視覺伺服系統(tǒng)測量比較可靠、精準程度高，可以實現(xiàn)對采摘目標的準確判斷，對機器人的智能化有著重要作用。

6 結(jié)論

針對采摘機器人在作業(yè)過程中采摘目標難確定及容易采摘未成熟果實的問題，以采摘機器人果蔬選擇性采摘作業(yè)為研究對象，加入自適應(yīng)學習方法，采用無標定視覺伺服系統(tǒng)對待采摘目標進行選擇性采摘判斷，并將其投入蘋果種植園使用，對機器人判斷目標果實成熟度的能力進行驗證。結(jié)果表明：在復雜園林的環(huán)境下，該采摘機器人能對蘋果成熟度進行準確判斷，并對判斷中誤差進行精確計算，進而確定所測目標是否適合采摘。該機器人選擇性判斷識別能力強、系統(tǒng)穩(wěn)定、可靠性強、應(yīng)用前景寬廣。

[1] 王新忠.溫室番茄收獲機器人選擇性收獲作業(yè)信息獲取與路徑規(guī)劃研究[D].鎮(zhèn)江：江蘇大學,2012.

[2] 呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D]. 鎮(zhèn)江：江蘇大學,2012.

[3] 黃鋁文.蘋果采摘機器人視覺識別與路徑規(guī)劃方法研究[D].楊凌：西北農(nóng)林科技大學,2013.

[4] 毛尚勤.微操作系統(tǒng)的機器視覺與無標定視覺伺服研究[D].武漢：華中科技大學,2013.

[5] 紀超.溫室果蔬采摘機器人視覺信息獲取方法及樣機系統(tǒng)研究[D].北京：中國農(nóng)業(yè)大學,2014.

[6] 張春龍.自然環(huán)境下農(nóng)業(yè)機器人作業(yè)目標信息獲取與視覺伺服策略研究[D].北京：中國農(nóng)業(yè)大學,2014.

[7] 李占坤,趙德安,姬偉,等.基于工業(yè)PC機的果樹采摘機器人控制系統(tǒng)設(shè)計[J].機械設(shè)計與制造,2010(6):142-144.

[8] 寧志超,崔天時,李廣軍.六自由度果實采摘機械手及其控制系統(tǒng)的設(shè)計[J].農(nóng)機化研究,2010,32(9):111-113,117.

[9] 呂繼東,趙德安,姬偉,等.開放分布式蘋果采摘機器人控制系統(tǒng)研究及實現(xiàn)[J].小型微型計算機系統(tǒng),2012(2):289-292.

[10] 呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農(nóng)業(yè)工程學報,2012(13):48-53.

[11] 趙喜鋒,杜向黨,鞏靜靜,等.基于動態(tài)目標的機器人無標定視覺伺服系統(tǒng)仿真[J].機床與液壓,2012(11):116-119.

[12] 李占坤.果樹采摘機器人控制系統(tǒng)研究與設(shè)計[D]. 鎮(zhèn)江：江蘇大學,2010.

[13] 宋健.茄子采摘機器人結(jié)構(gòu)參數(shù)的優(yōu)化設(shè)計與仿真[J].機械設(shè)計與制造,2008(6):166-168.

[14] 楊誠.無標定視覺伺服系統(tǒng)的優(yōu)化算法研究[D].合肥：中國科學技術(shù)大學,2014.

[15] 張玉.近地面果蔬采摘機器人末端執(zhí)行器及機械臂的研究[D].沈陽：沈陽工業(yè)大學,2014.

[16] 張發(fā)年.獼猴桃無損采摘未端執(zhí)行器的設(shè)計與研究[D].楊凌：西北農(nóng)林科技大學,2014.

[17] 丁乙.蘋果采摘機器人視覺系統(tǒng)技術(shù)基礎(chǔ)研究[D].秦皇島：燕山大學,2014.

[18] 郭藍彬.基于圖像雅可比矩陣的無標定工業(yè)機器人視覺伺服[D].西安：西安理工大學,2006.

[19] 李玉良.基于立體視覺的遮擋柑橘識別與空間匹配研究[D]. 鎮(zhèn)江：江蘇大學,2007.

[20] 呂強.柑橘采摘機器人工作場景信息感知技術(shù)與路徑規(guī)劃研究[D]. 鎮(zhèn)江：江蘇大學,2010.

[21] 呂小蓮.基于四自由度西紅柿采摘機器人視覺系統(tǒng)的研究[D].沈陽：沈陽農(nóng)業(yè)大學,2008.

[22] 魏海峰.果實采摘機器人快速柔順夾持測試系統(tǒng)設(shè)計[J].中國農(nóng)機化,2011(3):87-89.

[23] 趙慶波.果樹采摘機器人控制與避障技術(shù)研究[D]. 鎮(zhèn)江：江蘇大學,2008.

[24] 姬偉,程風儀,趙德安,等.基于改進人工勢場的蘋果采摘機器人機械手避障方法[J].農(nóng)業(yè)機械學報,2013(11):253-259.

[25] 寧志超.基于ATmega16的六自由度果實采摘機械手控制系統(tǒng)的設(shè)計[D].哈爾濱：東北農(nóng)業(yè)大學,2010.

[26] 高鵬.六自由度果蔬采摘機器人離線編程系統(tǒng)設(shè)計[D].杭州：浙江理工大學,2013.

[27] 王燕,張果,葛運旺.四自由度關(guān)節(jié)型采摘機械手軌跡規(guī)劃與實驗研究[J].現(xiàn)代制造工程,2013(7):27-31.

Research on the Selective Operation of Information Acquisition in Picking Robot Based on Uncalibrated Visual Servo System

Zhang Lu, Guo Qiqing

(Henan Polytechnic Institute, Nanyang 473000, China)

It takes the picking robot picking operation as the research object, selects the picked ripe fruits and vegetables as the research target, which is based on uncalibrated visual servo system, combined with fruit and vegetable ripening characteristics determine target fruit. It is suitable for picking design to select MSP430F149 as the core of intellectual to detection and control system that can real-time processing camera to capture the image, and selective picking in line with the requirements of the fruit. It focuses on the design of hardware and software and a system for acquiring visual servo principle and model of fruit maturity, judgment and selective operation information. And the system design is verified feasibility. The test results show that the uncalibrated visual servo system is accurate, which can greatly improve the reliability and stability of the robot with wide application prospect.

picking robot; visual servo system; selective operation; image information

2016-03-10

河南省科技攻關(guān)項目(152102110161)

張 璐(1982-)，女，河南南陽人，講師，碩士。

郭奇青(1983-)，女，河南南陽人，講師，碩士，(E-mail)lusiq@sina.com。

S225.93；TP391.41

A

1003-188X(2017)05-0241-05