宋 健， 王 凱， 張曉琛

(1. 濰坊學(xué)院 機(jī)電工程學(xué)院，山東 濰坊261061;2. 常州大學(xué) 機(jī)械工程學(xué)院，江蘇 常州213000)

0 引 言

蔬菜自動(dòng)化收獲能有效解決在盛果期菜農(nóng)勞動(dòng)強(qiáng)度大、果實(shí)采收不及時(shí)等難題，對提高生產(chǎn)效率，克服農(nóng)業(yè)勞動(dòng)力短缺，促進(jìn)蔬菜產(chǎn)業(yè)的發(fā)展具有重要意義［1-2］。從上世紀(jì)80 年代中期開始，以日本為代表的西方發(fā)達(dá)國家在收獲采摘機(jī)器人的研究上作了大量的工作，試驗(yàn)開發(fā)了一些具有人工智能的蔬菜采摘機(jī)器人［3-5］。但由于技術(shù)、市場和價(jià)格等因素的影響，離實(shí)用化和商業(yè)化還有很大一段距離［6］。其中，成熟果實(shí)的智能化識(shí)別與定位是關(guān)鍵技術(shù)之一［7］。

當(dāng)前，農(nóng)業(yè)機(jī)器人常用的目標(biāo)探測工具是彩色相機(jī)。但是，一個(gè)彩色相機(jī)只能得到目標(biāo)的二維位置信息和成熟度信息，而無法獲取其三維位置信息。而且，單個(gè)相機(jī)很難保證其信息的準(zhǔn)確性和可靠性［8］。當(dāng)前，國內(nèi)外的采摘機(jī)器人一般采用雙目機(jī)器視覺或單目視覺加上接近覺傳感器來實(shí)現(xiàn)對果實(shí)進(jìn)行定位。但由于目前的接近覺傳感器在要求的果實(shí)距離的范圍內(nèi)準(zhǔn)確性不高，所以使得雙目視覺的研究更加廣泛［9］。Teruo Takahashi 等研制的蘋果采摘機(jī)器人，其視覺系統(tǒng)主要采用了2 個(gè)彩色相機(jī)組成的雙目立體視覺系統(tǒng)。當(dāng)左、右兩個(gè)相機(jī)同時(shí)獲取了同一目標(biāo)的圖像后，通過將兩幅圖像進(jìn)行中心合成來重建采摘目標(biāo)的三維信息［13］。蔣煥煜等研究了基于雙目立體視覺技術(shù)的成熟番茄的識(shí)別與定位方法，獲取了成熟番茄的位置信息，用于指導(dǎo)溫室內(nèi)成熟番茄的自動(dòng)化采摘作業(yè)［14］。袁挺等通過建立基于灰度相關(guān)與極線幾何相結(jié)合的匹配策略，實(shí)現(xiàn)了雙目視覺下的黃瓜抓取點(diǎn)的立體匹配和三維重建［15］。

雙目視覺技術(shù)在采摘機(jī)器人上的應(yīng)用有了較快的發(fā)展，但依然存在識(shí)別和定位精度較低和工作效率不高的問題［16］。本文以生長環(huán)境中的茄子為研究對象，借助OPopenCV 豐富的視覺處理算法，實(shí)現(xiàn)采摘目標(biāo)的識(shí)別與三維信息的獲取，以期提高采摘機(jī)器人視覺系統(tǒng)的智能化和實(shí)時(shí)性。

1 機(jī)器人系統(tǒng)總體結(jié)構(gòu)

1.1 圖像分割

采摘機(jī)器人視覺系統(tǒng)中的圖像分割就是把茄子果實(shí)從圖像中提取并標(biāo)記出來，也就是將圖像分成茄子果實(shí)和背景兩部分。根據(jù)對茄子果實(shí)和周圍環(huán)境的顏色特征分析，G-B 灰度圖像對于果實(shí)目標(biāo)的分割最為有利。另外，采摘機(jī)器人對視覺系統(tǒng)實(shí)時(shí)性和適應(yīng)性的要求較高?；谝陨蟽牲c(diǎn)，采用基于亮度的閾值分割算法對G-B 灰度圖像進(jìn)行分割。

主要原理:

式中:Th為分割閾值;Gav為平均灰度值;Gmax為最大灰度值;f 為權(quán)重因子。

圖1 圖像分割效果

1.2 果實(shí)目標(biāo)的特征提取

果實(shí)圖像分割完成之后就得到了包含果實(shí)的二值圖像，此時(shí)可用區(qū)域標(biāo)記算法找出各個(gè)果實(shí)的區(qū)域，進(jìn)行區(qū)域分析，并得到這些區(qū)域的外接矩形，從而完成果實(shí)目標(biāo)的提取。

根據(jù)采摘機(jī)器人的工作要求，采用4 連通像素標(biāo)記法對果實(shí)目標(biāo)進(jìn)行標(biāo)記。在對圖像進(jìn)行標(biāo)記的同時(shí)，還可以得到標(biāo)記算法的副產(chǎn)品，程序中可實(shí)現(xiàn)如下功能:①計(jì)算區(qū)域的面積。②去除噪聲的影響。③跟蹤目標(biāo)的邊界，計(jì)算目標(biāo)的周長、圓形度。而且，可以方便地提取所需要的質(zhì)心、面積、外接矩形、切斷點(diǎn)等特征。

2 視覺系統(tǒng)的標(biāo)定

計(jì)算機(jī)視覺的基本任務(wù)是從攝像機(jī)獲取的圖像信息出發(fā)計(jì)算三維空間中物體的幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的。這些幾何模型參數(shù)即攝像機(jī)參數(shù)包括攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)。因?yàn)樯a(chǎn)誤差以及工藝水平問題，使生產(chǎn)的攝像頭往往存在一些問題。比如說主光點(diǎn)的偏移，在x、y 方向上的焦點(diǎn)尺寸不同導(dǎo)致的焦點(diǎn)不規(guī)則等。所以在應(yīng)用中必須這些畸變進(jìn)行數(shù)學(xué)上矯正。

為了獲取最大的精度，標(biāo)定選擇在Matlab 標(biāo)定工具箱中進(jìn)行。標(biāo)定方法采用張正友的平面標(biāo)定方法，攝像頭前放置標(biāo)準(zhǔn)黑白相間的棋盤，攝像頭拍攝不同角度下的10 張棋盤的圖像。在獲取完圖片后Matlab經(jīng)過多次迭代計(jì)算得到攝像頭的內(nèi)外參數(shù)。圖2 為Mtlab 建立的模型，圖中，1 ～10 為攝像頭所采集的不同角度下的標(biāo)定板。由于開發(fā)語言是C + +，所以所得的各種參數(shù)保存到xml 文件中，以便后續(xù)的圖像處理使用。

3 視覺視覺測距算法

3.1 雙目視覺測距原理

最基本的雙目視覺系統(tǒng)的立體幾何關(guān)系如圖3 所示。2 個(gè)完全相同的攝像機(jī)的2 個(gè)圖像平面位于一個(gè)平面內(nèi)，2 個(gè)攝像機(jī)的坐標(biāo)軸相互平行，且x 軸相互重合，攝像機(jī)之間在x方向的距離為基線距離B。在該

圖2 Matlab 標(biāo)定模型

模型中，場景中同一個(gè)特征點(diǎn)在2 個(gè)攝像機(jī)圖像平面的成像位置不同，位置之差成為視差(x'l－x'r)，該特征點(diǎn)在2 個(gè)不同圖像上的投影點(diǎn)稱為共軛對，通過2個(gè)攝像機(jī)中心(Ol和Or)和場景特征點(diǎn)P 的片面稱為外極平面，外極平面與圖像平面的交線稱為外極線，同一圖像平面上所有外極線交于一點(diǎn)，該點(diǎn)稱為外極點(diǎn)。

治療前，兩組血清CEA、ApoA1值均無統(tǒng)計(jì)學(xué)差異；觀察組與對照組治療后的血清CEA值都低于治療前，同組治療前后比較差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）；治療后觀察組的CEA低于對照組，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）。觀察組與對照組治療后的ApoA1值都高于治療前，同組治療前后比較差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）；治療后觀察組的ApoA1高于對照組，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）。見表4。

圖3 雙目視覺立體幾何關(guān)系圖

場景點(diǎn)P 在左、右圖像平面中的投影點(diǎn)分別為Pl和Pr。不失一般性，假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合。根據(jù)相似三角形原理，很容易得出深度信息z。

式中:F 是焦距;B 是基線距離。

3.2 質(zhì)心匹配算法

立體匹配是根據(jù)對所選特征的計(jì)算，建立特征之間的對應(yīng)關(guān)系，將同一個(gè)空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來。采摘對象是茄子的果實(shí)呈圓柱形，平行安裝的2 個(gè)攝像機(jī)采集到圖像的質(zhì)心是一對很好的匹配點(diǎn)，可以采用質(zhì)心匹配方法進(jìn)行目標(biāo)對象的定位。通過對左右兩圖像進(jìn)行圖像分割，獲取目標(biāo)對象在立體圖像對中的質(zhì)心坐標(biāo)。進(jìn)而采用基于質(zhì)心并輔以極線約束、唯一性約束、視差梯度約束的算法來實(shí)現(xiàn)果實(shí)目標(biāo)的匹配。

極限約束給出了對應(yīng)點(diǎn)的重要約束條件，利用極線約束可以大大地縮小尋找對應(yīng)點(diǎn)的搜索空間，從而提高搜索速度，減少誤匹配。由分析推導(dǎo)可得雙攝像頭的相對位置和極限方程的公式為

式中:［m］x為向量m 所定義的反對稱矩陣;u1、u2為2 個(gè)攝像頭對應(yīng)點(diǎn)的齊次坐標(biāo);M21、M11為攝像機(jī)投影矩陣。

該約束是指一般情況下，一幅圖像上的每個(gè)特征點(diǎn)最多只能與另一幅圖像上的一個(gè)特征點(diǎn)對應(yīng)。研究中根據(jù)一個(gè)茄子只有一個(gè)質(zhì)心滿足惟一性約束的情況，將兩幅圖像中分別提取的茄子質(zhì)心坐標(biāo)進(jìn)行匹配。

視差梯度度量的是兩對匹配點(diǎn)的相對視差。假設(shè)空間中兩點(diǎn)A、B 在左圖中Al=(axlay)，Bl=(bxlby);在右圖中Ar=(axray)，Br=(bxrby)，該兩點(diǎn)的獨(dú)眼分離度S 為

兩點(diǎn)間的匹配視差差別為

本文為平行雙目立體視覺系統(tǒng)，則ay=by，匹配對之間的視差梯度為:

實(shí)際應(yīng)用中，視差梯度是受限制的，Γ(A，B)≤1。

3.3 算法實(shí)現(xiàn)

茄子一般呈圓柱型，所以平行安裝的2 個(gè)攝像機(jī)采集到圖像的質(zhì)心是一對很好的匹配點(diǎn)。利用前述方法對左右視圖分別進(jìn)行圖像分割，然后分別求出兩者的質(zhì)點(diǎn)。采用極線約束、視差梯度約束的算法來實(shí)現(xiàn)果實(shí)目標(biāo)的匹配，具體算法如下:①圖像預(yù)處理和分割;②提取左右2 個(gè)圖像中茄子的質(zhì)心坐標(biāo);③對右邊茄子圖像中的每個(gè)特征，利用極線約束條件找出左邊圖像中的可能匹配;④計(jì)算每個(gè)匹配的視差梯度，以確保其在視差梯度范圍內(nèi);⑤遍歷所有可能的匹配，得出結(jié)果。

質(zhì)心匹配程序界面如圖4 所示。

圖4 質(zhì)心匹配程序界面

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)條件

具有開放式體系結(jié)構(gòu)的茄子采摘機(jī)器人系統(tǒng)包括PC 機(jī)，固高公司的GUC-800-TPG-M23-L2 8 軸獨(dú)立運(yùn)動(dòng)控制器，安川交流伺服驅(qū)動(dòng)系統(tǒng)，大恒水星系列數(shù)字?jǐn)z像機(jī)MER-125-30，5 自由度關(guān)節(jié)式機(jī)器人本體。實(shí)驗(yàn)用PC 機(jī)的CPU 為Intel 酷睿i5 4570，4 GB 內(nèi)存，Windows XP 操作系統(tǒng)，編程語言為C + +，編譯環(huán)境為Visual C2010，視覺數(shù)據(jù)庫版本ewing2.44。

將攝像機(jī)固定于機(jī)械手基座上，2 攝像機(jī)安裝的光軸平行且高度相同，2 個(gè)攝像機(jī)距離600 mm。觸發(fā)器控制兩個(gè)攝像機(jī)同時(shí)拍攝同一場景的圖像，采集圖像的分辨率為640 像素×480 像素。

4.2 結(jié)果與分析

利用質(zhì)心匹配算法，對3 個(gè)不同的茄子在300 ～800 mm 范圍內(nèi)的10 個(gè)不同位置進(jìn)行了定位實(shí)驗(yàn)。測定了不同位置的3 個(gè)茄子深度信息的實(shí)際值，并利用質(zhì)心匹配方法計(jì)算目標(biāo)對象的距離值，測試結(jié)果如圖5 所示。其中，縱坐標(biāo)為茄子深度信息測量值與預(yù)測值的偏差，橫坐標(biāo)為測量距離。

圖5 測試誤差曲線

由圖可見，當(dāng)工作距離小于600 mm 時(shí)，除了個(gè)別奇異點(diǎn)外，茄子深度信息的誤差基本上在±15 mm 以內(nèi)，完成一次目標(biāo)對象的定位測量所需時(shí)間約0.26 s。造成誤差的主要原因:①圖像分割的圖像雖然經(jīng)過了濾波處理，但是不可能根本清除，造成了質(zhì)心坐標(biāo)的誤差，從而影響了深度信息的準(zhǔn)確性。②測量誤差隨著距離的增大而增大的原因，主要是由于目標(biāo)對象在圖像中的視差隨著距離的增大而減小，在視差誤差相同的情況下，預(yù)測值的誤差隨距離的增大而增大。③攝像機(jī)標(biāo)定的誤差也在一定程度上影響著測量的精度。

實(shí)驗(yàn)結(jié)果表明，基于雙目視覺的茄子采摘機(jī)器人目標(biāo)定位方法原理簡單，智能性好，適應(yīng)面廣，能夠滿足采摘機(jī)器人目標(biāo)定位的要求。只是耗時(shí)相當(dāng)較多，處理速度需進(jìn)一步提高。

5 結(jié) 語

為了對茄子采摘機(jī)器人提供果實(shí)目標(biāo)的三維信息，提出了一種基于雙目立體視覺的目標(biāo)定位方法。在RGB 顏色空間成熟茄子果實(shí)與背景之間差異較大，采用基于亮度的閾值分割算法可以較好地將目標(biāo)果實(shí)分割出來。采用基于質(zhì)心并輔以極線約束、視差梯度約束的算法能夠比較準(zhǔn)確地獲得茄子果實(shí)的三維信息。實(shí)驗(yàn)測定，測量距離300 ～600 mm，茄子深度信息的誤差基本上在±15 mm 以內(nèi)，平均用時(shí)0.26 s。該方法雖然能夠滿足茄子采摘機(jī)器人視覺系統(tǒng)的要求，但是其測量精度和實(shí)時(shí)性還有進(jìn)一步提高的余地。今后的研究中，還需要優(yōu)化系統(tǒng)算法設(shè)計(jì)，精確標(biāo)定攝像機(jī)參數(shù)，從而開發(fā)出能夠應(yīng)用于采摘機(jī)器人實(shí)際作業(yè)的果實(shí)目標(biāo)定位算法。

［1］ 宋 健，張鐵中，徐麗明，等. 果蔬采摘機(jī)器人研究進(jìn)展與展望［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37 (5):158-162.

［2］ 崔玉潔，張祖立，白曉虎. 采摘機(jī)器人的研究進(jìn)展與現(xiàn)狀分析［J］. 2012，2(2):4-7.

［3］ 張凱良，楊 麗，張鐵中. 高架草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，9(43):165-172.

［4］ Van Henten E J，Van Tuijl B A J. Field test of an autonomous cucumber picking robot［J］. Biosystems Engineering，2003，86(3)，305-313.

［5］ 梁喜鳳，苗香雯，崔紹榮，等. 番茄收獲機(jī)械手運(yùn)動(dòng)學(xué)優(yōu)化與仿真試驗(yàn)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005，36(7):96-100.

［6］ Murali Regunathan，Won Suk Lee. Citrus Fruit Identification and Size Determination Using Machine Vision and Ultrasonic Sensors［C］∥ASAE ，ASAE Meeting，Hokkaido :IEEE，2005:639-644.

［7］ 湯修映，張鐵中.果蔬收獲機(jī)器人研究綜述［J］.機(jī)器人，2005，27(1):90-96.

［8］ 崔 鵬，陳 志，張曉超.蘋果采摘機(jī)器人仿生機(jī)械手靜力學(xué)分析與仿真［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(2):149-153;.

［9］ Song J. Target Identification Based on Improved Wavelet Edge Detection for Eggplant Picking Robot［J］. International Review on Computers and Software，2011，6(5):710-714.

［10］ 郭艾俠，肖德琴. 基于探索性分析的荔枝串與結(jié)果母枝圖像識(shí)別［J］.實(shí)驗(yàn)室研究與探索，2014，33(2):4-9.

［11］ Bulanon D M，Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples［J］. CIGR Journal，2010，12(1):203 -210.

［12］ Xu L，You Z，Wu S，et al. Development and experiment on automatic grading equipment for kiwi［J］. INMATEH-Agricultural Engineering，2013，41(3):55-64.

［13］ Teruo Takahashi，Shuhuai Zhang，Hiroshi Fukuchi. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard［J］.ASAE，2002，16(2):653-659..

［14］ 蔣煥煜，彭永石，應(yīng)義斌. 雙目立體視覺技術(shù)在果蔬采摘機(jī)器人中的應(yīng)用［J］.江蘇大學(xué)學(xué)報(bào)，2008，29(5):377-380.

［15］ 袁 挺，李 偉，譚豫之，等. 溫室環(huán)境下黃瓜采摘機(jī)器人信息獲?。跩］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(10):151-155 .

［16］ Shigehiko Hayashi，Kenta Shigematsxi. Evaluation of a strawberryharvesting robot in a field test［J］. Biosystems Engineering，2010，105(2):160-171.