郭艾俠，鄒湘軍，鄒海鑫

（1.華南農(nóng)業(yè)大學(xué) 南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點實驗室，廣東 廣州510642；2.華南農(nóng)業(yè)大學(xué) 信息學(xué)院，廣東 廣州510642）

0 引 言

果蔬采摘機(jī)器人的視覺關(guān)鍵技術(shù)研究在于如何檢測和識別目標(biāo)，以確定其精確的三維空間位置，從而為機(jī)械手的運動提供參數(shù)［1－4］。通常采用圖像分割技術(shù)把自然環(huán)境下所采集的圖片劃分為一系列互不重疊的獨特區(qū)域來識別成熟采摘目標(biāo)。由于自然光源、果實的晃動、果實與枝葉之間以及果實與果實之間的遮擋等問題，造成采摘機(jī)器人視覺識別與定位的工作效率仍較低，采摘目標(biāo)的識別問題還需要進(jìn)行更深入的研究［5］。而且由于單果類與串型水果在大小、顏色和紋理等特征上存在差異性，很難找到一種適合各類采摘目標(biāo)的通用圖像分割方法。因此，針對特定的采摘對象需要選擇合適的圖像分割方法，才能把待采摘的水果目標(biāo)從復(fù)雜的背景中快速、準(zhǔn)確、無遺漏地分割出來。

成熟的荔枝串中含有多個荔枝果、一個主桿的結(jié)果母枝和一些葉子，對于荔枝串的識別尤其是串中結(jié)果母枝的識別較難。文獻(xiàn) ［6］以荔枝各部位圖像顏色特征分析結(jié)果為基礎(chǔ)，把已獲取的RGB （red green blue）圖像轉(zhuǎn)換到HSV （hue saturation value）色彩空間，采用了稀疏水平集的方法對其H 通道圖進(jìn)行分割處理從而識別出荔枝果。但是該方法并未給出識別結(jié)果母枝的方法，不利于后續(xù)采摘點的進(jìn)一步選取與定位研究。文獻(xiàn) ［7］使用了較為寬松的閾值對荔枝圖像在L＊a＊b＊ （L＊is lightness，a＊and b＊are the color－opponent dimensions）色彩空間的a＊分量圖進(jìn)行初次閾值分割，去除了葉子、天空和地表等復(fù)雜背景。進(jìn)而采用蟻群與帶空間約束的FCM （fuzzy c－means clustering）算法識別出了荔枝果。但是此研究未給出識別荔枝串與結(jié)果母枝的方法，而且對寬松閾值的設(shè)定途徑也沒有具體描述。文獻(xiàn) ［8，9］通過經(jīng)驗閾值對荔枝圖像的YCbCr色彩空間的Cr分量圖進(jìn)行分割處理以去除大部分的復(fù)雜背景，然后再采用FCM 的分割方法實現(xiàn)了荔枝果與果梗的識別。但此研究并未提出荔枝串、荔枝果與結(jié)果母枝分類識別的概念。

在前人研究的基礎(chǔ)上，首先對采集荔枝圖像進(jìn)行荔枝串、荔枝果與結(jié)果母枝的分類，特別進(jìn)行了荔枝串在強光、逆光和普通光照條件下的分類，并基于文獻(xiàn) ［10］的結(jié)論進(jìn)行彩色荔枝圖像的灰度化處理。然后，采用實驗獲取的固定經(jīng)驗閾值分割處理荔枝圖像的Cr通道圖以識別出荔枝串，并對已識別荔枝串的Cr通道圖進(jìn)行Otsu的二次閾值分割識別出荔枝果。進(jìn)而通過對已識別荔枝串與荔枝果的二值圖像進(jìn)行相減運算，最終識別出結(jié)果母枝。最后對本文與文獻(xiàn) ［8］在荔枝果與結(jié)果母枝的識別時間和面積特征提取的實驗數(shù)據(jù)對比分析。本文的研究結(jié)果將為荔枝采摘點的計算與視覺定位提供研究基礎(chǔ)。

1 彩色荔枝圖像各部位分類與灰度化處理

1.1 采集圖像中荔枝各部位的分類

復(fù)雜自然環(huán)境下所采集的荔枝圖像區(qū)域主要有：荔枝果、葉子和一些細(xì)小枝條、各類結(jié)果母枝和其他一些細(xì)縫所產(chǎn)生的淺黑色。其中荔枝串、荔枝果與結(jié)果母枝的分類如圖1所示，文中的荔枝圖像指的是自然環(huán)境下采集的含有成熟荔枝串和復(fù)雜背景的圖像。

1.2 彩色荔枝圖像的灰度化處理

圖1 荔枝各部位圖像

如果直接對自然環(huán)境下所采集的荔枝RGB彩色圖像進(jìn)行分割，難度較大。而且采用K－Means、C－Means等模糊聚類的圖像分割方法直接對彩色荔枝圖像進(jìn)行圖像處理時，對顏色差異較小的亮綠色葉子與偏綠色結(jié)果母枝情況，在給定聚類種數(shù)為3 （葉子等背景、果實和、結(jié)果母枝3類）時，該方法會視亮綠色葉子與偏綠色結(jié)果母枝二者為同類，從而導(dǎo)致結(jié)果母枝的誤分類［11］。而對彩色圖像中的單通道分量圖進(jìn)行分割處理不僅可以縮短圖像處理時間，而且能提高目標(biāo)識別效率［12］。為解決荔枝圖像各部位的分類識別問題，文獻(xiàn) ［10］通過對采集荔枝圖像中的強光、普通光和逆光條件的荔枝果，顏色為偏紅、偏綠和偏褐等情況的結(jié)果母枝與葉子各類圖像的顏色特征進(jìn)行探索性數(shù)據(jù)分析，得出了YCbCr色彩空間的Cr單通道圖是適合荔枝圖像分割的最佳色彩模型，并進(jìn)一步給出在0.5～0.54區(qū)間范圍內(nèi)選擇合理的閾值對荔枝圖像的YCbCr色彩空間的Cr單通道圖進(jìn)行分割，能有效去除葉子和側(cè)枝等復(fù)雜大背景信息。基于該研究結(jié)論，本文對彩色荔枝RGB 圖像進(jìn)行YCbCr色彩空間的Cr分量圖的灰度化處理。

1.3 彩色荔枝圖像的灰度化處理過程與效果

彩色荔枝圖像的灰度化的過程是：將YCbCr色彩模型下的彩色荔枝圖像的每一像素點值采用選定的Cr顏色分量的值代替。該過程將彩色荔枝圖像轉(zhuǎn)化為灰度圖像，完成彩色圖像的灰度化。彩色荔枝圖像的灰度化轉(zhuǎn)換能夠較好地保留原彩色圖像中各顏色分量差異的信息，且有利于使用灰度圖像的分割方法進(jìn)行圖像分割，減少圖像處理的計算量和對計算機(jī)的內(nèi)存的占用，以提高識別荔枝各部位的速度。

在Matlab軟件的編輯環(huán)境下對彩色荔枝圖像進(jìn)行灰度化的轉(zhuǎn)換。具體實現(xiàn)過程如下：

（1）讀入已采集的彩色荔枝圖片文件Litchi＿Img.jpg，該文件為RGB色彩模型下的彩色圖像。

（2）通過編程處理將RGB圖像Litchi＿rgb.jpg轉(zhuǎn)化為其在YCbCr色彩模型下的彩色圖像Litchi＿ycbcr。

（3）通過提取顏色分量命令把圖像Litchi＿ycbcr的Cr顏色分量圖提取出來，該顏色分量值即為彩色圖像中每一像素點的灰度值。

隨機(jī)選取一組自然環(huán)境下所采集荔枝圖像，采用本文選用的Cr顏色分量圖對其進(jìn)行灰度化并顯示灰度圖像的直方圖，效果如圖2所示。

圖2 彩色荔枝圖像組的灰度圖及其直方圖

從圖2 （c）可以看出，荔枝圖像的Cr灰度直方圖呈現(xiàn)雙峰特性，此特性也能為荔枝各部位圖像分割策略提供依據(jù)。

2 荔枝各部位圖像分割策略

基于彩色荔枝圖像灰度處理的基礎(chǔ)上，荔枝串、荔枝果與結(jié)果母枝的圖像分割策略為：采用Otsu和最大熵法獲得閾值區(qū)間，通過實驗獲取固定經(jīng)驗閾值。利用此閾值對荔枝圖像的Cr分量圖進(jìn)行圖像分割處理，再結(jié)合形態(tài)學(xué)、最大區(qū)域標(biāo)記與色彩還原等處理后識別出荔枝串。對已識別荔枝串的Cr灰度圖采用Otsu閾值圖像分割、形態(tài)學(xué)運算及最大區(qū)域標(biāo)記等處理方式識別出荔枝果。最后把荔枝串與荔枝果的二值圖像進(jìn)行減法運算最終識別出結(jié)果母枝。為得到各類識別目標(biāo)的彩色效果圖，需要把每次分割處理得到的二值圖像與原圖進(jìn)行疊加。荔枝各部位識別流程如圖3所示。

圖3 荔枝各部位分類識別流程

3 荔枝各部位識別實驗

3.1 實驗材料及環(huán)境

實驗的荔枝圖片是在自然環(huán)境下從廣州市南沙區(qū)和番禺區(qū)的荔枝園所采集的200 幅中隨機(jī)選出的90 幅，大小均處理為456＊342 。實驗的測試環(huán)境為Windows XP，主頻2.9GHz、內(nèi)存2G 的PC 機(jī)，后臺測試軟件為MATLAB 7.10。

3.2 實驗過程與實驗結(jié)果

把選取的荔枝圖像分別按照強光、逆光、普通光照條件分成3類 （每類圖片30幅，共90幅），對每類圖片分別采用Otsu與最大熵閾值計算方法獲取了適合各類荔枝串圖像分割的閾值區(qū)間，分別為 ［0.4902，0.5294］、［0.5098，0.5333］和 ［0.5020，0.5412］。在每類閾值區(qū)間范圍內(nèi)通過實驗獲取固定經(jīng)驗閾值，分別 為0.5020、0.5300 和0.5108。采用各類固定閾值分別對90幅各類光照條件的荔枝圖像進(jìn)行荔枝各部位分類識別的實驗測試 （實驗流程如圖3所示），荔枝串、荔枝果與結(jié)果母枝的識別率如表1所示。

表1 荔枝各部位識別率

以其中的一組不同光照條件下的3 幅荔枝圖像為例，所識別的荔枝串與荔枝果的效果如圖4 （b）、圖4 （c）所示。把已識別的荔枝串、荔枝果的二值圖像進(jìn)行圖像相減運算后實現(xiàn)了結(jié)果母枝的識別，效果如圖4 （d）所示。

通過提取本文方法識別的荔枝果與結(jié)果母枝的面積特征、運行時間的數(shù)據(jù)，與文獻(xiàn) ［8］中采用方法獲取的對應(yīng)數(shù)據(jù)進(jìn)行對比，對比結(jié)果見表2－表4。

3.3 實驗結(jié)果分析

從分割效果上看，采用本文選定閾值對荔枝串的分割效果較好，結(jié)果母枝分割結(jié)果也無地面、葉子等背景殘留。而對強光條件下的荔枝果的分割均會產(chǎn)生凹陷或者空洞，造成果實無法完整恢復(fù)。

從表2～4可以看出：在運行時間及面積特征提取上，兩次閾值的分割方法對強光和正常光照條件下的荔枝果的識別效果良好，時間上也有明顯優(yōu)勢。雖然部分結(jié)果母枝的面積特征信息可能會略小于文獻(xiàn) ［8］的方法，但由于荔枝串的采摘只需在結(jié)果母枝上選擇一個采摘點進(jìn)行定位即可實現(xiàn)，因此本文提出的基于二次閾值的荔枝各部位識別方法是一種較實用的分割算法。

圖4 本文方法識別荔枝各部位圖片組（從左到右依次是強光、逆光和普通光照）

4 結(jié)束語

本文以串型生長的荔枝果為研究對象，對視覺機(jī)器人的荔枝各部位圖像分類識別進(jìn)行研究，主要包括：

（1）給出了荔枝圖像中荔枝串、荔枝果與結(jié)果母枝的分類，并進(jìn)行了彩色荔枝圖像基于YCbCr色彩空間的Cr通道圖的灰度化處理。

（2）提出了固定閾值的荔枝串與二次閾值的荔枝果及結(jié)果母枝的圖像分割策略，并對強光、逆光及正常光3種光照條件下拍攝的90幅荔枝圖片進(jìn)行了荔枝串、荔枝果與結(jié)果母枝分類識別的實驗，各部位的圖像分割效果較好。

（3）進(jìn)行了荔枝果與結(jié)果母枝的識別時間、面積特征的實驗數(shù)據(jù)的對比分析，分析結(jié)果表明：采用二次閾值分割方法可實現(xiàn)荔枝串、荔枝果與結(jié)果母枝的分類分割的目的，且在運行時間上能否滿足實時的采摘需求。

而對強光條件下的荔枝果的分割所產(chǎn)生的凹陷或者空洞，造成果實無法完整恢復(fù)的問題還需做進(jìn)一步的研究。

表2 兩種方法對正常光照條件下的結(jié)果母枝分割對比

表3 兩種方法強光照條件下的結(jié)果母枝分割對比

表4 兩種方法對逆光照條件下的結(jié)果母枝分割對比

［1］Bulanon D M，Kataoka T.Fruit detection system and an end－effector for robotic harvesting of Fuji apples［J］.Agricultural Engineering International：CIGR Journal，2010，12 （1）：203－210.

［2］WANG Yong，SHEN Mingxia，JI Changying.Model and analysis of color for different parts of ripe cotton in picking period［J］.Transactions of the Chinese Society of Agricultural Engineering，2007，23 （4）：183－185 （in Chinese）. ［王勇，沈明霞，姬長英.采摘期成熟棉花不同部位顏色識別分析 ［J］.農(nóng)業(yè)工程學(xué)報，2007，23 （4）：183－185.］

［3］ZOU Xiangjun，ZOU Haixin，LU Jun.Virtual manipulator－based binocular stereo vision positioning system and errors modeling ［J］.Machine Vision and Applications，2012，23 （1）：43－63.

［4］LV Jidong，ZHAO De'an，JI Wei，et al.Fast positioning method of apple harvesting robot for oscillating fruit［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （13）：48－53 （in Chinese）.［呂繼東，趙德安，姬偉，等.蘋果采摘機(jī)器人對振蕩果實的快速定位采摘方法 ［J］.農(nóng)業(yè)工程學(xué)報，2012，28 （3）：48－53.］

［5］LIU Jian，ZHANG Yunwei.Segmentation methods of eggplant images in the growth state based on HSI space［J］.Journal of Anhui Agriculture Science，2010，38 （14）：7554－7556 （in Chinese）.［劉健，張云偉.基于HIS空間的生長狀態(tài)下茄子圖像 的 分 割 方 法 ［J］.安 徽 農(nóng) 業(yè) 科 學(xué)，2010，38 （14）：7554－7556.］

［6］MAO Liang，XUE Yueju，KONG Deyun，et al.Litchi image segmentation algorithm based on sparse field level set ［J］.Transactions of the Chinese Society of Agricultural Engineering，2011，27 （4）：345－349 （in Chinese）.［毛亮，薛 月 菊，孔 德運，等.基于稀疏場水平集的荔枝圖像分割算法 ［J］.農(nóng)業(yè)工程學(xué)報，2011，27 （4）：345－349.］

［7］KONG Deyun，XUN Yueju，MAO Liang，et al.Litchi image segmentation algorithm based on ant colony and space constraints FCM ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html（in Chinese）.［孔德運，薛月菊，毛亮，等.基于蟻群和帶空間約束FCM 的 荔 枝 圖 像 分 割 算 法 ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html.］

［8］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42 （9）：162－166 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.基于機(jī)器視覺的自然環(huán)境中成熟荔枝識別［J］.農(nóng)業(yè)機(jī)械學(xué)報，2011，42 （9）：162－166.］

［9］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （14）：36－40 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.采摘機(jī)械手對擾動荔枝的視覺定位 ［J］.農(nóng)業(yè)工程學(xué)報，2012，28 （14）：36－40.］

［10］GUO Aixia，ZOU Xiangjun，ZHU Mengsi，et al.Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （4）：191－198 （in Chinese）.［郭艾俠，鄒湘軍，朱夢思，等.基于探索性分析的荔枝果與結(jié)果母枝顏色特征分析與識別 ［J］.農(nóng)業(yè)工程學(xué)報，2013，29 （4）：191－198.］

［11］CHEN Lijuan.Research on targets locating in nature environment based on machine vision ［D］.Guangzhou：South China Agricultural University，2012：36－48 （in Chinese）.［陳 麗娟.基于機(jī)器視覺的自然環(huán)境下的目標(biāo)定于研究 ［D］.廣州：華南農(nóng)業(yè)大學(xué)，2012：36－48.］

［12］ZHAO Jinying，ZHANG Tiezhong，YANG Li.Object pickingup with machine vision of tomato picking robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37（10）：200－203 （in Chinese）.［趙金英，張鐵中，楊麗.西紅柿采摘機(jī)器人視覺系統(tǒng)的目標(biāo)提取 ［J］.農(nóng)業(yè)機(jī)械學(xué)報，2006，37 （10）：200－203.］