郭艾俠， 肖德琴

(華南農(nóng)業(yè)大學(xué) 信息學(xué)院， 廣東 廣州 510642)

0 引 言

果蔬采摘機(jī)器人的視覺關(guān)鍵技術(shù)在于如何檢測和識別目標(biāo)，以確定其精確的三維空間位置，從而為機(jī)械手的運(yùn)動提供參數(shù)[1-3]。荔枝采摘機(jī)器人以成熟荔枝串為采摘目標(biāo)，荔枝串的識別是其識別荔枝果與結(jié)果母枝的關(guān)鍵基礎(chǔ)，而荔枝果與結(jié)果母枝的識別又是采摘點的計算與定位的先決條件。因此，從所采集含有荔枝果的圖像中有效識別出荔枝串、荔枝果及結(jié)果母枝，并最終實現(xiàn)采摘點的計算與定位成為荔枝采摘機(jī)器人視覺圖像識別與定位的研究重點。

荔枝串中含有多個荔枝果和一個主桿的結(jié)果母枝、一些葉子，較難識別[4]。毛亮等提出了基于稀疏水平集的方法，通過分割荔枝圖像HSV(Hue Saturation Value)色彩模型的H分量圖從而識別出荔枝果[5]?？椎逻\(yùn)等使用較為寬松的閾值對荔枝圖像的L*a*b*色彩空間的a*分量圖進(jìn)行初次分割，進(jìn)而采用蟻群與空間約束的FCM (Fuzzy C-means Clustering)算法識別了荔枝果[6]，而該方法并未給出識別荔枝串與結(jié)果母枝的策略，且對寬松閾值的確定也沒有詳細(xì)的描述。熊俊濤等首先采用經(jīng)驗閾值對荔枝圖像YCbCr色彩模型的Cr分量圖進(jìn)行分割以去除復(fù)雜的大背景信息，然后采用FCM方法分別識別出荔枝果與結(jié)果母枝，但沒有涉及經(jīng)驗閾值設(shè)定方法的研究[7-8]。

復(fù)雜自然環(huán)境下荔枝串中的荔枝果、結(jié)果母枝會受到光照與環(huán)境變化的影響，視覺識別與定位中的不確定因素也很多，而通過探索性分析(Exploratory Analysis，EA)方法來獲取識別各類荔枝串的閾值相對而言具有一定的優(yōu)勢[4]。

EA是美國蘭德公司(RAND Corporation)提出來的一種系統(tǒng)分析方法，主要用于復(fù)雜系統(tǒng)中不確定性問題的分析和決策[9-12]。它也是統(tǒng)計分析方法的一種，探索性數(shù)據(jù)與仿真分析成為不確定性問題處理的先進(jìn)方法[10-12]。Morten Rufus Blas在統(tǒng)計分析的基礎(chǔ)上，用圖像和形狀分類的視覺系統(tǒng)來研究自動打包機(jī)，對農(nóng)作物自動定位與分類收割[13]。王勇等通過對棉桃、棉葉和棉枝的顏色進(jìn)行分類統(tǒng)計分析，提出了基于RGB色彩模型的R—B色差圖像的分割模型，解決棉花采摘機(jī)器人的目標(biāo)識別問題[14]。呂小蓮等采用統(tǒng)計軟件SPSS13.0，分別對西紅柿采集圖像中的目標(biāo)與背景在RGB、Nrgb、HSI、 I1I2I3各色彩模型的顏色分量的分布進(jìn)行統(tǒng)計分析，獲取了有效分割西紅柿與背景的色彩模型及其顏色分量[15]。郭艾俠等采用EA方法進(jìn)行荔枝果與結(jié)果母枝的顏色特征分析與識別研究，給出了分類識別荔枝串、荔枝果與結(jié)果母枝的視覺模型，且得出Cr分量圖的灰度值在0.50～0.54能去除葉子和側(cè)枝等復(fù)雜背景，實現(xiàn)荔枝串的識別[4]。

本文在前人研究的基礎(chǔ)上，給出了采集荔枝圖像中感興趣區(qū)域的荔枝串、荔枝果與結(jié)果母枝的分類與荔枝灰度圖像的處理，提出采用探索性實驗分析方法獲取識別各類荔枝串的固定閾值，并最終進(jìn)行荔枝串、荔枝果與結(jié)果母枝識別的驗證試驗與分析，為后續(xù)采摘點的選取與定位提供基礎(chǔ)。

1 彩色荔枝圖像各部位分類

復(fù)雜自然環(huán)境下所采集的荔枝圖像區(qū)域主要有：紅色(荔枝果)、綠色(葉子和一些細(xì)小枝條)、偏紅或者偏綠或者偏褐(結(jié)果母枝)和其他一些細(xì)縫所產(chǎn)生的淺黑色。其中荔枝串、荔枝果與結(jié)果母枝的分類如圖1所示，文中的荔枝圖像指的是自然環(huán)境下采集的含有成熟荔枝串和復(fù)雜背景的原始RGB圖像。

(a) 荔枝原圖

(b) 荔枝串

(c) 荔枝果

(d) 結(jié)果母枝

2 荔枝各部位彩色圖像分類識別策略

直接對自然環(huán)境下所采集的荔枝RGB圖像進(jìn)行分割，難度較大。若采用K-Means、C-Means等模糊聚類的圖像分割方法對彩色荔枝圖像進(jìn)行聚類分割處理時，對顏色差異較小的亮綠色葉子與偏綠色結(jié)果母枝情況，在給定聚類種數(shù)為3(葉子等背景、荔枝果實與結(jié)果母枝3類)時，該方法會視亮綠色葉子與偏綠色結(jié)果母枝兩者為同類，從而導(dǎo)致結(jié)果母枝的誤分類[16]。而對彩色圖像中的單通道灰度圖進(jìn)行分割處理不僅可以縮短圖像處理時間，而且能提高目標(biāo)識別效率[17]。基于文獻(xiàn)[4]的結(jié)論，本文用YCbCr色彩模型的Cr分量圖作為采集荔枝原RGB圖像的灰度圖，進(jìn)而采用灰度圖像的分割方法以識別荔枝串及其中的荔枝果與結(jié)果母枝。

2.1 荔枝各部位圖像分割策略

在眾多的灰度圖像分割方法中，閾值分割技術(shù)因簡單、速度快、實時性好且較為直觀而被廣泛應(yīng)用[18]。基于閾值的荔枝串圖像分割技術(shù)的關(guān)鍵在于如何選擇合理的閾值。不同的閾值選取對圖像處理的結(jié)果不同：如果閾值選取過小，就會提取冗余信息，錯把背景信息分割成感興趣的目標(biāo)；如果閾值選取過大，又會丟失目標(biāo)信息。本文通過對比迭代法、最大類間方差法(Otsu)、直方圖雙峰法和最大熵4種常用閾值計算方法獲取各閾值對荔枝灰度圖的分割效果，確定了Otsu閾值范圍的下限與最大熵閾值范圍的上限為分割各類荔枝串的閾值區(qū)間；然后采用探索性實驗分析方法獲取了識別強(qiáng)、正常、逆光與結(jié)果母枝顏色偏褐、偏紅與偏綠的各類荔枝串的固定閾值，對荔枝Cr分量圖進(jìn)行圖像分割處理，結(jié)合圖像的形態(tài)學(xué)與最大區(qū)域標(biāo)記方法識別出荔枝串；最后對已識別荔枝串的Cr灰度圖采用FCM算法進(jìn)行圖像聚類分割、形態(tài)學(xué)運(yùn)算及最大區(qū)域標(biāo)記等處理方式，從而識別出荔枝果與結(jié)果母枝。荔枝串、荔枝果與結(jié)果母枝各部位的圖像分割流程如圖2所示。

2.2 荔枝各部位彩色識別效果還原

為得到各類識別目標(biāo)的彩色效果圖，需要把每次分割處理得到的二值圖像與原圖進(jìn)行疊加。

假設(shè)獲取分割荔枝串的固定閾值為T，對采集荔枝圖像的Cr分量圖進(jìn)行閾值分割處理得到的二值圖像為

對此二值圖像進(jìn)行圖像形態(tài)學(xué)與最大區(qū)域標(biāo)記的后續(xù)處理來消除殘留在圖像中的隨機(jī)噪聲，得到荔枝串的二值圖像Litchi_Cluster_BImg。若荔枝原圖為Litchi_Img，采用Matlab的以下代碼可實現(xiàn)荔枝串分割的彩色效果圖rgb_ Cluster _out。

rgb_ Cluster _out=Litchi_ Cluster _Img;

rgb_ Cluster _out=im2double(rgb_ Cluster _out);

rgb_ Cluster _out(:,:,1)=rgb_ Cluster _out(:,:,1).* Litchi_Cluster_BImg;

rgb_ Cluster _out(:,:,2)=rgb_ Cluster _out(:,:,2).* Litchi_Cluster_BImg; rgb_Cluster_out(:,:,3)=rgb_Cluster_out(:,:,3).* Litchi_Cluster_BImg;

其中：rgb_ Cluster _out(:,:,:i)為R,G,B3個顏色分量值；rgb_ Cluster _out即為彩色荔枝串圖像。采用同樣的方法對獲取的荔枝果與結(jié)果母枝二值圖像進(jìn)行色彩還原處理，獲取其彩色識別效果。

圖2 融合EA與FCM算法的荔枝各部分類識別流程圖

3 基于EA的分割各類荔枝串固定閾值獲取

3.1 基于EA的各類荔枝串分割閾值的獲取策略

采用實驗對比的方法首先獲取分割各類荔枝串的閾值區(qū)間，進(jìn)而采用探索性實驗分析的方法確定識別各類荔枝串的固定閾值，最后對進(jìn)行荔枝各部位分類識別的驗證性實驗與分析。

3.2 荔枝串圖像分割閾值獲取的探索性實驗分析

(1) 實驗材料及環(huán)境。試驗的荔枝圖片是在自然環(huán)境下從廣州市南沙區(qū)和番禺區(qū)的荔枝園所采集的1 000 幅中隨機(jī)選出的180 幅圖片，其大小均處理為456×342 。實驗的測試環(huán)境為Windows XP，主頻2.9 GHz、內(nèi)存2 GB 的PC 機(jī)，后臺測試軟件為Matlab 7.10。

把荔枝圖像分為強(qiáng)光、逆光、普通光照的一組(每類圖片30幅，該組共90幅荔枝圖像)和結(jié)果母枝顏色為偏紅、偏綠、偏褐的一組(每類圖片數(shù)及參數(shù)同上)。用Otsu及最大熵閾值法分別各類條件所測試圖像的閾值范圍，取Otsu閾值下限和最大熵閾值的上限作為各圖片的閾值區(qū)間，在閾值范圍內(nèi)選定固定閾值，分別對各類荔枝圖像進(jìn)行閾值分割，獲取的實驗數(shù)據(jù)如表1、2所示。

(2) 實驗結(jié)果的探索性分析。從表1、2得知：分割各類荔枝串的最小閾值為0.501 0，是由于荔枝串中結(jié)果母枝的顏色偏綠、與背景顏色差異不大所致；而最大閾值為0.533 2是結(jié)果母枝顏色偏紅情況。由此可見，結(jié)果母枝的顏色對分割荔枝串的閾值設(shè)定有一定影響。

表1 不同光照條件荔枝串分割閾值

表2 不同顏色結(jié)果母枝荔枝串分割閾值

綜合本次實驗對各類荔枝圖像進(jìn)行識別的情況來看，分割荔枝串的閾值范圍為[0.501 0，0.533 2]，這與文獻(xiàn)[5]中的結(jié)論一致。

(3) 基于EA獲取閾值對荔枝串的識別驗證。為進(jìn)一步驗證獲取的固定閾值對荔枝串的分割效果，隨機(jī)選取了不同光照條件與不同顏色傾向的荔枝圖片共120幅，采用探索性實驗方法獲取的各固定閾值進(jìn)行圖像分割處理，各類圖像的數(shù)量及荔枝串的識別結(jié)果如表3所示。選取其中的一組圖像為例，識別效果如圖3所示。

表3 基于探索性分析的固定閾值對各類荔枝串的識別情況

圖3 不同光照條件的荔枝串的圖像分割效果(從上到下依次是原圖、灰度圖、灰度直方圖，從左到右依次是強(qiáng)光、正常光及逆光)

從表3可以看出，選取逆光條件測試圖像17幅，成功識別的荔枝串有15幅；選取結(jié)果母枝為偏綠的圖像18幅，僅有14幅為成功識別的荔枝串。該方法對此2類條件的荔枝串的識別效率偏低，識別率分別為83.30%和70.00%。但采用探索性實驗分析所獲取固定閾值對其他各類情況的荔枝串的識別效果較好，平均識別率達(dá)到91.80%。綜合比較各類圖像情況，采用探索性實驗分析方法獲取固定閾值對荔枝圖像進(jìn)行分割處理，荔枝串的平均識別效率達(dá)到86.70%，基本滿足荔枝實際采摘需要。

(4) 圖像分割后續(xù)處理。對荔枝圖像的感興趣區(qū)域?qū)嵤┕潭ㄩ撝捣指钐幚砗竽軌蛉コ蟛糠值膹?fù)雜背景，但獲取的荔枝串圖像并不是理想的效果，如圖3所示。分割后的圖像中留下了很多噪聲，還需要對圖像中殘余的一些小面積圖像塊進(jìn)行形態(tài)學(xué)與最大區(qū)域標(biāo)記的處理，以消除不相關(guān)連通區(qū)域，從而得到相對較大的連通區(qū)域。

4 荔枝果與結(jié)果母枝的識別

荔枝屬串型生長的多果類，采摘點的選取必然發(fā)生在結(jié)果母枝上。為實現(xiàn)采摘點的計算及定位需求，還需把荔枝果與結(jié)果母枝識別出來。對已識別荔枝串圖像進(jìn)行FCM圖像聚類分割、形態(tài)學(xué)與最大區(qū)域標(biāo)記處理可有效識別荔枝果與結(jié)果母枝[7]。圖4為上述荔枝圖片經(jīng)過分割、形態(tài)學(xué)、最大區(qū)域標(biāo)記及色彩還原的荔枝串、荔枝果與結(jié)果母枝的識別效果如圖5所示。

進(jìn)而對所采集不同光照條件與不同拍攝角度的荔枝圖片90幅進(jìn)行EA與FCM相結(jié)合方法來分類識別荔枝串、荔枝果與結(jié)果母枝的實驗測試，各部位的識別率如表4所示。

從表4可知：荔枝串與荔枝果識別效果較好，平均識別率達(dá)到91.67%，而結(jié)果母枝識別率偏低，平均識別率為86.67%。影響結(jié)果母枝識別率的主要因素

表4 荔枝各部位識別率 %

包括：

(1) 荔枝串識別效果的影響。荔枝串識別是結(jié)果母枝條與荔枝果識別的基礎(chǔ)。若待識別的荔枝串的周圍有較粗樹枝(其尺寸接近結(jié)果母枝的主干尺寸)時，采用固定閾值對荔枝圖像進(jìn)行分割、形態(tài)學(xué)與最大區(qū)域標(biāo)記后，有較為粗壯樹枝與荔枝串區(qū)域連通被保留。再次采用FCM聚類分割圖像時，粗壯樹枝區(qū)域因面積最大被誤識別為結(jié)果母枝。

(2) 遮擋的影響。在結(jié)果母枝被部分葉子遮擋情況下進(jìn)行連通區(qū)域選擇時產(chǎn)生了誤差，影響了結(jié)果母枝的識別率。此時通過對連通區(qū)域重新設(shè)定面積閾值可減少誤差，提高識別率。

此外，由于本文實驗所用圖片均在平視或仰視角度很小情況下拍攝，圖像中的結(jié)果母枝均為無遮擋的條件，識別的荔枝串中保留了較為完整的結(jié)果母枝，這樣才能為后續(xù)結(jié)果母枝識別提供基礎(chǔ)。而在自然環(huán)境中結(jié)果母枝有樹葉遮擋或者拍攝仰視角度過大，采集圖片中結(jié)果母枝被果實遮擋的情況下，對荔枝串與結(jié)果母枝的分割效果較差(見圖5)。

圖4 荔枝各部位識別色彩效果圖

圖5 結(jié)果母枝有遮擋荔枝各部位識別情況

5 結(jié) 論

本文以串型生長的多果類采摘目標(biāo)荔枝為研究對象，重點討論了荔枝采摘機(jī)器人視覺系統(tǒng)對荔枝串、荔枝果與結(jié)果母枝的圖像識別問題，特別是采用探索性實驗分析方法獲取了分割各類荔枝串的固定閾值，具體研究內(nèi)容有：

(1) 考慮荔枝串中荔枝果與結(jié)果母枝的特點，給出荔枝各部位的分類，提出了基于EA與FCM相結(jié)合的荔枝各部位圖像分類識別策略。

(2) 通過探索性實驗分析方法分別獲取了分割強(qiáng)光、逆光與普通光照下荔枝的閾值分別為0.502 0, 0.510 8， 0.530 0；結(jié)果母枝顏色為偏紅、偏綠與偏褐的荔枝串的固定閾值分別為0.533 2、0.501 0、0.520 8，進(jìn)而進(jìn)行了各類荔枝串識別的實驗與分析。

(3) 采用FCM算法把荔枝果與結(jié)果母枝從已識別的荔枝串中提取出來，平均識別率分別為91.67%與86.67%，并對引起結(jié)果母枝誤判的原因進(jìn)行分析。

但是，由于荔枝實際生長客觀存在的自然環(huán)境和彩色圖像分割本身復(fù)雜性等因素，本文的方法仍存在一定的局限性。比如對于結(jié)果母枝被葉子遮擋，或者圖像拍攝由于選取角度過大而導(dǎo)致結(jié)果母枝被果實遮擋等問題對荔枝各部位識別所產(chǎn)生的影響等，還需進(jìn)一步研究與探索。

[1] Bulanon D M, Kataoka T. Fruit detection system and an end-effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

[2] Zou X J, Zou H X, Lu J. Virtual manipulator-based binocular stereo vision positioning system and errors modeling [J]. Machine Vision and Applications, 2012, 23(1): 43-63.

[3] 呂繼東，趙德安，姬 偉,等. 蘋果采摘機(jī)器人對振蕩果實的快速定位采摘方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(3)：48-53.

Lü Jidong, Zhao De’an, Ji Wei,etal. Fast positioning method of apple harvesting robot for oscillating fruit[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(3):48-53.

[4] 郭艾俠，鄒湘軍，朱夢思,等.基于探索性分析的荔枝果與結(jié)果母枝顏色特征分析與識別[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(4)：191-198.

Guo Aixia, Zou Xiangjun, Zhu Mengsi,etal. Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(4): 191-198.

[5] 毛 亮，薛月菊，孔德運(yùn)，等. 基于稀疏場水平集的荔枝圖像分割算法[J]. 農(nóng)業(yè)工程學(xué)報，2011，27(4)：345-349.

Mao Liang, Xue Yueju, Kong Deyun,etal. Litchi image segmentation algorithm based on sparse field level set[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2011, 27(4): 345-349.

[6] 孔德運(yùn)，薛月菊，毛 亮,等. 基于蟻群和帶空間約束FCM的荔枝圖像分割算法[J/OL].計算機(jī)工程與應(yīng)用//http://www.cnki.net/kcms/detail/11.2127.TP.20111209.1001.043.html

Kong Deyun, Xue Yueju, Mao Liang,etal. Litchi Image Segmentation Algorithm Based on Ant Colony and Space Constraints FCM[J/OL].Computer Engineering and Applications//http://www.cnki.net/kcms/detail/11.2127.TP.20111209.1001.043.html

[7] 熊俊濤，鄒湘軍，陳麗娟,等. 基于機(jī)器視覺的自然環(huán)境中成熟荔枝識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2011，42(9)：162-166.

Xiong Juntao, Zou Xiangjun, Chen Lijuan,etal. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(9): 162-166.

[8] 熊俊濤，鄒湘軍，陳麗娟,等. 采摘機(jī)械手對擾動荔枝的視覺定位[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(14)：36-40.

Xiong Juntao, Zou Xiangjun, Chen Lijuan,etal. Visual position of picking manipulator for disturbed litchi[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2012, 28(14): 36-40.

[9] Paul K Davis, Manuel J Carrillo. Exploratory analysis of “The Halt Problem”[R]. Santa Monica:RAND, 1997.

[10] 曾憲釗，蔡游飛，黃 謙，等. 基于作戰(zhàn)仿真和探索性分析的海戰(zhàn)效能評估[J]. 系統(tǒng)仿真學(xué)報，2005，17(3)：763-766.

Zeng Xianzhao, Cai Youfei, Huang Qian,etal. Simulation and exploratory analysis based on navy-battle effectiveness evaluation[J]. Journal of System Simulation, 2005, 17(3):763-766.

[11] 鄒湘軍，顧邦軍，張 平，等. 分布式虛擬環(huán)境下不確定性問題的探索性分析[J]. 系統(tǒng)仿真學(xué)報，2007，19(3)：687-690.

Zou Xiangjun, Gu Bangjun, Zhang Ping,etal. Collaborative exploratory analysis of uncertainty problem based on distributed virtual environments[J]. Journal of System Simulation, 2007,19(3): 687-690.

[12] Suitbert Ertel. Exploratory factor analysis revealing complex structure [J]. Personality and Individual Differences, 2011, 50(2): 196-200.

[13] Blas M R, Blanke M. Stereo vision with texture learning for fault-tolerant automatic baling [J]. Computers and Electronics in Agriculture, 2010, 75(1): 159-168.

[14] 王 勇，沈明霞，姬長英. 采摘期成熟棉花不同部位顏色識別分析[J]. 農(nóng)業(yè)工程學(xué)報，2007，23(4)：183-185.

Wang Yong, Shen Mingxia, Ji Changying. Model and analysis of color for different parts of ripe cotton in picking period[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2007,23(4): 183-185.

[15] 呂小蓮, 張祖立, 呂小榮. 西紅柿采摘識別系統(tǒng)中色彩空間選擇的探討[J]. 農(nóng)機(jī)化研究, 2008(2):188-190.

Lü Xiao-lian,Zhang Zuli,Lü Xiaorong. Discussing of Color-space Choosing for the Automatically Discriminated System of Tomato Picking[J]. Journal of Agricultural Mechanization Research,2008(2):188-190.

[16] 陳麗娟. 基于機(jī)器視覺的自然環(huán)境下的目標(biāo)定于研究[D]. 廣州: 華南農(nóng)業(yè)大學(xué), 2012.

[17] 趙金英，張鐵中，楊 麗. 西紅柿采摘機(jī)器人視覺系統(tǒng)的目標(biāo)提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2006，37(10)：200-203.

Zhao Jinying, Zhang Tiezhong, Yang Li. Object picking-up with machine vision of tomato picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(10): 200-203.

[18] 童小念, 劉 娜. 一種基于遺傳算法的最優(yōu)閾值圖像分割方法[J]. 武漢理工大學(xué)學(xué)報(交通科學(xué)與工程版), 2008,32(2):301-304.

Tong Xiaonian, Liu Na. Optimal Threshold Image Segmentation Method Based on Genetic Algorithms [J]. Journal of Wuhan University of Technology (Transportation Science &Engineering), 2008, 32(2):301-304.