滕大偉，宋 健，王 凱

(1.山東科技大學(xué) 機(jī)械電子工程學(xué)院，山東 青島 266590;2.濰坊學(xué)院 機(jī)電與車輛工程學(xué)院，山東 濰坊 261000)

?

基于區(qū)域生長的采摘機(jī)器人視覺識別方法

滕大偉1,2，宋 健2，王 凱2

(1.山東科技大學(xué) 機(jī)械電子工程學(xué)院，山東 青島 266590;2.濰坊學(xué)院 機(jī)電與車輛工程學(xué)院，山東 濰坊 261000)

提出了一套基于茄子圖像的空間位置信息和顏色因子相融合的區(qū)域生長分割算法。為保證茄子圖像分割最佳的顏色空間和顏色因子，提取了50幅不同光照條件下的茄子圖像的RGB顏色空間分量灰度圖和直方圖，比較了茄子果實(shí)、葉子、莖稈和空隙等的顏色特征，得出了G-B顏色因子對于茄子果實(shí)分割最為有利的結(jié)論。按照灰度級相同和空間8鄰域連通的原則確定種子區(qū)域，進(jìn)而通過掃描整幅圖像進(jìn)行初始分割。融合G-B顏色因子和空間信息對初始區(qū)域進(jìn)行合并，直到分割形成的區(qū)域類間距離最大時(shí)停止生長。通過頂點(diǎn)鏈碼與離散格林技術(shù)提取出果實(shí)的最小外接矩形，求解果實(shí)的生長位姿，試驗(yàn)表明：其分割效率均大于93%，平均用時(shí)為0.32s，能夠滿足果蔬采摘機(jī)器人對視覺系統(tǒng)的要求。

圖像分割；區(qū)域生長；信息融合；形態(tài)學(xué)

0 引言

果蔬采摘機(jī)器人是工作在復(fù)雜環(huán)境下的光機(jī)電一體化的設(shè)備，在無人看守的條件下自動(dòng)實(shí)現(xiàn)對果實(shí)的識別、抓取和搬運(yùn)[1-2]。機(jī)械手首先依靠目標(biāo)的形狀、顏色和大小等信息從周圍環(huán)境背景中識別出成熟果實(shí)，然后利用得到的三維空間坐標(biāo)確定出對應(yīng)的運(yùn)動(dòng)參數(shù)，從而順利完成抓取作業(yè)[3-4]。因此，視覺識別與定位是機(jī)器人進(jìn)行果實(shí)目標(biāo)識別的關(guān)鍵步驟。

近年來，許多國內(nèi)外學(xué)者在這方面上做出了大量研究，取得了一些成果[5-7]。日本學(xué)者M(jìn)urakami等人利用人工神經(jīng)網(wǎng)絡(luò)提取二值圖像，然后利用模板進(jìn)行輪廓匹配的方法進(jìn)行甘藍(lán)的識別。荷蘭農(nóng)業(yè)環(huán)境工程研究所(IMAG)利用近紅外傳感器系統(tǒng)對黃瓜進(jìn)行分割提取。江蘇大學(xué)的王津京、趙德安等利用SVM對蘋果進(jìn)行識別。濰坊學(xué)院的宋健利用神經(jīng)網(wǎng)絡(luò)完成了對茄子的分割提取。李正明在彩色特征分量(2G-R-B)/4下采用改進(jìn)型otsu進(jìn)行分割，一定程度上克服了反光的影響。但是，由于果蔬采摘機(jī)器人是在自然光條件下進(jìn)行工作，光線變化明顯，采集的圖像背景復(fù)雜，當(dāng)前的研究還不能很好地克服生長環(huán)境的影響[8]。

基于如上原因，本文以茄子作為研究對象，從顏色特征進(jìn)行分析處理，找出相應(yīng)的顏色因子和識別模型，采用融合顏色因子和三維空間信息的區(qū)域生長算法分割圖像，取得了較好的效果。

1 顏色因子的選擇

果蔬采摘機(jī)器人對視覺系統(tǒng)的識別算法通常要求實(shí)時(shí)性好、穩(wěn)定性高、簡單有效。而實(shí)現(xiàn)果實(shí)目標(biāo)從環(huán)境背景中分離出來，最簡單有效的提取方法是從彩色圖像中獲取茄子圖像RGB三基色的原始數(shù)據(jù)，對目標(biāo)與背景進(jìn)行分割。

通過對采集圖像的初步觀察，茄子果實(shí)呈現(xiàn)的紫色與周圍環(huán)境相比較為明顯。因此，利用Photoshop圖像處理軟件提取各感興趣的對象(茄子果實(shí)、葉子、莖干、空隙等)，計(jì)算各區(qū)域內(nèi)像素的R、G、B值的平均值作為該圖像各對象的顏色特征值；然后，用Excel2003對數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)，比較RGB顏色模型3個(gè)分量不同線性組合。圖1為G分量與B分量對比圖，圖2為G-B灰度圖與直方圖?？梢?，在G-B顏色因子的灰度圖下，目標(biāo)果實(shí)與環(huán)境的灰度差別較為明顯，有利于目標(biāo)圖像的分割。因此，選擇G-B顏色因子下的灰度圖進(jìn)行分割處理。

2 基于區(qū)域的圖像分割

基于區(qū)域生長的圖像分割方法是通過區(qū)域內(nèi)部的特征描述把一致的像素點(diǎn)合并到一個(gè)區(qū)域。但是，采用單一特征信息的區(qū)域生長法往往因?yàn)樾畔⒘刻俣貌坏搅钊藵M意的效果。經(jīng)過研究發(fā)現(xiàn)：通過融合多種信息更有利于獲取理想的分割效果，既考慮到在顏色特征空間下的像素優(yōu)化分類，又考慮到區(qū)域之間圖像的邊緣及鄰接關(guān)系等空間信息。所以，采用融合RGB顏色空間中G-B因子和空間信息的區(qū)域生長法，對生長環(huán)境中的茄子果實(shí)圖像進(jìn)行分割。

圖1 G分量與B分量對比圖Fig.1 The comparison diagram of G and B

圖2 G-B灰度圖與直方圖Fig.2 Grayscale and histogram

2.1 初始分割

2.1.1 確定種子區(qū)域

圖像中屬于同一灰度級的像素在空間上不一定相鄰，還需要通過融合空間等信息才能形成有效的分割區(qū)域。定義滿足以下條件的像素形成種子區(qū)域：①像素的灰度級相同；②空間八鄰域連通；③連通像素總數(shù)滿足一定的面積。

2.1.2 掃描整幅圖像，對圖像進(jìn)行初始分割

在圖像中，利用區(qū)域生長分割方法把不在區(qū)域內(nèi)的像素分配到與其相鄰并且顏色較為相近的區(qū)域上。但是假如新生長進(jìn)來的像素滿足如下條件：

①在空間上，新生長進(jìn)來的像素要八鄰域連通；②新生長進(jìn)來的像素彼此間的平均距離小于它與當(dāng)前種子區(qū)域間的平均距離；③新生長進(jìn)來的連通像素總數(shù)達(dá)到算法對區(qū)域的面積要求。則新生長進(jìn)來的連通像素被算法劃到一個(gè)新的種子區(qū)域。使得圖像的細(xì)節(jié)在生長過程中容易被發(fā)現(xiàn)。

2.2 區(qū)域生長

初步分割完成后，種子區(qū)域間仍存在很強(qiáng)的關(guān)聯(lián)性，通過使用區(qū)域合并算法，初步分割后的子區(qū)域被合并，并提出停止區(qū)域生長的規(guī)則。

本文的算法中，兩個(gè)種子區(qū)域能否進(jìn)行合并取決于兩個(gè)條件：一是兩個(gè)種子區(qū)域要在空間上相鄰，平均灰度級上相近；二是在鄰接處沒有明顯的邊緣出現(xiàn)。因此，區(qū)域合并準(zhǔn)則融合了灰度、邊緣及鄰接關(guān)系等信息，以下為兩種區(qū)域的距離定義，邊緣距離的計(jì)算使用了簡單的一階微分算子—Robert算子。

區(qū)域距離為

顏色距離為

其中，ki、kj分別代表i和j區(qū)域中包含的像素個(gè)數(shù)；μi、μj代表兩個(gè)區(qū)域的灰度均值。ki、kj使得包含像素?cái)?shù)目較少的區(qū)域和其他種子區(qū)域的顏色距離變小，從而在灰度均值相等的條件下，有利于小區(qū)域優(yōu)先合并。

邊緣距離定義為

鄰接關(guān)系為

每次合并圖像中距離最近的兩個(gè)區(qū)域，就會(huì)合并成一個(gè)新的區(qū)域，新形成的區(qū)域與其他區(qū)域間的距離和鄰接關(guān)系也會(huì)隨之調(diào)整，直到剩余的區(qū)域滿足合并終止準(zhǔn)則就會(huì)停止區(qū)域生長，得到最后的圖像分割結(jié)果。

2.3 區(qū)域生長停止的準(zhǔn)則

定義sn為分割后各個(gè)小區(qū)域之間的類間距離，當(dāng)類間距離最大的時(shí)候停止生長。則有

2.4 算法實(shí)現(xiàn)

2.4.1 確定種子區(qū)域

While(存在沒有標(biāo)號不屬于任何區(qū)域像素p)

{

初始化新區(qū)域堆棧sp；

將該像素壓入堆棧sp；

While(依次察看p的八鄰域是否存在灰度級相同的像素q)

{如果存在就將q壓入sp；

將p指向q，q指向下一順序鄰域像素；

}直到在鄰域中找不到灰度級相同的像素，結(jié)束；

如果sp內(nèi)的像素?cái)?shù)目達(dá)到種子區(qū)域在面積上的要求，則sp內(nèi)像素作為一個(gè)種子區(qū)域，其所有的像素標(biāo)記為n，否則

For(i=0，i﹤﹦n-1；i++)

{選擇與sp內(nèi)距離最近的區(qū)域，得到區(qū)域標(biāo)號n；

設(shè)定P的標(biāo)號為n；

}

}

2.4.2 進(jìn)行區(qū)域生長

計(jì)算N個(gè)種子區(qū)域的鄰接關(guān)系edge[][]；

While(類間方差不滿足種子條件)

{For ( i=0；i<=N；i++)

{合并當(dāng)前(N-i)各區(qū)域中距離最小的兩個(gè)區(qū)域；

修改新區(qū)域的顏色均值，修改鄰接關(guān)系，修改區(qū)域數(shù)目N；

計(jì)算當(dāng)前分割的類間距離}

}類間達(dá)到最小值時(shí)，停止合并，跳出循環(huán)。

最后，輸出分割區(qū)域。

融合G-B顏色因子與空間信息的區(qū)域生長分割方法的處理結(jié)果如圖3所示。

3 殘留物和噪聲的去除

由于茄子是在自然條件下生長，環(huán)境背景里除了含有大面積的枝和葉、遠(yuǎn)處花朵、茄子、用于固定枝干的塑料繩及一些空洞陰影等，因此經(jīng)過圖像分割后，圖像背景上面會(huì)留有一部分殘留物和噪聲。為了準(zhǔn)確地提取目標(biāo)特征，就需要去除這些殘留物和噪聲。本文基于數(shù)學(xué)形態(tài)學(xué)和中值濾波的綜合去噪。選用5×5的結(jié)構(gòu)元素對分割處理后的圖像先進(jìn)行開運(yùn)算再進(jìn)行閉運(yùn)算，重復(fù)3遍，去除較大的噪聲；然后選擇3×3區(qū)域的中值濾波器進(jìn)行濾波處理，圖4為濾波效果圖。

圖3 區(qū)域生長方法分割效果圖Fig.3 Effect picture of region growing method

圖4 濾波效果圖Fig.4 Effect picture of filtering

4 果實(shí)特征提取

采摘機(jī)器人在對果實(shí)進(jìn)行分割及輪廓重建之后需要進(jìn)行特征點(diǎn)提取，來獲取抓取點(diǎn)的坐標(biāo)，普通的特征點(diǎn)僅僅包括果實(shí)的質(zhì)心及果實(shí)的切斷點(diǎn)。由于茄子屬于圓柱狀物體，極易發(fā)生傾斜生長，若不判斷其傾斜位姿會(huì)給采摘作業(yè)造成很大的困難。

鏈碼是一種邊界的編碼表示法，也稱之為邊界的點(diǎn)積，鏈碼分為好多種，頂點(diǎn)鏈碼是一種以起點(diǎn)坐標(biāo)與邊界點(diǎn)的頂點(diǎn)代碼來描述物體的邊界的方法。頂點(diǎn)鏈碼有普通鏈碼不可比擬的優(yōu)勢，有旋轉(zhuǎn)不變性、平移不變性、起始點(diǎn)不變性和鏡像不變性，且可獲得果實(shí)的邊界輪廓和圖形內(nèi)部的一些屬性。同時(shí)，離散格林理論為將封閉區(qū)域內(nèi)的曲面積分轉(zhuǎn)變降冪為曲線積分,大大減少了針對果實(shí)內(nèi)的一些特征點(diǎn)的計(jì)算量。鏈碼與離散格林詳細(xì)規(guī)則見文獻(xiàn)[5-6]。

由于慣性主軸具有唯一性而且無偏差，而且主軸方向是果實(shí)重要的特征值，所以采用頂點(diǎn)鏈碼與離散格林主軸法求解最小外接矩形。

設(shè)主軸與X軸夾角為

其中,u11=M11-y·M10,u20=M20-x·M10,u02=M02-y·M01；α為夾角;M相應(yīng)的像素頂點(diǎn)矩陣；x、y為相應(yīng)的像素坐標(biāo)。

令主軸為X′對X軸旋轉(zhuǎn)α，新舊坐標(biāo)轉(zhuǎn)換關(guān)系為

其中，p與q分別為水平與垂直方向的離散格林參數(shù)。

具體步驟為：

1)比較頂點(diǎn)鏈碼水平與垂直方向點(diǎn)數(shù)，并分別套用水平或垂直離散格林算法進(jìn)行各階矩，即各目標(biāo)的物理面積；

2)帶入公式，求其主軸方向角；

3)計(jì)算新坐標(biāo)下的坐標(biāo)值；

4)求其最大最小x′、y′坐標(biāo)，然后還原元坐標(biāo)系，兩對坐標(biāo)值即為最小外界矩形的點(diǎn)坐標(biāo)；

5)求解最小外界矩形后求解質(zhì)心以及中軸線與Y軸的旋轉(zhuǎn)角。圖像處理結(jié)果如圖5所示。

圖5 茄子生長位姿Fig.5 Eggplant growth posture

5 試驗(yàn)結(jié)果與分析

本文選取的茄子圖像是生長在自然光照條件下處于采摘期的茄子，在安全市景芝鎮(zhèn)蔬菜溫室大棚內(nèi)采集。試驗(yàn)相機(jī)的分辨率為1 027×768；圖像處理平臺為i5 CPU 2.6G，4G內(nèi)存，Win7操作系統(tǒng)，編程語言為c/c++,編譯環(huán)境是VS2010。

采用區(qū)域生長分割算法分別對50幅茄子果實(shí)圖像進(jìn)行分割處理，分割率>93%,分割效果顯著；平均用時(shí)0.32s，該算法為自適應(yīng)方法，具有適應(yīng)面廣及智能化強(qiáng)的特點(diǎn)；但其耗時(shí)時(shí)間長，處理速度有待提高。

6 結(jié)論

1)通過統(tǒng)計(jì)與分析不同光照條件下茄子圖像的RGB分量直方圖和灰度圖，得出了G-B顏色因子對于茄子果實(shí)分割最為有利的結(jié)論。

2)進(jìn)行基于區(qū)域生長的圖像分割時(shí)，首先按照灰度級相同和空間上8鄰域連通的準(zhǔn)則確定初始分割區(qū)域，然后融合空間位置信息和G-B顏色因子對初始區(qū)域進(jìn)行合并，直到分割形成的區(qū)域類間距離最大時(shí)停止生長。

3)選擇5×5的結(jié)構(gòu)元素對分割處理后的圖像先進(jìn)行開運(yùn)算再進(jìn)行閉運(yùn)算，重復(fù)進(jìn)行3次，去除較大的噪聲；然后采用3×3區(qū)域的中值濾波器進(jìn)行濾波。

4)試驗(yàn)表明：兩種方法分割效率均大于93%，平均用時(shí)為0.32s，能夠滿足果蔬采摘機(jī)器人對視覺系統(tǒng)的要求。

[1] 宋健，張鐵中，徐麗明，等.果蔬采摘機(jī)器人研究進(jìn)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006,37(5)：158-162.

[2] Kondo N,Monta M，F(xiàn)ujiura T. Fruit harvesting robot in Japan [J].Adv. Space Res,1996,18(1/2)：181-184.

[3] Fauvel M，Chanussot J，Benediktsson J A． Kernel principal component analysis for the classification of hyperspectral remotesensing data over urban areas[J]．EURASIP Journal on Advances in Signal Processing，2009(2):1-14．

[4] 徐惠榮，葉尊忠，應(yīng)義斌.基于彩色信息的樹上柑橘識別研究[J].農(nóng)業(yè)工程學(xué)報(bào)，2005，21(5)：98-102.

[5] 李冠林，馬占鴻，黃沖，等.基于 K_means 硬聚類算法的葡萄病害彩色圖像分割方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26(2)：32-37.

[6] 陳科尹，鄒湘軍，熊俊濤，等．基于視覺顯著性改進(jìn)的水果圖像模糊聚類分割算法[J]．農(nóng)業(yè)工程學(xué)報(bào)，2013，29(6):157-164．

[7] 李冠林，馬占鴻，黃沖，等.基于 K_means 硬聚類算法的葡萄病害彩色圖像分割方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26(2)：32-37.

[8] 蔡健榮，趙杰文.自然場景下成熟水果的計(jì)算機(jī)視覺識別.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005，36(2)：61-64.

[9] 翟治芬，嚴(yán)昌榮，張建華，等．基于 CUDA的并行 K-means 聚類圖像分割算法優(yōu)化[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(11):48-53．

[10] 翟治芬，嚴(yán)昌榮，張建華，等．基于CUDA的并行 K-means 聚類圖像分割算法優(yōu)化[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(11):48-53．

[11] 毋媛媛，刁智華，王會(huì)丹，等.作物病害圖像形狀特征提取研究[J]．農(nóng)機(jī)化研究，2015,37(1)：64-67.

Vision Recognition Method Based Region Growing for Picking Robot

Teng Dawei1,2， Song Jian2， Wang Kai2

(1.College of Mechanic and Electronic Engineering, Shandong University of Sciences and Technology, Qingdao 266590, China； 2.School of Machanical-electrinic and Vehicle Engineering,Weifang University,Weifang 261000, China)

An algorithm for eggplant image is is brought forward by melting the G-B color factor and spatial information. In order to find the optimum color space and color mode for image segmentation,the grey image and histogram of 30 picture under different light intensities are extracted.The characters of their fruits ,leaves, stems and void are studied and the G-B color mode is most available to segment the eggplants. The seed regions is determined according to both uniform gray-level and 8 epsilon neighborhood intercommunication, and then the starting segmentation is carried out by scanning image.The initial regions are merged based on the G-B color mode and spatial information.The region growing stop until the regional class distance of these segmented regions is maximum. The residua are got rid of preferably by template operation and morphologic operation.Experiment results show that this segment method with the segmentation efficiency of 92% have higher intelligence and the time consumed is 0.36s and has high intelligent and suitability.

image segmentation； region growing； imformation inosculating； morphology method

2016-02-28

國家自然科學(xué)基金項(xiàng)目(51505337)；山東省自然科學(xué)基金項(xiàng)目(ZR2014EEP013)

滕大偉(1989-),男，山東濰坊人，碩士研究生，(E-mail) 1097533633@qq.com。

宋 健(1968-)，男，山東濰坊人，教授，碩士生導(dǎo)師，(E-mail)sjian11@163.com。

S126；TP391.41

A

1003-188X(2017)03-0017-05