吳慶崗，張衛(wèi)國(guó)，趙進(jìn)超，張秋聞，景 雨

(1.鄭州輕工業(yè)學(xué)院 計(jì)算機(jī)與通信工程學(xué)院，河南 鄭州 450001;2.大連外國(guó)語(yǔ)大學(xué) 軟件學(xué)院，遼寧 大連 116000)

0 引言

自然環(huán)境下蘋(píng)果果實(shí)的自動(dòng)化采摘，可以降低繁重的人工勞動(dòng)強(qiáng)度，這是現(xiàn)代農(nóng)業(yè)的必然選擇.在蘋(píng)果自動(dòng)化采摘過(guò)程中，準(zhǔn)確分割出蘋(píng)果果實(shí)對(duì)蘋(píng)果目標(biāo)的精準(zhǔn)定位尤為重要[1].目前，國(guó)內(nèi)外學(xué)者對(duì)紅蘋(píng)果圖像分割的研究居多，但對(duì)青蘋(píng)果目標(biāo)分割的研究相對(duì)較少.由于青蘋(píng)果果實(shí)和樹(shù)葉顏色非常接近，這大大增加了青蘋(píng)果目標(biāo)分割的難度.對(duì)青蘋(píng)果圖像分割的研究，無(wú)論是對(duì)處于生長(zhǎng)階段的青蘋(píng)果生長(zhǎng)趨勢(shì)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，還是對(duì)成熟青蘋(píng)果果實(shí)進(jìn)行自動(dòng)化采摘，都有非常重要的意義.

國(guó)內(nèi)外學(xué)者對(duì)青蘋(píng)果圖像分割的研究，大致可以分為兩類：第一類是基于顏色特征的青蘋(píng)果圖像分割，第二類是基于顏色特征和紋理特征相融合的青蘋(píng)果圖像分割.第一類主要是通過(guò)提取不同顏色分量來(lái)實(shí)現(xiàn)對(duì)青蘋(píng)果圖像的分割，對(duì)于簡(jiǎn)單背景蘋(píng)果圖像取得一定的分割效果.2017年王帆等[2]根據(jù)青蘋(píng)果圖像自身特點(diǎn)，首先對(duì)青蘋(píng)果圖像進(jìn)行直方圖均衡化以增大果實(shí)和背景的顏色差異，接著采用R-B分量以獲取常光為主的區(qū)域，然后進(jìn)行形態(tài)學(xué)開(kāi)閉運(yùn)算獲取高亮為主的區(qū)域，最后對(duì)這兩個(gè)區(qū)域進(jìn)行合并獲得分割后的果實(shí)目標(biāo).與文獻(xiàn)[2]類似，2011年王麗[3]也關(guān)注了蘋(píng)果目標(biāo)和樹(shù)葉背景顏色相近的問(wèn)題.由于單顏色分量并不適用于青蘋(píng)果圖像分割，文獻(xiàn)[3]提出一種基于改進(jìn)主成分分析的蘋(píng)果圖像分割算法，將圖像的顏色特征歸類后再進(jìn)行分割，實(shí)驗(yàn)取得較好的分割效果.與文獻(xiàn)[2,3]不同，2014年張春龍等[4]設(shè)計(jì)了一個(gè)混合分類器，其中一個(gè)分類器是以歸一化的RGB顏色空間中G分量與HSV顏色空間中H分量和S分量為特征參數(shù)的支持向量機(jī)分類器，另外一個(gè)分類器是以超綠算子2G-R-B為特征的閾值分類器.這種混合分類器實(shí)現(xiàn)了綠色蘋(píng)果在顏色相近背景中的有效分割，但是該方法是在夜間進(jìn)行的，在應(yīng)用到有陽(yáng)光照射的白晝環(huán)境時(shí)具有一定的局限性.一般來(lái)講，由于青蘋(píng)果果實(shí)和樹(shù)葉顏色非常接近，自然背景下的青蘋(píng)果圖像僅僅依靠顏色特征難以取得較理想的分割結(jié)果.

第二類算法融合了顏色特征和紋理特征來(lái)實(shí)現(xiàn)對(duì)青蘋(píng)果圖像分割.ZHAO等[5]提出一種基于對(duì)比度紋理特征和顏色分量組合特征的視覺(jué)算法來(lái)分割自然環(huán)境下的青蘋(píng)果目標(biāo).實(shí)驗(yàn)結(jié)果表明，該方法對(duì)于近距離的和遠(yuǎn)距離的蘋(píng)果圖像同樣有效.2009年司永勝等[6]提取顏色特征R-B和紋理特征灰度均值m、標(biāo)準(zhǔn)差σ和熵e，通過(guò)間隙統(tǒng)計(jì)法確定蘋(píng)果圖像的最佳聚類數(shù)，然后采用K均值算法對(duì)蘋(píng)果圖像進(jìn)行分割.謝忠紅等[7]采用色調(diào)值H、色差值R-G以及紋理特征對(duì)自然環(huán)境下蘋(píng)果圖像分割.實(shí)驗(yàn)結(jié)果表明，算法對(duì)于青蘋(píng)果圖像分割效果較好.GAO等[8]提出一種基于能量紋理特征和期望最大化的青蘋(píng)果圖像分割算法，取得了一定的分割效果.上述研究表明，目前針對(duì)青蘋(píng)果圖像的分割大多是在提取顏色特征和紋理特征基礎(chǔ)上進(jìn)行的.

本文提出一種新的基于隨機(jī)森林和多特征融合的青蘋(píng)果圖像分割算法.首先通過(guò)對(duì)大量青蘋(píng)果圖像的紋理特征進(jìn)行比較分析，篩選出適合于區(qū)分蘋(píng)果目標(biāo)和背景的紋理特征.然后在深入研究不同顏色空間特性的基礎(chǔ)上，設(shè)計(jì)一種適合于青蘋(píng)果圖像的組合顏色特征.接著給出顏色特征和紋理特征的具體融合策略，在此基礎(chǔ)上介紹青蘋(píng)果圖像分割的詳細(xì)流程.最后通過(guò)定性和定量實(shí)驗(yàn)結(jié)果比較驗(yàn)證本文算法的有效性.

1 青蘋(píng)果圖像特征提取

圖像特征提取的好壞將直接影響青蘋(píng)果目標(biāo)分割的精度.由于自然環(huán)境下青蘋(píng)果目標(biāo)和背景顏色差異較小，單純依靠紋理特征或顏色特征分割效果并不理想.本文通過(guò)融合紋理特征和顏色特征對(duì)自然環(huán)境下的青蘋(píng)果圖像進(jìn)行分割.

1.1 GLCM紋理特征提取

紋理[9]是指人們所觀察到的圖像像素的灰度變化規(guī)律，圖像紋理中蘊(yùn)含著許多對(duì)圖像分割有用的信息.本文使用灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)提取青蘋(píng)果圖像的紋理特征.灰度共生矩陣[10]用來(lái)描述給定圖像塊中一定距離內(nèi)兩個(gè)像素灰度值所呈現(xiàn)出的某種關(guān)系.矩陣中的元素值代表兩個(gè)灰度級(jí)之間的聯(lián)合條件概率密度pi,jd,θ，即在給定空間距離d和方向θ時(shí)，以灰度級(jí)i為起點(diǎn)，灰度級(jí)j出現(xiàn)的概率.這里主要考慮8個(gè)常用的紋理特征統(tǒng)計(jì)量：能量、熵、對(duì)比度、相關(guān)性及它們的標(biāo)準(zhǔn)差等，具體計(jì)算公式如下：

能量：

(1)

熵：

(2)

對(duì)比度：

(3)

相關(guān)性：

(4)

其中：

然后，按式(5)分別計(jì)算能量、熵、對(duì)比度、相關(guān)性紋理特征量的標(biāo)準(zhǔn)差：

(5)

為了分析上述紋理特征對(duì)青蘋(píng)果圖像的有效性，首先從60幅蘋(píng)果圖像中根據(jù)目標(biāo)和背景所具有的不同特點(diǎn)，選取大小為25×25的410幅目標(biāo)樣本和480幅背景樣本，然后依據(jù)式(1)—(5)分別計(jì)算目標(biāo)和背景的上述8個(gè)紋理特征值.在灰度共生矩陣計(jì)算過(guò)程中，主要參數(shù)設(shè)置為：窗口大小設(shè)為5×5，相鄰兩個(gè)像素之間的距離d=1，θ取0°、45°、90°和135°四個(gè)方向.為了降低共生矩陣的維度，提高計(jì)算效率，對(duì)灰度級(jí)數(shù)進(jìn)行了量化，量化等級(jí)L=16.各個(gè)紋理特征在目標(biāo)樣本集和背景樣本集上的平均值如表1所示.可以看出：目標(biāo)樣本的能量標(biāo)準(zhǔn)差平均值為0.0115，相關(guān)性標(biāo)準(zhǔn)差平均值為0.0716；而背景樣本的能量標(biāo)準(zhǔn)差平均值為0.0102，相關(guān)性標(biāo)準(zhǔn)差平均值為0.0561，目標(biāo)和背景的差異非常小，這說(shuō)明能量標(biāo)準(zhǔn)差和相關(guān)性標(biāo)準(zhǔn)差不能有效區(qū)分青蘋(píng)果目標(biāo)和背景.相反，其余6個(gè)紋理特征統(tǒng)計(jì)量，目標(biāo)和背景差異則比較大.所以，本文選取能量、熵、對(duì)比度、相關(guān)性、熵標(biāo)準(zhǔn)差和對(duì)比度標(biāo)準(zhǔn)差6個(gè)統(tǒng)計(jì)量來(lái)提取青蘋(píng)果圖像的紋理特征.

表1 目標(biāo)和背景各紋理特征平均值的比較Tab. 1 Comparison between objects and backgrounds in terms of average texture feature values

1.2 顏色特征提取

由于基于GLCM的紋理特征對(duì)圖像的分辨率比較敏感，而顏色特征對(duì)圖像的分辨率相對(duì)魯棒，因此接下來(lái)考慮顏色特征以期彌補(bǔ)紋理特征的缺陷.顏色特征作為區(qū)分事物最直觀的特征，在很多方面都有重要的應(yīng)用.如圖1(a)所示，自然環(huán)境下青蘋(píng)果圖像具有明顯的顏色特征，但是蘋(píng)果目標(biāo)和樹(shù)葉背景在顏色上非常接近.同時(shí)由于光照、遮擋、陰影等的影響，單純依靠特定顏色空間中的單個(gè)顏色分量是很難進(jìn)行區(qū)分的.為使目標(biāo)和背景的差異最大化，通過(guò)對(duì)RGB顏色空間和HSI顏色空間中各顏色分量進(jìn)行代數(shù)運(yùn)算，定義式(6)所示的組合顏色特征：

(6)

針對(duì)自然環(huán)境下青蘋(píng)果圖像在RGB顏色空間和HSI顏色空間上進(jìn)行研究，發(fā)現(xiàn)在RGB空間上，雖然目標(biāo)和背景在單個(gè)分量上有一定程度的重合，但是經(jīng)過(guò)代數(shù)運(yùn)算后的顏色分量G+0.5R-B卻能較好地區(qū)分蘋(píng)果目標(biāo)和背景中的天空，如圖1(b)所示.具體來(lái)說(shuō)，天空部分(圖1(b)中的①)在該分量上呈現(xiàn)黑色，與蘋(píng)果目標(biāo)較容易區(qū)分，說(shuō)明該顏色分量可以克服背景中天空對(duì)分割結(jié)果的影響.但是，光照強(qiáng)度大的目標(biāo)區(qū)域(圖1(b)中的②)和樹(shù)葉上的陰影部分(圖1(b)中的③)在該分量上都呈現(xiàn)出暗黑色，使得二者混雜在一起.為了彌補(bǔ)上述分量的不足，在HSI顏色空間中提取S+I分量，結(jié)果如圖1(c)所示.可以看出，在該分量中蘋(píng)果目標(biāo)呈亮白色(圖1(c)中④)，而樹(shù)葉上的陰影部分(圖1(c)中⑥)呈現(xiàn)暗黑色，說(shuō)明該分量能夠區(qū)分此區(qū)域中的蘋(píng)果目標(biāo)和樹(shù)葉背景.但是背景中的天空(圖1(c)中⑦)與蘋(píng)果目標(biāo)都呈現(xiàn)亮白色，使得二者混雜在一起.處于陰影部分的蘋(píng)果目標(biāo)(圖1(c)中⑤)與背景中的樹(shù)葉(圖1(c)中⑥)呈現(xiàn)淡灰色，也不容易區(qū)分.所以，將兩種不同的顏色分量組合在一起可以相互彌補(bǔ).

圖1 不同顏色空間中顏色分量間代數(shù)運(yùn)算效果圖Fig. 1 Algebraic operation results between color

為了更加清晰地說(shuō)明上述問(wèn)題，選取大小為10×17的圖像塊進(jìn)行定量分析.這里分別選取陰影中的樹(shù)葉部分(圖1(a)中的紅色方框，簡(jiǎn)稱背景陰影)、背景中的天空部分(圖1(a)中的綠色方框，簡(jiǎn)稱背景天空)、陰影中的蘋(píng)果目標(biāo)(圖1(a)中的黃色方框，簡(jiǎn)稱蘋(píng)果陰影)和蘋(píng)果目標(biāo)中的高光部分(圖1(a)中的紫色方框，簡(jiǎn)稱蘋(píng)果高光).然后統(tǒng)計(jì)圖像塊中各像素的G+0.5R-B分量和S+I分量，結(jié)果如圖2所示.可以看出，在G+0.5R-B顏色分量下，蘋(píng)果目標(biāo)的高光部分與陰影中的樹(shù)葉部分混雜在一起，無(wú)法正確區(qū)分；而背景中的天空部分與陰影中的蘋(píng)果目標(biāo)卻存在明顯差異.在S+I顏色分量下，蘋(píng)果目標(biāo)的高光部分和背景中的天空部分混雜在一起，陰影中的樹(shù)葉部分和陰影中的蘋(píng)果目標(biāo)也混雜在一起.但是，無(wú)論陰影下的蘋(píng)果目標(biāo)還是高光區(qū)域的蘋(píng)果目標(biāo)都和背景存在較大的差異.所以，G+0.5R-B分量和S+I分量可以相互彌補(bǔ)不同顏色特征的不足之處，有利于提高分割的準(zhǔn)確率.

圖2 不同顏色空間中顏色分量的定量分析Fig. 2 Quantitative analysis for the color componentsin different color spaces

1.3 多特征的融合

在提取基于GLCM的紋理特征時(shí)，需要用到圖像塊中的多個(gè)像素點(diǎn)，從而導(dǎo)致在圖像分辨率變化較大時(shí)，紋理特征值會(huì)有較大的誤差.而顏色特征是基于像素點(diǎn)的特征，它對(duì)圖像的方向及大小不敏感.所以，將紋理特征和顏色特征融合在一起，可以更加容易地區(qū)分青蘋(píng)果目標(biāo)和復(fù)雜的自然背景.這里采用式(7)對(duì)紋理特征和顏色特征進(jìn)行融合：

(7)

2 隨機(jī)森林分割

隨機(jī)森林[11]是一個(gè)包含多個(gè)決策樹(shù)的組合分類器，可以表示為{h(X，Lk),k=1,…,8}，其中X表示輸入向量(即式(7)所定義的融合特征向量)；{Lk}是獨(dú)立同分布的隨機(jī)向量，用于控制樹(shù)的生長(zhǎng).隨機(jī)森林算法首先利用Bootstrap算法從原始訓(xùn)練集中抽取k個(gè)樣本，以建立k個(gè)決策樹(shù)模型，從而形成分類模型序列{h1(X,L1),h2(X,L2),…,hk(X,Lk)}.在給定自變量X時(shí)，每個(gè)決策樹(shù)都會(huì)預(yù)測(cè)一個(gè)結(jié)果.對(duì)于分類問(wèn)題，隨機(jī)森林算法的預(yù)測(cè)結(jié)果取決于各個(gè)決策樹(shù)的投票[12]：

(8)

其中：H(x)為隨機(jī)森林的分類模型，C為分類的標(biāo)簽(其中，0表示枝葉背景，1表示蘋(píng)果目標(biāo))，I(x)為示性函數(shù).在用隨機(jī)森林算法對(duì)青蘋(píng)果圖像進(jìn)行分割時(shí)，決策樹(shù)數(shù)量是一個(gè)重要的參數(shù)，它將直接影響圖像分割的精度.一般來(lái)說(shuō)，決策樹(shù)數(shù)目越大，分割精度越高，但分割時(shí)間也將相應(yīng)的變長(zhǎng).通過(guò)大量青蘋(píng)果圖像的分割實(shí)驗(yàn)發(fā)現(xiàn)，決策樹(shù)數(shù)目在200左右時(shí)分割準(zhǔn)確率達(dá)到96%，如圖3所示.此后，隨著決策樹(shù)數(shù)量的增加，分割精度并沒(méi)有大幅提升.綜合考慮分割精度和執(zhí)行效率，本文把隨機(jī)森林的決策樹(shù)數(shù)目設(shè)定為200.

圖3 分割準(zhǔn)確率隨決策樹(shù)數(shù)量的變化趨勢(shì)Fig. 3 Varying trends of segmentation accuracy with respect to the number of decision trees

綜上所述，本文選用RGB顏色空間中0.5R+G-B分量、HSI顏色空間中S+I分量和基于GLCM的能量、熵、對(duì)比度、相關(guān)性及熵標(biāo)準(zhǔn)差、對(duì)比度標(biāo)準(zhǔn)差等統(tǒng)計(jì)量共8個(gè)特征輸入到隨機(jī)森林算法中，具體流程如圖4所示.在訓(xùn)練階段，提取樣本的顏色特征和紋理特征進(jìn)行模型訓(xùn)練，得到隨機(jī)森林分類模型.在測(cè)試階段，利用訓(xùn)練好的隨機(jī)森林模型對(duì)自然環(huán)境下的青蘋(píng)果圖像進(jìn)行分割，得到青蘋(píng)果圖像的分割結(jié)果.

圖4 本文青蘋(píng)果圖像分割算法流程圖Fig. 4 Flow chart for the algorithm of green apple image segmentation proposed in this paper

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中選取的60幅青蘋(píng)果圖像是在自然環(huán)境下利用佳能EOS 80D相機(jī)拍攝的.其中，純青蘋(píng)果圖像50幅，青紅相間蘋(píng)果圖像10幅，所有圖像大小為300×200.實(shí)驗(yàn)平臺(tái)是Inter(R) Core(TM) i5-3470CPU @3.2 GHz，4 GB RAM，實(shí)驗(yàn)所用軟件為MATLAB R2014a.

本文算法可以對(duì)青蘋(píng)果圖像進(jìn)行有效分割，首先與僅利用紋理特征和僅利用顏色特征的圖像分割算法進(jìn)行定性比較.由于篇幅限制，只列出4幅蘋(píng)果圖像的分割結(jié)果，如圖5所示.為了便于敘述，對(duì)這4幅蘋(píng)果圖像中的所有蘋(píng)果目標(biāo)進(jìn)行了標(biāo)號(hào).從圖5可以看出，雖然基于紋理特征的分割算法、基于顏色特征的分割算法和本文算法都能很好地分割出蘋(píng)果目標(biāo)輪廓，但是基于紋理特征的分割算法將枝葉等偽目標(biāo)也分割了出來(lái)，存在較嚴(yán)重的誤分割現(xiàn)象.基于顏色特征的分割算法使得蘋(píng)果目標(biāo)和背景由于顏色相近而導(dǎo)致大量零散的像素級(jí)誤分割，而本文算法分割結(jié)果中的誤分割現(xiàn)象相對(duì)較少.對(duì)于光照強(qiáng)度較大的蘋(píng)果區(qū)域，比如目標(biāo)2、目標(biāo)4、目標(biāo)6和目標(biāo)9，基于紋理特征的分割算法產(chǎn)生了過(guò)度分割的結(jié)果，基于顏色特征的分割算法產(chǎn)生了欠分割的結(jié)果，而本文算法都能較完整地把高亮蘋(píng)果目標(biāo)分割出來(lái).對(duì)于一些青紅相間的圖像，本文算法能很好地分割出目標(biāo)，優(yōu)勢(shì)更加明顯，如目標(biāo)8和目標(biāo)9所示.對(duì)于兩個(gè)蘋(píng)果目標(biāo)疊加的現(xiàn)象，基于紋理特征的分割算法和基于顏色特征的分割算法都不容易將其分割出來(lái)，但是本文算法取得較理想的分割結(jié)果，如目標(biāo)1和目標(biāo)2之間疊加的區(qū)域等.

為了對(duì)蘋(píng)果圖像分割結(jié)果進(jìn)行定量比較，本文采用徒手標(biāo)記法提取上述4幅圖像中9個(gè)蘋(píng)果目標(biāo)的像素個(gè)數(shù)(記為A)，將算法正確分割出的蘋(píng)果目標(biāo)像素個(gè)數(shù)記為B.由于顏色特征存在嚴(yán)重的欠分割現(xiàn)象，所以只選擇基于紋理特征的分割算法進(jìn)行定量比較，根據(jù)公式C=B/A*100%計(jì)算不同算法的正確分割率，如表2所示.從表2中可以看出，本文算法的平均正確分割率達(dá)到60.28%，而基于紋理特征的分割算法平均正確分割率只有38.1%.所以，本文分割算法比僅利用紋理特征的的分割算法正確分割率要高22.18%.

圖5 本文算法與僅利用紋理特征和顏色特征分割結(jié)果的比較Fig. 5 Comparison of segmentation results between our method and others with only texture or color features

表2 不同分割算法正確分割率的比較Tab. 2 Comparison of accuracies between different segmentation algorithms

4 結(jié)束語(yǔ)

本文提出一種基于隨機(jī)森林和多特征融合的青蘋(píng)果圖像分割算法.該算法首先提取RGB顏色空間中的G+0.5R-B分量、HSI顏色空間中的S+I分量；然后采用灰度共生矩陣提取能量、熵、對(duì)比度、相關(guān)性、熵標(biāo)準(zhǔn)差和對(duì)比度標(biāo)準(zhǔn)差等6個(gè)紋理特征；接著以像素為單位將2個(gè)顏色特征分量和6個(gè)紋理特征相結(jié)合形成融合特征；在此基礎(chǔ)上訓(xùn)練隨機(jī)森林分類模型；最后根據(jù)訓(xùn)練得到的隨機(jī)森林分類模型對(duì)青蘋(píng)果圖像進(jìn)行分割.與傳統(tǒng)僅采用紋理特征的隨機(jī)森林分割方法相比，基于隨機(jī)森林和多特征融合的方法在分割青蘋(píng)果圖像時(shí)準(zhǔn)確率要高出22.18%.但是由于灰度共生矩陣在提取蘋(píng)果邊緣處的紋理特征時(shí)不可避免地要用到背景處灰度值，對(duì)蘋(píng)果分割精度有一定的影響，這將是下一步改進(jìn)的方向.