車金慶，王 帆，王藝潔，呂繼東，馬正華

(1.常州工程職業(yè)技術學院智能裝備與信息工程學院，江蘇 常州 213000；2.常州大學信息科學與工程學院，江蘇 常州 213164)

中國是蘋果生產大國，主栽品種以紅色為主。在紅色蘋果進入成熟期以前，其表面顏色多為黃、綠色。近年來，隨著人們生活水平的提高，消費者對果品的需求日趨多樣化，外觀美、品質好的黃、綠色蘋果越來越受到消費者的喜愛，種植規(guī)模也在不斷擴大。

隨著現(xiàn)代農業(yè)的發(fā)展，基于視覺圖像的樹上果實估產和機器采摘成為國內外農業(yè)工程領域的研究熱點[1-9]。而無論是果實估產還是機器采摘，對所采集果實圖像的分割都是其首要任務。分割質量的優(yōu)劣關系到果實估產的精度和機器采摘過程中識別定位的準確性。

視覺注意機制是人類視覺自動捕獲圖像中顯著區(qū)域的一種注意機制，根據人類視覺注意機制特點計算圖像中各像素點的顯著性，可以作出與原圖像大小相同的顯著圖。顯著圖的灰度值越大，對人類的視覺刺激就越強，在原圖像中越明顯。果實圖像的分割，就是在背景復雜的圖像中，將具有顯著性的果實目標與背景分割開來的過程。機器視覺如何模擬人類的視覺系統(tǒng)，構造圖像的顯著圖，再通過去除背景提取顯著性目標，從而達到分割圖像的結果，引起了諸多研究者的注意[10-12]。

黃、綠色蘋果圖像中，果實顏色近似葉片，加之果實表面受自然光線影響，色澤亮度不均，因此采用基于顏色或者紋理特征的分割方法則不能有效地分割出果實目標，分割精度差；而將果實形狀特征和顏色特征融合通過神經網絡或支持向量機來進行圖像分割，則計算較為復雜[13-16]。為此，本研究針對黃、綠色蘋果圖像的分割難點，設計一種基于視覺注意機制的分區(qū)域提取然后合并的分割方法。

1 材料與方法

1.1 圖像采集與試驗

從江蘇省徐州市豐縣蘋果種植示范區(qū)自然環(huán)境下拍攝試驗圖像，數碼相機的型號為Canon DIGITAL IXUS 200 IS。蘋果品種為金元帥、王林。所采集圖像包括不同光線下果實圖像800幅，為了便于研究，分辨率統(tǒng)一調整為 640×480像素。圖像試驗在Matlab R2013a 軟件平臺上進行，計算機硬件配置為：處理器Intel(R)Core(TM)2 Duo CPU@2.40 GHz，內存2 G。

1.2 圖像分割

自然光照下果實表面因受光不均勻而分為光線正常區(qū)域和高亮區(qū)域。高亮區(qū)域是由果實表面在光線照射下產生的反射光造成的。正是因為果實高亮區(qū)域的存在，單個方法很難將其完整分割出來。本研究通過2種途徑(一種是光線正常的果實區(qū)域為主的提取，另一種是果實表面高亮區(qū)域為主的提取)提取，2個區(qū)域提取后進行合并，最終獲得完整的果實目標。具體流程見圖1。

圖1 黃、綠果實分割流程圖Fig.1 Flow chart of yellow and green fruit segmentation

1.2.1 視覺注意機制 人類視覺注意機制具有高效性和可靠性，它引導視覺感知，加強顯著區(qū)域對人類視覺的刺激，并減弱非顯著區(qū)域對人類視覺的干擾。在處理信息的過程中，視覺注意機制并不是無差別處理整個圖像，而是會先處理比較顯著的圖像信息，舍棄非顯著信息，大大提高了信息處理的效率。目前，典型的視覺注意機制顯著性檢測模型有ITTi、LC、GC、HC、RC、CA、FT等幾種。其中FT顯著性檢測模型是基于頻率調諧的顯著檢測模型，其基本原理是對圖像的低頻到高頻的連續(xù)頻帶用多個帶通濾波器濾波，將所有的輸出合并作為最終的顯著圖，力求產生全分辨率的顯著圖，整個過程通過疊加多個高斯帶通濾波器來實現(xiàn)[17]。顯著值公式為：

S(x,y)=‖Iu-Iwhc(x,y)‖

(1)

式中，Iu是平均圖像特征向量，Iwhc(x,y)為圖像高斯濾波后對應的像素，即在Lab空間中，計算輸入圖像的平均矢量和高斯濾波后的矢量之間的歐式距離并形成顯著圖。該算法對圖像信息的感知靈敏度較高，不僅能得到完整的顯著區(qū)域，而且能得到清晰的邊緣，且分辨率與原圖相同，計算速度較快。因此確定采用FT顯著性檢測模型進行黃、綠色蘋果果實以光線正常區(qū)域為主的區(qū)域和以高亮區(qū)域為主的區(qū)域的分割。

1.2.2 基于顯著性的以果實光線正常區(qū)域為主的提取 在FT算法生成顯著圖之前，通過計算果實的色差分量對果實圖像進行量化。針對黃色和綠色蘋果果實圖像，基于RGB顏色空間比較了常用的2R-G-B、2G-R-B、G-B、R-G、R-B色差分量效果圖，結果表明采用R-B、2R-G-B色差圖像不僅能得到相對比較完整的果實光線正常區(qū)域，而且能去掉圖像中較多的葉片背景，因而確定將R-B、2R-G-B色差分量分別作為提取黃色和綠色蘋果果實的特征分量，再用FT顯著模型檢測色差圖像的顯著圖(圖2)。從圖2中可以看出，該方法保留了更多的圖像邊緣信息，果實區(qū)域的顯著性較強，殘留的枝葉背景的顯著性相對較弱。然后采用自適應閾值分割OTSU方法[18]對顯著圖進行分割。

圖像分割完成后，圖像中還存在分割碎片，通常是未分割掉的與果實顏色等同的蘋果葉片和雜草，而果實區(qū)域由于光照、遮擋等多方面的影響也會產生孔洞。此外圖像采集過程中，當采集果樹外圍的果實圖像時，所采集的圖像邊界往往會出現(xiàn)草地。雜草也與蘋果葉片顏色相近，通過以上環(huán)節(jié)往往不能去除干凈，圖像邊界仍然會存在較大塊的草地區(qū)域，需要在上述分割結果基礎上刪除與圖像邊界相連的對象。首先對各連通區(qū)域輪廓跟蹤獲取邊緣坐標，然后對所獲取的各連通區(qū)域邊緣坐標進行判別，以確定是否與圖像邊界相連，最后刪除與圖像邊界相連的連通區(qū)域；接著再填充果實區(qū)域的空洞，并將小面積區(qū)域作為背景像素去除，得到果實光線正常區(qū)域的二值化圖像(圖2)。

a：原圖；b：色差圖像；c：顯著圖；d：以光線正常區(qū)域為主的區(qū)域。圖2 果實光線正常區(qū)域提取效果圖Fig.2 Images of normal light fruit area oriented extraction

1.2.3 基于顯著性的以果實高亮區(qū)域為主的提取 方法1.2.2只能提取果實的光線正常區(qū)域，對于果實表面的高亮區(qū)域很容易產生誤分割，產生誤分割的原因在于提取色差分量時，高亮區(qū)域像素值較高，接近于白色，被誤當作背景像素。為此采用一種分水嶺算法處理灰度圖，保留灰度級較高的部分，并對微弱邊緣進行處理，這有利于果實的識別。

不同光照狀態(tài)下，黃、綠色果實與背景像素差異不明顯，特別是天空、綠色草地背景，如果直接使用分水嶺分割，容易產生過度分割的現(xiàn)象。因此提取蘋果圖像中果實高亮區(qū)域還需要首先進行形態(tài)學處理，以獲得更好的分割效果。圖3為采用的基于標記的分水嶺算法流程圖。

圖3 基于標記的分水嶺算法流程圖Fig.3 Flow chart of watershed algorithm based on markup

具體算法流程如下：(1)將原始圖像轉換成灰度圖像(圖4a)，以圓形結構元素對灰度圖像進行形態(tài)學開運算操作。該方法可去掉圖像邊緣較小的突刺，切斷連通區(qū)域內部的細長搭接。(2)通過形態(tài)學開運算操作后得到目標區(qū)域，計算前景標記，得到正確的圖像信息。(3)用分水嶺方法得到圖像的分水嶺，作為背景標記。(4)形態(tài)學重建，得到新的灰度圖像(圖4b)。(5)對新的灰度圖像進行形態(tài)學關運算操作。該方法通過填充連通區(qū)域中邊緣的小缺口或空洞，連接相近的2個連通區(qū)域。(6)對圖像進行膨脹處理，并再次進行形態(tài)學重建，得到新的灰度圖像(圖4c)。

利用基于標記的分水嶺算法得到二次重建的灰度圖像，圖像中黃、綠蘋果區(qū)域的灰度級明顯較高，且天空、地面等背景經過重建之后灰度級弱化。由于果實區(qū)域相對于背景有較高的灰度級，采用FT顯著模型檢測算法生成顯著圖(圖4d)，果實區(qū)域及果實區(qū)域邊緣信息相對完整且顯著度明顯。再采用自適應閾值分割方法得到二值化區(qū)域，然后經過填充空洞、去除邊界區(qū)域和去除小面積區(qū)域等處理，得到以高亮區(qū)域為主的區(qū)域(圖5)。

a：灰度圖像；b：第1次重建圖像；c：第2次重建圖像；d：顯著圖。圖4 基于標記的分水嶺算法效果圖和顯著圖Fig.4 Effect maps and saliency maps of watershed algorithm based on markup

圖5 果實高亮區(qū)域提取效果圖Fig.5 Images of highlighted fruit area oriented extraction

1.2.4 區(qū)域合并 將以光線正常區(qū)域為主的區(qū)域與以高亮區(qū)域為主的區(qū)域合并，得到果實區(qū)域的二值化圖像，在原圖中圈出果實目標區(qū)域(圖6)。對比分割果實區(qū)域的邊緣與果實的實際邊緣，發(fā)現(xiàn)合并區(qū)域與果實實際區(qū)域很接近。

a：光線正常區(qū)域；b：高亮區(qū)域；c：區(qū)域合并結果；d：分割區(qū)域與果實實際區(qū)域對比。圖6 蘋果圖像分割效果圖Fig.6 Segmentation effect of apple images

1.2.5 分割方法的評價指標 為了驗證本研究所設計方法的有效性，通過分割誤差Af、假陽性率FPR和假陰性率FNR對試驗結果進行評價[19]。

(2)

(3)

(4)

2 結果與分析

將ITTi、FT、HC、LC、CA 5種模型得到的顯著圖(圖7)效果進行對比，并與本研究方法得到的果實目標區(qū)域進行對比。為了進一步驗證本方法的有效性，再與人工分割結果(圖8)進行對比。結果表明，ITTi模型得到的顯著性區(qū)域僅僅是果實目標區(qū)域的一部分，只是提取出果實區(qū)域的高亮區(qū)域，陰影區(qū)域未能識別出，枝葉、草地的顯著度較低；直接使用FT模型檢測的顯著圖中，黃色和綠色蘋果的果實高亮區(qū)域顯著性高，果實的光線正常區(qū)域顯著性較低，相對于綠色蘋果、黃色蘋果果實顯著性明顯，同時枝葉、草地背景顯著性較高；HC模型顯著圖中黃色和綠色果實顯著性都較低；LC模型的顯著圖與FT模型的顯著圖相比，黃色果實識別較差，受背景影響較大；CA模型的顯著圖較上述模型顯著圖相比，果實與背景的顯著度差異較小。

由圖8可以看出，本研究方法的效果圖與用Photoshop軟件人工分割的果實區(qū)域相比，本方法能夠有效提取出黃、綠果實的大部分區(qū)域。

對基于ITTi、FT、HC、LC、CA顯著算法直接分割蘋果圖像與本方法的分割結果進行評價。結果(表1)表明，ITTi算法得到的Af、FPR和FNR均值分別為41.79%、42.54%和43.27%，F(xiàn)T算法得到的Af、FPR和FNR均值分別為42.44%、37.21%和49.97%，HC算法得到的Af、FPR和FNR均值分別為47.50%、56.70%和54.86%，LC算法得到的Af、FPR和FNR均值分別為37.38%、56.36%和49.87%，CA算法得到的Af、FPR和FNR均值分別為46.74%、44.62%和53.03%，本方法得到的Af、FPR和FNR均值分別為8.1%、10.56%和10.18%。

圖7 5種顯著性檢測算法顯著圖Fig.7 Saliency maps of five saliency detection algorithms

圖8 本研究方法分割結果與人工分割結果對比效果圖Fig.8 Result comparison between the designed method and artificial segmentation

表16種顯著性檢測算法評價結果

Table1Theevaluationresultsofsixsignificantdetectionalgorithms

圖像序號ITTi算法Af(%)FPR(%)FNR(%)FT算法Af(%)FPR(%)FNR(%)HC算法Af(%)FPR(%)FNR(%)LC算法Af(%)FPR(%)FNR(%)CA算法Af(%)FPR(%)FNR(%)本研究方法Af(%)FPR(%)FNR(%)170.603.1827.6969.4831.7195.024.629.7182.353.4443.8738.1676.5579.5218.694.9814.5614.63270.9475.4727.6011.9049.8495.9767.9765.5116.2634.0458.5322.3875.1325.5150.600.918.905.93354.7213.8614.9381.4324.3592.9325.7584.0725.4335.0019.6625.1161.6047.3335.178.3021.3714.97491.7228.5875.727.595.4053.0875.3738.0456.7877.9293.4012.9956.8846.941.1913.7116.2213.32531.1252.8516.5668.9274.8245.0560.2026.3065.418.3822.9091.3315.2482.5853.834.617.8224.27610.6796.190.468.4439.9825.9977.4981.7386.8780.0143.1491.0618.1826.3814.5513.618.637.97754.9914.5085.3040.187.6023.9962.2135.1051.3212.3318.3924.0041.734.9790.271.489.0918.93833.7790.0136.9224.1740.399.6511.1278.0338.9713.2094.2195.6157.525.9823.4815.328.121.5494.3016.964.9154.7029.6374.4773.1764.7745.0918.9068.6818.3536.8562.5678.028.119.299.671048.6843.5944.6881.7679.4864.4330.6350.8551.0837.8681.1653.2835.0793.9087.595.026.258.701120.7730.1247.0922.5917.0722.7723.0584.4319.4843.5731.1192.3443.0218.4890.4917.9723.8911.111225.8140.8759.4922.1711.7429.6726.2260.2871.1231.8842.4250.798.5526.2580.102.9212.897.031348.8657.8523.7352.1123.1648.8945.8896.3154.6862.4167.9139.5536.7498.803.778.521.332.96149.8726.1933.5410.6865.3849.4267.9713.6672.1277.9171.5090.3789.0933.4269.879.783.057.631550.0547.9990.4780.5557.6718.2960.9961.7785.9423.9988.652.8748.9916.7997.876.277.054.11平均值41.7942.5443.2742.4437.2149.9747.5056.7054.8637.3856.3649.8746.7444.6253.038.1010.5610.18

Af：分割誤差；FPR：假陽性率；FNR：假陰性率。

3 結 論

人類視覺系統(tǒng)可以輕易高效地從復雜背景中識別出顯著性區(qū)域。本研究基于視覺注意機制，采用FT顯著性檢測方法與基于標記的分水嶺算法相結合分區(qū)域提取而后合并，從而實現(xiàn)黃、綠色蘋果圖像的分割。試驗結果表明本研究方法提取的果實區(qū)域接近果實的實際區(qū)域，具有較好的分割效果。本方法對于其他近色背景果蔬圖像的分割有一定的借鑒意義。但需要指出的是，本方法中引入了色差作為顏色特征對圖像進行處理，如果不需要根據果蔬的顏色特征而只采用一種新的視覺顯著性算法進行圖像分割，那么該方法將具有更強的通用性，這有待進一步研究。