周文靜，趙康，馬曉曉，田志芳

(1. 新疆科技學(xué)院信息科學(xué)與工程學(xué)院，新疆庫(kù)爾勒市，841000；2. 石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆石河子，832003)

0 引言

我國(guó)葡萄種植歷史悠久，是世界第四大水果[1]。由于其本身適應(yīng)性強(qiáng)、經(jīng)濟(jì)效益高等特點(diǎn)，栽培區(qū)域遍布全國(guó)各個(gè)省份，是人民增收致富的主要來(lái)源[2]。然而葡萄收獲依舊靠人工采摘，費(fèi)時(shí)費(fèi)力[3]，急需自動(dòng)化采摘來(lái)解決這一問(wèn)題[4-5]。自動(dòng)化采摘中，采摘機(jī)器如何準(zhǔn)確識(shí)別田間葡萄果穗是采摘的關(guān)鍵，因此需要快速準(zhǔn)確地檢測(cè)田間的葡萄果穗目標(biāo)。

近年來(lái)，隨著機(jī)器視覺(jué)的不斷發(fā)展，國(guó)內(nèi)外學(xué)者紛紛對(duì)葡萄果穗圖像準(zhǔn)確分割的問(wèn)題展開(kāi)了研究。如，Xiao等[6]曾采用BP神經(jīng)網(wǎng)絡(luò)對(duì)田間蘋果圖像像素進(jìn)行訓(xùn)練，實(shí)現(xiàn)了與背景顏色相近的綠色蘋果分割，He等[7]采用支持向量機(jī)實(shí)現(xiàn)了對(duì)田間荔枝的分割，喬虹等[8]將Mask R-CNN應(yīng)用于田間葡萄葉的分割。周文靜等[9]采用KNN法實(shí)現(xiàn)了葡萄果穗的分割，但圖像分割精度有限。然而，此類機(jī)器學(xué)習(xí)算法需要獲取大量數(shù)據(jù)進(jìn)行訓(xùn)練，耗時(shí)過(guò)長(zhǎng)，且對(duì)設(shè)備要求較高[10]。此外有關(guān)圖像背景分割方法最大類間方差(Ostu)法也常用于果蔬背景分割，且該方法不需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)設(shè)備要求較低。尹建軍等[11]對(duì)田間自然光照條件下采用色差R-G對(duì)番茄圖像進(jìn)行自動(dòng)閾值分割，實(shí)現(xiàn)了背景有效分割且具有很好的魯棒性。司永勝等[12]采用色差比(R-G)/(G-B)進(jìn)行自動(dòng)閾值分割實(shí)現(xiàn)了對(duì)不同光照下拍攝的蘋果圖像。2010年，司永勝等[13]又提出歸一化的紅綠色差(R-G)/(R+G)進(jìn)行綠色蘋果的閾值分割，識(shí)別率可達(dá)92%，齊銳麗等[14]也通過(guò)對(duì)數(shù)字圖像的分析，采用H通道進(jìn)行Otsu分割實(shí)現(xiàn)了田間環(huán)境下花椒的分割。如此可見(jiàn)，通過(guò)對(duì)數(shù)字圖像的分析，采用合適的特征圖進(jìn)行分割，能夠?qū)崿F(xiàn)目標(biāo)的分割。

因此，本文擬對(duì)數(shù)字圖像進(jìn)行分析，選擇合適的特征圖并采用Otsu方法進(jìn)行田間葡萄背景的準(zhǔn)確分割。

1 葡萄果穗圖像分割方法

最大類間方差(Otsu)法根據(jù)圖像的灰度直方圖以最佳閾值將圖像分割成兩部分，該閾值使兩部分的方差取得最大值，即分離性最大。首先選取合適的分割特征進(jìn)行圖像分割，圖像分割后通過(guò)形態(tài)學(xué)處理來(lái)連通目標(biāo)。然后再提取各連通區(qū)域的面積作進(jìn)一步分析處理，判斷出目標(biāo)區(qū)域。

1.1 選取顏色空間

傳統(tǒng)的圖像分割通常是基于灰度圖像進(jìn)行處理的，相比于灰度圖像，彩色圖像含有更豐富的信息依據(jù)其進(jìn)行圖像分割得到的分割性能更高。CIE(國(guó)際照明委員會(huì))提出的CIE-1931-RGB彩標(biāo)準(zhǔn)色度系統(tǒng)演變出的顏色空間包括RGB、HIS、LAB等[15]，其中RGB顏色空間表示顏色的方法簡(jiǎn)單形象、易于理解，幾乎涵蓋人們看到的所有顏色，最適于人類視覺(jué)觀察。因此本文選取RGB顏色空間對(duì)圖像進(jìn)行分析。

RGB圖像有紅色(R)、綠色(G)、藍(lán)色(B)三個(gè)通道，是工業(yè)界的顏色標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)幾乎可以將人們看到的所有顏色都涵蓋進(jìn)去。如圖1所示為RGB彩色空間的三維空間結(jié)構(gòu)，三個(gè)坐標(biāo)軸分別表示紅色、綠色、藍(lán)色三基色，立方體中的每一個(gè)點(diǎn)都代表一種顏色，原點(diǎn)(0,0,0)表示黑色，坐標(biāo)點(diǎn)(1,1,1)表示白色。

圖1 RGB顏色空間模型

1.2 葡萄圖像直方圖分析

研究人員常用的紅綠色差一般為(R-G)特征或歸一化的紅綠色差特征，然后采用Otsu進(jìn)行分割，但分割方法并不適用于田間的復(fù)雜情況。Otsu自動(dòng)閾值分割要求圖像的直方圖具有明顯的兩類，可以直接分割圖像。因此，本文對(duì)紅色葡萄果穗和圖像的R、G、B三個(gè)通道的直方圖進(jìn)行分析，如圖2所示。葡萄圖像3個(gè)通道的直方圖均不具有該特征。需要進(jìn)一步對(duì)3個(gè)通道的圖像進(jìn)行運(yùn)算使其直方圖的分布具有明顯的兩類，且最好葡萄為其中一類，背景為其中一類，進(jìn)而能夠較準(zhǔn)確地實(shí)現(xiàn)葡萄果穗圖像的分割。從圖中可以看出，R、G、B 3個(gè)通道的峰值并不在同一灰度范圍內(nèi)，因此可選取與田間葡萄果穗圖像顏色相關(guān)的R通道和G通道作為主要特征圖。結(jié)合以往的研究，不斷進(jìn)行不同運(yùn)算的測(cè)試，發(fā)現(xiàn)除圖像的灰度圖、R-G圖像、歸一化紅綠色差圖像之外，(R-G)·(R+G)得到的直方圖同樣具有明顯的兩個(gè)類別，如圖3所示分別為灰度圖、R-G圖像、歸一化紅綠色差圖像以及紅綠色差點(diǎn)乘圖像的直方圖。觀察圖3(c)和圖3(d)可發(fā)現(xiàn)，歸一化紅綠色差和紅綠色差點(diǎn)乘的直方圖甚至只在一個(gè)灰度值有像素，則這兩種方法幾乎能夠直接完成圖像的分割。因此本文研究了紅綠色差點(diǎn)乘((R-G)·(R+G))圖像作為分割特征，然后對(duì)該特征進(jìn)行Otsu分割即可得到葡萄果穗的圖像。

(a) 原圖 (b) R通道直方圖 (c) G通道直方圖 (d) B通道直方圖

(a) 灰度圖直方圖 (b) R-G圖像直方圖 (c) 歸一化紅綠色差直方圖 (d) 紅綠色差點(diǎn)乘圖像直方圖

2 試驗(yàn)結(jié)果與分析

2.1 圖像分割結(jié)果

采用1.2節(jié)分析得到的紅綠色差點(diǎn)乘的分割特征對(duì)圖2(a)進(jìn)行Otsu分割，得到的分割圖像如圖4所示，盡管圖中存在些許枝干、樹(shù)葉等背景的干擾，但葡萄果穗幾乎被完整地從背景中分割出來(lái)。

圖4 改進(jìn)紅綠色差特征與Otsu分割結(jié)果

根據(jù)該分割結(jié)果，本文對(duì)其進(jìn)行膨脹、腐蝕、刪除小面積對(duì)象等操作，得到如圖5所示的結(jié)果。

圖5 葡萄果穗圖像分割結(jié)果

從圖5可以看出除了葡萄果穗右下角有少量背景，葡萄果穗已被完整分割出來(lái)，可見(jiàn)本文改進(jìn)的紅綠色差分割特征進(jìn)行Otsu分割能夠?qū)崿F(xiàn)葡萄果穗的較完整分割。

2.2 背景分割性能評(píng)價(jià)

根據(jù)式(1)和式(4)計(jì)算圖像分割的準(zhǔn)確率(Accuracy，%)、查準(zhǔn)率(Precision，%)、查全率(Recall，%)和F1值(F1-score，%)4個(gè)性能評(píng)價(jià)指標(biāo)，并采用準(zhǔn)確率和F1值進(jìn)行背景分割性能評(píng)價(jià)。

(1)

(2)

(3)

(4)

式中：TP——目標(biāo)像素被準(zhǔn)確判別為目標(biāo)像素的數(shù)量，對(duì)應(yīng)圖5中綠色區(qū)域；

TN——背景像素被準(zhǔn)確判別為背景像素的數(shù)量，對(duì)應(yīng)圖5中黑色區(qū)域；

FP——背景像素被判別為目標(biāo)像素的數(shù)量，對(duì)應(yīng)圖5中白色區(qū)域；

FN——目標(biāo)像素被判別為背景像素的數(shù)量，對(duì)應(yīng)圖5中紅色區(qū)域。

2.3 不同特征Otsu分割結(jié)果

為測(cè)試改進(jìn)紅綠色差分割特征的分割性能，本文對(duì)葡萄圖像的灰度圖、R-G圖像、歸一化紅綠色差圖像3種特征圖分別采用Otsu法分割，將其分割結(jié)果與改進(jìn)方法得到的分割結(jié)果進(jìn)行對(duì)比，如圖6所示，圖6(a)為直接對(duì)灰度圖進(jìn)行分割的結(jié)果，可以看出分割出的區(qū)域?yàn)閳D中顏色亮度較高的區(qū)域，因此部分亮度較高的背景同樣被分割出來(lái)?？梢?jiàn)該特征圖分割受光照影響無(wú)法對(duì)田間復(fù)雜多樣環(huán)境下的葡萄果穗進(jìn)行分割；圖6(b)為采用色差(R-G)作為分割特征得到的分割結(jié)果，該方法一定程度上可避免光照不均的影響，分割出了葡萄果穗，雖有少部分顏色較暗的葡萄果粒未能分割出來(lái)，卻完全祛除了圖像的背景，可見(jiàn)該特征圖對(duì)分割光照強(qiáng)度不一的圖像具有較好的魯棒性該方法可以用于機(jī)器視覺(jué)的識(shí)別，但若要準(zhǔn)確定位葡萄果穗還需進(jìn)一步提高圖像分割的準(zhǔn)確度；圖6(c)的分割結(jié)果采用的特征圖為歸一化的紅綠色差(R-G)/(R+G)，從結(jié)果圖不難看出，該方法與圖6(b)同樣將所有背景去除，但對(duì)于要分割的葡萄果穗這一目標(biāo)，對(duì)比6(b)，該特征圖進(jìn)行Otsu分割后僅分割出了葡萄的高亮部分；而在采用紅綠色差點(diǎn)乘特征圖的圖6(d)中，Otsu將葡萄果穗更完整地從背景中分割出來(lái)，且背景中僅有少量枝干一同分割出。總體而言，采用紅綠色差點(diǎn)乘特征圖進(jìn)行Otsu分割得到的分割結(jié)果雖有少量背景，但分割出的主體最為完整。

(a) 灰度圖分割 (b) (R-G)特征分割

2.4 不同特征圖Otsu分割效果分析

不同特征圖Otsu分割后的分割效果如圖7所示，圖中黑色區(qū)域表示正確去除的背景，綠色表示正確分割的葡萄果穗，總體來(lái)看，圖7(c)中黑色面積最大，圖7(b)次之，圖7(d)黑色面積少于圖7(b)、圖7(c)，圖7(a)最少；而圖7(d)綠色面積最大，圖7(b)次之，接下來(lái)是圖7(a)和圖7(c)，按照正確分割的準(zhǔn)確率，圖7(b)、圖7(d)分割效果最好。

(a) 灰度圖分割效果 (b) (R-G)特征分割效果

本文對(duì)每種分割特征分割效果圖中不同顏色像素的數(shù)目進(jìn)行統(tǒng)計(jì)，其準(zhǔn)確率、查準(zhǔn)率、查全率和F1值如表1所示。根據(jù)表1中結(jié)果來(lái)看，采用灰度圖進(jìn)行分割得到的分割效果最差，主要是由于灰度圖分雙峰分別為亮部區(qū)域和暗部區(qū)域，只能分割出圖像的亮暗，無(wú)法完整分割葡萄果穗。從查準(zhǔn)率上來(lái)看(R-G)特征和歸一化特征得到的分割效果更好，分別達(dá)到了97.42%和98.77%，但兩種方法所得到的查全率并不高，分別為60.19%和18.49%。由此分析得，這兩種特征分割得出圖像雖然不會(huì)分割出較多背景，但有較多葡萄未能分割出，這與圖7(b)和圖7(c)所示的分割結(jié)果一致。而紅綠色差點(diǎn)乘特征分割得到的查準(zhǔn)率和查全率相對(duì)較高，若要全面了解不同分割特征的分割效果，還需綜合查準(zhǔn)率和查全率得值，而F1值為我們提供了查準(zhǔn)率、查全率的調(diào)和平均值。紅綠色差點(diǎn)乘特征分割的準(zhǔn)確率及F1值都是最高的，分別為92.37%和90.13%。(R-G)特征分割圖像的準(zhǔn)確率及F1值僅次于紅綠色差點(diǎn)乘特征，其分割準(zhǔn)確率為85.30%，但F1值卻低了很多，僅為74.40%，結(jié)合分割圖像分析其主要原因是分割目標(biāo)中部分較暗區(qū)域未分割出來(lái)；歸一化色差的準(zhǔn)確率為71.56%，而F1值僅為51.15%，主要是因?yàn)樵摲指罘椒ㄖ环指畛隽似咸阎械母吡敛糠?，其余較暗部分均未分割出來(lái)。綜上所述，本文提出的紅綠色差點(diǎn)乘特征Otsu分割得到的分割效果最好，優(yōu)于其他3種分割特征。

表1 不同分割特征分割性能Tab. 1 Segmentation performance of different segmentation features %

2.5 改進(jìn)紅綠色差分割法的驗(yàn)證

為驗(yàn)證本問(wèn)題出的葡萄果穗分割方法，選擇了不同光照強(qiáng)度及不同角度拍攝的50幅葡萄果穗圖像作為測(cè)試圖像，采用此方法對(duì)其進(jìn)行測(cè)試。對(duì)50幅圖像測(cè)試結(jié)果的像素進(jìn)行了統(tǒng)計(jì)，分別統(tǒng)計(jì)正確去除的背景、正確分割的葡萄果穗、錯(cuò)誤去除的背景和錯(cuò)誤分割出的葡萄果穗的像素?cái)?shù)目，依據(jù)準(zhǔn)確率的計(jì)算公式計(jì)算所得圖像的準(zhǔn)確率如圖8所示，50幅測(cè)試圖像準(zhǔn)確率最高為97%，準(zhǔn)確率最低為79%，其平均準(zhǔn)確率為88.75%。

圖8 50幅圖像的準(zhǔn)確率

選擇光照強(qiáng)度變化更大的典型圖像進(jìn)行分割，其分割結(jié)果如圖9所示。

(a) 原圖

從圖9中可以看出，即使光照強(qiáng)度差異較大，或者逆光拍攝葡萄，提出的葡萄果穗分割方法均能準(zhǔn)確將葡萄果穗從背景中分割出來(lái)。

3 結(jié)論

本文提出了一種分割葡萄果穗的方法，并對(duì)比葡萄圖像的灰度圖、R-G圖像、歸一化紅綠色差進(jìn)行Otsu分割的分割效果，采用準(zhǔn)確率和F1值作為分割性能指標(biāo)進(jìn)行分析。

1) 提出了紅綠色差點(diǎn)乘圖像作為圖像分割的特征圖，采用該特征圖進(jìn)行Otsu方法能夠準(zhǔn)確分割田間的紅葡萄果穗圖像。

2) 通過(guò)對(duì)不同特征圖分割結(jié)果的對(duì)比發(fā)現(xiàn)，不論是分割的準(zhǔn)確率還是F1值，紅綠色差點(diǎn)乘的Otsu分割法的分割結(jié)果都是最優(yōu)的，準(zhǔn)確率為92.37%，F(xiàn)1值90.13%。

3) 采用50幅不同光照強(qiáng)度及不同角度拍攝的葡萄果穗圖像進(jìn)行驗(yàn)證，試驗(yàn)結(jié)果表明，50幅測(cè)試圖像準(zhǔn)確率最高為97%，準(zhǔn)確率最低為79%，其平均準(zhǔn)確率為88.75%。本文提出的方法能夠準(zhǔn)確分割出田間復(fù)雜環(huán)境的葡萄果穗。能夠?yàn)楸疚牡姆指罘椒蔀槠咸压氲淖R(shí)別、定位提供研究基礎(chǔ)。