牛晗 伍希志

摘要：松果識(shí)別對(duì)其產(chǎn)量評(píng)估、智能采摘等具有非常重要的意義。提出一種基于二值圖像連通域的松果圖像識(shí)別方法，首先研究松果圖像RGB顏色特征規(guī)律，進(jìn)行RGB顏色分量色差運(yùn)算;然后選取合適的閾值對(duì)松果R-G圖像進(jìn)行二值化處理，初步分割果實(shí)和背景;再在圖像分割時(shí)采用小面積連通域面積閾值法去除噪聲的影響;最后采用連通域外接矩形法進(jìn)行松果識(shí)別與統(tǒng)計(jì)，并計(jì)算出松果質(zhì)心位置。結(jié)果表明，采用OTSU二值化分割+連通域噪音去除方法，可以清晰地分離出松果果實(shí)，松果識(shí)別平均準(zhǔn)確率為89.6%?；诙祱D像連通域的松果多目標(biāo)果實(shí)識(shí)別與定位，為以后實(shí)現(xiàn)松果的自動(dòng)化采摘提供了技術(shù)基礎(chǔ)。

關(guān)鍵詞：圖像處理;松果;多目標(biāo);連通域;識(shí)別

中圖分類號(hào)： TP391.41? 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2021）15-0193-05

收稿日期：2020-11-11

基金項(xiàng)目：國(guó)家自然科學(xué)基金（編號(hào)：C161402）;長(zhǎng)沙市重點(diǎn)研發(fā)計(jì)劃（編號(hào)：Kq2004094）;廣州達(dá)意隆包裝機(jī)械股份有限公司博士后科研工作站項(xiàng)目（編號(hào)：263805）。

作者簡(jiǎn)介：牛 晗（1997―），男，湖北鄂州人，碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)。E-mail：1390079277@qq.com。

通信作者：伍希志，博士，副教授，研究方向?yàn)榱謽I(yè)智能裝備、機(jī)器視覺(jué)、復(fù)合材料結(jié)構(gòu)。E-mail：wuxizhi2006@126.com。

我國(guó)是世界上松子種植面積最大、消耗松子最多的國(guó)家，年產(chǎn)量為8萬(wàn)t左右，向外出口20多個(gè)國(guó)家和地區(qū)。松子熱量大，而且有很高的食療價(jià)值。松子的加工早已實(shí)現(xiàn)自動(dòng)化，但目前松果的采摘主要依靠人工完成。產(chǎn)出松子的松樹(shù)高度一般為15～20 m，人工爬樹(shù)采摘的危險(xiǎn)程度非常高，勞動(dòng)強(qiáng)度很大，導(dǎo)致松子價(jià)格高昂。因此，采用計(jì)算機(jī)圖像處理技術(shù)識(shí)別松果，開(kāi)發(fā)松果采摘機(jī)器人是一個(gè)有效的解決方法。近年來(lái)，為了實(shí)現(xiàn)水果的自動(dòng)化采摘，學(xué)者們?cè)谒R(shí)別方面進(jìn)行了大量研究，主要包括蘋果[1]、橘子[2]、番茄[3]、葡萄[4]、獼猴桃[5]等識(shí)別研究。例如，針對(duì)如蘋果番茄橘子等圓形水果的識(shí)別，主要采用基于canny[6]、sobel[7]等邊緣提取算法，提取出水果的邊緣進(jìn)行識(shí)別。也有學(xué)者采用HOG變換識(shí)別出植被類型[8]。Shin等通過(guò)結(jié)合logistic回歸模型和分水嶺算法對(duì)柑橘質(zhì)量進(jìn)行分類[9]。黃小玉等提出了改進(jìn)的DRFI算法，增加顏色、紋理和形狀3個(gè)參數(shù)特征，并采用OTSU分割進(jìn)行綠色桃子識(shí)別[10]。陳禮鵬等通過(guò)提取獼猴桃的果萼進(jìn)行獼猴桃的識(shí)別計(jì)數(shù)[11]。呂繼東等通過(guò)對(duì)閾值分割后的圖像進(jìn)行彩色模板匹配識(shí)別紅色蘋果[12]。Yu等通過(guò)運(yùn)用基于RCNN算法的神經(jīng)網(wǎng)絡(luò)，識(shí)別出草莓輪廓的2個(gè)最遠(yuǎn)點(diǎn)，將它們的中點(diǎn)當(dāng)作草莓重心[13]。Sun等采用GrabCut模型和Ncut算法識(shí)別出復(fù)雜環(huán)境中的青蘋果[14]。Lv等改進(jìn)了GrabCut模型完成紅色蘋果識(shí)別[15]。

綜合上述研究工作可以發(fā)現(xiàn)，國(guó)內(nèi)外學(xué)者對(duì)類圓形光滑表面的水果如蘋果、橘子等研究較多，且大多采用邊緣識(shí)別算法識(shí)別果實(shí)，而松果輪廓不規(guī)則、表面有突起的松子，采用邊緣識(shí)別算法易受到樹(shù)枝樹(shù)葉等噪音的邊緣影響，識(shí)別準(zhǔn)確性較差。另一類研究是根據(jù)顏色、紋理和形狀等參數(shù)特征使用分類器的方法識(shí)別果實(shí)，這需要大量訓(xùn)練樣本，運(yùn)算復(fù)雜，操作難度大。因此，從復(fù)雜背景環(huán)境中識(shí)別松果是一個(gè)技術(shù)難點(diǎn)，目前缺乏深度的研究。本研究以成熟松果為研究對(duì)象，提出基于二值圖像連通域的松果多目標(biāo)識(shí)別方法，采用RGB顏色分量 R-G 色差運(yùn)算和二值化處理，初步分割果實(shí)和背景;采用小面積連通域面積閾值法去除圖像中的噪聲，得到松果果實(shí)圖像;采用連通域外接矩形法進(jìn)行松果識(shí)別與統(tǒng)計(jì)，并計(jì)算出松果質(zhì)心位置，為以后機(jī)械化采摘奠定了基礎(chǔ)。

1 松果識(shí)別方法

1.1 松果圖片樣本的獲取

松果圖像是在2019年10月中旬于四川省涼山州會(huì)東縣堵格鎮(zhèn)拍攝。用redminote7 Pro手機(jī)在各種自然光線條件下拍攝200多張照片，拍攝距離為 10 m。所采集的圖像為.jpg格式，圖像大小為 427×640像素。

1.2 基于RGB色彩空間的色差運(yùn)算

RGB色彩空間的顏色通過(guò)調(diào)整RGB 3個(gè)顏色通道的不同分量來(lái)顯示。成熟松果呈黃色，黃色是由紅色和綠色混合組成。圖1-a為原始圖像，圖1-b為使用Image Pro Plus軟件選取的圖像中有松果的區(qū)域，圖1-c為圖像中沒(méi)有松果的區(qū)域，并統(tǒng)計(jì)了2個(gè)區(qū)域內(nèi)的RGB 3種分量的權(quán)值大小。從RGB分量折線圖（圖1-d、圖1-e）中可以很明顯看出，有松果的區(qū)域R分量最多，無(wú)松果的區(qū)域G分量最多，2個(gè)區(qū)域內(nèi)的B分量含量相差不大，B分量大部分為背景顏色?？芍晒腞GB圖像中存在的R分量和G分量的權(quán)值大于B分量。

因此，采用R分量與G分量進(jìn)行色差運(yùn)算，可以突出松果的外形輪廓，消除樹(shù)枝等噪音的影響，松果圖像R-G色差運(yùn)算處理后如圖2所示，可以看出，進(jìn)行R-G的操作后，綠色的樹(shù)葉完全消失了，松果的灰度比較高，接近白色，在接近黑色的背景中很突出。圖中還存在樹(shù)枝等噪音，這些噪音灰度不高，與環(huán)境很接近，與松果灰度值對(duì)比明顯?？梢?jiàn)，R-G運(yùn)算能很好地提高松果在圖像中的對(duì)比度。

1.3 基于大津算法（OTSU）的二值化分割

色差運(yùn)算處理后的R-G圖像具有256個(gè)灰度值，直接對(duì)它進(jìn)行處理運(yùn)算速度比較慢，效果也不太好。由于松果灰度值在R-G圖像中對(duì)比度大，對(duì)灰度圖像進(jìn)行二值化處理可以清晰地分辨出果實(shí)和背景區(qū)域，壓縮圖像數(shù)據(jù)，是加快運(yùn)算速度的好方法。下面采用大津算法（OTUS）對(duì)R-G色差運(yùn)算的圖像進(jìn)行閾值分割。

大津算法（OTSU）的基本思想是計(jì)算圖像的灰度平均值M，通過(guò)得到一個(gè)閾值T，可以把圖像分割成背景A和果實(shí)B。記圖像中背景A的灰度平均值是MA，圖像中果實(shí)B的灰度平均值是MB。像素點(diǎn)出現(xiàn)在背景A的概率為PA，出現(xiàn)在果實(shí)B的概率為PB。閾值T計(jì)算公式：

T=PA×（MA-M）2+PB×（MB-M）2。（1）

對(duì)圖2所示色差灰度圖像進(jìn)行閾值分割，通過(guò)OTSU算法得出該圖片閾值為30。因此采用閾值30對(duì)本圖像進(jìn)行分割，灰度高于30像素點(diǎn)的灰度置為0，灰度小于等于30像素點(diǎn)的灰度置為1。

OTSU算法會(huì)根據(jù)每幅圖像的閾值進(jìn)行二值化分割，OTSU二值化分割結(jié)果如圖3-a所示，圖像中松果形狀均很好地表示出來(lái)了，但是樹(shù)枝和其他噪音也十分明顯。

為了得到更好的二值化圖像，下面研究不同權(quán)重的R、G分量色差運(yùn)算的OTSU閾值分割，包括1.2R-G，1.1R-G，R-G，R-1.1G，R-1.2G 的色差運(yùn)算圖像。圖3是不同權(quán)重色差運(yùn)算圖像的OTSU閾值分割結(jié)果。從圖3中可以看出，R分量權(quán)值增大會(huì)導(dǎo)致樹(shù)枝等噪音非常明顯，G分量權(quán)值增大會(huì)減小樹(shù)枝噪音的影響，但松果變得模糊。經(jīng)過(guò)對(duì)比采用R-1.1G色差運(yùn)算的圖像閾值分割的結(jié)果最好，松果清晰地展現(xiàn)了出來(lái)，并且樹(shù)枝等噪聲較小。因此本研究采用R-1.1G色差運(yùn)算來(lái)進(jìn)行松果圖像增強(qiáng)和削弱背景的影響。

1.4 基于連通域面積閾值的噪音去除

經(jīng)過(guò)R-G色差運(yùn)算和OTSU閾值分割得到的圖像仍有部分噪聲，主要是一些灰度值比較高的樹(shù)枝。這些噪聲面積一般小于松果面積的1/20。下面計(jì)算連通域的面積，并去除小面積噪聲。隨機(jī)選取20幅圖像，圖像內(nèi)面積最大松果的面積為4 280像素，取它的1/20（214像素）為小面積噪聲閾值，即連通域面積小于214像素的就是噪聲，把它賦值為1。去除小面積后的圖像結(jié)果如圖4所示，細(xì)小的噪聲都被去除了，留下清晰的松果輪廓。

1.5 基于連通域外接矩形的松果計(jì)數(shù)

以處理后的圖像為對(duì)象，采用連通域外接矩形的方法進(jìn)行計(jì)數(shù)。通過(guò)圖像像素從左到右、從上到下進(jìn)行遍歷。如果遍歷的像素值是0，就再遍歷該像素點(diǎn)的八鄰域，把該像素點(diǎn)八鄰域?yàn)?的點(diǎn)存入元組并賦值為1，將元組中為1的像素點(diǎn)記為一個(gè)

連通域。繼續(xù)遍歷，遇到像素值為0且元組中不為1的點(diǎn)，把它存入元組并賦值為2，同時(shí)遍歷該像素點(diǎn)的八鄰域，直到遍歷完整個(gè)圖像。然后把連通域的邊緣連接起來(lái)，形成一個(gè)閉環(huán)輪廓，識(shí)別這個(gè)連通域的4個(gè)最大邊界點(diǎn)，連接它們形成一個(gè)矩形，使連通域包含在矩形內(nèi)。通過(guò)上述方法即可完成松果計(jì)數(shù)，元組中最大值即為圖像松果的數(shù)量，計(jì)數(shù)結(jié)果如圖5。從圖5中可以看出，大部分松果都被識(shí)別出來(lái)了，被樹(shù)枝擋住大半的松果也能被識(shí)別出來(lái)，但仍有一處連接在一起的2個(gè)松果被識(shí)別為一個(gè)松果。

1.6 對(duì)松果進(jìn)行質(zhì)心定位

要實(shí)現(xiàn)松果自動(dòng)化采摘，在完成圖像中松果計(jì)數(shù)后，還需要對(duì)圖像中松果進(jìn)行定位。由于松果表面存在小突，它們的灰度值較高，接近背景的灰度，經(jīng)過(guò)閾值處理后這些像素點(diǎn)還是白色，使松果輪廓內(nèi)像素值不均勻，這給松果質(zhì)心計(jì)算帶來(lái)了不利影響，因此需要在不改變松果外形輪廓情況下填充圖像內(nèi)的白點(diǎn)。下面采用閉運(yùn)算方法處理松果圖像中白點(diǎn)，閉運(yùn)算可以填補(bǔ)圖像內(nèi)的空洞但不影響圖像的邊緣。閉運(yùn)算是先進(jìn)行膨脹運(yùn)算再進(jìn)行腐蝕運(yùn)算。腐蝕和膨脹的原理是采用一個(gè)模板在圖像中移動(dòng)，腐蝕是選取模板內(nèi)的最小值作為新圖像的中心值，膨脹是選取模板內(nèi)的最大值作為新圖像的中心值。

在進(jìn)行了閉運(yùn)算后，再對(duì)圖像中松果求質(zhì)心。求質(zhì)心計(jì)算的基本原理是計(jì)算松果圖像內(nèi)各個(gè)橫坐標(biāo)Xi之和，再計(jì)算出松果圖像內(nèi)各個(gè)縱坐標(biāo)Yi之和，最后統(tǒng)計(jì)松果圖像內(nèi)的像素點(diǎn)的個(gè)數(shù)n。松果的質(zhì)心橫坐標(biāo)X與質(zhì)心縱坐標(biāo)Y公式如下：

X=∑ni=0Xin;（2）

Y=∑ni=0Yin。（3）

質(zhì)心計(jì)算結(jié)果如圖6所示，可以看出，本方法定位松果質(zhì)心非常準(zhǔn)確，大部分松果的質(zhì)心都被計(jì)算出來(lái)。但是對(duì)于少數(shù)被樹(shù)枝或者樹(shù)葉遮擋的松果，它們的計(jì)算質(zhì)心是圖像顯示部分松果的質(zhì)心，并不是真實(shí)整個(gè)松果的質(zhì)心。

2 討論

2.1 松果識(shí)別結(jié)果

為了驗(yàn)證本松果識(shí)別方法的準(zhǔn)確性，從所采集的松果樣本圖像中隨機(jī)選取30幅圖像，運(yùn)用本研究算法處理。圖7為從30幅圖像中隨機(jī)選擇4幅圖像的松果實(shí)圖與算法識(shí)別結(jié)果。從圖7中可以看出，本算法可以很好地識(shí)別出松果并計(jì)數(shù)，即使是被樹(shù)枝樹(shù)葉遮擋也可以完成計(jì)數(shù)，并且算法對(duì)黃色紅色松果都適用。圖7中4幅圖像的識(shí)別松果數(shù)分別為19、5、14、19 個(gè)，跟圖片中實(shí)際松果數(shù)21、5、15、18個(gè)非常接近，基本能識(shí)別出圖片中的松果。松果識(shí)別結(jié)果準(zhǔn)確率計(jì)算公式如下：

P=1-|n1-n2|n2×100%。（4）

式中：P為準(zhǔn)確率;n1為統(tǒng)計(jì)松果數(shù);n2為實(shí)際松果數(shù)，計(jì)算結(jié)果見(jiàn)表1。從表1可以看出，本算法的松果識(shí)別平均準(zhǔn)確率為89.6%。經(jīng)分析其誤差產(chǎn)生原因如下：（1）環(huán)境光線太強(qiáng)，圖像中存在陰影中的松果，其灰度值較低，二值化時(shí)被誤分割成背景。（2）松果被樹(shù)枝樹(shù)葉遮擋過(guò)多、距離過(guò)遠(yuǎn)，面積沒(méi)有214像素，被當(dāng)作噪聲去掉。（3）1個(gè)松果被樹(shù)枝樹(shù)葉分割成2塊，識(shí)別為2個(gè)松果。（4）2個(gè)松果重疊過(guò)于嚴(yán)重，識(shí)別為1個(gè)松果。

2.2 對(duì)比試驗(yàn)結(jié)果

為更好地闡述連通域算法的識(shí)別準(zhǔn)確性，采用連通域算法和邊緣檢測(cè)算法對(duì)本松果圖像進(jìn)行識(shí)別。其中邊緣檢測(cè)算法同樣進(jìn)行R-B色差運(yùn)算和中值濾波處理，然后采用基于sobel算子的邊緣檢測(cè)進(jìn)行松果識(shí)別。2種算法的松果識(shí)別對(duì)比試驗(yàn)結(jié)果如圖8所示，松樹(shù)高大，松果顯得較小，邊緣檢測(cè)算法檢測(cè)的松果邊緣與樹(shù)枝連接，對(duì)線的處理比較麻煩，很難區(qū)分松果邊緣與噪聲邊緣。連通域算法是通過(guò)面的方法將松果從復(fù)雜環(huán)境中成功分割，達(dá)到了有效的識(shí)別效果。

3 結(jié)論

采用基于二值圖像連通域方法，對(duì)松果多目標(biāo)果實(shí)進(jìn)行識(shí)別與定位，結(jié)果表明，采用R-G運(yùn)算能很好地提高松果在圖像中的對(duì)比度。采用OTSU二值化分割+連通域噪音去除方法，可以清晰地分離

出松果果實(shí)，松果識(shí)別平均準(zhǔn)確率為89.6%。采用閉運(yùn)算方法消除松果輪廓內(nèi)白點(diǎn)，方便對(duì)松果進(jìn)行質(zhì)心定位。這種基于二值圖像連通域的松果多目標(biāo)果實(shí)識(shí)別與定位，為以后實(shí)現(xiàn)松果的自動(dòng)化采摘提供了技術(shù)基礎(chǔ)。后續(xù)希望進(jìn)一步研究新算法，使松果識(shí)別正確率達(dá)到更高的水平。

參考文獻(xiàn)：

[1]馬翠花，張學(xué)平，李育濤，等. 基于顯著性檢測(cè)與改進(jìn) Hough 變換方法識(shí)別未成熟番茄[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32（14）：219-226.

[2]楊 帆，李鵬飛，劉 庚，等. 橘子采摘機(jī)器人目標(biāo)識(shí)別定位方法與實(shí)驗(yàn)研究[J]. 西安理工大學(xué)學(xué)報(bào)，2018，34（4）：460-467.

[3]項(xiàng)輝宇，薛 真，冷崇杰，等. 基于Halcon的蘋果品質(zhì)視覺(jué)檢測(cè)試驗(yàn)研究[J]. 食品與機(jī)械，2016，32（10）：123-126.

[4]馬本學(xué)，賈艷婷，梅衛(wèi)江，等. 不同自然場(chǎng)景下葡萄果實(shí)識(shí)別方法研究[J]. 現(xiàn)代食品科技，2015，31（9）：145-149，168.

[5]張莎莎，王周宇， 陳禮鵬，等. 基于MatLab的多目標(biāo)獼猴桃無(wú)損采摘路徑規(guī)劃[J]. 農(nóng)機(jī)化研究，2019，41（4）：18-23.

[6]慕軍營(yíng)，陳 軍，孫高杰，等. 基于機(jī)器視覺(jué)的獼猴桃特征參數(shù)提取[J]. 農(nóng)機(jī)化研究，2014，36（6）：138-142.

[7]蔡健榮，周小軍，李玉良，等. 基于機(jī)器視覺(jué)自然場(chǎng)景下成熟柑橘識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2008，24（1）：175-178.

[8]林志瑋，丁啟祿，涂偉豪，等. 基于多元HoG及無(wú)人機(jī)航拍圖像的植被類型識(shí)別[J]. 森林與環(huán)境學(xué)報(bào)，2018，38（4）：444-450.

[9]Shin J S，Lee W S，Ehsani R . Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm[J]. Biosystems Engineering，2012，113（1）：42-53.

[10]黃小玉，李光林，馬 馳，等. 基于改進(jìn)判別區(qū)域特征融合算法的近色背景綠色桃子識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（23）：142-148.

[11]陳禮鵬，穆龍濤，劉浩洲，等. 基于獼猴桃果萼圖像的多目標(biāo)果實(shí)識(shí)別方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（6）：1738-1744.

[12]呂繼東，趙德安，姬 偉. 蘋果采摘機(jī)器人目標(biāo)果實(shí)快速跟蹤識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（1）：65-72.

[13]Yu Y，Zhang K L，Yang L，et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture，2019，163：104846.

[14]Sun S S，Jiang M，He D J，et al. Recognition of green apples in an orchard environment by combining the GrabCut model and Ncut algorithm[J]. Biosystems Engineering，2019，187：201-213.

[15]Lv J，Wang Y，Ni H，et al. Method for discriminating of the shape of overlapped apple fruit images[J]. Biosystems Engineering，2019，186：118-129.