張傳棟++徐漢飛++陳弘毅++宋懷波

摘要：為實(shí)現(xiàn)蘋果目標(biāo)的識別及其空間定位，提出了一種自然場景下蘋果目標(biāo)的識別與定位方法。該方法首先將RGB顏色空間轉(zhuǎn)換至HIS顏色空間以得到自然場景下蘋果圖像的色調(diào)分量H和飽和度分量S，為了充分利用其色調(diào)信息，采用了基于超紅圖像的蘋果目標(biāo)識別方法并應(yīng)用基于區(qū)域的分割方法實(shí)現(xiàn)了目標(biāo)的有效分割；接著利用輪廓曲率法抽取連續(xù)光滑的輪廓曲線并估計該光滑曲線段的圓心及其半徑參數(shù)，實(shí)現(xiàn)果實(shí)的定位；最后利用逐行掃描法，結(jié)合蘋果生理特性，實(shí)現(xiàn)了蘋果采摘點(diǎn)的有效定位。為了驗(yàn)證算法的有效性，利用50幅富士蘋果圖像進(jìn)行了試驗(yàn)。試驗(yàn)結(jié)果表明，蘋果及其果柄的識別率在80%以上，對于輕度遮擋的蘋果目標(biāo)，基本滿足其定位要求。

關(guān)鍵詞：農(nóng)業(yè)電氣化與自動化；蘋果圖像分割；目標(biāo)定位；輪廓曲率；HOUGH圓擬合

中圖分類號：TP391.4

文獻(xiàn)標(biāo)識碼：A

DOI：10.3969/j.issn.1003-6970.2015.08.007

0 引言

果實(shí)目標(biāo)的準(zhǔn)確識別與精確定位是采摘機(jī)器人視覺系統(tǒng)必須解決的關(guān)鍵問題。在自然條件下，果實(shí)目標(biāo)的識別易受天氣、果實(shí)遮擋等諸多因素的影響，識別難度大，準(zhǔn)確率不高。運(yùn)用計算機(jī)視覺技術(shù)，結(jié)合果實(shí)目標(biāo)輪廓特征來實(shí)現(xiàn)自然場景下蘋果果實(shí)目標(biāo)的準(zhǔn)確識別是解決該問題的有效手段，受到了廣泛關(guān)注。

在果蔬采摘機(jī)器人機(jī)器視覺方面，研究人員開展了大量的研究工作。D'Esnon等采用彩色視覺系統(tǒng)對樹上蘋果進(jìn)行檢測，通過對彩色圖像分割得到二值圖像后找到各水果區(qū)域的中心。楊國彬等直接使用RGB分量作為貝葉斯分類器的輸入進(jìn)行目標(biāo)與背景的分類，由于圖像的復(fù)雜性，其效果并不穩(wěn)定。趙杰文等研究了基于HIS（Hue，Intensity，Saturation）顏色特征的田間成熟番茄識別技術(shù)，實(shí)現(xiàn)了成熟番茄目標(biāo)的準(zhǔn)確提取。張鐵中等提出了一種基于彩色空間參照表的果實(shí)目標(biāo)提取分割算法，為該類型目標(biāo)的準(zhǔn)確識別提供了新的思路。荀一等針對單果遮擋目標(biāo)的識別問題，根據(jù)其輪廓曲率變化情況，通過提取連續(xù)光滑輪廓線段并進(jìn)行圓擬合的方式，較好地實(shí)現(xiàn)了蘋果目標(biāo)的識別。

鑒于上述，本研究擬提出一種基于輪廓曲率的樹上蘋果目標(biāo)識別與定位方法，首先將采集到的圖像在HIS顏色空間下進(jìn)行預(yù)處理操作，并選擇基于區(qū)域分割的方法，同時結(jié)合數(shù)學(xué)形態(tài)學(xué)理論進(jìn)行圖像分割，較好地實(shí)現(xiàn)目標(biāo)與背景的分離；然后運(yùn)用輪廓曲率特征得到光滑輪廓曲線并進(jìn)行圓心及半徑等參數(shù)的估計，并通過圓擬合方法得到蘋果的準(zhǔn)確位置；最終實(shí)現(xiàn)蘋果采摘點(diǎn)的精確定位。

1 基于HIS顏色空間和區(qū)域分割的蘋果目標(biāo)分割

1.1 RGB顏色空間與HIS顏色空間的轉(zhuǎn)換

合適的顏色空間是實(shí)現(xiàn)目標(biāo)分割的基礎(chǔ)，常見的RGB顏色空間將顏色看作是三基色的組合，但各分量之間存在很強(qiáng)的相關(guān)性，其細(xì)節(jié)難以進(jìn)行數(shù)字化的調(diào)整。HIS顏色模型可以反映人的視覺系統(tǒng)感知彩色的方式，以色調(diào)、飽和度和強(qiáng)度3種基本特征量來表示給定顏色。由于人的視覺對亮度的敏感程度遠(yuǎn)強(qiáng)于對顏色濃淡的敏感程度，為了便于色彩的處理和識別，人的視覺系統(tǒng)經(jīng)常采用HIS色彩空間，它比RGB色彩空間更符合人的視覺特性。所以本研究選擇在HIS顏色空間下進(jìn)行蘋果目標(biāo)的分割。

RGB顏色空間轉(zhuǎn)換到HIS顏色空間的轉(zhuǎn)換公式如式（1）所示，在HIS顏色模型中取色調(diào)H作為特征量進(jìn)行統(tǒng)計分析其中色調(diào)H的取值由式（2）所示。經(jīng)過變換后，即可將相互關(guān)聯(lián)的R、G、B分量轉(zhuǎn)換為相互獨(dú)立的色調(diào)（H）、飽和度（S）和強(qiáng)度（I）3部分。

RGB顏色空間與HIS顏色空間轉(zhuǎn)換的結(jié)果如圖1所示。其中，圖1（a）為原始彩色蘋果目標(biāo)圖像，可見在自然場景下，受到光照等因素的影響，蘋果表面存在了大量的陰影等信息，完整識別目標(biāo)的難度極大。圖1（b）為色調(diào)子圖像，通過圖1（b）可以看出蘋果目標(biāo)區(qū)域的色調(diào)值依然得到了較好地保留。圖1（c）、（d）分別為飽和度子圖像及其亮度子圖像，可見在飽和度與亮度子圖像中，目標(biāo)與背景間差別較小，難以用于果實(shí)目標(biāo)的分割。因此，本研究提出了一種充分利用果實(shí)色調(diào)信息進(jìn)行目標(biāo)的分割的方法。

1.2 基于超紅圖像的蘋果果實(shí)識別

結(jié)合圖1（a）和圖1（b）可以發(fā)現(xiàn)，雖然果實(shí)目標(biāo)整體顏色偏紅，但由于陰影等因素的影響易被誤分為背景。因此，為了達(dá)到紅色調(diào)信息的有效利用，本研究利用超紅圖像來進(jìn)行目標(biāo)的分割，所用超紅圖像I_r的公式如式（3）所示。

I_r=n*R-G

（3）

式中，n為超紅圖像的系數(shù)，針對蘋果目標(biāo)的識別，一般有n>l，針對本文獲取的圖像目標(biāo)，經(jīng)過大量測試后，本研究選擇n=1.3。

利用紅色調(diào)信息增強(qiáng)對圖1（a）進(jìn)行處理的結(jié)果如圖2所示，其中圖2（a）為所得的超紅圖像，可見經(jīng)過充分利用紅色調(diào)信息，可以較好地去除背景信息的影響，突出果實(shí)目標(biāo)區(qū)域。圖2（b）為利用Otsu自適應(yīng)閾值二值化后的結(jié)果，可見經(jīng)過二值化處理后，成熟蘋果的部分被很好地提取了出來。圖2（c）為對圖2（b）濾波、去除噪聲后的圖像，可見大部分果實(shí)目標(biāo)均得到了較好地識別，目標(biāo)外側(cè)輪廓均得到了較好地提取，有利于后續(xù)進(jìn)行目標(biāo)的定位。

果實(shí)目標(biāo)的精確定位是實(shí)現(xiàn)采摘機(jī)器人準(zhǔn)確采摘的基礎(chǔ)。對于蘋果目標(biāo)，一般將其近似為圓形目標(biāo)，快速而準(zhǔn)確地檢測類圓目標(biāo)在計算機(jī)視覺領(lǐng)域，特別是自動檢驗(yàn)和裝配領(lǐng)域有著廣泛的應(yīng)用前景。Hough變換方法是檢測圓及類圓目標(biāo)的有效方法。利用Hough圓變換算法對圖2（c）進(jìn)行處理后的結(jié)果如圖2（d）所示，經(jīng)過處理后，基本可以完整的定位至果實(shí)目標(biāo)區(qū)域，但經(jīng)過二值化處理后的目標(biāo)多存在空洞、分割不完整及輪廓不平滑等問題，故而其定位效果還有待進(jìn)一步提高。果實(shí)目標(biāo)的邊緣輪廓是目標(biāo)識別和定位的關(guān)鍵信息，受分割算法的影響，分割后的目標(biāo)輪廓存在大量偽輪廓，為了去除其對目標(biāo)識別的影響，本研究利用參考文獻(xiàn)所提出的輪廓曲率方法進(jìn)行處理，以實(shí)現(xiàn)果實(shí)目標(biāo)的精確定位。

2 基于輪廓曲率特征的果實(shí)識別與定位

2.1 輪廓曲率法的基本原理

蘋果目標(biāo)在果實(shí)花萼和果柄連線兩側(cè)的區(qū)域輪廓較為平滑，輪廓曲率的變化較小，而果實(shí)、花萼區(qū)以及輪廓非平滑區(qū)域，其輪廓曲率變化較大。因此，將若干段完整的蘋果輪廓進(jìn)行提取，通過判斷其曲率特征的變化，即可尋找到適合的輪廓段進(jìn)行目標(biāo)定位。

假設(shè)輪廓線上某一點(diǎn)為p₁（x_{1122233311圖3為輪廓曲率示意圖，其中，θi（i=1，2）為分割點(diǎn)p1的切線角。按照上述輪廓曲率計算方法，以輪廓線左上方的點(diǎn)作為起始點(diǎn)，按逆時針方向?qū)μO果輪廓線進(jìn)行跟蹤，間隔采樣并計算曲率。采樣點(diǎn)之間較為平坦的曲線相對應(yīng)的曲率變化較小，其曲率的變化反映了輪廓線的變化情況，通過分段計算曲率即可將實(shí)現(xiàn)果實(shí)目標(biāo)輪廓線的識別，并可將其看作圓弧進(jìn)行圓擬合：（1）當(dāng)目標(biāo)輪廓線上存在一段或多段圓弧且采樣點(diǎn)較少時舍去；（2）當(dāng)只有一段圓弧時，圓弧所在圓的半徑R，為圓弧上采樣點(diǎn)的平均曲率，再由幾何關(guān)系確定圓心的位置從而得到擬合圓；（3）當(dāng)有多段圓弧時，分別對所有圓弧按照第2條進(jìn)行操作，取包含目標(biāo)像素點(diǎn)的個數(shù)最多的圓作為擬合圓。}

2.2 定位中心點(diǎn)的選取及采摘點(diǎn)的確定方法

中心點(diǎn)的準(zhǔn)確判斷是果實(shí)目標(biāo)精確定位的又一關(guān)鍵因素，目前關(guān)于圓心坐標(biāo)的確定方法主要有基于Hough變換及其改進(jìn)方法和基于幾何方法的圓心確定方法等。其中最常用的方法是找出已分割目標(biāo)的外接矩形，通過矩形對角線交點(diǎn)的交集來確定圓心。該方法簡單方便但會導(dǎo)致極大的誤差。本文采用利用切線性質(zhì)求取圓心的方法，首先作邊緣圖的切線，然后作與切線垂直的直線，如此重復(fù)求得大量的直徑數(shù)據(jù)，由于所選取的邊緣為足夠平滑，其直徑相交于某個小區(qū)域，故而可利用該方法在這個小區(qū)域內(nèi)搜索圓心坐標(biāo)值。

由于果實(shí)生長的隨機(jī)性，特別是當(dāng)多個果實(shí)疊加在一起時可能導(dǎo)致某些果實(shí)采摘點(diǎn)偏離過中心的垂直線，所以需要找到一種簡單方便的定位方法來定位采摘點(diǎn)。具體做法是逐行掃描每個蘋果，每個果實(shí)都是類圓目標(biāo)，所以掃描結(jié)果會先增大后減小，找到距離最大的行，則蘋果的采摘點(diǎn)（即果柄）就在掃描結(jié)果最大行的垂直平分線上。具體效果如圖4所示。其中圖4（a）為原始圖像，圖4（b）為果柄位置（及采摘點(diǎn)）圖像，可見利用該方法基本可以實(shí)現(xiàn)果實(shí)采摘點(diǎn)的定位。

3 試驗(yàn)結(jié)果與分析

為了驗(yàn)證文中所使用算法的有效性，利用在自然場景下所獲取的50幅富士蘋果目標(biāo)圖像進(jìn)行算法的測試。在所選擇的樣本中，部分目標(biāo)存在遮擋、重疊等影響。

3.1 識別準(zhǔn)確性分析

采摘機(jī)器人需要對自然光照條件下的蘋果進(jìn)行識別工作。根據(jù)情況不同，進(jìn)行了多組試驗(yàn)以驗(yàn)證本研究算法的適用性。蘋果果實(shí)的識別率可定義如下：

平均識別率=識別出的蘋果/圖像中蘋果的總個數(shù)×100%

（15）

利用文中所述所得到的部分結(jié)果如圖5所示。其中圖5（a）為部分遮擋情況，圖5（b）為部分遮擋且未完全成熟情況，圖5（c）為無遮擋向光情況，圖5（d）為果實(shí)間部分遮擋情況，圖5（e）為含遠(yuǎn)景部分遮擋情況，圖5（f-j）分別對應(yīng)測試圖像的試驗(yàn)結(jié)果。

3.2 識別結(jié)果統(tǒng)計

依據(jù)上述算法，分別選取25幅全景和近景圖像，對算法進(jìn)行試驗(yàn)統(tǒng)計，部分全景圖像識別結(jié)果如表1所示。蘋果總數(shù)為5個人對同一幅全景圖像主觀計數(shù)的平均值，識別個數(shù)為擬合圓的數(shù)目。全景圖像蘋果識別率約為83.6%。誤差產(chǎn)生的原因主要有：（1）部分蘋果在圖像中的可觀測表面較小，被當(dāng)作小目標(biāo)去除；（2）樹葉或枝條的遮擋把蘋果分為幾個部分，每部分被當(dāng)作獨(dú)立蘋果進(jìn)行處理將引起誤差；（3）蘋果為準(zhǔn)球形果實(shí)，用圓擬合會帶來誤差。對于近景圖像，只對面積最大的蘋果進(jìn)行分析，識別率較高約為91.5%，果柄識別率為88.4%。

4 結(jié)論

蘋果目標(biāo)的準(zhǔn)確識別和精確定位是研制蘋果采摘機(jī)器人必須解決的關(guān)鍵問題。為了實(shí)現(xiàn)自然場景下蘋果目標(biāo)的識別與定位，在HIS顏色空間確定蘋果目標(biāo)與圖像背景的色調(diào)信息具有較大區(qū)別的前提下，利用超紅圖像較好地實(shí)現(xiàn)了蘋果目標(biāo)的識別，結(jié)合輪廓曲率方法得到目標(biāo)定位的基本參數(shù)，同時根據(jù)富士蘋果的生理特征，采用逐行掃描的方式實(shí)現(xiàn)了采摘點(diǎn)的定位。試驗(yàn)結(jié)果表明，利用文中算法所得到的目標(biāo)識別與定位成功率在80%以上，基本滿足采摘作業(yè)的需求，充分證明了文中算法的有效性。但也可以發(fā)現(xiàn)，該算法對于多蘋果重疊目標(biāo)及遮擋蘋果目標(biāo)的識別效果較差，尚待進(jìn)一步研究。