李 林
(達(dá)州職業(yè)技術(shù)學(xué)院,達(dá)州,635001)
柑橘在自然生長(zhǎng)的過(guò)程中經(jīng)常會(huì)出現(xiàn)多個(gè)果實(shí)重疊到一起的情況,這對(duì)柑橘采摘機(jī)器人的視覺(jué)定位精度提出了更高的要求,如何對(duì)重疊果實(shí)進(jìn)行準(zhǔn)確分割與重建對(duì)于指導(dǎo)柑橘采摘機(jī)器人進(jìn)行果實(shí)采摘有著重要的意義[1-3]。針對(duì)重疊果實(shí)的分割與重建的問(wèn)題,Arefi等[4]通過(guò)分水嶺算法對(duì)重疊的西紅柿進(jìn)行分割。
針對(duì)以上問(wèn)題,本文提出了一種基于角點(diǎn)檢測(cè)與曲率特征分析的分割。該方法首先提取分割區(qū)域,然后進(jìn)行顏色空間轉(zhuǎn)換并采用Otsu進(jìn)行分割,通過(guò)邊緣檢測(cè)算法以及角點(diǎn)檢測(cè)算法實(shí)現(xiàn)對(duì)輪廓及輪廓角點(diǎn)的快速提取。
獲取重疊柑橘目標(biāo)區(qū)域作為重疊柑橘分割及重建的首要步驟,為了獲取重疊柑橘目標(biāo)區(qū)域,本文采用Otsu分割算法對(duì)提取的ROI在Lab顏色空間下a通道圖像進(jìn)行分割以實(shí)現(xiàn)重疊柑橘目標(biāo)區(qū)域的獲取,其完整的重疊柑橘目標(biāo)區(qū)域獲取流程如下所示:
圖像獲取——提取ROI——Lab顏色空間轉(zhuǎn)換—a通道分離—Otsu分割—形態(tài)學(xué)處理—重疊區(qū)域獲取。
Otsu算法是一種最佳閾值分割方法,通過(guò)計(jì)算前景和背景的最大類間方差求出最佳分割閾值,將圖像分為前景和背景兩個(gè)部分。該算法的具體步驟如下:
Step1:計(jì)算灰度值為i的點(diǎn)的概率
P(i)=N(i)/N
其中圖像包含L個(gè)灰度級(jí)(0,L,…,L-1),灰度值為i的像素點(diǎn)數(shù)為Ni,圖像像素點(diǎn)的總數(shù)為N=N0+N1+…+N(L-1)
Step2:計(jì)算類間方差σ=α1*α2(μ1-μ2)^2
其中,閾值t將整幅圖像分為背景區(qū)c1和前景區(qū)c2兩類;aj為cj類的面積與圖像總面積之比,α1=∑P(i)i→t,α2=1-α1;μi為ci類的均值,μ1=∑i*P(i)α10→t,μ2=∑i*P(i)/α2t+1→L-1
Step3:求取最佳分割閾值
該法通過(guò)選擇最佳閾值T使類間方差最大,即:令Δμ=μ1-μ2,σb=max{α1(t)*α2(t)Δμ^2}
為了提升分割效率以及減弱光照對(duì)分割效果的影響,首先進(jìn)行了ROI提取,在用Otsu算法對(duì)提取的ROI重疊柑橘目標(biāo)進(jìn)行分割之前,對(duì)比不同顏色空間下不同通道圖像分割的效果,圖1向我們展示了3種不同顏色空間的效果,圖2-4為不同顏色空間單通道圖分割效果。對(duì)比圖2-4不同顏色空間下單通道分割效果可以看出RGB顏色空間以及HSV顏色空間下的單通道分割效果類似,均不能很好地將柑橘和枝葉分割開,相較于前面兩個(gè)顏色空間下單通道分割效果而言,Lab顏色空間下的單通道分割效果得到了明顯的改善,但Lab顏色空間下的L通道分割后仍有枝葉等背景,Lab顏色空間下的b通道分割后,很好地將枝葉等背景去除,但相較于Lab顏色空間下的a通道分割效果而言仍有一些噪聲的存在,相比之下Lab顏色空間下的a通道分割效果最佳,所以本文最終選擇了Lab顏色空間下的a通道圖像進(jìn)行分割,以達(dá)到有效地保留圖像邊緣信息的目的,以便于后續(xù)的圖像處理。
Otsu分割后的預(yù)處理
由圖5可以看到,經(jīng)Otsu算法對(duì)Lab空間下a通道分割后得到的重疊柑橘目標(biāo)區(qū)域圖像存在少量小面積孔洞及邊緣噪聲,為了消除這些干擾以便于后續(xù)處理,其處理過(guò)程如圖5所示。圖5a為對(duì)其進(jìn)行了孔洞填充處理之后得到的圖像,可以看出圖4中的小面積孔洞已經(jīng)被有效地去除。為了更好地保留重疊柑橘區(qū)域的邊緣信息,將圖5a進(jìn)行了邊緣平滑處理,得到的圖像如圖5b所示,可見(jiàn)其邊緣變得平滑。并在此基礎(chǔ)上將得到的圖5b圖像與ROI圖像進(jìn)行與運(yùn)算得到圖5c圖像,可以看到經(jīng)過(guò)上述處理之后重疊柑橘目標(biāo)區(qū)域被完整地提取了出來(lái)。
圖1 不同顏色空間效果
圖2 RGB顏色空間下單通道分割效果
圖3HSV顏色空間下單通道分割效果圖5預(yù)處理效果圖圖4Lab顏色空間下單通道分割效果
為了進(jìn)一步驗(yàn)證算法的有效性,選用了十組無(wú)遮擋重疊柑橘圖像作為實(shí)驗(yàn)樣本,進(jìn)行了分割實(shí)驗(yàn)并與Hough變換重建進(jìn)行了對(duì)比,其中Hough變換重建方法的步驟為:找出重疊柑橘目標(biāo)輪廓交點(diǎn),通過(guò)連接交點(diǎn)將輪廓進(jìn)行分割,然后對(duì)分割后得到的輪廓通過(guò)Hough變換進(jìn)行輪廓的重建。實(shí)驗(yàn)中所用圖像均為JPG格式,4032×3016 pixels大小。其中高光照?qǐng)D像為3幅,中光照?qǐng)D像為3幅,低光照?qǐng)D像為4幅。為了得到重疊柑橘的真實(shí)面積,本研究采用手動(dòng)移開遮擋柑橘并分別對(duì)其進(jìn)行單獨(dú)拍攝,最后對(duì)其面積求和的方法求取重疊柑橘的真實(shí)面積。本研究的實(shí)驗(yàn)過(guò)程均在3.1HZ處理器、10G內(nèi)存、64位操作系統(tǒng)的PC上完成,實(shí)驗(yàn)程序均在Opencv3.0環(huán)境下編寫、運(yùn)行。
為了實(shí)現(xiàn)重疊柑橘目標(biāo)的準(zhǔn)確分割,本文通過(guò)ROI提取、顏色空間轉(zhuǎn)換,并綜合運(yùn)用Otsu分割算法、Canny邊緣檢測(cè)算法等進(jìn)行了重疊柑橘目標(biāo)的分割與獲取。實(shí)驗(yàn)結(jié)果表明:
提取ROI減少了分割面積,提升了分割的效率,顏色空間的轉(zhuǎn)換降低了光照影響;Otsu分割算法作為一種自適應(yīng)最佳閾值分割的算法,可以進(jìn)一步削弱光照的影響。
本文提出的算法對(duì)無(wú)遮擋的重疊柑橘目標(biāo)實(shí)現(xiàn)了較好分割與獲取,但對(duì)于有枝葉遮擋的重疊柑橘目標(biāo)的分割與重建效果還沒(méi)有進(jìn)行實(shí)驗(yàn)驗(yàn)證,還有待進(jìn)一步研究。