董芙楠, 郭 輝, 潘江如, 韓英杰

(1.新疆工程學院控制工程學院,新疆 烏魯木齊 830039;2.新疆農(nóng)業(yè)大學機電工程學院,新疆 烏魯木齊 830052)

紅花是一種特色復合經(jīng)濟作物,且有良好的醫(yī)藥功效[1]。紅花的采摘周期比較短,一般在12～15天[2]左右,因此需要及時采收。由于紅花生長姿態(tài)參差不齊、莖稈高低不一以及花球分布不均勻等,致使采收機械無法實現(xiàn)自動化采摘。因此,開發(fā)一種智能化高效紅花采摘裝置對紅花產(chǎn)業(yè)有重要意義,其中紅花的識別是實現(xiàn)紅花自動化采摘的關鍵。日本岡山大學的Kondo[3]在對番茄圖像的識別中,在預處理時,利用番茄的顏色信息,以RGB圖像的R、G分量的差異對圖像進行了處理。得到了很好的分割效果,但是對樹枝遮擋的部分無法分割。Woebbecke等[4]也對RGB顏色空間下的顏色信息進行研究。將R 、G、B分量歸一化,即使在光照不均勻的情況下,也可以減少光照影響。除此之外,HSI顏色模型中的色調(diào)分量也可以較好地將綠色植株分離出來,但是該方法耗時較長。Bulanon等[5]在RGB顏色空間中發(fā)現(xiàn)R分量中果實與背景有最大的差異,結合圖像的直方圖中雙峰值差異得到了超過88%的分割準確率。該算法的準確率受成像時的光照條件的影響,在光照可控的條件下可以獲得較高的準確率。Wei等[6]針對智能農(nóng)機采摘機器人的視覺系統(tǒng),提出了一種改進的最大類間方差法全局閾值算法,在復雜環(huán)境下對4種水果圖像進行了識別,取得了較好的識別效果。閆彬等[7]對獼猴桃的RGB圖像采用K-means聚類算法和最大類間方差法相結合提取出獼猴桃的果萼。閆建偉等[8]采用RGB色差分量法和YCbCr顏色空間模型對刺梨圖像進行兩次閾值分割,最終刺梨果實識別正確率均高于92%。但是目前對于利用機器視覺識別和定位紅花的研究較少,張?zhí)煊碌萚9]對紅花圖像識別采用色差因子R-B區(qū)分目標和背景,并采用最大類間方差法(OTSU算法)進行圖像分割,但是模型的魯棒性不強,需要進一步優(yōu)化。本文針對大田背景下成熟期的紅花提出了一種改進的色差模型結合Otsu法,可快速準確識別目標紅花,為紅花采摘機器人視覺導航系統(tǒng)的開發(fā)提供理論基礎。

1 試驗材料和方法

1.1 樣本采集

采集環(huán)境為自然光照下的上午11點和下午17 點。采集時間為2021年7月7日至2021年7月15日。大田紅花可以進行采摘的標準:當紅花花冠裂片開放,雄蕊開始枯黃,紅花花冠由黃變鮮紅油潤時,進行紅花花冠的采摘。盛開期呈紅黃色或紅色,主要以紅色為主,本文樣本為開放 2～3 天的紅花,符合紅花花絲的采摘要求。紅花圖像采集設備由Stereolabs廠家推出的ZED 2K Stereo Camera(ZED2)的雙目深度相機[10]、筆記本計算機以及移動平臺等組成。ZED2相機參數(shù)見表1。

表1 ZED2相機基本參數(shù)

室外采集環(huán)境下以大田環(huán)境為代表,紅花的生長環(huán)境復雜,采集圖像的背景也是復雜多樣的,主要有綠葉、花冠托、莖稈和土壤四種背景。如圖1所示。這四種背景元素的大小和形狀也不相同。

圖1 不同背景下的紅花圖像

1.2 色差模型的構建

為了分析紅花采摘條件的顏色特征,需要采集大量的紅花的圖像樣本。在顏色空間下對紅花特征值分析,最后利用統(tǒng)計學原理得到顏色空間下滿足采摘條件的紅花顏色閾值,為全局閾值分割Otsu[11]法提供數(shù)據(jù)基礎。

1.2.1 顏色空間下特征值分析

為了分析紅花圖像在顏色空間下的特征規(guī)律,利用Image pro-Plus6.0圖像處理軟件在圖像中畫一條黑色橢圓剖線,線內(nèi)像素覆蓋紅花花絲、莖葉、土壤、花冠托等要素,如圖2(a)所示。此剖線圖能夠反應出要素在特征值上的區(qū)別。在軟件Color選項中分別選擇RGB顏色空間[12]和HSV顏色空間[13],分量圖分別如圖2(b)和2(c)所示,其中在RGB顏色空間下紅色曲線代表R分量,綠色曲線代表G分量,藍色曲線代表B分量。同理在HSV顏色空間下紅色曲線代表H分量,綠色曲線代表S分量,藍色曲線代表V分量。

圖2 紅花圖像剖線分量圖

采集100張光照強度不同的紅花圖像,對紅花區(qū)域像素進行分析,對各分量的均值和標準差進行計算和統(tǒng)計[14]。在RGB顏色空間下通過統(tǒng)計計算,紅花區(qū)域R均值在242～252之間,標準差在2.8～10.4之間;B均值在4.4～6.6之間,標準差在5.6～7.8;G均值范圍比較大,標準差最大為51.8。由此可見R、B值分布區(qū)間比較集中, G均值范圍比較大,數(shù)據(jù)離散。原因是盛開期的紅花主要以橘紅色為主,且色素分布集中,而綠色素和藍色素主要集中在莖葉和花冠托中。通過計算結果分析可知,圖2(b)分量圖中,4個黑色方框標記的是紅花花絲區(qū)域。原因是像素在150～320、580～720、1 000～1 200以及1 600～1 760區(qū)間,R、G、B數(shù)值區(qū)別較大,且R值處于最大水平處,B值在最低端。

同理在HSV顏色空間下通過統(tǒng)計計算,H、S、V分量均值范圍分別為0～30、200～255、220～255之間。圖2(c)分量圖中像素區(qū)間分別在150～350、560～740、1 000～1 900以及1 600～1 750之間,H、S、V數(shù)值區(qū)別較大,且H值處于最低端,S、V值走勢相同,且遠遠大于H值。結合圖2(b)和2(c)分量圖的像素區(qū)間范圍,幾乎吻合,由此確定,4個黑色方框為紅花花絲區(qū)域。

RGB顏色空間是最基本的模型。R、G、B三分量是高度相關的,任意的可見顏色光都可以由紅色、綠色以及藍色三種基本色相混合而成。 HSV顏色空間和RGB顏色空間可以相互轉(zhuǎn)換,前者與后者不同之處在于,HSV顏色模型不將特定的顏色分解為RGB三種顏色,只描述HSV三種顏色基本屬性,將光強信息與顏色信息分離表示,色度值保持較穩(wěn)定,對周圍環(huán)境光線強弱不敏感[15]。

1.2.2 基于最小二乘原理的圖像分割色差模型

色差模型是利用圖像中不同顏色通道之間的色差特點或規(guī)律對圖像像素進行遮蔽或抽取的一種技術[16]。一般在對圖像前景(目標)進行提取時,通常先將彩色圖片轉(zhuǎn)換成灰度圖,再通過色差模型將灰度圖轉(zhuǎn)變成前景和背景分開的色差圖[17]。所以如何將色彩空間下的彩色圖片轉(zhuǎn)化成突顯出感興趣目標輪廓的色差圖是本文的關鍵。

通過1.2.1節(jié)分析,對于紅花花絲區(qū)域的R、B參數(shù)分布區(qū)間集中穩(wěn)定且R和B的變化趨勢接近,非紅花區(qū)域則沒有以上特性。紅花花冠區(qū)域的這種特性非常適合利用最小二乘法[18]擬合來建立R和B之間的關系,利用這種關系可以在灰度圖中將花絲與背景區(qū)分,具體方法如下。

利用紅花花絲區(qū)域的R、B參數(shù),建立基于最小二乘法的R、B擬合模型。如圖3所示,R、B數(shù)據(jù)區(qū)間穩(wěn)定符合一元線性回歸特點。實線是在建立模型之前對數(shù)據(jù)進行了處理,默認置信度為95%對數(shù)據(jù)進行處理。直線表達式如式(1)。

圖3 最小二乘法R、B分量值線性擬合圖

R=0.4681B+224.1880

(1)

為了在轉(zhuǎn)化灰度圖片時,紅花區(qū)域灰度值盡量最小,建立色差C的計算模型如式(2)。

C=0.4681B+224.1880-R

(2)

利用式(2)色差可以將彩色圖片轉(zhuǎn)換成突顯前景的灰度圖片。

基于色差模型的圖像分割方法,其計算流程如下:

(1)利用色差模型對圖像中的背景進行弱化,更有效地突出了目標,增大了前景與背景的灰度差異,此時的灰度圖片稱為色差圖;

(2)根據(jù)色差圖,做出相應的灰度直方圖并分析;

(3)結合灰度直方圖,利用固定閾值,將目標從背景中準確分割出來。

1.2.3 基于改進的色差模型Otsu分割方法

自適應閾值分割法Otsu法具有較好的算法適用性,Otsu法是利用不斷迭代的計算把圖像的灰度層次分成2個部分,使2個部分之間的灰度值差異最大。

傳統(tǒng)的色差模型分割法,對前景和背景區(qū)別度大的圖像,識別效果很好,但是在室外環(huán)境下,尤其在大田背景下易受光照和其他雜質(zhì)的影響,造成誤識別。對于智能化圖像分割,固定閾值需要在不同環(huán)境下手動更改分割閾值,不能實現(xiàn)實時性。因此,為了減少光照影響,提高識別速度,在色差法處理之前,可以先加入一種基于 HSV 色彩空間的像素檢測篩選處理。首先將RGB顏色空間轉(zhuǎn)換為HSV顏色空間,利用H、S、V閾值范圍清除明顯不是紅花的像素,初步對圖像像素進行篩選,縮小后期色差法遍歷的像素個數(shù),提高效率。然后,利用色差模型處理篩選過的紅花圖像得到背景干凈的色差圖,繪制并分析灰度直方圖。最后利用全局閾值Otsu法實現(xiàn)實時圖像分割,前景和背景完全分離,效果和速率得到很大的提升。

2 紅花圖像識別試驗及結果分析

2.1 圖像預處理

圖像預處理[19]關系到圖像分割算法的效率和準確性。文中采用高斯、均值、中值及雙邊濾波這四種圖像預處理方法對圖像濾波、雙邊濾波能很好地保留邊緣信息,所以本文選擇雙邊濾波對圖像進行處理。

2.2 圖像識別

對比分析1.2.2節(jié)和1.2.3節(jié)分割法的分割效果,隨機對采集的樣本圖像進行分割,紅花圖像如圖4(a)所示。

圖4 色差圖

分別對圖4(b)和圖4(c)色差圖做灰度直方圖,如圖5(a)和圖5(b)所示,兩個圖中均顯示兩個峰值以區(qū)分前景和背景,在兩個峰值之間存在最優(yōu)閾值。圖5(a)像素分布范圍廣,說明背景因素多,其對應的二值圖如圖6(a)所示。但圖5(b)目標與背景分界明顯,背景干凈,幾乎不存在雜質(zhì),灰度值突變,效果顯著,其對應的二值圖,如圖6(b)所示。

經(jīng)二值化處理后的紅花圖像仍然具有少量的噪聲干擾,并且存在有大量因紅花花絲紋理特性帶來的黑色空洞。為了執(zhí)行后期的區(qū)域連通與最小外接矩[20]操作,有必要對空洞進行填充。本文擬采用的形態(tài)學處理方法[21]為先進行閉運算,后開運算。效果圖如圖7所示。

根據(jù)采集樣本的多樣性,選擇不同時段以及不同角度具有代表性的紅花樣本圖片,其中包含若干不等的紅花花簇,如圖8(a)～(d)所示。

圖8 紅花樣本圖片

利用改進的色差模型Otsu分割法對以上幾種圖像進行分割,同樣采用先進行閉運算,后開運算的形態(tài)學處理方法,分割效果如圖9所示。

圖9 改進的色差模型Otsu分割法效果圖

采用Sobel邊緣算子檢測[22]的方法檢測分割圖,得到紅花的邊緣輪廓清晰。在提取出紅花邊緣后,采取最小外接矩的方法標記出目標紅花和重心點,如圖10(a)所示,此時紅花的主要識別工作已經(jīng)完成。將標記效果融合到未經(jīng)處理的紅花原圖中,即可清晰明了地將紅花位置表達出來,顯示效果如圖10(b)所示。

圖10 目標紅花的標記與融合

為了驗證本文識別的準確性,首先手動用矩形框標記出目標區(qū)域,如圖11所示,并利用程序求出目標區(qū)域面積,并標記重心點,如圖12(a)所示。紅花識別標準是圖中肉眼可分辨紅花花絲部分,即進行標記,利用本文識別方法,將形態(tài)學處理后的不規(guī)則白色輪廓區(qū)域用最小外接矩包圍如圖12(b)所示,求出矩形框的面積,然后與手動標記面積進行對比,面積誤差小于8%,且重心坐標誤差小于6%,紅花識別被認定為準確識別。重心點坐標(x,y)的xy方向的誤差、面積誤差公式分別如式(3)、式(4)和式(5)。

圖11 手動標記效果

(3)

(4)

(5)

隨機選取10組包含不同花簇的圖像樣本進行試驗,重心點坐標誤差和面積誤差試驗結果記錄見表2、表3。

表2 重心點坐標誤差記錄表

表3 面積誤差記錄表

2.3 結果分析

基于改進的色差模型分割法,用全局閾值法Otsu與固定閾值法作對比,識別準確率和效率都得到很大提升,而且實現(xiàn)了實時性。改進的色差模型結合Otsu算法可以準確地識別出紅花目標,背景包含信息少,雜質(zhì)幾乎被濾除。利用本文分割方法,采用誤差法評價標準,對10組不同光照背景下的紅花圖像進行識別試驗,驗證結果顯示紅花識別準確率均高達90%以上。

3 討論與結論

對試驗結果進行分析可以發(fā)現(xiàn),利用改進的色差模型分割后色差圖背景干凈,幾乎無雜質(zhì),噪聲干擾小。從灰度直方圖可以直觀地看出前景和背景灰度值分布明顯,存在最優(yōu)閾值,結合Otsu法,實現(xiàn)實時分割。為了驗證本文方法的可行性,利用手動標記紅花的方法,將面積和重心點標注,與本文方法分割出來的面積和重心點做對比,重心點坐標小于6%,面積誤差小于8%,認定完成識別,識別準確率高達90%。本文方法能識別背景復雜的紅花圖像,利用HSV顏色空間篩選方法進行像素檢測篩選處理,降低了光照和其他背景雜質(zhì)的影響,提高了準確率和效率。因此,本文建立的色差模型圖像分割的方法,能很好地將紅花目標識別出來,并獲取重心點,為今后紅花空間定位奠定基礎。