閆建偉 蘇小東 趙源 劉進(jìn)平
摘要:利用圖像顏色特征,分割高粱胚芽鞘種子圖像,確定高粱種子輪廓矩,根據(jù)其輪廓矩確定高粱種子質(zhì)心坐標(biāo),然后根據(jù)高粱胚芽鞘圖像顏色特征對圖像進(jìn)行顏色分割,獲取高粱胚芽鞘圖像,計算高粱胚芽鞘輪廓極點坐標(biāo),再選取距離質(zhì)心最遠(yuǎn)的2個坐標(biāo)作為高粱胚芽鞘輪廓近似直線端點,連接2個端點作為胚芽鞘近似直線。最后根據(jù)高粱種子輪廓質(zhì)心坐標(biāo)、胚芽鞘近似直線和切割距離(給定)確定胚芽鞘的姿態(tài)和高粱胚芽鞘的切割點位置。該方法能獲得高粱胚芽鞘和種子較為完整的圖像,并能準(zhǔn)確得出胚芽鞘的切割位置及姿態(tài)等相關(guān)信息。該研究方法為高粱胚芽鞘的識別與分析提供了準(zhǔn)確、快捷、可視的技術(shù)手段,為構(gòu)建胚芽鞘智能識別、定位的視覺系統(tǒng)及自動化切割裝置提供了技術(shù)支撐。
關(guān)鍵詞:高粱;胚芽鞘;顏色特征;識別;切割位置
中圖分類號: TP391.4 文獻(xiàn)標(biāo)志碼: A 文章編號:1002-1302(2019)23-0252-05
胚芽鞘是單子葉植物所特有的,是一種鞘狀結(jié)構(gòu)。胚芽鞘具有保護(hù)胚芽中幼小的葉和生長錐的作用,同時含有葉綠體,出土后既能進(jìn)行光合作用,又對幼苗的獨立生活起著重要的作用[1]。在胚芽鞘培養(yǎng)及胚芽鞘相關(guān)研究領(lǐng)域,胚芽鞘的快速準(zhǔn)確識別是一項十分重要的工作。傳統(tǒng)的胚芽鞘識別及切割位置的判斷主要依靠工作人員的經(jīng)驗,判斷的準(zhǔn)確度和速度主要依賴于判斷者的主觀意識,其合理性和科學(xué)性有明顯缺點,且人工識別切割胚芽鞘具有效率低、精度低等缺點。
機(jī)器視覺經(jīng)過60多年的快速發(fā)展,逐漸成為一種較為成熟的先進(jìn)技術(shù),也是近幾年來受到國內(nèi)外研究者較多關(guān)注的研究熱點,研究人員利用圖像的顏色特征和形態(tài)學(xué)等知識探討和分析了彩色圖像的分割[2-10]、分類[11-20]與定位[21-30]。湖南工業(yè)大學(xué)的石偉在基于機(jī)器視覺的紙張計數(shù)方法研究及其應(yīng)用中提出1種基于K均值聚類的紙張精確計數(shù)方法,可以很好地進(jìn)行紙張的準(zhǔn)確計數(shù),計數(shù)準(zhǔn)確率達(dá)99%[31]。華南理工大學(xué)的李春在基于機(jī)器視覺的焊接工件識別與焊接軌跡校正方法研究中研究了圖像預(yù)處理技術(shù),包括灰度轉(zhuǎn)換、濾波去噪、閾值處理、形態(tài)學(xué)運算及邊緣檢測等。通過對圖像進(jìn)行預(yù)處理,可以濾去噪聲,增強(qiáng)目標(biāo)信息,使其具有一定的魯棒性[32]。國外研究者利用機(jī)器視覺做了相關(guān)研究,將機(jī)器視覺應(yīng)用到各個領(lǐng)域,并取得了不錯的效果。2016年印度農(nóng)作物處理技術(shù)研究所(IICPT)的Vithu等在利用機(jī)器視覺的糧食檢測研究中發(fā)現(xiàn),視覺系統(tǒng)可以快速準(zhǔn)確地檢測糧食的質(zhì)量[33]。加拿大薩斯克切溫省大學(xué)工程學(xué)院化學(xué)與生物研究所的Shrestha等利用機(jī)器視覺技術(shù)預(yù)測小麥淀粉酶的活躍性,取得了較好的預(yù)測效果[34]。
數(shù)字圖像處理技術(shù)在高粱胚芽鞘方面目前暫無相關(guān)研究,因此,研究高粱胚芽鞘圖像識別技術(shù)和切割位置判斷是一項非常重要的研究課題。本研究以高粱胚芽鞘的顏色特征為依據(jù),結(jié)合高粱胚芽鞘生長特點及形態(tài)學(xué)特征對高粱胚芽鞘進(jìn)行快速識別及切割位置的判斷。
1 材料與方法
1.1 圖像采集
高粱種子的培育地點為貴州大學(xué)西校區(qū)農(nóng)學(xué)院種子種苗培育實驗室,培養(yǎng)設(shè)備為光照培養(yǎng)箱,培養(yǎng)條件為水培、無光照、溫度25.6~28.6 ℃。培養(yǎng)時間選在2018年1月8日上午。圖像采集于2018年1月10日、1月12日在實驗室內(nèi)進(jìn)行。利用尼康(Nikon)D750相機(jī)獲得小麥圖像共15幅(高粱樣本從培養(yǎng)皿中隨機(jī)選取15個),圖片格式為JPG,分辨率為1 024×683PPI(像素數(shù))。圖1-a于2018年1月12日 09:00 拍攝獲得,圖1-b在2018年1月10日09:00拍攝獲得。在PC(個人計算機(jī))上完成高粱胚芽鞘的識別算法開發(fā),PC機(jī)配置為Inter CoreTM i5-6200U、CPU2.3 GHz、內(nèi)存4 GB,基于Windows 7操作系統(tǒng),編程工具為Python3.6+Opencv3.3.1,開發(fā)環(huán)境為PyCharm 2017.3。
1.2 樣本分析
不同培養(yǎng)時間的胚芽鞘,在形狀、顏色和大小等方面有著較大區(qū)別。圖1-a為培養(yǎng)時間為94 h的高粱胚芽鞘圖像,其胚芽鞘、須根生長得較好,胚芽鞘末端為黃色,比較容易通過顏色特征進(jìn)行圖像分割;圖1-b為培養(yǎng)時間為48 h的高粱胚芽鞘圖像,整個胚芽鞘比較小,并且胚芽鞘和須根區(qū)分不明顯,整體尺寸小,后續(xù)進(jìn)行切割位置和姿態(tài)判斷也相對較為困難,所以在本研究算法中,筆者選擇生長較好的高粱胚芽鞘圖像(圖1-a)作為試驗樣本。
1.3 顏色空間的選取
HSV(hue/saturation/value,色度/飽和度/純度)色彩模型是根據(jù)顏色的直觀特性,由Smith在1978年創(chuàng)建的一種顏色空間[35]。HSV空間(圖2)比RGB(R:紅色;G:綠色;B:藍(lán)色)顏色空間更接近人們的經(jīng)驗和對色彩的感知,可以通過HSV的取值來理解判斷圖像的顏色、深淺和明亮程度,HSV消除了3個分量的相關(guān)性,可以分別處理而且是相互獨立的[36-37],所以本研究采用HSV顏色空間。HSV模型的H、S、V與RGB顏色模型轉(zhuǎn)換公式如下:
H=G-BMAX-MIN×60°(R=MAX)
2+B-RMAX-MIN×60°(G=MAX)
4+R-GMAX-MIN×60°(B=MAX)
S=MAX-MINMAX
V=MAX。
(1)
式中:MAX=max(R、G、B);MIN=min(R、G、B);R、G、B為RGB顏色空間的3個分量值,R、G、B∈[0,255],H∈[0°,360°],S∈[0,255],V∈[0,255],R、G、B歸一化到范圍[0,1]時,H∈[0°,360°],S∈[0,1],V∈[0,1]。
1.4 圖像分割
高粱胚芽鞘由高粱種子、種子根和胚芽鞘3個部分組成,根部為亮白色(與種子連接的部分與種子的顏色相近),高粱
種子為紫紅色,胚芽鞘末端以黃色為主要顏色。高粱胚芽鞘3個部分的顏色區(qū)分比較明顯,可以通過顏色特征進(jìn)行圖像分割,進(jìn)而獲得種子的完整輪廓圖像。
1.4.1 高粱種子圖像分割 根據(jù)高粱種子的顏色特征和HSV空間顏色分量范圍,確定H、S、V分割閾值[式(2)],進(jìn)而進(jìn)行圖像分割,獲得預(yù)分割圖像(圖3-b)。預(yù)處理圖像中的噪聲通過面積閾值去噪進(jìn)行處理,最后獲得高粱種子的完整圖像(圖3-c)。試驗證明,面積去噪閾值取1 000時,去噪效果最好,所以面積閾值取1 000。
low_aim=np.array([0,43,46])
high_aim=np.array([10,255,255])。
(2)
式中:low_aim為下閾值;high_aim為上閾值。
1.4.2 高粱胚芽鞘圖像分割 根據(jù)高粱胚芽鞘顏色特征和HSV空間顏色分量范圍,確定H、S、V分割閾值,詳見式(3),進(jìn)而進(jìn)行圖像分割,獲得預(yù)分割圖像(圖4-b)。預(yù)處理圖像中的噪聲通過腐蝕和面積閾值去噪進(jìn)行處理,最后獲得高粱胚芽鞘的完整圖像(圖4)。試驗證明,面積去噪閾值取100時的去噪效果最好,所以面積閾值取100。
low_aim=np.array([26,43,46])
high_aim=np.array([77,255,255])。
(3)
式中:low_aim為下閾值;high_aim為上閾值。
1.5 切割位置的確定和姿態(tài)判斷
1.5.1 計算種子輪廓質(zhì)心坐標(biāo) 針對已分割的高粱種子圖像特征,按照灰度化→二值化→計算輪廓矩→得到輪廓質(zhì)心
等步驟(圖5)。二值化采用Ostu方法,又稱最大類間差方法,高粱種子輪廓矩和質(zhì)心坐標(biāo)由式(2)計算得出。
Hu提出了評價旋轉(zhuǎn)和大小尺度變化不變矩,常用于形狀識別、刻畫事物的形狀特征[38],在連續(xù)情況下,圖像密度分布函數(shù)為f(x,y),那么圖像的p+q階的中心距定義如下:
mpq=∫∞-∞∫∞-∞(x-x)p(y-y)qf(x,y)
x=m10m00,y=m01m00。
(4)
式中:x、y代表圖像質(zhì)心;f(x,y)是(i,j)的灰度值;p、q=0,1,2,…。
1.5.2 繪制胚芽鞘輪廓近似直線 針對已分割高粱胚芽鞘圖像特征,按照灰度化→二值化→獲取輪廓→計算輪廓極點坐標(biāo)→繪制輪廓近似直線等步驟進(jìn)行處理。極點表示目標(biāo)輪廓的最高、最下、最右和最左點,4個極點中選擇距高粱種子最遠(yuǎn)點作為輪廓近似直線端點,然后連接端點和高粱種子質(zhì)心繪制高粱胚芽鞘輪廓近似直線(圖6-c)。在OpenCV-python中輪廓極點(以元組形式儲存)計算函數(shù)為
topmost=tuple(cnt[cnt[:,:,1].argin()][0])
bottommost=tuple(cnt[cnt[:,:,1].argmax()][0])
rightmost=tuple(cnt[cnt[:,:,0].argmax()][0])
leftmost=tuple(cnt[cnt[:,:,0].argin()][0])。
(5)
1.5.3 切割點的計算和胚芽鞘姿態(tài)的確定 “1.5.2”節(jié)中已經(jīng)獲得胚芽鞘輪廓近似直線,選擇胚芽鞘輪廓端點(離種子質(zhì)心距離較大的輪廓極點)為基準(zhǔn)點,在胚芽鞘頂端1/3的位置切割后胚芽鞘生長最快[39],所以切割距離定為胚芽鞘長度的1/3,傾斜角度根據(jù)胚芽鞘輪廓近似直線獲得。
XOY為像素坐標(biāo)系(圖7-a),A、B為直線端點(離高粱種子距離最遠(yuǎn)和最近的2個點),D(xd,yd)為切割點。設(shè)A點坐標(biāo)為(XA,YA),B點坐標(biāo)為(XB,YB),直線斜率為K,直線傾斜角度為θ,直線方程為y=Kx+b,(XDatum_point,YDatum_point)為基準(zhǔn)點坐標(biāo)(離種子質(zhì)心距離最大的輪廓極點)。
(1)當(dāng)胚芽鞘輪廓近似直線為傾斜狀態(tài)時,有下式:
K=YB-YAXB-XA
θ=arctanKπ×180
b=YDotum_point×K×XDatum_point
yd=YDatum_point-YA-YB3
xd=yd-bK。
(6)
式中:YB-YA≠0,XB-XA≠0;d為切割點。
(2)當(dāng)胚芽鞘輪廓近似直線為水平狀態(tài)時,有下式:
YB-YA=0
θ=0
yd=YB=YA
xd=XDatum_point±|AB|3。
(7)
式中:|AB|為高粱胚芽鞘輪廓近似直線長度,當(dāng)高粱種子質(zhì)心坐標(biāo)在基準(zhǔn)點左側(cè)時,即x (3)胚芽鞘輪廓近似直線為豎直狀態(tài)時,有下式:
XB-XA=0
θ=90
yd=YDatum_point±|AB|3
xd=XDatum_point。
(8)
式中:當(dāng)高粱種子質(zhì)心坐標(biāo)在基準(zhǔn)點下方時,即y 2 結(jié)果與分析
本研究在培養(yǎng)盤中隨機(jī)選取在光照培養(yǎng)箱水培后的15個高粱種子圖像作為試驗樣本,培養(yǎng)時間為94 h(2018年1月8日11:00至2018年1月12日09:00),胚芽鞘平均長度為5 cm,圖像大小為1 024×683,背景色為黑色。用本研究方法對實際拍攝的真彩色高粱胚芽鞘圖像進(jìn)行分割和姿態(tài)確定。如表1所示,試驗成功率為100%,圖像處理平均耗時 0.055 s,能夠滿足今后胚芽鞘切割設(shè)備視覺系統(tǒng)的速度要求。
3 討論與結(jié)論
本研究在HSV顏色空間下通過高粱胚芽鞘的顏色特征分別對高粱種子和胚芽鞘進(jìn)行圖像分割,獲得種子和胚芽鞘的完整分割圖像,并根據(jù)高粱胚芽鞘形態(tài)特征,提出1種胚芽鞘切割位置和姿態(tài)的確定方法。試驗結(jié)果表明,本研究方法可以簡單有效地對高粱胚芽鞘、種子進(jìn)行圖像分割,胚芽鞘的識別成功率和切割位置計算準(zhǔn)確率均達(dá)到100%,能夠滿足胚芽鞘切割裝置視覺系統(tǒng)的要求。
本試驗從胚芽鞘培養(yǎng)盤中的大量胚芽鞘中隨機(jī)選取15個進(jìn)行試驗具有代表性,圖像分割算法和胚芽鞘姿態(tài)的判斷方法具有客觀性和可重復(fù)性,利用本研究圖像分割算法只需改變圖像分割H、S、V分量閾值,就可以應(yīng)用于濟(jì)麥、玉米和小麥等不同品種或者種類的胚芽鞘的圖像分割,高粱胚芽鞘姿態(tài)判斷方法可以為其他單子葉植物(具有胚芽鞘)胚芽鞘姿態(tài)判斷提供理論參考和依據(jù)。
對不同培養(yǎng)時間的高粱胚芽鞘進(jìn)行圖像分割效果對比可知,培養(yǎng)94 h左右的胚芽鞘生長較好,圖像分割效果好,可以很好地進(jìn)行切割位置判斷,在后續(xù)胚芽鞘圖像識別分割和胚芽鞘切割設(shè)備試驗時可以選擇此時期的高粱胚芽鞘樣本作為試驗樣本。
4 結(jié)語
本研究方法具有較好的適應(yīng)性,因此基于顏色特征在不同種類胚芽鞘圖像分割中是值得研究的。本研究提出的胚芽鞘分割算法及胚芽鞘切割位置和姿態(tài)的判斷方法具有一定的研究意義和實用價值,補(bǔ)充了圖像處理技術(shù)在胚芽鞘方面的應(yīng)用,并為后續(xù)胚芽鞘自動切割裝置搭建機(jī)器視覺系統(tǒng)提供了技術(shù)支撐。
參考文獻(xiàn):
[1]陳愛國,陳進(jìn)紅. 胚芽鞘的伸長機(jī)理和生理生態(tài)響應(yīng)[J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(自然科學(xué)版),2002,33(4):438-441.
[2]吳 鑫,王桂英,叢 楊. 基于顏色和深度信息融合的目標(biāo)識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2013,29(增刊1):96-100.
[3]翟瑞芳,方益杭,林承達(dá),等. 基于高斯HI顏色算法的大田油菜圖像分割[J]. 農(nóng)業(yè)工程學(xué)報,2016,32(8):142-147.
[4]楊蜀秦,寧紀(jì)鋒,何東健. 一種基于主動輪廓模型的連接米粒圖像分割算法[J]. 農(nóng)業(yè)工程學(xué)報,2010,26(2):207-211.
[5]任守綱,馬 超,謝 忠,等. 基于分水嶺和梯度的蝴蝶蘭圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報,2012,28(9):125-129.
[6]Ren D Y,Jia Z H,Yang J,et al. A practical GrabCut color image segmentation based on bayes classification and simple linear iterative clustering[J]. IEEE Access,2017,5:18480-18487.
[7]Chen M,Ludwig S A. Color image segmentation using fuzzy C-regression model[J]. Advances in Fuzzy Systems,2017(2):1-15.
[8]Ananth C,Senthilkani A S,Gomathy S K,et al. Color image segmentation using IMOWT with 2D histogram grouping[J]. International Journal of Computer Science and Mobile Computing,2014,3(5):1-7.
[9]Jaffar M A,NaveedN,Ahmed B,et al. Fuzzy c-means clustering with spatial information for color image segmentation[C]// IEEE. International Conference on Electrical Engineering.Lahore,Pakistan,2009:9.
[10]Shi J,Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(8):888-905.
[11]閆小梅,劉雙喜,張春慶,等. 基于顏色特征的玉米種子純度識別[J]. 農(nóng)業(yè)工程學(xué)報,2010,26(增刊1):46-50.
[12]陶華偉,趙 力,奚 吉,等. 基于顏色及紋理特征的果蔬種類識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2014,30(16):305-311.
[13]周云成,許童羽,鄭 偉,等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(15):219-226.
[14]司永勝,喬 軍,劉 剛,等. 蘋果采摘機(jī)器人果實識別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2010,41(9):148-153.
[15]宋 健,王 凱,張曉琛. 茄子采摘機(jī)器人目標(biāo)識別與測距方法[J]. 實驗室研究與探索,2015,34(9):54-57.
[16]Jeon Y,Kim J. Active convolution:learning the shape of convolution for image classification[J]. Computer Vision and Pattern Recognition. IEEE,2017.
[17]Wang K Z,Zhang D,Li Y,et al. Cost-effective active learning for deep image classification[J]. IEEE Transactions on Circuits & Systems for Video Technology,2017,27(12):2591-2600.
[18]Zhao Z Q,Jiao L C,Zhao J Q,et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition,2017,61:686-701.
[19]Huang G,Chen D,Li T,et al. Multi-scale dense networks for resource efficient image classification[C]//IEEE. Computer Vision and Pattern Recognition,2017.
[20]Wang F,Jiang M Q,Qian C,et al. Residual attention network for image classification[C]//IEEE. Computer Vision and Pattern Recognition. Honolulu,HI,USA,2017:6450-6458.
[21]房愛青,李長勇,黃艷華,等. 草莓采摘機(jī)器人的草莓定位算法研究[J]. 現(xiàn)代制造技術(shù)與裝備,2016(10):90-92.
[22]王糧局,張立博,段運紅,等. 基于視覺伺服的草莓采摘機(jī)器人果實定位方法[J]. 農(nóng)業(yè)工程學(xué)報,2015,31(22):25-31.
[23]張 浩,陳 勇,汪 巍,等. 基于主動計算機(jī)視覺的茶葉采摘定位技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2014,45(9):61-65.
[24]司永勝,喬 軍,劉 剛,等. 蘋果采摘機(jī)器人果實識別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2010,41(9):148-153.
[25]項 榮,應(yīng)義斌,蔣煥煜. 田間環(huán)境下果蔬采摘快速識別與定位方法研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2013,44(11):208-223.
[26]張鐵中,陳利兵,宋 健. 草莓采摘機(jī)器人的研究:Ⅱ.基于圖像的草莓重心位置和采摘點的確定[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報,2005,10(1):48-51.
[27]Qian X,Zhao Y,Han J. Image location estimation by salient region matching[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2015,24(11):4348-4358.
[28]呂繼東,趙德安,姬 偉,等. 蘋果采摘機(jī)器人對振蕩果實的快速定位采摘方法[J]. 農(nóng)業(yè)工程學(xué)報,2012,28(13):48-53.
[29]王 政,張微微,張 賓,等. 基于聚類算法對象提取的快速定位采摘機(jī)器人設(shè)計[J]. 農(nóng)機(jī)化研究,2016,38(7):45-49.
[30]周海峰,朱云霞. 改進(jìn)主動形狀模型彩色圖像目標(biāo)定位研究[J]. 計算機(jī)仿真,2012,29(9):308-311.
[31]石 偉. 基于機(jī)器視覺的紙張計數(shù)方法研究及其應(yīng)用[D]. 株洲:湖南工業(yè)大學(xué),2016.
[32]李 春. 基于機(jī)器視覺的焊接工件識別與焊接軌跡校正方法研究[D]. 廣州:華南理工大學(xué),2015.
[33]Vithu P,Moses J A. Machine vision system for food grain quality evaluation:a review[J]. Trends in Food Science & Technology,2016,56:13-20.
[34]Shrestha B L,Kang Y M,Baik O D. A two-camera machine vision in predicting alpha-amylase activity in wheat[J]. Journal of Cereal Science,2016,71:28-36.
[35]蘭 紅,胡 涵. 結(jié)合HSV空間的改進(jìn)二維Otsu免疫組化圖像分割[J]. 計算機(jī)應(yīng)用與軟件,2016,33(5):200-203.
[36]蔡式東,楊 芳. 一種基于HSV空間和粗糙集的彩色圖像分割方法[J]. 光電子技術(shù),2011,31(1):5-9.
[37]張 錚,徐 超,任淑霞,等. 數(shù)字圖像處理與機(jī)器視覺:Visual C+ + 與Matlab實現(xiàn)[M]. 北京:人民郵電出版社,2014:282-283.
[38]Hu M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory,1962,8(2):179-187.
[39]李秀軍,梁 爽. 以玉米胚芽鞘為材料的“生長素的發(fā)現(xiàn)”系列實驗[J]. 生物學(xué)通報,2016,51(9):52-54.
收稿日期:2018-09-13
基金項目:中央引導(dǎo)地方科技發(fā)展專項資金(編號:黔科中引地[2017]4005);貴州省科技計劃(編號:黔科合成果[2016]4008號);貴州大學(xué)培育項目(編號:黔科合平臺人才[2017]5788-43)。
作者簡介:閆建偉(1980—),男,河南鹿邑人,博士,副教授,主要從事特色自動化裝備、機(jī)器視覺、智能裝備研究。E-mail:jwyan@gzu.edu.cn。