權(quán)龍哲,肖云瀚,王建宇,趙成順,師常瑞
(東北農(nóng)業(yè)大學(xué)工程學(xué)院,哈爾濱 150030)
精準(zhǔn)農(nóng)業(yè)技術(shù)應(yīng)用廣泛,除草技術(shù)研究已向智能化方向發(fā)展[1]。作為除草裝備智能化作業(yè)前提,苗草模式識別成為國內(nèi)外研究熱點[2]。苗草模式識別主要以圖像處理技術(shù)為基礎(chǔ),提取并分析田間圖像中苗草顏色、形狀、紋理特征或光譜特性[3-4],再用模式識別算法(如貝葉斯決策理論[5])區(qū)分作物與雜草位置、種類與密度。苗草識別算法多集中于雜草形態(tài)、紋理、光譜等特征研究[6-7],但這些特征識別算法復(fù)雜,數(shù)據(jù)維數(shù)高,運算速度慢,影響識別精度,不利于除草裝備導(dǎo)航與靶向除草應(yīng)用。此外,岑益郎認(rèn)為,光照強度變化影響雜草識別精度[8]。抑制光照等環(huán)境因素影響分割精度[9]。但分割算法對光照適應(yīng)性有限,算法隨光照變化自適應(yīng)調(diào)節(jié)研究較少。
為降低苗草模式識別算法及識別特征復(fù)雜程度,本文采用新型煙花智能群體算法,利用作物生長呈線性分布特點,優(yōu)化綠色植物區(qū)域坐標(biāo)數(shù)據(jù),定位作物與雜草位置;在傳統(tǒng)RGB顏色特征分割算法基礎(chǔ)上,引入加權(quán)系數(shù),將分割中使用固定顏色特征組合方式改為隨參數(shù)可調(diào),提高算法魯棒性、光照適應(yīng)性。
不同對象與區(qū)域顏色特征差異性較明顯,針對田間圖像分割問題,利用綠色植株與土壤背景顏色特征差異,實現(xiàn)目標(biāo)分割提取。彩色圖像顏色信息通過顏色模型獲取,主要顏色模型包括RGB、HIS等。其中RGB顏色模型是處理彩色圖像最常見顏色模型,利用模型中R、G、B顏色特征因子不同組合形式,用作目標(biāo)分割。
本文采集100張農(nóng)田圖像,圖像分辨率為360×480,圖中包含不同雜草和作物等綠色植物,土壤等顆粒。利用Matlab軟件獲取ROI(Region of Interest)區(qū)域,統(tǒng)計各種顏色特征因子及其組合在每個區(qū)域內(nèi)像素均值,詳細(xì)統(tǒng)計信息如表1所示。
表1 基于RGB顏色空間農(nóng)田圖像的像素值Table 1 Pixel values from the farmland images based on RGB color space
由表1可知,在RGB顏色模型中,綠色植物G分量像素值較大,土壤等顆粒區(qū)域R分量值明顯高于其他兩分量;此外本文還統(tǒng)計另兩種顏色組合類型|G-B|、|G-R|像素值,結(jié)果顯示,土壤等顆粒區(qū)域中兩類組合像素值差別較小,綠色植物區(qū)域中|G-B|組合對應(yīng)像素值明顯高于|G-R|。為更深入研究這兩類顏色組合關(guān)系,分別采用兩類組合方式作圖像分割,如圖1所示。
圖1 基于RGB顏色空間的不同顏色指數(shù)的增強效果Fig.1 Enhancement effect used the color indices based on RGB color space
由圖1可知,橫縱坐標(biāo)為圖像像素坐標(biāo),圖中凸起部分為綠色植物區(qū)域,黃色部分為圖像分割后保留區(qū)域。可見兩種顏色組合方式均可適當(dāng)增強綠色植物區(qū)域;由圖1c可知,|G-R|組合對土壤等顆粒背景抑制作用效果更加明顯。盡管兩種顏色組合均具有增強綠色目標(biāo)作用,但由于顏色組合形式固定,受田間光照等環(huán)境因素影響,圖中黃色區(qū)域像素較少,分割效果未達到理想狀態(tài)。
綠色目標(biāo)分割是雜草模式識別基礎(chǔ)和前提,分割質(zhì)量影響最終識別結(jié)果、導(dǎo)航精度及靶向滅草效果。田間圖像中除植物(作物、雜草)外,還有土壤、碎石,光照強度變化等因素導(dǎo)致綠色目標(biāo)分割效果不理想。
為有效抑制光照變化對分割精度影響,本文改進傳統(tǒng)固定參數(shù)顏色特征因子組合分割算子|GB|+|G-R|[10],引入加權(quán)系數(shù)(見式1)。
式中,IGray為像素點灰度值(pixel);R、G、B分別像素點紅、綠、藍顏色分量值(pixel);ε為加權(quán)系數(shù)。該算子通過設(shè)置加權(quán)因子數(shù)值,可對不同光照下田間圖像分割處理。
為驗證此方法對不同光照圖像的分割效果,對比|G-R|+|G-B|方法及聚類分割的處理效果與本文方法效果,聚類分析方法參照高國琴方法[11]處理,最后計算分割圖像中綠色目標(biāo)含量,本文綠色目標(biāo)含量計算方式為分割部分像素點數(shù)量占總像素點數(shù)量的百分比。為測量田間光照強度,本文使用搜博公司SM3590B RS485光照度溫濕度傳感器,量程0~65 535 lx。試驗選擇陰天(7 500 lx)和晴天(65 000 lx)兩種自然光照環(huán)境下,將M30BUSB工業(yè)相機置于距地面高度1 m處,采集相同場景田間圖像分別用3種不同方法作分割處理,得到相應(yīng)參數(shù)(見表2)。由表2可知,在兩種光照強度下,應(yīng)用本文算法處理得到綠色目標(biāo)含量無明顯差異;采用|G-R|+|G-B|分割所得含量百分比僅為個位數(shù),遠小于聚類算法與改進算法,無法達到目標(biāo)分割提取要求。綠色植物含量隨加權(quán)系數(shù)變化曲線見圖2。
表2 兩種典型光照強度下綠色目標(biāo)含量百分比Table 2 Percentage of green parts under two typical light intensities
圖2 加權(quán)系數(shù)-綠色植物含量變化曲線Fig.2 Curves with Weighting Coefficient-Percentage
由圖2可知,隨ε逐漸增大,含量百分比逐漸增大,到達分割系數(shù)后曲線趨于平緩。經(jīng)試驗后發(fā)現(xiàn),加權(quán)系數(shù)大于3.54與2.46時,灰度圖像將出現(xiàn)噪點,故將該值定為圖像在此光強下分割系數(shù)。
田間圖像灰度化目的是識別、分割與提取綠色植物特征,抑制土壤背景,增強綠色區(qū)域與土壤顆?;叶炔町怺12]。如圖3所示,圖3b中采用本文方法分割圖像,綠色植物區(qū)域(黃色部分)顯著增多,與背景區(qū)域具有明顯像素差,說明本文算法可明顯增強綠色植物區(qū)域,且較好抑制土壤背景區(qū)域。
采用|G-R|+|G-B|與改進方法分割效果見圖4。由灰度圖像可見,相同田間場景不同光強圖像,本文方法對光照適應(yīng)性較好,明顯區(qū)分綠色植物區(qū)域與土壤等顆粒背景,分割效果良好。
圖3 基于RGB顏色空間的不同顏色指數(shù)的優(yōu)化增強效果Fig.3 Optimized enhancement effect of different color indicesbased on RGB color space
圖4 獲得在不同顏色指數(shù)和光照強度下的灰度圖Fig.4 Gray-level images obtained with different color indices and light intensity
為提取并分離圖像中壟間雜草與作物,本文利用田間作物線性分布特征,采用煙花爆炸算法優(yōu)化求解壟間雜草與作物位置數(shù)據(jù)。煙花爆炸優(yōu)化算法(Fireworks Explosion Optimization)是模仿煙花爆炸方式對解空間加以并行彌散式搜索的新型群體智能算法。在D維解空間內(nèi)可行域Ω中,隨機產(chǎn)生Xi(i=1,2,…,N)等N個數(shù)據(jù)作為初始煙花爆炸點,每個煙花代表解空間中一個解,對每一個Xi爆炸操作,在煙花炸點一定鄰域范圍內(nèi)隨機搜索。適應(yīng)度較好爆炸火花直接保留到下一代,對適應(yīng)度較差個體采用一定選擇概率保留,下次爆炸直到迭代停止,得到最優(yōu)解集。
煙花算法需滿足基本條件是最優(yōu)解及其鄰域內(nèi)其他解具有相似性質(zhì)。本文利用苗帶線性分布特征,優(yōu)化搜索得到最優(yōu)解(目標(biāo)解)集中于作物及其附近,算法可保留適應(yīng)度較好數(shù)據(jù)(即秧苗位置坐標(biāo)),淘汰適應(yīng)度較差數(shù)據(jù)(壟間雜草坐標(biāo)),實現(xiàn)苗草區(qū)分。本文暫不考慮株間雜草影響。
2.2.1 爆炸算子
算法運行前先在D維可行域Ω內(nèi)隨機產(chǎn)生N個數(shù)據(jù)作為初始煙花爆炸點,每個煙花代表解空間中一個解。作為爆炸算子,根據(jù)該煙花相對于種群中其他煙花適應(yīng)度值計算得到每個煙花爆炸半徑和爆炸產(chǎn)生火花數(shù)目。
為區(qū)分不同位置煙花,適應(yīng)度較好(即適應(yīng)度值較小),在較小范圍內(nèi)產(chǎn)生更多火花,具有對于該煙花位置強大局部搜索能力;反之,適應(yīng)度值較大煙花獲取相對較少資源,在較大范圍內(nèi)產(chǎn)生數(shù)量較少火花,具有全局搜索能力。
第i(i=1,2,…,N)個煙花xi產(chǎn)生爆炸火花個數(shù)為:
式中,m為常數(shù);f為適應(yīng)度函數(shù);fmax為煙花適應(yīng)度最差值,ξ為一個極小常數(shù),可避免除零操作。爆炸半徑rit為:
式中,r0為初始預(yù)設(shè)最大半徑值;fmin為煙花適應(yīng)度最優(yōu)值。
為使具有不同適應(yīng)度煙花產(chǎn)生不同數(shù)量火花,約束火花數(shù)量,限制火花個數(shù)如下:
煙花 xi第 t次迭代產(chǎn)生第 j(j=1,2,…,)個火花k(k=1,2,…,D)維坐標(biāo)(t),即爆炸產(chǎn)生火花迭代公式:
式中rand()為隨機函數(shù)。
2.2.2 選擇策略
為使種群中優(yōu)秀信息傳遞到下一代煙花種群,在產(chǎn)生火花后,算法會在包括煙花和火花集合中選擇一定數(shù)量個體作為下一代煙花。適應(yīng)度較好爆炸火花會直接保留到下一代,適應(yīng)度差個體以一定選擇策略保留,其選擇概率為
式中:d(xi,xh)為個體xi與個體xh之間歐式距離;R(xi)為個體xi與其他個體之間距離之和;K為候選集合。
最后,將數(shù)據(jù)一并組合形成下一代迭代集合N,對集合N重復(fù)上述操作,直到迭代次數(shù)t=T,結(jié)束算法。
本文將圖像二維坐標(biāo)平面作為解空間(k=2),計算二維像素坐標(biāo),建立綠色目標(biāo)區(qū)域二維質(zhì)心坐標(biāo)數(shù)據(jù)集合Ω。
首先利用最大類間方差法對分割圖像二值化與形態(tài)學(xué)處理,將二值圖橫向分為若干條形區(qū)域,經(jīng)驗證,約15份既可得到充足數(shù)據(jù),并保障運算效率。利用Matlab軟件對二值圖I及每個條形區(qū)域Iseg分別連通域檢測,分別按照正整數(shù)從小到大順序,在圖像中以從左到右、從上到下順序編號。計算每個白色區(qū)域在二值圖I與條形區(qū)域Iseg中連通域質(zhì)心坐標(biāo),標(biāo)記在條形區(qū)域Iseg中每個連通域在二值圖I坐標(biāo)系中質(zhì)心坐標(biāo)為(x,y)p,q。其中p為連通域在條形區(qū)域Iseg中序號,q為該連通域在原始圖像I中序號。
由于橫向分割過程會將植物邊緣橫向分割成多個水平分布連通域,獲取質(zhì)心橫坐標(biāo)差值較小,縱坐標(biāo)相同,增加數(shù)據(jù)量,降低算法計算效率。
本文將在二值圖I中屬于同一連通域,在同一條形圖像中質(zhì)心坐標(biāo)值取平均處理(如圖5所示),以最小順序數(shù)重新命名。將得到質(zhì)心坐標(biāo)作為元素建立集合Ω。
①在集合Ω中,隨機選取n組數(shù)據(jù)(xi,yi)(i=1,2,…,n),組成新集合N,將集合N中所有元素作為初始煙花炸點,設(shè)置適應(yīng)度函數(shù):
式中,xi1(t)為煙花xi(t)第t次迭代產(chǎn)生第j(j=1,2,…,Sit)個火花橫坐標(biāo);yi2(t)為縱坐標(biāo)。對于初代煙花炸點適應(yīng)度計算,選定(x0,y0)作為初代煙花適應(yīng)度計算參考點。記圖像中心點a,坐標(biāo)為(xa,ya),其鄰域U(a)內(nèi),設(shè)最靠近點a數(shù)據(jù)橫坐標(biāo)為參考點橫坐標(biāo)值;參考點縱坐標(biāo)y0=ya。后續(xù)迭代過程,計算爆炸火花均與當(dāng)代煙花爆炸點適應(yīng)度。
②爆炸操作:將適應(yīng)度函數(shù)代入式(2)(3)(5),計算每個煙花炸點(xi,yi)產(chǎn)生爆炸火花個數(shù)、爆炸半徑及火花坐標(biāo)
設(shè)置每次迭代爆炸搜索半徑為r/4、r/2、3r/4、r四類。
③選擇適應(yīng)度最優(yōu)N/2個煙花爆炸點及產(chǎn)生火花,剩余個體按照公式(6)與公式(7)選擇策略選擇;同時,隨機選取集合Ω中剩余質(zhì)心數(shù)據(jù),將數(shù)據(jù)組合形成下一代迭代集合N,操作集合N,直到迭代次數(shù)t=T,結(jié)束算法。
3.3.1 試驗方法
試驗采集100幅大豆3~5葉期圖像,此時期為雜草多發(fā)期,是除草關(guān)鍵時段。圖像中有且僅有一條完整作物行,作物行處在圖像縱向中心線附近。試驗方法設(shè)計如下,利用前文分割算法分割圖像綠色植物區(qū)域,將綠色植物與土壤背景分開,通過形態(tài)學(xué)濾波去除小噪點,利用最大類間方差法二值化處理;對二值圖像橫向分割,求各個連通區(qū)域質(zhì)心坐標(biāo)、最小外接矩形等,利用前文坐標(biāo)數(shù)據(jù)處理方法,減少坐標(biāo)數(shù)據(jù)量;利用煙花算法對坐標(biāo)數(shù)據(jù)優(yōu)化求解,算法最后迭代求解數(shù)據(jù)即為目標(biāo)解,識別結(jié)果為作物坐標(biāo);算法運算過程中淘汰質(zhì)心坐標(biāo)數(shù)據(jù),識別結(jié)果為雜草 坐標(biāo)。
3.3.2 試驗結(jié)果與分析
試驗硬件系統(tǒng)主要包括M30B USB工業(yè)相機,用于采集RGB彩色圖像;采用Inter Core(TM)i5 2.60GHz處理器,windows10操作系統(tǒng),軟件開發(fā)環(huán)境為Matlab2017b。煙花算法主要參數(shù)設(shè)定:初始煙花彈個數(shù)設(shè)為5。最大迭代數(shù)為T=50,初始預(yù)設(shè)半徑r0為8,參數(shù)m=10、a=0.8、b=0.04。試驗效果如圖6所示。
圖6 煙花算法圖像數(shù)據(jù)優(yōu)化過程Fig.6 Data optimization using fireworks algorithm
如圖6a所示,通過對二值圖像連通區(qū)域檢測得到質(zhì)心數(shù)據(jù)14個,并用外接矩形框選目標(biāo)區(qū)域;如圖6b中顯示,對圖像采用水平條帶分割,可獲得質(zhì)心數(shù)據(jù)增加到36個;經(jīng)坐標(biāo)處理后數(shù)據(jù)縮減至27個,處理后坐標(biāo)為圖6b、c中藍色標(biāo)出;算法最終優(yōu)化數(shù)據(jù)12個,將被判定為秧苗,其中2個數(shù)據(jù)被誤判為作物而保留,如圖6d所示。
算法優(yōu)化過程中淘汰數(shù)據(jù)15個,即被判定為壟間雜草,其中1個數(shù)據(jù)被誤判為雜草而淘汰,數(shù)據(jù)見表3。
計算算法相關(guān)識別率及誤判率,結(jié)果如表4所示。采用本文煙花算法苗草模式識別效果較理想。雜草與作物識別率分別為88.9%及100%,誤判率=誤判數(shù)據(jù)量/算法數(shù)據(jù)總數(shù),結(jié)果為11.1%。統(tǒng)計100幅圖像,實際作物與壟間雜草識別率分別為98.7%和89.5%。
表3 算法優(yōu)化數(shù)據(jù)Table 3 Data of algorithm optimization
表4 苗草識別率及誤判率Table 4 Recognition rate and false judgment rate of seedlings and weeds
本文算法適用于視覺導(dǎo)航技術(shù)與智能除草前期苗草模式識別。針對光照強度變化影響圖像分割效果,提出基于加權(quán)系數(shù)綠色目標(biāo)分割算法。結(jié)果表明,該算法在不同光照強度下均可有效分割作物與田間背景,保留完整綠色苗草信息,光照適應(yīng)性較好,為苗草模式識別提供良好處理環(huán)境;利用作物生長呈線性分布特征,采用新型煙花群體算法,實現(xiàn)作物與壟間雜草區(qū)分與定位。