卜俊怡,孫國祥,王迎旭,魏天翔,汪小旵

(南京農(nóng)業(yè)大學(xué)工學(xué)院/江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實(shí)驗(yàn)室,江蘇 南京 210031)

溫室高溫高濕的環(huán)境容易引發(fā)蟲害,害蟲的危害程度和種群密度監(jiān)測是科學(xué)防治決策的重要依據(jù)[1]。與人工計(jì)數(shù)這一傳統(tǒng)方式相比,計(jì)算機(jī)視覺獲取害蟲信息的方法更為快速和準(zhǔn)確,可為及時(shí)采取措施防治蟲害提供有效技術(shù)手段[2-4]。

目前,已有許多學(xué)者開展了基于圖像處理的害蟲計(jì)數(shù)研究工作[5-12],但對于實(shí)際田間采集圖像光照不均問題的研究還不夠充分。邱白晶等[13]分析蚜蟲區(qū)、綠葉區(qū)和蚜葉區(qū)的G分量特點(diǎn),通過閾值法分割圖像并對蚜蟲進(jìn)行計(jì)數(shù)。楊信廷等[14]通過提取HSI空間的I分量和L*a*b*空間的b分量,并利用Canny和Prewitt算子對圖像進(jìn)行邊緣分割,分離得到粉虱和薊馬。上述研究所用的分割方法雖然不同,但都是利用顏色空間的轉(zhuǎn)換來增強(qiáng)害蟲與背景的對比度以達(dá)到較為理想的分割結(jié)果。此類方法對于處理微弱光照不均現(xiàn)象效果較好,但對于處理光照不均較為嚴(yán)重的則效果不佳。近年來害蟲圖像識別技術(shù)也在不斷發(fā)展[15-20],如陸靜等[21]利用F-score評價(jià)方法從66個(gè)特征參數(shù)中選取10個(gè)最優(yōu)參數(shù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)以識別稻飛虱;張銀松等[22]利用改進(jìn)Faster-RCNN模型識別誘蟲板上的蚜蟲和潛葉蠅;Espinoza等[23]利用一種前饋多層人工神經(jīng)網(wǎng)絡(luò)識別粉虱和薊馬。上述識別方法準(zhǔn)確率都較高,但只對1種或2種害蟲進(jìn)行識別和計(jì)數(shù),不能滿足同時(shí)監(jiān)測多類害蟲的需要。

本研究針對光照嚴(yán)重不均問題提出了一種基于背景均勻化圖像的自適應(yīng)分割方法,提取誘蟲板害蟲區(qū)域,并提取害蟲顏色特征、形狀特征和紋理特征,利用一種基于隨機(jī)森林(random forest,RF)的圖像識別方法識別4類溫室番茄作物害蟲(煙粉虱、潛葉蠅、果蠅和蚜蟲),實(shí)現(xiàn)多類溫室番茄作物害蟲的準(zhǔn)確識別和計(jì)數(shù)。

1 材料與方法

1.1 誘蟲板圖像采集

溫室中危害番茄的主要蟲害是煙粉虱、潛葉蠅、果蠅和蚜蟲(圖1)。本試驗(yàn)在種植有‘黑玉一號’小番茄的玻璃溫室中安裝害蟲圖像采集裝置(圖2),其主要由不銹鋼框架、誘蟲板(20 cm×25 cm)、LED補(bǔ)光燈、三腳架和拍照盒(內(nèi)置分辨率為3 024×4 036的攝像頭)組成。根據(jù)害蟲趨色性原理利用黃色誘蟲板吸引害蟲,再由板上高黏度膠粘住害蟲以達(dá)到誘捕效果,通過定時(shí)拍攝誘蟲板圖像并將圖像傳輸至PC端進(jìn)行處理。

圖1 誘捕害蟲種類Fig.1 Species of trapping pest

圖2 害蟲圖像采集裝置Fig.2 Pest image acquisition device

害蟲圖像采集時(shí)間為2020年6月6日至7月18日,在此期間日平均氣溫較高,誘蟲板誘捕害蟲種類較為全面且數(shù)量較多。于6月6日在溫室內(nèi)懸掛5張誘蟲板,放置3 d后于6月8日利用圖像采集裝置拍攝這5張誘蟲板圖像用于訓(xùn)練害蟲識別模型。自6月9日至7月18日每天16:00采集圖像用于測試,每隔5 d更換1次誘蟲板。

1.2 基于誘蟲板圖像背景均勻化的自適應(yīng)分割方法

圖像中特定的、具有特殊性質(zhì)的單一或多個(gè)區(qū)域,稱之為目標(biāo)或前景;而其他部分則稱為圖像的背景。圖像分割是為了辨識和分析目標(biāo),將目標(biāo)從圖像中孤立出來的過程。在誘蟲板圖像處理中,將害蟲目標(biāo)與誘蟲板背景分割開來是最為關(guān)鍵的一步,分割的結(jié)果將直接影響后續(xù)目標(biāo)害蟲識別和計(jì)數(shù)的效果。

本試驗(yàn)環(huán)境導(dǎo)致采集到的誘蟲板圖像無法避免光照影響,原始誘蟲板圖像亮度不均,因此提出一種圖像背景均勻化預(yù)處理方法。通過對比發(fā)現(xiàn),RGB顏色模型的B分量可以增強(qiáng)白色煙粉虱與黃色誘蟲板的對比度,HSV顏色模型的V分量可以增強(qiáng)深色潛葉蠅等害蟲與誘蟲板的對比度,因此分別取原始誘蟲板圖像的RGB模型B分量和HSV模型V分量(為后續(xù)步驟統(tǒng)一,將V分量與255作差),得到誘蟲板灰度圖像;采用大小ω×ω的窗口逐行掃描圖像,對圖像先后進(jìn)行均值濾波和最小值濾波,得到誘蟲板背景圖像(經(jīng)試驗(yàn),ω=55為最優(yōu)窗口);按公式(1)[24]將誘蟲板灰度圖像變換為次均勻光照圖像,其目的在于縮小圖像局部背景的亮度變化范圍。

(1)

式中:Ip(i,j)為誘蟲板灰度圖像灰度值;Ib(i,j)為誘蟲板背景圖像灰度值;Is(i,j)為次均勻光照圖像灰度值。

由圖3可知:原始誘蟲板RGB圖像中陰影區(qū)與明亮區(qū)的交界區(qū)域在次均勻光照圖像中形成“亮帶”或“亮塊”(圖中由紅色方框標(biāo)出),背景亮度過高導(dǎo)致其與害蟲區(qū)域?qū)Ρ榷冗^小。

圖3 光照不均勻區(qū)域?qū)Ρ葓DFig.3 Comparison of uneven illumination areas

為實(shí)現(xiàn)此類區(qū)域背景均勻化,需了解其灰度值的變化特征。分析次均勻光照圖像的灰度值三維圖像(圖4)發(fā)現(xiàn),“亮帶”和“亮塊”區(qū)域灰度值在20～85灰度區(qū)間波動(dòng)。在20～30和55～85灰度區(qū)間灰度值波動(dòng)幅度微小,近似呈直線分布;在30～55灰度區(qū)間的灰度值基本呈線性分布。

圖4 次均勻光照圖像灰度值三維截面圖Fig.4 Three-dimensional section map of gray value of sub-uniform illumination image

結(jié)合上述依據(jù),對0～85灰度區(qū)間進(jìn)行分段調(diào)整。設(shè)20為最小背景灰度值,各灰度區(qū)間調(diào)整參數(shù)k的計(jì)算公式如式(2)所示。最后,通過調(diào)整公式(3)獲得最終均勻背景誘蟲板圖像。

(2)

(3)

式中:Iu(i,j)為均勻背景圖像灰度值,在20～30、30～55以及55～85區(qū)間圖像灰度依次收縮1倍、1～2倍和2倍,使背景灰度值在20～42.5區(qū)間波動(dòng),以達(dá)到均勻背景的效果。

經(jīng)背景均勻化操作后,害蟲目標(biāo)與誘蟲板背景對比度顯著增強(qiáng),再通過最大類間方差法確定閾值,對誘蟲板圖像進(jìn)行全局閾值分割,得到誘蟲板二值圖像;對二值圖像進(jìn)行形態(tài)學(xué)膨脹、孔洞填充和腐蝕算法處理,去除部分細(xì)微干擾,填補(bǔ)害蟲區(qū)域縫隙,使害蟲區(qū)域更加清晰連貫;將RGB顏色模型B分量圖像分割后得到的二值圖像與HSV顏色模型V分量圖像分割后得到的二值圖像融合,獲得最終誘蟲板二值圖像,標(biāo)定害蟲區(qū)域,為后續(xù)提取特征做好準(zhǔn)備。算法流程如圖5所示。

1.3 基于隨機(jī)森林的多類害蟲識別方法

1.3.1 溫室害蟲特征提取常用圖像特征包括顏色特征、形狀特征和紋理特征等,作為分類器的輸入,特征參數(shù)的好壞對分類器的泛化能力具有至關(guān)重要的影響。根據(jù)煙粉虱、潛葉蠅、果蠅和蚜蟲的圖像特點(diǎn)提取以下特征:

1)顏色特征:煙粉虱呈淡黃白色;潛葉蠅主要為灰褐色,腿、脛節(jié)呈灰黃色;果蠅蟲體以黃褐色居多,頭部復(fù)眼呈鮮紅色;有翅蚜蟲體色多為黑色。取RGB顏色模型、HSV顏色模型各分量的一階矩(共6個(gè)參數(shù))作為顏色特征。

2)形狀特征:煙粉虱體長0.85～0.91 mm,靜止時(shí)兩翅合攏呈屋脊?fàn)?潛葉蠅成蟲體長4～6 mm;果蠅屬小型蠅類,體長1.5～4.0 mm;蚜蟲體長1.5～4.9 mm,大多約為2 mm。取面積、周長、長軸長度、短軸長度、寬長比、復(fù)雜度、橢圓度和離心率8個(gè)參數(shù)作為形狀特征。

3)紋理特征:用刻畫圖像中重復(fù)出現(xiàn)的局部模式和排列規(guī)則反映害蟲的表面特性。較為經(jīng)典的紋理特征提取方法是灰度共生矩陣方法,其通過統(tǒng)計(jì)不同“灰度對”的共現(xiàn)頻率得到灰度共生矩陣,可通過一系列統(tǒng)計(jì)量表征矩陣特征。取害蟲灰度圖像的均值、對比度、均勻性、三階矩、相關(guān)性和熵6個(gè)參數(shù)作為紋理特征。

1.3.2 害蟲分類算法設(shè)計(jì)決策樹是一種利用樹形結(jié)構(gòu)進(jìn)行決策的算法,對于樣本數(shù)據(jù)根據(jù)特征進(jìn)行分叉,最終建立1棵樹,樹的葉子節(jié)點(diǎn)標(biāo)識最終決策。決策樹算法包括ID3、C4.5、CART等,其中,ID3算法采用信息增益Gain(S,A)最大的屬性作為分類屬性進(jìn)行分類,直到所有節(jié)點(diǎn)分類熵Entropy(S)值為0,分類熵和信息增益的定義如公式(4)和(5)所示。

(4)

(5)

式中:S為樣本;c為樣本類別數(shù);pi為目標(biāo)屬性的第i個(gè)值所對應(yīng)的樣本在總樣本S中所占的比例;V(A)為決策屬性A的值域;|Sv|為屬性A的值為v的樣本數(shù)量;|S|為總樣本數(shù)量。

C4.5算法是對ID3算法的改進(jìn),該算法加入了前剪枝的步驟并采用信息增益率來選擇決策屬性,定義如式(6)所示:

(6)

式中:|Si|為屬性A的值為i的樣本數(shù)量。

隨機(jī)森林的實(shí)質(zhì)是一個(gè)將決策樹用于袋裝算法(bootstrap aggregating,bagging)的模型,本文利用隨機(jī)森林算法識別害蟲,其步驟包括:

1)從樣本集中有放回隨機(jī)選擇m個(gè)樣本;

2)從所有特征中隨機(jī)抽取n個(gè)特征,對選出的樣本利用這些特征建立決策樹(經(jīng)對比,選擇C4.5算法);

3)重復(fù)以上兩步k次,得到k個(gè)決策樹形成隨機(jī)森林;

4)訓(xùn)練結(jié)束后,利用每棵決策樹對測試樣本進(jìn)行分類并采取投票的方式?jīng)Q定該樣本的最終分類。

2 結(jié)果與分析

2.1 誘蟲板圖像自適應(yīng)分割結(jié)果與分析

2.1.1 基于背景均勻化的圖像分割結(jié)果根據(jù)上述基于背景均勻化的圖像自適應(yīng)分割方法,得到誘蟲板圖像分割結(jié)果如圖6所示。其中圖6-a—d和圖6-e—h分別為RGB顏色模型條件下B分量灰度圖像和HSV顏色模型條件下V分量灰度圖像經(jīng)濾波后得到的誘蟲板背景圖像、背景規(guī)范化后的次均勻光照圖像以及對比度分段補(bǔ)償后的均勻背景誘蟲板圖像。將B分量灰度圖像和V分量灰度圖像二值化后融合得到最終誘蟲板二值圖像(圖6-j),對比原始誘蟲板RGB圖像(圖6-i)可知,本文設(shè)計(jì)的分割方法對處理害蟲目標(biāo)與背景對比度較差的圖像效果較好。

圖6 基于背景均勻化的誘蟲板圖像分割結(jié)果Fig.6 Segmentation result of trapping board image based on background homogenization

圖7為本文分割方法在不同光照強(qiáng)度下對誘蟲板的分割效果。其中,圖7-a—c分別為6月10日、6月 17日和6月19日3 d不同光照強(qiáng)度下所拍攝的誘蟲板RGB圖像,圖7-d—f則為對應(yīng)的誘蟲板二值圖像。由于篇幅限制無法列出全部40張誘蟲板圖像,但所選出的3張圖像具有一定的代表性,由圖可知本文方法對分割不同光照強(qiáng)度下的誘蟲板圖像具有較好的適應(yīng)性。

圖7 不同光照強(qiáng)度背景下誘蟲板圖像分割效果Fig.7 Segmentation effect of trapping board image in different light intensity

2.1.2 基于背景均勻化的圖像分割方法分析圖8-a—d分別為RGB顏色模型B分量灰度圖像和HSV顏色模型V分量灰度圖像未經(jīng)過背景均勻化預(yù)處理和經(jīng)過預(yù)處理的誘蟲板灰度值三維圖像,未經(jīng)預(yù)處理的背景區(qū)域呈山脈狀,與灰度值較低的目標(biāo)區(qū)域差異較小;而經(jīng)過預(yù)處理的背景區(qū)域呈平原狀,且與目標(biāo)區(qū)域的對比度明顯增強(qiáng)。經(jīng)預(yù)處理后所得的均勻背景誘蟲板圖像仍為灰度圖,本文通過最大類間方差法確定閾值分割圖像。為驗(yàn)證本文所提出的基于背景均勻化的自適應(yīng)分割方法的有效性,將此方法與Sauvola局部閾值法、Prewitt邊緣分割法以及k-means聚類法進(jìn)行對比(表1),以害蟲錯(cuò)誤提取率(error extraction rate,EER)、害蟲漏取率(pest missing rate,PMR)和分割準(zhǔn)確率(segmentation accuracy,SA)作為評判標(biāo)準(zhǔn),公式如下:

圖8 誘蟲板B分量和V分量灰度值三維圖像Fig.8 Three-dimensional(3D)gray value map of B component and V component of pest trapping board

EER=Nee/Nz

(7)

PMR=Nme/Nt

(8)

SA=Nce/Nt

(9)

式中:Nme為害蟲漏提取數(shù)量;Nee為害蟲錯(cuò)誤提取數(shù)量;Nce為害蟲正確提取數(shù)量;Nt為人工計(jì)數(shù)的實(shí)際害蟲總數(shù)量;Nz為自動(dòng)計(jì)數(shù)的害蟲總數(shù)量。

通過對比發(fā)現(xiàn),經(jīng)背景均勻化處理后的圖像分割效果明顯優(yōu)于未經(jīng)背景均勻化處理的圖像。經(jīng)背景均勻化處理后利用最大類間方差法分割的圖像平均害蟲錯(cuò)誤提取率最低,為4.89%,分割準(zhǔn)確率為 95.34%;Prewitt邊緣分割方法平均分割準(zhǔn)確率最高,但不足之處在于對圖像噪聲過于敏感,將噪聲分割成害蟲的情況較多,導(dǎo)致平均害蟲錯(cuò)誤提取率較高;Sauvola局部閾值法以單一像素點(diǎn)為中心,根據(jù)此像素點(diǎn)鄰域內(nèi)標(biāo)準(zhǔn)方差和灰度值計(jì)算該像素點(diǎn)的閾值,這一方法可以較好地分離目標(biāo)害蟲和背景,但同時(shí)也會(huì)產(chǎn)生較嚴(yán)重的“偽影”,導(dǎo)致分割出的目標(biāo)害蟲的形狀有所缺失,不利于下一步的識別工作;k-means聚類法其實(shí)質(zhì)也是按灰度值將前、后景分開,因此當(dāng)光照不均勻時(shí)此方法獲取的分割標(biāo)準(zhǔn)并不合適。

對比利用4種分割算法分割6月9日至7月18日所獲取的誘蟲板圖像得到的害蟲個(gè)數(shù)和人工計(jì)數(shù)結(jié)果(圖9)發(fā)現(xiàn),本文設(shè)計(jì)的分割算法得到的害蟲數(shù)量與人工計(jì)數(shù)結(jié)果最為相近;Prewitt邊緣分割算法分割出的害蟲數(shù)量大多比人工計(jì)數(shù)結(jié)果略多;Sauvola局部閾值法分割結(jié)果在單日害蟲數(shù)目較多的情況下與人工計(jì)數(shù)結(jié)果相差較大;k-means聚類法的計(jì)數(shù)結(jié)果比人工計(jì)數(shù)結(jié)果總體偏小。

另外,通過對比發(fā)現(xiàn),光照越弱時(shí)往往害蟲漏取率越高,這是因?yàn)楫?dāng)光照較弱時(shí)煙粉虱與誘蟲板的顏色對比非常不明顯,即使對圖像進(jìn)行了對比度補(bǔ)償,在圖像暗區(qū)還是存在煙粉虱的漏取情況;當(dāng)光照越強(qiáng)時(shí)一般害蟲錯(cuò)誤提取率越高,這是由于誘蟲板黏劑產(chǎn)生的反光點(diǎn)亮度過高而被錯(cuò)誤識別為煙粉虱害蟲?？偟膩碚f,相較于弱光照強(qiáng)度,當(dāng)光照強(qiáng)度較強(qiáng)時(shí)害蟲分割準(zhǔn)確率較高。

2.2 誘蟲板害蟲分類識別結(jié)果與分析

2.2.1 誘蟲板害蟲分類結(jié)果選取6月6日至6月8日采集的5張誘蟲板圖像中400頭煙粉虱、360頭潛葉蠅、180頭果蠅和200頭蚜蟲,按6∶4比例隨機(jī)分為訓(xùn)練樣本(即240頭煙粉虱、216頭潛葉蠅、108頭果蠅和120頭蚜蟲)和測試樣本(160頭煙粉虱、144頭潛葉蠅、72頭果蠅和80頭蚜蟲)。提取并歸一化害蟲顏色特征、形狀特征和紋理特征共20個(gè)特征參數(shù)作為分類器的輸入,隨機(jī)選取特征,生成500棵決策樹,訓(xùn)練隨機(jī)森林,分類效果如圖10所示。

圖10 隨機(jī)森林算法的分類效果Fig.10 Classification effects of random forest method1. 煙粉虱Bemisia tabaci;2. 潛葉蠅Chromatomyia horticola;3. 果蠅Drosophila melanogaster;4. 蚜蟲Laingia psammae.

2.2.2 害蟲識別方法分析設(shè)F1={顏色特征向量},F2={形狀特征向量},F3={紋理特征向量},組合不同特征向量輸入分類器,對比C-SVC、BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的識別準(zhǔn)確率(表2)發(fā)現(xiàn),輸入單一特征向量F1、F2、F3得到的害蟲識別率最低,但其中輸入顏色特征向量的效果最好,這一結(jié)果符合人眼的直觀感覺;3種特征向量兩兩組合,F1、F2組合的識別率高于另外2組;當(dāng)F1、F2、F3組合在一起時(shí)害蟲識別準(zhǔn)確率最高,隨機(jī)森林的識別準(zhǔn)確率為96.31%,C-SVC算法的識別準(zhǔn)確率為95.38%,BP神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確率為90.51%。

表2 不同識別算法不同特征向量組合下的目標(biāo)害蟲識別準(zhǔn)確率Table 2 Recognition accuracy of target pest with different classification methods and different feature vectors

圖11-a—d分別為6月9日至7月18日煙粉虱、潛葉蠅、果蠅和蚜蟲通過人工計(jì)數(shù)方式和自動(dòng)識別計(jì)數(shù)方式得到的害蟲數(shù)量。經(jīng)統(tǒng)計(jì),4類害蟲的總體識別準(zhǔn)確率分別為93.89%、90.71%、91.54%和 90.40%。從圖11發(fā)現(xiàn):7月煙粉虱數(shù)量較6月有所增長,6月初和7月初為煙粉虱數(shù)量的2個(gè)高峰期;潛葉蠅數(shù)量變化趨勢與煙粉虱相反,6月數(shù)量略多于7月;果蠅和蚜蟲的數(shù)量也是呈增長趨勢?？傮w上,煙粉虱、果蠅和蚜蟲在6月末7月初數(shù)量達(dá)到峰值,潛葉蠅數(shù)量則為最低值。由此可知,不同種類害蟲在不同時(shí)期的數(shù)量變化是不同的,而本文所設(shè)計(jì)的識別計(jì)數(shù)算法可以為監(jiān)測害蟲動(dòng)態(tài)提供數(shù)據(jù)支持。

圖11 人工計(jì)數(shù)和本文自動(dòng)識別算法得到的4類害蟲數(shù)量對比Fig.11 Comparison of number of 4 kinds of pests by manual counting and automatic identification algorithm

3 結(jié)論

在誘蟲板圖像光照不均前提下,為實(shí)現(xiàn)對溫室番茄作物害蟲煙粉虱、潛葉蠅、果蠅和蚜蟲進(jìn)行準(zhǔn)確識別和計(jì)數(shù),本文提出了基于背景均勻化的自適應(yīng)分割方法和基于隨機(jī)森林的識別算法。結(jié)果表明:

1)基于背景均勻化的自適應(yīng)分割方法能夠有效解決實(shí)際環(huán)境下誘蟲板圖像光照不均現(xiàn)象,平均分割準(zhǔn)確率為95.34%。剔除錯(cuò)誤分割的害蟲區(qū)域包括誘蟲板表面黏劑反光區(qū)域和塵埃顆粒等干擾是算法可優(yōu)化的方向之一。

2)基于隨機(jī)森林的識別算法通過提取顏色、形狀和紋理共20個(gè)特征參數(shù)對害蟲進(jìn)行分類,平均害蟲識別準(zhǔn)確率達(dá)到96.31%,可以較好地識別4類害蟲,達(dá)到精確計(jì)數(shù)的要求。

3)綜合利用基于背景均勻化的自適應(yīng)分割方法和基于隨機(jī)森林的識別算法,在40 d內(nèi)對溫室番茄害蟲煙粉虱、潛葉蠅、果蠅和蚜蟲進(jìn)行識別和計(jì)數(shù),總體識別準(zhǔn)確率分別為93.89%、90.71%、91.54%和90.40%。