張連寬,張 程,岑冠軍,高 燕

(1.華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院,廣東 廣州 510642;2.青島理工大學(xué) 信息與控制工程學(xué)院,山東 青島 266033;3.廣東省農(nóng)業(yè)科學(xué)院植物保護(hù)研究所 廣東省植物保護(hù)新技術(shù)重點實驗室,廣東 廣州 510640)

黃曲條跳甲屬鞘翅,以危害葉類蔬菜為主,其幼蟲和成蟲對蔬菜造成嚴(yán)重危害.是制約蔬菜高質(zhì)、高產(chǎn)和高效益的重要因素之一.黃曲條跳甲在我國南方區(qū)域為害嚴(yán)重,近年來在北方的危害程度也逐年增加,因此,實時掌握蔬菜的蟲害狀況是有效防控蟲害的關(guān)鍵.傳統(tǒng)蔬菜蟲害信息的獲取大多采用人工計數(shù),存在效率低、勞動強(qiáng)度大和時效性低等缺點.近年來,以圖像處理技術(shù)分析蟲害的相關(guān)研究有了較大進(jìn)展.基于圖像的蟲害鑒別途徑主要有兩種，第1種是采集含有蟲害的葉片圖像進(jìn)行分析.LI Y.等[1]采集葉片上的煙粉虱圖像,運(yùn)用多重分形算法對煙粉虱目標(biāo)進(jìn)行分割分析,召回率達(dá)86.9%.J.G.A.BARBEDO[2]通過不同顏色空間與像素面積門限識別煙粉虱的不同階段.張水發(fā)等[3]采用離散余弦變換算法和區(qū)域生長算法,從自然環(huán)境中采集的葉片中提取白粉虱圖像,準(zhǔn)確率達(dá)98%.胡雅輝等[4]通過Canny邊緣檢測算法獲取煙粉虱目標(biāo),計算圖片中害蟲數(shù)量,從而獲得害蟲密度,準(zhǔn)確率達(dá)90%.第2種是通過分析誘捕板圖像中害蟲情況,獲得蟲害種類和危害程度.K.ESPINOZA等[5]在實驗室穩(wěn)定光源下通過掃描黃色誘捕板獲得圖像,采用神經(jīng)網(wǎng)絡(luò)方法對煙粉虱與薊馬進(jìn)行識別,對煙粉虱鑒別精度為96%,對薊馬的識別精度達(dá)到92%.XIA C.L.等[6]利用薊馬、煙粉虱和蚜蟲的顏色差異,采用馬氏距離與分水嶺算法對3種昆蟲進(jìn)行識別,平均識別準(zhǔn)確率分別達(dá)到82.2%,79.7%和85.6%.

目前,對于薊馬、煙粉虱和蚜蟲的識別研究已有了一定的進(jìn)展,但對于黃曲條跳甲的識別研究較少.為此,筆者提出自然環(huán)境下基于黃色誘捕板的黃曲條跳甲成蟲的識別與計數(shù)方法,綜合使用最大類間方差法(OTSU)、顏色平滑算法與主動輪廓模型方法,通過顏色、紋理與形狀特征參數(shù)提取及采用支持向量機(jī)(support vector machine,SVM)法，獲得黃色誘捕板黃曲條跳甲數(shù)量,以期達(dá)到及時掌握黃曲條跳甲發(fā)生與危害程度,為科學(xué)的田間管理提供依據(jù).

1 材料與方法

1.1 圖像采集

圖像采集地點位于廣東省廣州市的廣東省農(nóng)業(yè)技術(shù)推廣總站.使用Cannon EOS 700D相機(jī),拍攝大田環(huán)境下懸掛的黃色誘捕板圖像,黃色誘捕粘板規(guī)格為25 cm×20 cm.Cannon EOS 700D相機(jī)的圖像分辨率為3 456像素×5 184像素.相機(jī)與黃色誘捕粘板距離為0.3～0.5 m,相機(jī)不需要特別設(shè)置拍照的角度與距離,但是需要將整個黃色誘捕粘板放在所采集的圖像中,并占據(jù)圖像的主要區(qū)域.共采集42幅圖像,每幅圖像中的黃曲條跳甲數(shù)量為2～16個.

1.2 方法

基于黃色誘捕板的黃曲條跳甲識別與計數(shù)方法由4個步驟組成.由于研究目的是識別黃色誘捕板上的黃曲條跳甲,因此第1步是除去背景圖像,僅保留黃色誘捕板區(qū)域圖像;第2步是提取黃色誘捕板區(qū)域中的候選待判別區(qū)域;第3步是對候選區(qū)域提取特征參數(shù);第4步是利用這些特征參數(shù),采用支持向量機(jī)對每個區(qū)域進(jìn)行鑒別計數(shù),從而獲得黃曲條跳甲的災(zāi)情狀況.

1.2.1背景去除

為減少背景的干擾,提高運(yùn)算效率,首先去除圖像背景部分,提取黃色誘捕板前景區(qū)域.圖像數(shù)據(jù)在自然環(huán)境下進(jìn)行采集,為了降低亮度變化的影響,首先將圖像由RGB顏色空間轉(zhuǎn)化為HSV顏色空間.由于相機(jī)主要對著黃板區(qū)域拍照,因此黃板區(qū)域占據(jù)圖像主要部分,采用OTSU算法提取黃板區(qū)域圖像.對于灰度圖,OTSU算法以前景與背景圖像的最大類間方差自動求得全局閾值,將灰度圖像二值化,以劃分圖像前景區(qū)域和背景區(qū)域.具體過程如下:

1) 用OTSU算法獲得HSV顏色空間的閾值,以閾值提取S通道與V通道前景圖像,分別表示為IOTSU(S)和IOTSU(V).

2) 計算兩通道前景的并圖,Icandi=IOTSU(S) &IOTSU(V).

3) 提取Icandi的各連通區(qū)域,以第1個大連通區(qū)域作為前景Iforeg.判斷第2個大連通區(qū)域Isec的面積是否大于Iforeg面積的1/5,若滿足條件,則將Isec并入到Iforeg,即Iforeg=Iforeg|Isec.

4) 對于原彩色圖Iorig的每一個像素,若在Iforeg中相應(yīng)位置的灰度值為1,則保留該像素的彩色值,否則作為背景刪除.

采用S與V通道可以將黃色的前景區(qū)域提取出來.圖1為背景去除前后照片對比.

圖1 背景去除

1.2.2候選區(qū)域分割

圖2為黃曲條跳甲識別候選區(qū)域圖片.對原始圖像的V通道采用OTSU算法提取背景圖像,見圖2a白色部分.由于各種昆蟲和污點的圖像亮度異于黃板,采用OTSU算法進(jìn)行分割會將該區(qū)域作為背景提取出來，將這些區(qū)域與黃板區(qū)域做并運(yùn)算.通過對黃板中黃曲條跳甲分析,發(fā)現(xiàn)黃曲條跳甲成蟲大小相似.為了排除面積較小的昆蟲、灰塵及面積較大的蒼蠅、污點等影響,從并運(yùn)算圖像的區(qū)域中選擇像素面積為310～770像素的區(qū)域作為黃曲條跳甲的候選區(qū)域(見圖2b).

圖2 黃曲條跳甲識別候選區(qū)域選擇結(jié)果

圖3為OTSU算法對目標(biāo)區(qū)域分割的結(jié)果.為了統(tǒng)一候選區(qū)域規(guī)格,在每一個候選區(qū)域,以幾何中心為中心,截取一個邊長為81像素的正方形子圖(見圖3a).為了判定子圖中候選區(qū)域是否為黃曲條跳甲,進(jìn)一步分割子圖中目標(biāo)區(qū)域彩色圖像(去除周圍黃色背景),再進(jìn)一步提取其特征.然而OTSU算法由于使用全局的門限分割背景,所以其提取的候選區(qū)域具有較多缺陷,分割不完整.試驗結(jié)果顯示,存在兩個影響因素,一是包含了目標(biāo)區(qū)域的部分影子,二是由于黃曲條跳甲背部的黃色區(qū)域亮度較高,OTSU算法將其作為背景進(jìn)行消除(見圖3b),由此分割提取的彩色圖像不完整(見圖3c),因此與希望提取的目標(biāo)區(qū)域圖像差距較大.

圖3 OTSU算法對目標(biāo)區(qū)域分割的結(jié)果

為了提取子圖中不規(guī)則的候選區(qū)域彩色圖像,采用主動輪廓模型[7]的分割方法.假設(shè)I(x,y)為一灰色圖像,主動輪廓是一條在I上可伸縮、移動和變形的曲線X(s)=[x(s),y(s)],其中s是量綱一化弧長參數(shù),s∈[0,1].主動輪廓模型將圖像分割問題(尋找輪廓線)轉(zhuǎn)換為求解能量泛函最小值問題.主動輪廓的總能量定義為

(1)

式(1)中Eint(X(s))是內(nèi)部能量泛函,即

(2)

式中:α(s),β(s)是權(quán)值參數(shù);α(s)|X′(s)|2為彈性內(nèi)能項,使得輪廓曲線具有伸縮性；β(s)|X″(s)|2使得輪廓曲線具有彎曲性.

式(1)中Eext(X(s))是外部能量泛函,即

Eext(X(s))=Eimg(X(s))+Econ(X(s)).

(3)

其中Eimg(X(s))為圖像能量,表示為

Eimg(X(s))=|I(x,y)|2,

(4)

或

Eimg(X(s))=|[Gσ(x,y)I(x,y)]|2,

(5)

采用面積門限提取候選區(qū)域,候選區(qū)域可能是各種昆蟲和田間污點,形狀各異,而主動輪廓模型特別適用于任意形狀的變形輪廓[8],所以采用主動輪廓模型提取候選區(qū)域,為進(jìn)一步的特征提取做準(zhǔn)備.主動輪廓模型需要選擇適當(dāng)?shù)某跏驾喞€.圖4為直接采用主動輪廓模型分割目標(biāo)區(qū)域的結(jié)果.由于目標(biāo)區(qū)域在子圖的中心,以子圖中心為幾何中心,采用一個邊長為9像素的正方形作為初始輪廓.然而黃曲條跳甲的背部變化較大,有亮度較低的黑灰區(qū)域,也有亮度較高的黃色區(qū)域,直接采用主動輪廓模型獲得結(jié)果圖像也不夠完整,如圖4b所示.

圖4 直接采用主動輪廓模型分割目標(biāo)區(qū)域的結(jié)果

為此,使用OTSU算法對候選區(qū)做出的初步選擇會將黃曲條跳甲上高亮度的黃色區(qū)域刪除掉.而如果直接使用主動輪廓模型,由于該高亮度黃色區(qū)域與其他部分的差異,使得分割不完整.為此,對刪除的高亮度區(qū)域做了顏色圖像修改,然后再采用主動輪廓模型對其分割.圖5為采用顏色平滑算法與主動輪廓模型法分割目標(biāo)區(qū)域的過程.分割步驟如下:

1) 對獲取如圖5b所示的結(jié)果做形態(tài)學(xué)的補(bǔ)洞運(yùn)算,并且記住補(bǔ)洞的區(qū)域Dhole.

2) 對圖5b圖像中的每一個灰度值非零的像素,從子圖原圖(圖5a)中提取其R,G和B分量值.統(tǒng)計這些非零像素的R,G和B分量的平均值Rave,Gave和Bave.

3) 對原圖(圖5a)中Dhole區(qū)域所有像素點的R,G和B分量值都用Rave,Gave和Bave填充,結(jié)果如圖5c所示.

4) 對圖5c圖像采用主動輪廓模型進(jìn)行分割,結(jié)果如圖5d所示.

圖5 顏色平滑算法與主動輪廓模型的分割過程

由此可見,采取的顏色平滑算法使目標(biāo)區(qū)域的顏色趨于平滑,因而主動輪廓模型能夠較準(zhǔn)確地將目標(biāo)區(qū)域分割出來.圖6為采用顏色平滑算法與主動輪廓模型對圖像進(jìn)行分割的結(jié)果實例.

圖6 顏色平滑算法與主動輪廓模型的分割結(jié)果

由圖6可知,采用分割方法對各種形狀的昆蟲、污點輪廓提取都有效.

1.2.3圖像的特征參數(shù)提取

特征參數(shù)的選擇直接影響著圖像識別的準(zhǔn)確度.為了有效區(qū)分黃曲條跳甲與其他昆蟲、污點,對每個子圖提取共21維的顏色、紋理和形狀等特征信息,具體如表1所示.

表1 黃曲條跳甲識別特征信息

顏色特征是彩色圖像的重要特征信息.為了提取目標(biāo)候選對象及其背景的特征,用HSV顏色空間的S通道提取目標(biāo)分割區(qū)域和正方形區(qū)域的一、二和三階顏色矩.3個顏色矩的定義分別如下:

(6)

(7)

(8)

紋理是指圖像中大量規(guī)律性相似元素或圖形結(jié)構(gòu),常指圖像中反復(fù)出現(xiàn)的局部模式及其排列規(guī)則.筆者采用廣泛使用、效果較好的基于灰度共生矩陣法[9]的紋理表示方法.灰度共生矩陣是圖像的像素距離和角度的矩陣函數(shù),用以計算一定距離和方向的兩點灰度值之間的相關(guān)性,反映圖像在方向、間隔、變化幅度和快慢上的綜合信息.該方法是通過從灰度共生矩陣中提出14個反應(yīng)矩陣狀況的參數(shù)描述紋理特征,為此筆者對目標(biāo)分割區(qū)域與正方形區(qū)域的S通道分別采用對比度、角二階矩、同質(zhì)性和熵值作為圖像紋理特征參數(shù).

黃曲條跳甲在形狀上與其他昆蟲、污點有著一定的區(qū)別,為了利用形狀特征進(jìn)行區(qū)分,對目標(biāo)分割區(qū)域提取了7個Hu不變矩特征.Hu不變矩具有平移、旋轉(zhuǎn)和尺度不變性[10].假設(shè)一個大小為m×n圖像的圖像函數(shù)為I(x,y),則圖像的p+q階矩定義為

(9)

p+q中心矩定義為

(10)

(11)

(12)

量綱一化的中心矩為

(13)

則7個Hu不變矩分別為

φ1=η20+η02,

(14)

φ2=(η20+η02)2+4η112,

(15)

φ3=(η30-3η12)2+(3η21+η03)2,

(16)

φ4=η30+η12+(η21+η03)2,

(17)

φ5=(η30-3η21)(η30+η21)[(η30+η12)2-
3(η21+η03)2]+(η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2],

(18)

φ6=(η20-η02)[(η30+η12)2-
(η21+η03)2]+4η11(η30+
η12) (η21+η03),

(19)

φ7=(η21-η30)(η30+η12)[(η30+η12)2-
3(η21+η03)2]+(3η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2].

(20)

1.2.4基于支持向量機(jī)的黃曲條跳甲識別方法

圖7為基于支持向量機(jī)的黃曲條跳甲識別結(jié)果.選取顏色、紋理和形狀特征的目的是要利用這些特征將黃曲條跳甲與其他事物區(qū)分開,屬于二分法的分類,筆者采用支持向量機(jī)的識別方法達(dá)到這一目標(biāo).

圖7 基于支持向量機(jī)的黃曲條跳甲識別結(jié)果

SVM的核心思想是選擇一個非線性變換,將輸入變量映射到高維空間中,在該空間中構(gòu)造一個最優(yōu)分類超平面.記訓(xùn)練集(y1,x1),(y2,x2),…,(yl,xl),xi∈Rn,y∈{-1,1}的向量x的兩個有限子集分別為I(y=1)和II(y=-1).對于超平面(x·φ)=c是可劃分的,即對xi∈I,有(xi·φ)

(21)

(22)

(23)

對于不可分樣本集引入軟間隔來構(gòu)建最優(yōu)超平面,對線性不可分的樣本集,可以通過引入滿足Mercer定理的生成內(nèi)積的核函數(shù)K(x,xi)來構(gòu)建非線性決策面.

從式(22)可以看出,SVM的求解只與兩個向量的內(nèi)積有關(guān),而與維數(shù)無關(guān),這一事實允許SVM在高維空間甚至在無限維的Hilbert空間中構(gòu)造分類超平面;同時,SVM的求解過程允許利用訓(xùn)練集中的少量向量求解最大化函數(shù).因此,相對于傳統(tǒng)學(xué)習(xí)算法,SVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出特有的優(yōu)勢,具有良好的泛化能力和出色的小樣本學(xué)習(xí)能力.

2 結(jié)果與分析

本研究首先對S通道與V通道分別用OTSU算法獲得閾值,以閾值將S通道與V通道提取前景.由于采集圖像時黃色誘捕粘板占用主要區(qū)域,因此OTSU算法提取的前景圖像獲得很好的提取效果.試驗中拍攝的42幅圖像中,僅有3幅邊界出現(xiàn)了少許缺失,如圖8所示,其他圖像都完整地將黃色前景粘板分割出來.缺失原因主要是由于采集圖像是在自然環(huán)境下進(jìn)行,黃色誘捕粘板光線不均勻,小部分邊界被認(rèn)作背景.由于缺失面積較小,對黃曲條跳甲識別影響不大.

圖8 背景消除后邊界缺失現(xiàn)象

由于黃色誘捕粘板懸掛于大田環(huán)境下,開放的環(huán)境使得黃板中常粘有各種昆蟲和污點等.通過連通區(qū)域面積閾值的分割方法能夠?qū)⒈姸嗯c黃曲條跳甲體積差距較大的干擾源排除掉.圖9為面積閾值分割法消除小區(qū)域與大區(qū)域干擾的圖片.由圖9可知,面積閾值分割方法消除了整張黃板中的422個小區(qū)域和8個大區(qū)域的干擾,保留了18個候選區(qū)域有待判斷.利用面積閾值分割法有效消除了不必要的干擾,加速了識別進(jìn)程.

圖9 面積閾值分割法消除大、小區(qū)域干擾的圖片

對保留的候選區(qū)域,提取顏色、紋理與形狀特征,并采用支持向量機(jī)方法進(jìn)行鑒別.從42幅圖像中隨機(jī)提取了24幅用于訓(xùn)練,18幅用于測試.用于訓(xùn)練的黃曲條跳甲圖像有225個,非黃曲條跳甲圖像為203個.用訓(xùn)練獲得的模型識別18幅圖像,結(jié)果如表2所示.

表2 黃曲條跳甲識別計數(shù)結(jié)果 個

由表2可知:將正類預(yù)測為正類數(shù)(TP)為115,將正類預(yù)測為負(fù)類數(shù)(FN)為26,將負(fù)類預(yù)測為正類數(shù)(FP)為10,將負(fù)類預(yù)測為負(fù)類數(shù)(TN)為153.采用準(zhǔn)確率、精確率和召回率等3個指標(biāo)評價方法的有效性.計算公式如下:

(24)

(25)

(26)

運(yùn)用以上3個公式進(jìn)行計算，本研究方法準(zhǔn)確率為88.16%,精確率為92.00%,召回率為81.56%,達(dá)到了及時掌握黃曲條跳甲發(fā)生情況與危害程度的目的.

3 結(jié) 論

1) 為分析大田環(huán)境下黃色誘捕板中黃曲條跳甲的數(shù)量,首先除去背景圖像,再采用面積閾值方法,消除誘捕板中面積較小與較大的干擾區(qū)域,達(dá)到簡化分析、識別黃曲條跳甲的目的.

2) 綜合使用了OTSU算法、顏色平滑算法與主動輪廓模型方法,將黃色誘捕板上的候選區(qū)域進(jìn)行分割,得到較好的分割效果.

3) 通過顏色、紋理與形狀特征提取,以及采用支持向量機(jī)的分析方法,獲得黃色誘捕板的黃曲條跳甲的數(shù)量,該方法準(zhǔn)確率、精確度和召回率分別達(dá)到88.16%,92.00%和81.56%,較好地實現(xiàn)了對黃曲條跳甲的及時分析.