包曉敏，盛家文

(浙江理工大學 信息學院，浙江 杭州 310016)

蟲害是農(nóng)業(yè)生產(chǎn)中的重要問題，嚴重制約著我國現(xiàn)代農(nóng)業(yè)發(fā)展。及時獲悉田間害蟲種類及數(shù)量，不僅是有效制定害蟲防治方案的基礎，更能為后期預測預報害蟲爆發(fā)期提供原始數(shù)據(jù)。

害蟲具有趨黃性，在田間設置黃色粘蟲板誘殺害蟲的方法目前已被廣泛使用[1]。粘蟲板上害蟲的計數(shù)方法主要分為2種：一種是人工計數(shù)；一種是基于機器視覺的自動計數(shù)。前者費時費力且實時性差，需要基層測報人員具有相關的理論知識；而后者利用圖像處理、模式識別等方法對害蟲圖像進行自動分析，能夠有效地識別害蟲種類及數(shù)量，排除了人為因素的干擾。傳統(tǒng)的基于機器視覺的計數(shù)方法，需要工作人員深入田間進行拍照，然后將圖片傳送至計算機終端進行識別計數(shù)，工作量大，實時性差[2-3]。姚仲敏等[4]設計了一種基于移動無線傳感器網(wǎng)絡的植株圖像監(jiān)測系統(tǒng)，但該系統(tǒng)需要無人機作為傳輸節(jié)點，成本較高；曹旨昊等[5]設計了一種基于Android系統(tǒng)的粘蟲板害蟲計數(shù)系統(tǒng)，然而該系統(tǒng)不能實時獲取害蟲圖片。近年來，深度學習技術(shù)在圖像處理領域的表現(xiàn)愈加出色，有學者將深度學習的方法引入到農(nóng)作物的害蟲識別中[6]。然而，深度學習需要大量的樣本才能獲得較好的識別結(jié)果，但在實際生產(chǎn)活動中往往無法獲得大量的目標樣本。為解決上述問題，本文提出了一種基于樹莓派的農(nóng)業(yè)害蟲測報系統(tǒng)。利用樹莓派自動拍照并將圖像上傳至云服務器進行處理，以Web網(wǎng)頁作為客戶端展現(xiàn)測報結(jié)果。許多昆蟲誘捕試驗都發(fā)現(xiàn)，黃色粘蟲板的誘捕效果最好[7-9]。為此，本試驗選擇黃色粘蟲板誘捕米蛾(Corcyracephalonica)，并以此為例開展研究。針對拍攝的圖片，在進行背景去除的基礎上，提出一種基于顏色矩特征提取的方法，提高計數(shù)結(jié)果的準確率。

1 材料與方法

1.1 系統(tǒng)架構(gòu)

系統(tǒng)由數(shù)據(jù)采集端、測報云平臺和客戶端組成(圖1)。數(shù)據(jù)采集端主要包括環(huán)境數(shù)據(jù)采集、害蟲圖片采集、數(shù)據(jù)及圖片上傳，測報云平臺主要包括云數(shù)據(jù)庫(存儲環(huán)境數(shù)據(jù))、云對象存儲服務器(存儲害蟲圖片)和云服務器(處理圖像)，客戶端主要負責數(shù)據(jù)可視化和發(fā)送指令。數(shù)據(jù)采集以樹莓派作為處理的核心，將采集到的環(huán)境數(shù)據(jù)和害蟲圖片通過4G無線Wi-Fi模塊以TCP協(xié)議的形式上傳至測報云平臺。圖像上傳至云對象存儲服務器后展開計數(shù)，并將計數(shù)結(jié)果存儲至云數(shù)據(jù)庫中，用戶通過瀏覽器訪問網(wǎng)頁，以HTTP請求形式調(diào)用云數(shù)據(jù)庫和云對象存儲服務器中的數(shù)據(jù)查看信息，同時可通過云服務器發(fā)送拍照、設定拍照時間等功能指令驅(qū)使樹莓派獲取環(huán)境值和圖像。

1.1.1 數(shù)據(jù)采集端

數(shù)據(jù)采集端以樹莓派3代B型開發(fā)板作為核心，通過杜邦線連接溫濕度傳感器、光照強度檢測模塊和下雨檢測模塊，通過USB接口連接4G無線上網(wǎng)卡，通過CSI接口連接樹莓派專用攝像頭。主要功能及其實現(xiàn)簡述如下：1)環(huán)境數(shù)據(jù)采集。樹莓派驅(qū)動傳感器模塊采集溫濕度、光照和降水情況。2)害蟲圖像采集。將樹莓派置于距百葉箱(百葉箱置于戶外，靠近米蛾的培養(yǎng)中心)底部30 cm高的橫梁上，攝像頭正對底部含有黑色誘芯(米蛾性誘劑誘芯)的黃色粘蟲板，樹莓派驅(qū)動攝像頭進行拍照。3)數(shù)據(jù)及圖片上傳。樹莓派通過4G無線上網(wǎng)卡獲取網(wǎng)絡連接，將環(huán)境數(shù)據(jù)和圖片通過TCP協(xié)議上傳到云平臺，并通過心跳機制保證TCP長期有效連接。

1.1.2 測報云平臺

測報云平臺包含云服務器、云數(shù)據(jù)庫、云對象存儲服務器3部分。云服務器是測報云平臺的核心部分，管理云數(shù)據(jù)庫和云存儲對象，負責數(shù)據(jù)采集端的數(shù)據(jù)交互，處理上傳圖片；云數(shù)據(jù)庫負責管理測報系統(tǒng)使用到的數(shù)據(jù)表；云對象存儲服務器用于存放終端上傳的圖像。測報云平臺與數(shù)據(jù)采集端通過TCP連接。數(shù)據(jù)采集端先上傳樹莓派標識，然后再上傳環(huán)境數(shù)據(jù)，并將其寫入云數(shù)據(jù)庫。上傳過程中，先上傳圖像名字，后循環(huán)上傳圖像內(nèi)容，待圖像內(nèi)容上傳完畢后，存入云對象存儲服務器。

1.1.3 客戶端

客戶端包括數(shù)據(jù)可視化和指令傳輸。數(shù)據(jù)可視化是指采集的環(huán)境數(shù)據(jù)和計數(shù)結(jié)果在網(wǎng)頁上的呈現(xiàn)，指令傳輸是指何時進行拍照計數(shù)和獲取環(huán)境值，整體功能如圖2所示。

1.2 云平臺圖像處理及計數(shù)

圖像上傳至云對象存儲服務器后，進行圖像預處理、圖像分割、測報害蟲特征提取和識別計數(shù)4個步驟。

1.2.1 圖像預處理

針對圖像中存在的黑色誘芯(圖3-A)，采用最小二乘圓擬合獲取疑似誘芯位置(圖3-B)。

相對于RGB空間，HSV空間能夠更直觀地表達色彩的明暗、色調(diào)和鮮艷程度，更具有穩(wěn)定性。因此，在完成最小二乘圓擬合檢測后，進行顏色過濾替換，將圖片從RBG空間過濾替換為HSV空間。定位黑色區(qū)域，將其替換為背景板的顏色，結(jié)果如圖3-C所示。

圖2 客戶端功能示意圖Fig.2 Diagram of client functions

1.2.2 圖像分割

圖像分割的實質(zhì)是分割背景與前景，為特征提取及過濾非靶標物質(zhì)提供條件。圖像分割方法大體可分為4類，其中以基于聚類的方法最為常見[10]。由于本試驗中的圖片背景具有相對一致性，因此采用基于HSV顏色空間的背景分割方法[11]。過程如下：1)空間轉(zhuǎn)換，將輸入圖像轉(zhuǎn)換為HSV空間下的圖像；2)背景去除，顏色過濾替換(以圖像背景為模板進行過濾)；3)形態(tài)學操作，包括二值化和高斯濾波。處理結(jié)果如圖4所示。

1.2.3 測報害蟲特征提取

背景去除后，在圖像上遍歷輪廓，獲取輪廓位置，以最大外接矩形包圍輪廓，并在原圖相應位置設置感興趣區(qū)域(region of interest，ROI)。對于害蟲來說，其特征主要有顏色、形狀和紋理。

A、B、C分別是原始圖片、最小二乘法擬合后圖片、顏色過濾替換后圖片。A， B and C were the original picture， the picture after least square fitting and the picture after color filtering and replacement， respectively.圖3 圖像預處理結(jié)果示意圖Fig.3 Diagram of image preprocessing

A、B、C分別為空間轉(zhuǎn)換、背景去除和形態(tài)學操作之后的圖片。A， B and C were pictures after spatial transformation， background removal and morphological operation， respectively.圖4 去背景結(jié)果示意圖Fig.4 Diagram of background removal

在本試驗條件下，最簡單直接的特征就是顏色特征，而害蟲圖像的尺寸、方向、旋轉(zhuǎn)等因素對鑒別害蟲影響較小[12-14]。顏色的主要信息集中在一階矩(mean)、二階矩(variance)和三階矩(skewness)。其中，一階矩描述的是平均顏色，二階矩描述的是顏色方差，三階矩描述的是顏色的偏移性。顏色矩能夠全面呈現(xiàn)圖像的顏色分布特征。

(1)

(2)

(3)

式(1)～(3)中：pij表示第j個像素的第i個顏色分量；N為圖中像素點的個數(shù)；i為顏色模型的分量，i=1表示R分量，i=2表示G分量，i=3表示B分量；μi、σi、δi分別表示一、二、三階矩。經(jīng)過計算得到的部分一、二、三階矩如表1所示。從表1的15組數(shù)據(jù)統(tǒng)計出待測害蟲與干擾(主要是灰塵和其他非測報害蟲)顏色矩的范圍，從而選定R分量的二階矩、G分量的二階矩，以及B分量的一、二、三階矩作為識別害蟲的特征。

為了提高識別的準確率，將RGB圖像轉(zhuǎn)換到HSV顏色空間，轉(zhuǎn)換公式如下：

(4)

式(4)中：H、S、V為HSV顏色空間模型的H、S、V值；R、G、B分別為紅、綠、藍3分量像素值；min(R，G，B)為R、G、B分量中最小值。為了直觀表示，令

(5)

式(5)中：h、s、v為變化后的H、S、V值。

表2中μ、σ、z為待測害蟲與干擾在HSV模型顏色參數(shù)的一、二階矩和眾數(shù)。

綜合表1和表2的統(tǒng)計結(jié)果，將RGB空間中B分量的一、二、三階矩，以及HSV空間中S分量的一階矩和眾數(shù)作為特征。

表1 待測害蟲與干擾RGB模型顏色參數(shù)值

Table1Values of color parameters of forecast pests and disturbances in RGB model

類別CategoryRμσδGμσδBμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

表2 待測害蟲與干擾HSV模型顏色參數(shù)值

Table2Values of color parameters of forecast pests and disturbances in HSV model

類別Categoryhμσδsμσδvμσδ待測害蟲142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干擾142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

另外，利用Matlab數(shù)學工具進行統(tǒng)計，獲得面積、周長特征的范圍分別為51.6～89.6和43.7～95.3。

1.2.4 識別計數(shù)

特征提取的識別計數(shù)過程如圖5所示。對選中的ROI進行特征計算，然后依(6)式進行決策：

(6)

根據(jù)(7)式獲得最終識別結(jié)果：

W=δφ+βφ+γφ，

(7)

式(7)中：δ、β、γ分別為圖片顏色特征、輪廓面積和輪廓周長的權(quán)重。經(jīng)過多次測試，取δ=0.4，β=0.3，γ=0.3。若W值大于0，則表明該ROI區(qū)域是測報害蟲。

識別結(jié)果如圖6-A所示。可以看出，圖片中有粘連的情況。為解決此問題，對面積較大的區(qū)域采用自適應分水嶺方法進行局部分割，分割后再對其進行上述操作，結(jié)果如圖6-B所示。

圖5 特征提取的識別計數(shù)流程Fig.5 Flow chart of computation of selected features

1.3 識別效果判定

將獲取的圖像應用到害蟲測報系統(tǒng)進行數(shù)量統(tǒng)計，以人工計數(shù)作為對照，用正確識別率(REFR，單位%)評價害蟲識別效果[15]。

(8)

式(8)中：VREFR表示REFR的值；Nm表示人工識別的結(jié)果；Na表示圖像自動識別的結(jié)果。

于每天不同時間段進行拍照計數(shù)，隨機選擇不同天數(shù)進行害蟲數(shù)目統(tǒng)計，對比兩種方法的效果。

A、B為初始識別結(jié)果和解決粘連問題后的識別結(jié)果。A and B were the identification result before and after solving adhesion.圖6 識別結(jié)果示意圖Fig.6 Diagram of identification result

2 結(jié)果與分析

如圖7所示，編號1～10的粘蟲板上害蟲數(shù)目較少，編號11～20的粘蟲板放置時間稍長，害蟲數(shù)目較多?？梢钥闯觯斯び嫈?shù)與系統(tǒng)算出的個數(shù)接近。當害蟲數(shù)目較少時，系統(tǒng)計算結(jié)果準確率較高，相對誤差穩(wěn)定在5%左右；當害蟲數(shù)目增多時，系統(tǒng)計算結(jié)果的準確率略降，相對誤差也有所增加，但仍保持在7%左右?？赡茉蛑皇牵S著粘蟲板放置時間的延長，周圍環(huán)境對粘蟲板的影響越來越大，導致計數(shù)的正確率下降。若能及時更換粘蟲板，是可以保證系統(tǒng)計數(shù)的準確率的?？偟膩砜矗ㄟ^該系統(tǒng)是可以自動獲取害蟲發(fā)生的動態(tài)數(shù)據(jù)的。

圖7 人工計數(shù)與系統(tǒng)計數(shù)結(jié)果對比Fig.7 Comparison of manual count and automatic count of proposed system

3 結(jié)論與討論

傳統(tǒng)的害蟲計數(shù)方法需要將圖像在計算機終端進行人工剪裁以去除無關背景。本文基于自適應方法去除粘蟲板背景，提出將顏色空間矩和圖像幾何形特征相結(jié)合的量化害蟲特征的方法，采用加權(quán)決策方法來識別害蟲。所提方法具有普適性。然而，當環(huán)境發(fā)生劇烈變化時，如光照嚴重干擾圖像時，會導致本方法的計數(shù)精度下降。同時，若害蟲種類增加，也需要另行選取合適的特征。下一步考慮采用基于深度學習的算法來應對環(huán)境更加復雜的情況。

經(jīng)測試，本系統(tǒng)自動計數(shù)與人工計數(shù)的誤差在7%，運行效果良好，能夠有效地實現(xiàn)對粘蟲板害蟲的自動計數(shù)，提高了統(tǒng)計效率，對于做好害蟲測報及防護工作具有實際意義。