姚青，姚波，呂軍，唐健，馮晉，朱旭華

基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲細粒度圖像識別研究

1浙江理工大學信息學院，杭州 310018；2中國水稻研究所稻作技術(shù)研究與發(fā)展中心，杭州 311401；3浙江省托普云農(nóng)科技股份有限公司，杭州 310015

【】智能蟲情測報燈誘捕到的農(nóng)業(yè)害蟲因種類繁多、蟲體姿態(tài)多樣、鱗片脫落等原因造成有些害蟲圖像存在種間相似和種內(nèi)差異的現(xiàn)象。為了提高農(nóng)業(yè)燈誘害蟲識別率，針對yolov4檢測模型檢測到且容易混淆的19種燈誘害蟲，本文提出了基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲細粒度圖像識別模型。首先，根據(jù)燈誘害蟲外觀圖像的相似性和檢測誤檢的情況，將19種害蟲分為6類；將所有害蟲圖像通過補邊操作使得長寬相等，并縮放至統(tǒng)一尺寸224×224像素。為了提高模型的魯棒性和泛化能力，對害蟲圖像進行鏡像翻轉(zhuǎn)、旋轉(zhuǎn)180度、高斯噪聲和均值濾波的數(shù)據(jù)增強，訓練集、驗證集和測試集樣本量按照8﹕1﹕1比例劃分。然后，針對6類19種農(nóng)業(yè)燈誘害蟲細粒度圖像，建立了基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲識別模型（bilinear-attention pest net，BAPest-net），模型包括雙線性特征提取、注意力機制和分類識別3個模塊；通過修改特征提取模塊的下采樣方式提高特征提取能力；添加注意力機制模塊讓整個模型更關(guān)注于局部細節(jié)的特征，將雙線性結(jié)構(gòu)中的上下兩個注意力機制的輸出進行外積運算增加細粒度特征的權(quán)重，提高識別的準確性和學習效率；模型優(yōu)化器使用隨機梯度下降法SGD，分類模塊中使用全局平均池化，旨在對整個網(wǎng)絡從結(jié)構(gòu)上做正則化防止過擬合。最后，在同一個訓練集訓練VGG19、Densenet、ResNet50、BCNN和BAPest-net 5個模型，對6類相似的19種農(nóng)業(yè)燈誘害蟲進行識別，以精準率、Precision-Recall（PR）曲線和平均識別率作為模型的評價指標。BAPest-net對6類相似的19種農(nóng)業(yè)燈誘害蟲平均識別率最高，達到94.9%；BCNN次之，為90.2%；VGG19模型最低，為82.1%。BAPest-net識別的6類害蟲中4類鱗翅目害蟲的平均識別率均大于95%，表明該模型能較好地識別出鱗翅目害蟲。測試結(jié)果中仍存在少數(shù)相似度較高的害蟲誤判，特別當害蟲腹部朝上或側(cè)身，種類特征不夠明顯的時候容易引起相似害蟲的誤判。對于區(qū)分度較低的相似害蟲需要更多的訓練樣本以獲取更多的特征，提高模型的識別率和泛化能力?；陔p線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲細粒度圖像識別模型可以自動識別6類相似的19種農(nóng)業(yè)燈誘害蟲，提高了農(nóng)業(yè)燈誘害蟲自動識別的準確率。

農(nóng)業(yè)燈誘害蟲；害蟲識別；細粒度圖像；雙線性；注意力機制

0 引言

【研究意義】對農(nóng)業(yè)害蟲進行科學、快速、準確的測報是提高農(nóng)作物產(chǎn)量和減少經(jīng)濟損失的前提。目前，我國農(nóng)業(yè)害蟲田間測報的方法主要包括人工田間調(diào)查、性誘劑、蟲情測報燈等[1-3]。其中，智能蟲情測報燈[4]利用燈光引誘害蟲、遠紅外殺蟲和機器視覺系統(tǒng)自動識別與計數(shù)害蟲，具有測報數(shù)據(jù)實時、準確、歷史數(shù)據(jù)可追溯等優(yōu)點，已在田間獲得應用。由于燈誘害蟲種類繁多，蟲體姿態(tài)多樣，紅外高溫殺蟲造成害蟲鱗片脫離，圖像中有些害蟲存在種間差異小和種內(nèi)差異大的現(xiàn)象，準確識別這些害蟲具有較大的挑戰(zhàn)性。為了提高燈誘害蟲識別的準確率，需對相似燈誘害蟲圖像識別進行深入研究?！厩叭搜芯窟M展】害蟲圖像識別方法主要包括傳統(tǒng)的模式識別方法和深度學習方法。傳統(tǒng)的模式識別模型[5-8]存在魯棒性不高，泛化能力差，無法在田間獲得較好的應用與推廣。近些年，隨著深度學習在多個領(lǐng)域的圖像分類任務中表現(xiàn)出色，許多學者開始利用深度學習研究農(nóng)業(yè)害蟲的識別，取得了較好的識別結(jié)果[4,9-21]。針對燈誘害蟲圖像，Liu等[20]提出了一種基于區(qū)域的端到端害蟲檢測分類模型對水稻害蟲進行檢測，對16類較大體型害蟲識別的平均精度為75.46%。Yao等[4]為了從燈誘害蟲圖像中識別微小害蟲，先對目標害蟲區(qū)域進行分割，再利用殘差神經(jīng)網(wǎng)絡對水稻上3種螟蟲和2種稻飛虱進行識別，平均識別率超過85%?！颈狙芯壳腥朦c】將相似的農(nóng)業(yè)燈誘害蟲識別歸為細粒度圖像識別。針對細粒度圖像，Lin等[22]提出的雙線性網(wǎng)絡（bilinear convolutional neural network，BCNN），通過兩個獨立的卷積神經(jīng)網(wǎng)絡得到的特征圖模擬圖像的位置和外觀兩個變量，將圖像中同一個位置上的兩個特征進行外積相乘，得到特征矩陣，經(jīng)最大池化下采樣、向量化得到雙線性向量，最后對歸一化后的特征矩陣進行分類和預測；結(jié)果表明BCNN對高度定位的局部特征具有強大的激活功能，在CUB200-2011鳥類數(shù)據(jù)集細粒度圖像獲得了弱監(jiān)督細粒度分類模型的最高分類準確率。在此基礎(chǔ)上，BCNN的改進與變型在多種細粒度圖像識別研究中取得較好的識別效果，如鳥類[23]、魚類[24]、車型[25]、果蠅[26]等。本文在BCNN模型的基礎(chǔ)上進行改進，研究相似農(nóng)業(yè)燈誘害蟲細粒度圖像識別?！緮M解決的關(guān)鍵問題】本研究對6類相似的19種農(nóng)業(yè)燈誘害蟲，建立基于雙線性和注意力機制的農(nóng)業(yè)燈誘害蟲細粒度圖像識別網(wǎng)絡（bilinear- attention pest net，BAPest-net）模型，提高農(nóng)業(yè)燈誘害蟲識別的準確率。

1 材料與方法

1.1 燈誘害蟲圖像數(shù)據(jù)樣本

利用智能蟲情測報燈[20]采集燈誘害蟲圖像，如圖1所示。通過yolov4[27]目標檢測方法將圖像中的農(nóng)業(yè)害蟲單個蟲體檢測出來，選擇經(jīng)常出現(xiàn)誤判且視覺差異小的19種農(nóng)業(yè)害蟲作為研究對象。由于智能測報燈是通過紅外高溫殺死害蟲，同時為了防止害蟲堆積，通過抖動和傳輸來分散害蟲，容易造成害蟲鱗片脫落，且很多害蟲在跌落到測報燈圖像采集平臺上腹部朝上，從外觀上比較相似，難以辨認。根據(jù)燈誘害蟲圖像外觀相似和模型誤檢的情況，將19種害蟲分為6類，害蟲具體信息見表1。由于害蟲大小不一，將所有害蟲圖像通過補邊操作使得長寬相等，然后縮放至統(tǒng)一尺寸224×224像素。

1.2 圖像數(shù)據(jù)增強

為了提高模型的魯棒性和泛化能力，對樣本量少于2 000幅的害蟲圖像進行數(shù)據(jù)增強，增強方法包括鏡像翻轉(zhuǎn)、旋轉(zhuǎn)180度、高斯噪聲和均值濾波（圖2），使得擴充后數(shù)據(jù)樣本量均大于2 000幅。其中，訓練集、驗證集和測試集樣本量按照8﹕1﹕1比例劃分。

圖1 智能蟲情測報燈害蟲圖像

（a）原圖；（b）鏡像翻轉(zhuǎn)；（c）旋轉(zhuǎn)180度；（d）高斯噪聲；（e）均值濾波

表1 農(nóng)業(yè)燈誘害蟲圖像信息

1.3 農(nóng)業(yè)燈誘害蟲細粒度圖像識別算法

1.3.1 農(nóng)業(yè)燈誘害蟲細粒度圖像識別網(wǎng)絡框架 農(nóng)業(yè)燈誘害蟲中有很多視覺上非常相似的害蟲，如表1 A—F類中相同類的不同種害蟲在圖像上非常相似。同種害蟲因姿態(tài)不同，呈現(xiàn)較大差異（圖3）。同時，害蟲種類繁多、背景復雜、蟲體存在遮擋等。利用一般的深度學習模型無法獲得這些害蟲較高的識別率和精準率。本文將這些相似害蟲識別歸為細粒度圖像識別。

為了提高燈誘害蟲細粒度圖像識別精度，本文在Lin等[22]的BCNN基礎(chǔ)上，添加注意力機制模塊，建立基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲識別模型（bilinear-attention pest net，BAPest-net），網(wǎng)絡結(jié)構(gòu)如圖4所示。BAPest-net由雙線性結(jié)構(gòu)的特征提取層、注意力機制模塊、全局平均池化和輸出端的分類層組成。

1.3.2 特征提取網(wǎng)絡 常見的特征提取網(wǎng)絡有CaffeNet[28]、Googlenet[29]、ResNet[30]等。一般情況下，隨著網(wǎng)絡深度的增加，可提高特征的提取能力，但網(wǎng)絡深度過深易導致梯度爆炸或者梯度消失，使神經(jīng)元失活而無法提取特征[30]。ResNet網(wǎng)絡的殘差模塊以跳層連接的形式將單元輸入與輸出加在一起后再通過激活函數(shù)來解決上述問題。本文選擇ResNet50作為燈誘害蟲的特征提取網(wǎng)絡，輸入部分以3×3和1×1的小卷積核為主，在每一層中，如果特征圖的尺寸變化為原來的1/2，網(wǎng)絡通過增加濾波器的數(shù)量來保持每層的信息量。但由于ResNet網(wǎng)絡結(jié)構(gòu)直接使用步長設置為2的1×1卷積進行下采樣，使得輸入特征圖丟失3/4信息，本文將下采樣位置延后，在大小為3×3的卷積核實現(xiàn)下采樣（圖5），步長為2。上下兩個部分的特征提取網(wǎng)絡均采用改進后的ResNet50網(wǎng)絡。

（a）螻蛄；（b）草地螟；（c）大黑鰓金龜；（d）玉米螟

圖4 農(nóng)業(yè)燈誘害蟲細粒度圖像識別網(wǎng)絡結(jié)構(gòu)圖

圖5 下采樣延后的結(jié)構(gòu)圖

圖6是ResNet50中下采樣結(jié)構(gòu)改變前后提取的稻縱卷葉螟特征圖。很明顯，圖6-b比圖6-a中包含更多的稻縱卷葉螟輪廓信息。

1.3.3 注意力機制 卷積神經(jīng)網(wǎng)絡從圖像中提取了成千上萬的特征，但存在一些冗余的特征。針對這個問題，Mmih等[31]提出了注意力機制，讓網(wǎng)絡更多關(guān)注于輸入圖像中有用信息，減少不相關(guān)的輸入，通過自適應選擇區(qū)域或位置的序列提取信息。本文添加的注意力機制模塊有兩個分支，一個由正則化方法Dropout[32]與5個級聯(lián)的1×1的卷積層組成，在網(wǎng)絡前向傳播的過程中，讓某個神經(jīng)元以一定的概率失活，可以使得網(wǎng)絡不會依賴某些局部的特征而使得模型的泛化能力更強；另一個是將特征圖直接輸入到分支終端，將兩個分支在終端進行相乘處理。最后，將雙線性結(jié)構(gòu)中的上下兩個注意力機制的輸出進行外積運算，再由全局平均池化后進入到分類模塊進行預測。

本文通過添加注意力機制模塊，對信息量較多的區(qū)域自適應提取信息，結(jié)合雙線性結(jié)構(gòu)做外積運算，使網(wǎng)絡更加注重信息較多的區(qū)域進行特征提取，以提高識別率。

1.3.4 模型的訓練 利用遷移學習方法，使用預訓練模型。模型訓練參數(shù)設定：優(yōu)化器采用隨機梯下降法SGD（stochastic gradident descent），rate（學習率）設置為0.005，衰減策略設置為multistep，gamma設置為0.1，沖量為0.9，權(quán)重衰減率為0.0005，訓練代數(shù)epoch為300，圖像輸入尺寸為224×224，損失函數(shù)采用交叉熵損失函數(shù)。

1.4 結(jié)果評價方法

為了驗證本文提出的BAPest-net模型對相似燈誘害蟲識別的有效性，在相同的訓練集上訓練VGG19、Densenet、ResNet50、BCNN和BAPest-net 5個模型，并在同一個測試集上測試。

利用害蟲平均識別率和精確率-召回率（precision- recall，PR）曲線對5種識別模型進行評價，見公式1—3。

式中，精準率（precision）表示識別為某種燈誘害蟲中被正確識別的比例。召回率（recall）表示某種燈誘害蟲被正確識別的數(shù)量占該種害蟲總量的比例；表示害蟲正確識別的數(shù)量，表示錯誤識別為某種害蟲的數(shù)量，表示為某種害蟲錯誤識別為其他種類害蟲的數(shù)量。表示燈誘害蟲的種類，R表示測試集中每一種害蟲的召回率。

P-R曲線是以召回率（recall）為橫坐標和精準率（precision）為縱坐標繪制出來的曲線。

1.5 模型訓練環(huán)境

所有模型的訓練和測試均在操作系統(tǒng)為Ubuntu 20.04，CPU型號為Intel(R) Core(TM) i7-9800X CPU @ 3.80GHz，GPU為GeForce RTX 2070，顯存大小為8G的臺式電腦上完成。

2 結(jié)果

VGG19、Densenet、ResNet50、BCNN和BAPest-net 5個模型對6類相似的19種燈誘害蟲的識別結(jié)果見圖7—9和表2。

圖7給出了5個模型在同一個測試集上測試的PR曲線。從圖中可以看出，在相同召回率的情況下，BAPest-net模型的精準率高于其他4個模型，BCNN次之，VGG19效果最差。

表2給出了5種模型對19種害蟲的平均識別率。5個模型平均識別率從高到低依次為：BAPest-net、BCNN、Densenet、ResNet50和VGG19。BAPest-net對19種相似燈誘害蟲平均識別率達94.9%，VGG19模型僅為82.1%。

表3給出了BAPest-net對6類害蟲識別的平均識別率。從表中可以看出，C—F類鱗翅目害蟲識別率均超過了95.0%，B類中直翅目的2種害蟲和半翅目的黃足獵蝽平均識別率為89.5%。

圖8給出5種模型對每種害蟲識別的精準率。從圖中可以看出，VGG19、Densenet、ResNet50和BCNN對銅綠麗金龜、灰胸突鰓金龜、大黑鰓金龜、黃足獵蝽、大螟這幾種害蟲識別結(jié)果較差，最低精準率分別為73.3%、69.13%、15.8%、34.9%、68.1%，而BAPest-net對它們的精準率分別為97.0%、93.0%、83.0%、73.6%、100.0%。

圖7 5個模型在19種害蟲上的precision-recall曲線圖

A1-銅綠麗金龜Anomala corpulenta；A2-灰胸突鰓金龜Hoplosternu incanus；A3-大黑鰓金龜Holotrichia oblita；B1-螻蛄Gryllotalpa spps；B2-中華蟋蟀Gryllus chinensis；B3-黃足獵蝽Sirthenea flavipes；C1-榆黃足毒蛾Ivela ochropoda；C2-楊雪毒蛾Stilprotia salicis；D1-槐尺蛾Semiothisa cinerearia；D2-格庶尺蛾Semiothisa hebesata；E1-棉鈴蟲Helicoverpa armigera；E2-煙青蟲Heliothis assulta；E3-勞氏粘蟲Leucania loreyi；F1-二化螟Chilo suppressalis；F2-草地螟Loxostege stieticatis；F3-金黃鐮翅野螟Circobotys aurealis；F4-稻縱卷葉螟Cnaphalocrocis medinalis；F5-玉米螟Pyrausta nubilalis；F6-大螟Sesamia inferens

表2 5個模型的19種燈誘害蟲平均識別率

表3 BAPest-net對6類農(nóng)業(yè)燈誘害蟲的識別結(jié)果

利用yolov4模型對圖1中的4幅燈誘害蟲進行檢測，存在一些害蟲的誤檢，再經(jīng)過BAPest-net模型得到燈誘害蟲識別結(jié)果（圖9）。在圖9-a中正確識別出1只黃足獵蝽、1只中華蟋蟀、2只稻縱卷葉螟；在圖9-b中正確識別出1只槐尺蛾、2個棉鈴蟲；在圖9-c中正確識別出了1只銅綠麗金龜、1只楊雪毒蛾。前3幅圖模型識別結(jié)果與人工識別結(jié)果相同。在圖9-d中正確識別38只二化螟。由于該圖存在蟲量較多、背景復雜，部分害蟲堆積嚴重造成遮擋現(xiàn)象，造成yolov4模型漏檢了1只二化螟。

利用BAPest-net模型測試中，仍存在少數(shù)相似度較高的害蟲誤判，圖10展示了3種害蟲被誤判成其他相似種類害蟲。圖10-a的銅綠麗金龜被誤判為圖10-b的大黑鰓金龜，這兩種害蟲在體型上非常相似，雖然大黑鰓金龜通體黑色，銅綠麗金龜背部呈銅綠色，但在燈誘害蟲圖像上銅綠色不明顯，易被誤判為大黑鰓金龜。圖10-c的黃足獵蝽被誤判為圖10-d螻蛄，雖然這兩種害蟲屬于不同目，存在較大差異，但當他們腹部朝上時，視覺差異較小，難以區(qū)分。圖10-e楊雪毒蛾被誤判為圖10-f榆黃足毒蛾，兩種害蟲在顏色與外形上極為相似，不同的地方是楊雪毒蛾足呈黑色而榆黃足毒蛾足呈黃色，當他們側(cè)身，足的差異難以呈現(xiàn)在圖像上，導致誤判。

對于區(qū)分度較低的相似害蟲需要更多的訓練樣本以獲取更多的特征，提高模型的識別率和泛化能力。

3 討論

農(nóng)業(yè)燈誘害蟲圖像存在種類繁多、圖像背景復雜、蟲體姿態(tài)多樣、鱗片脫落等問題，造成不同種害蟲在視覺上差異較小，而同一種害蟲可能存在較大差異，準確識別這些害蟲具有很大的挑戰(zhàn)性。傳統(tǒng)模式識別方法存在人工設計特征、模型魯棒性弱和泛化能力差的問題，利用深度學習方法可以提高模型的識別準確率和模型的魯棒性。利用經(jīng)典的深度學習模型VGG19、Densenet和ResNet50在燈誘害蟲識別上獲得了較高的精準率，但對銅綠麗金龜、灰胸突鰓金龜、大黑鰓金龜、黃足獵蝽、大螟的精準率偏低，其最低精準率分別為73.3%、69.13%、15.8%、34.9%、68.1%。本文將它們看成細粒度圖像識別任務，在Lin等[22]提出的雙線性網(wǎng)絡（BCNN）網(wǎng)絡結(jié)構(gòu)基礎(chǔ)上，建立了基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲細粒度圖像識別模型（BAPest-net），模型采用改進后的ResNet50特征提取網(wǎng)絡，提高了圖像特征提取能力，通過添加注意力機制模塊，對圖像中信息量較多的害蟲目標區(qū)域自適應提取特征。測試結(jié)果表明，BAPest-net對6類相似的19種農(nóng)業(yè)燈誘害蟲平均識別率達到94.9%，對蟲體遮擋、顏色較深的大黑鰓金龜?shù)木珳事侍岣叩?3.0%；對背景較復雜、蟲體黑褐色部分較多的黃足獵蝽精準率達到了73.6%；對姿態(tài)差異大的草地螟精準率提高到了93.7%。結(jié)果表明基于雙線性注意力機制的BAPest-net模型可以有效地識別細粒度農(nóng)業(yè)燈誘害蟲圖像。

本文僅對6類相似的19種農(nóng)業(yè)燈誘害蟲進行識別。實際上，燈誘害蟲種類繁多，還有更多的非目標昆蟲與這19種燈誘害蟲相似。隨著智能測報燈在田間更廣泛的應用，將采集到更多的燈誘害蟲圖像，可以增加相似害蟲識別種類，提高目標害蟲識別率和模型的魯棒性。

4 結(jié)論

為了提高智能蟲情測報燈害蟲測報的精準度，針對農(nóng)業(yè)燈誘害蟲圖像檢測結(jié)果中存在較多誤檢且6類相似的19種害蟲，本文提出了基于雙線性注意力網(wǎng)絡的農(nóng)業(yè)燈誘害蟲細粒度圖像識別模型（BAPest-net）。BAPest-net模型采用雙線性網(wǎng)絡結(jié)構(gòu)，對特征提取網(wǎng)絡ResNet50進行改進，將下采樣延后，提取更多特征信息，經(jīng)歸一化后輸入到注意力機制模塊中，最后進入到softmax分類器中分類識別。與VGG19、Densenet、ResNet50和BCNN相比，測試結(jié)果表明BAPest-net模型在6類相似的19種燈誘害蟲上獲得了最高的平均識別率，為94.9%，大大提高了相似燈誘害蟲測報的準確性。

[1] 張心雨. 低密度下評估稻飛虱智能識別系統(tǒng)的有效性[D]. 南京: 南京農(nóng)業(yè)大學, 2016.

ZHANG X Y. Evaluate the effectiveness of automatic identification system at the low planthoppers density. Nanjing: Nanjing Agricultural University, 2016. (in Chinese)

[2] 林培炯, 張智, 王旭龍, 劉冬雪, 胡高, 張云慧. 2019年北京市延慶區(qū)草地貪夜蛾種群動態(tài)與蟲源分析. 植物保護學報, 2020, 47(4): 758-769.

LIN P J, ZHANG Z, WANG X L, LIU D X, HU G, ZHANG Y H. Population dynamic and trajectory simulation of migratory moths of fall armywormin Yangqing of Beijing in 2019. Journal of Plant Protection, 2020, 47(4): 758-769. (in Chinese)

[3] 王祥會, 焦玉霞, 王圣楠, 孫玉濤, 王宏梅, 孔德生. 祥辰智能蟲情測報燈在大田害蟲監(jiān)測預報中的應用研究. 基層農(nóng)技推廣, 2020, 8(8): 43-45.

WANG X H, JIAO Y X, WANG S N, SUN Y T, WANG H M, KONG D S. Application of Xiangchen intelligent pest situation forecasting lamp in field pest monitoring and forecasting. Grassroots Agricultural Technology Extension, 2020, 8(8): 43-45. (in Chinese)

[4] YAO Q, FENG J, TANG J, XU W G, ZHU X H, YANG B J, LV J, XIE Y Z, YAO B, WU S Z, KUAI N Y, WANG L J. Development of an automatic monitoring system for rice light-trap pests based on machine vision.Journal of Integrative Agriculture, 2020, 19(10): 2500-2513.

[5] EBRAHIMI M A, KHOSHTAGHAZA M H, MINAEI S, JAMSHIDI B. Vision-based pest detection based on SVM classification method. Computers and Electronics in Agriculture, 2017, 137: 52-58.

[6] XIAO D Q, FENG J Z, LIN T Y, PANG C H, YE Y W. Classification and recognition scheme for vegetable pests based on the BOF-SVM model. International Journal of Agricultural and Biological Engineering, 2018, 11(3): 190-196.

[7] DENG L M, WANG Y J, HAN Z Z, YU R S. Research on insect pest image detection and recognition based on bio-inspired methods. Biosystems Engineering, 2018, 169: 139-148.

[8] ZHAO J, CHENG X P. Field pest identification by an improved Gabor texture segmentation scheme. New Zealand Journal of Agricultural Research, 2007, 50(5): 719-723.

[9] 佘顥, 吳伶, 單魯泉. 基于SSD網(wǎng)絡模型改進的水稻害蟲識別方法. 鄭州大學學報(理學版), 2020, 52(3): 49-54.

SHE H, WU L, SHAN L Q. Improved rice pest recognition based on SSD network model. Journal of Zhengzhou University (Natural Science Edition), 2020, 52(3): 49-54. (in Chinese)

[10] 錢蓉, 孔娟娟, 朱靜波, 張萌, 董偉. 基于VGG-16卷積神經(jīng)網(wǎng)絡的水稻害蟲智能識別研究. 安徽農(nóng)業(yè)科學, 2020, 48(5): 235-238.

QIAN R, KONG J J, ZHU J B, ZHANG M, DONG W. Research on intelligent identification of rice pests based on VGG-16 convolutional neural network.Journal of Anhui Agricultural Sciences, 2020, 48(5): 235-238. (in Chinese)

[11] 梁萬杰, 曹宏鑫. 基于卷積神經(jīng)網(wǎng)絡的水稻蟲害識別. 江蘇農(nóng)業(yè)科學, 2017, 45(20): 241-243, 253.

LIANG W J, CAO H X. Rice pest identification based on convolutional neural network. Jiangsu Agricultural Sciences, 2017, 45(20): 241-243, 253. (in Chinese)

[12] ALFARISY A A, CHEN Q, Guo M. Deep learning based classificationforpaddy pests & diseases recognition. Proceedings of 2018 International Conference on Mathematics and Artificial Intelligence.Chengdu, 2018: 21-25.

[13] 邵澤中, 姚青, 唐健, 李罕瓊, 楊保軍, 呂軍, 陳軼. 面向移動終端的農(nóng)業(yè)害蟲圖像智能識別系統(tǒng)的研究與開發(fā). 中國農(nóng)業(yè)科學, 2020, 53(16): 3257-3268.

SHAO Z Z, YAO Q, TANG J, LI H Q, YANG B J, Lü J, CHEN Y. Research and development of the intelligent identification system of agricultural pests for mobile terminals. Scientia Agricultura Sinica, 2020, 53(16): 3257-3268. (in Chinese)

[14] 姚青, 吳叔珍, 蒯乃陽, 楊保軍, 唐健, 馮晉, 朱旭華, 朱先敏. 基于改進CornerNet的水稻燈誘飛虱自動檢測方法構(gòu)建與驗證. 農(nóng)業(yè)工程學報, 2021, 37(7): 183-189.

YAO Q, WU S Z, KUAI N Y, YANG B J, TANG J, FENG J, ZHU X H, ZHUX M. Construction and verification of automatic detection method for rice planthoppers on light-trap insect images based on improved ConerNet. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(7): 183-189.

[15] CHENG X, ZHANG Y H, CHEN Y Q, WU Y Z, YUE Y. Pest identification via deep residual learning in complex background. Computers and Electronics in Agriculture, 2017, 141: 351-356.

[16] SUN Y, LIU X X, YUAN M S, REN L L, WANG J X, CHEN Z B. Automatic in-trap pest detection using deep learning for pheromone- basedmonitoring. Biosystems Engineering, 2018, 176: 140-150.

[17] SHEN Y F, ZHOU H L, LI J T, JIAN F J, JAYAS D S. Detection of stored-grain insects using deep learning. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[18] NAQVI S D Y, HAILE A, RAO S, TEWElDEMEDHIN B, SHARMA V, NYENDE A B. Evaluation of husbandry, insect pests, diseases and management practices of vegetables cultivated in Zoba Anseba, Eritrea. Journal of Eco-friendly Agriculture, 2017, 12(1): 47-50.

[19] FERENTINOS K P. Deep learning models for plant disease detection and diagnosis. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[20] LIU L, WANG R, XIE C, YANG P, WANG F, SUDIRMAN S, LIU W. PestNet: An end-to-end deep learning approach for large-scale multi-class pest detection and classification.IEEE Access, 2019, 7: 45301-45312.

[21] 孔建磊, 金學波, 陶治, 王小藝, 林森. 基于多流高斯概率融合網(wǎng)絡的病蟲害細粒度識別. 農(nóng)業(yè)工程學報, 2020, 36(13): 148-157.

KONG J L, JIN X B, TAO Z, WANG X Y, LIN S. Fine-grained recognition of pests and diseases based on multi-stream Gaussian probability fusion network. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(13): 148-157. (in Chinese)

[22] LIN T Y, ROYCHOWDHURY A, MAJI S. Bilinear cnn models for fine-grained visual recognition. Proceedings of the IEEE International Conference on Computer Vision.CentroParque Convention Center in Santiago, Chile, 2015: 1449-1457.

[23] 藍潔, 周欣, 何小海, 滕奇志, 卿粼波. 基于跨層精簡雙線性網(wǎng)絡的細粒度鳥類識別. 科學技術(shù)與工程, 2019, 19(36): 240-246.

LAN J, ZHOU X, HE X H, TENG Q Z, QING L B. Fine-grained bird recognition based on cross-layer compact bilinear network. Science Technology and Engineering, 2019, 19(36): 240-246. (in Chinese)

[24] 冀中, 趙可心, 張鎖平, 李明兵. 基于空間變換雙線性網(wǎng)絡的細粒度魚類圖像分類. 天津大學學報: 自然科學與工程技術(shù)版, 2019, 52(5): 475-482.

JI Z, ZHAO K X, ZHANG S P, LI M B. Fine-grained fish image classification based on a bilinear network with spatial transformation. Journal of Tianjin University: Natural Science and Engineering Technology Edition, 2019, 52(5): 475-482. (in Chinese)

[25] 劉虎, 周野, 袁家斌. 基于多尺度雙線性卷積神經(jīng)網(wǎng)絡的多角度下車型精細識別. 計算機應用, 2019, 39(8): 2402-2407.

LIU H, ZHOU Y, YUAN J B. Fine-grained vehicle recognition under multiple angles based on multi-scale bilinear convolutional neural network. Journal of Computer Applications, 2019, 39(8): 2402-2407. (in Chinese)

[26] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 2012, 25: 1097-1105.

[27] ZHU Q, ZHENG H F, WANG Y B, CAO Y G, GUO S X. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 algorithm. Sensors, 2020, 20(15): 4313-4330.

[28] HOU J, SU H Y, YAN B, ZAHNG H, SUN Z, CAI X. Classification of tongue color based on CNN.IEEE 2nd International Conference on Big Data Analysis. Beijing, 2017: 725-729 .

[29] SZEGEDY C, LIU W, JIA Y, SERMANET P, REED S, ANGUELOV D, ERHAN D, VANHOUCKE V, RABINOVICH A. Going deeper with convolutions. Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. Hynes Convention Center, Boston, 2015: 1-9.

[30] HE K M, ZHANG X, REN S Q, SUN J. Deep residual learning for image recognition. Proceeding of the IEEE Conference on Computer Vision and Pattern RecognitionLas Vegas, 2016: 770-778.

[31] MMIH V, HEESS N, GRAVES A. Recurrent models of visual attention. Advances in Neural Information Processing Systems. Palais des Congres de Montreal, Montreal Canada, 2014: 2204-2212.

[32] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, SUTSKEVER I, SALAKHUTDINOV R. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

Research on Fine-Grained Image Recognition of Agricultural Light- Trap Pests Based on Bilinear Attention Network

1School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018;2Rice Technology Research and Development Center, China National Rice Research Institute, Hangzhou 311401;3Zhejiang Top Cloud-Agri Technology Co., Ltd., Hangzhou 310015

【】Some agricultural pests trapped by the intelligent light traps show the intraspecies difference and interspecies similarity due to a variety of pest species, different pest poses and scale missing. To improve the identification rate of agricultural light-trap pests, a fine-grained image identification model of agricultural light-trap pests based on bilinear attention network (BAPest-net) was proposed to identify 19 pest species which were easily misjudged by yolov4 model.【】Firstly, according to the appearance similarity and false detection results, 19 light-trap pest species were divided into 6 similar classes. All the pest images were processed to be equal in length and width through the edge-filling operation. Then, they were scaled to a uniform size of 224×224 pixels. In order to improve the robustness and generalization ability of model, the pest images were enhanced by mirror and flipping, rotation by 180 degrees, Gaussian noise, and mean filtering. The proportions of training set, validation set, and test set in samples are 80%, 10% and 10% respectively. An agricultural light-trap pest identification model based on bilinear attention network (bilinear-attention pest net, BAPest-net) was developed to identify 19 pest species belong to 6 similar pest classes. The BAPest-net model consisted of three modules, which were a feature extraction module, an attention mechanism module and an identification module. The down-sampling step in the feature extraction module was post-handled to extract more features. The attention mechanism model could make the model focus on the local features, which could increase the identification rate and learning efficiency. The model optimizer used the stochastic gradient descent method, and the global average pooling was used in the classification module to avoid overfitting from the structure of the entire network. Finally, the five models, including VGG19, Densenet, ResNet50, bilinear model and BAPest-net, were training on the same training set and were used to test 19 light-trap pests in the 6 similar pest classes. Precision, Precision-Recall curve and average identification rate were used to evaluate the identification effects of different models on similar light-trap pests.【】 In five models, the BAPest-net model had the highest average identification rate of 94.9% on 19 light-trap pests in 6 similar pest classes. The bilinear model gained the second high identification rate of 90.2% and the VGG19 model had only the lowest identification rate of 82.1%. The average identification rates ofpests in four pest categories were greater than 95.0%. 【】The fine-grained image identification model of agricultural light-trap pests based on bilinear attention network could automatically identify 19 agricultural light-trap pests in 6 similar pest classes and improve the automatic identification accuracy of agricultural light-trap pests.

agricultural light-trap pest; pest identification; fine-grained image; bilinear; attention mechanism

10.3864/j.issn.0578-1752.2021.21.007

2020-12-21；

2021-03-03

國家“863”計劃（2013AA102402）、浙江省公益性項目（LGN18C140007）、浙江省自然科學基金（LY20C140008）

姚青，E-mail：q-yao@126.com。通信作者唐健，E-mail：tangjian@caas.cn

（責任編輯 楊鑫浩）