郭勝娟，劉 峰

（1.武漢城市職業(yè)學(xué)院初教學(xué)院，湖北武漢 430070；2.武漢大學(xué)計(jì)算機(jī)學(xué)院，湖北武漢 430072）

0 引言

昆蟲是農(nóng)作物生產(chǎn)的主要威脅，可以感染、破壞并降低農(nóng)業(yè)產(chǎn)量。對(duì)有害昆蟲的識(shí)別并對(duì)其進(jìn)行及早防治有助于提高農(nóng)業(yè)種植和經(jīng)濟(jì)林業(yè)的產(chǎn)值。準(zhǔn)確、快速地從監(jiān)控視頻、遠(yuǎn)程協(xié)同以及無(wú)人機(jī)巡查圖片中檢測(cè)有害昆蟲將有助于實(shí)現(xiàn)農(nóng)林害蟲的早期防治[1]。由于圖像中昆蟲的分辨率低，以及遮擋、噪聲和特征缺乏等干擾因素，處理大型數(shù)據(jù)集中微小物體的檢測(cè)具有一定的挑戰(zhàn)性。近年來(lái)，如何使用人工智能技術(shù)快速、準(zhǔn)確地從復(fù)雜背景圖像中識(shí)別有害昆蟲成為研究的熱門問(wèn)題，對(duì)農(nóng)林生產(chǎn)、環(huán)境保護(hù)以及自然蟲害防治都具有非常重要的研究?jī)r(jià)值[2，3]。因此，本文以日本脊吉丁、楊小舟蛾、柳蘭葉甲和刺蛾四種有害昆蟲為例，探討基于YOLOV5的圖像目標(biāo)檢測(cè)技術(shù)識(shí)別特定區(qū)域常見(jiàn)有限種類的有害昆蟲的可能性，以便于為農(nóng)業(yè)生產(chǎn)提供科學(xué)依據(jù)。

1 昆蟲形態(tài)與危害性分析

日本脊吉?。–halcophora japonica）為鞘翅目吉丁蟲科昆蟲。體長(zhǎng)2.9～3.7 cm，體型狹長(zhǎng)而扁，末端尖，體色黑褐色，前胸、翅鞘有縱向灰白色條狀斑紋，頭部黑色，兩復(fù)眼內(nèi)側(cè)及下緣有粉紅色條紋。主要分布在福建、江西、湖南、重慶、云南等地。幼蟲主要寄生在樹(shù)干韌皮部、形成層和木質(zhì)部淺層，蛀食樹(shù)木導(dǎo)致樹(shù)皮開(kāi)裂與脫落，使得樹(shù)勢(shì)衰弱甚至死亡。

楊小舟蛾（Micromelalopha sieversi Staudinger）為舟蛾科小舟蛾屬昆蟲，體長(zhǎng)1.1～1.4 cm，展翅2.4～2.6 cm[4]。體色有黃褐、紅褐和暗褐等多種顏色，變化多樣，具3條灰白橫線的前翅。在我國(guó)廣泛分布于北京、湖北、四川等地。蟲卵半球形，黃綠色，呈塊狀排列于頁(yè)面。幼蟲主要寄居于經(jīng)濟(jì)作物和楊柳等景觀樹(shù)種，啃食葉表，使葉片呈籮篩狀。多發(fā)于7、8月份高溫多雨天氣。

柳蘭葉甲（Plagiodera versicolora）為鞘翅目葉甲科昆蟲[5]。體長(zhǎng)4 mm左右，全體有金屬光澤，頭部橫寬，具有褐色觸角，前胸背板光滑，前緣呈弧形凹入。廣泛分布在全國(guó)各地。成蟲和幼蟲主要寄居于葡萄、柳、桃等葉片，啃食嫩葉，導(dǎo)致寄主葉片穿孔或者孔洞，使被害葉片呈紗窗網(wǎng)紋狀。

刺蛾（Limacodidae）鱗翅目刺蛾科昆蟲[6]。成蟲體長(zhǎng)1.5～1.6 cm，翅展3.6～4.0 cm，體綠色，胸背中央有1條棕色縱線，腹部灰黃色，翅背面灰綠色；復(fù)眼黑褐色。幼蟲體長(zhǎng)2.5～2.8 cm，初黃色，后為黃綠至綠色。前胸盾上有1對(duì)黑斑，亞背線部位有10對(duì)刺突，氣門下方有8對(duì)刺突。分布地域廣泛，幾乎遍及全國(guó)。刺蛾是雜食性食葉害蟲，以蘋果、梨、棗等果樹(shù)以及月季、楊、柳等多種園林植物的葉片為食，危害性大，危害范圍廣。刺蛾幼蟲?？惺橙~下表皮及葉肉，成蟲啃食樹(shù)全葉，形成圓形透明小斑塊。

2 有害昆蟲識(shí)別方法

基于圖像特征提取并對(duì)圖像分類的算法早期已經(jīng)被應(yīng)用于農(nóng)業(yè)昆蟲的識(shí)別。竺樂(lè)慶等人搜集了10種害蟲579個(gè)樣本，采用局部平均顏色特征和支持向量機(jī)對(duì)樣本進(jìn)行分類[7]。Fina等人引入了K均值聚類算法對(duì)作物害蟲識(shí)別進(jìn)行識(shí)別。張紅濤等人收集了270個(gè)訓(xùn)練樣本，設(shè)計(jì)了一個(gè)田間害蟲識(shí)別系統(tǒng)[8]。Ebrahimi等人使用微分核函數(shù)SVM方法來(lái)對(duì)小樣本數(shù)據(jù)集的昆蟲進(jìn)行分類[9]。

在人工智能領(lǐng)域，深度學(xué)習(xí)算法具有很強(qiáng)的學(xué)習(xí)能力，廣泛應(yīng)用在圖像特征提取方面。自卷積神經(jīng)網(wǎng)絡(luò)提出以來(lái)，出現(xiàn)ResNet、GoogleNet和UNet等優(yōu)秀的神經(jīng)網(wǎng)絡(luò)。它們可以自動(dòng)學(xué)習(xí)復(fù)雜圖像的形態(tài)、顏色和紋理特征，解決了傳統(tǒng)手工設(shè)計(jì)的特征提取器局限性和主觀性，從而廣泛應(yīng)用復(fù)雜圖像檢測(cè)、分割、分類和識(shí)別領(lǐng)域。

2018年，Denan Xia等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多層分類器來(lái)解決昆蟲識(shí)別問(wèn)題[10]。該方法首先采用16層卷積網(wǎng)絡(luò)VGG-19模型用于提取特征，并采用區(qū)域生成網(wǎng)絡(luò)（RPN）定位昆蟲。2020年，F(xiàn)uji Ren等人設(shè)計(jì)了一種特征重用殘差塊，將輸入信號(hào)的特征與殘差信號(hào)融合，形成特征重用殘差網(wǎng)絡(luò)（FR ResNet），通過(guò)對(duì)重用殘差信息進(jìn)行學(xué)習(xí)，提高了圖像信息的表示能力[11]。

Abderraouf等人提出了一種改進(jìn)了YOLOv3網(wǎng)絡(luò)框架，通過(guò)集成自適應(yīng)特征融合模塊，能夠快速檢測(cè)農(nóng)業(yè)害蟲[12]。Lei Du等人基于Faster R-CNN，提出了一種稱為害蟲區(qū)域CNN的端到端模型Pest R-CNN，能夠?qū)τ衩兹~片的夜蛾取食痕跡進(jìn)行快速檢測(cè)[13]。

3 目標(biāo)檢測(cè)算法YOLO v5

有害昆蟲的識(shí)別本質(zhì)上是通過(guò)視頻或者圖像的目標(biāo)檢測(cè)過(guò)程，而Joseph等人提出的YOLO算法廣泛應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域[14，15，16，17]。YOLO是一種端到端的網(wǎng)絡(luò)模型，它將對(duì)象檢測(cè)重新定義為一個(gè)回歸問(wèn)題，使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)，在一幅圖像中定義多個(gè)預(yù)測(cè)框來(lái)實(shí)現(xiàn)多目標(biāo)的檢測(cè)任務(wù)。YOLO V5是Ultralytics推出的開(kāi)源目標(biāo)檢測(cè)算法，它支持快速的視頻和圖像檢測(cè)，可以實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)[18]。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLO v5整個(gè)網(wǎng)絡(luò)架構(gòu)由如圖1所示的輸入部分、主干部分、頭部部分和預(yù)測(cè)部分組成。輸入部分主要負(fù)責(zé)對(duì)數(shù)據(jù)的輸入和數(shù)據(jù)增強(qiáng)，支持錨框的自動(dòng)計(jì)算機(jī)制，支持基于馬賽克的數(shù)據(jù)增強(qiáng)機(jī)制，支持對(duì)圖像隨機(jī)裁剪、排列、縮放等拼接方式。

主干部分主要作用是提取輸入圖片中的特征信息，以便于頭部網(wǎng)絡(luò)進(jìn)行特征融合。YOLO v5的主干網(wǎng)絡(luò)部分由Focus子模塊、CBL模塊與CSP模塊組成。CBL模塊由卷積、批量正則化和Leaky relu激活函數(shù)組成。Focus模塊由多個(gè)片段拼接和CBL模塊卷積組成。ResUnit單元是兩次CBL操作后進(jìn)行的殘差鏈接運(yùn)算組成。CSP模塊由CBL模塊、ResUnit單元運(yùn)算后，再進(jìn)行卷積和殘差鏈接的方式拼接，拼接后再采用批量正則化、Leaky relu和CBL操作組成。

頸部部分主要是采用卷積、CSP模塊、上采樣和拼接操作形成三種不同尺度的預(yù)測(cè)特征圖。該模塊借鑒了繼承了YOLOV4的優(yōu)點(diǎn)，多通道特征PANet網(wǎng)絡(luò)模型來(lái)提升預(yù)測(cè)精度[18]。預(yù)測(cè)部分主要通過(guò)卷積形成三個(gè)不同尺度的特征向量，采用全連接層實(shí)現(xiàn)目標(biāo)檢測(cè)任務(wù)。

如圖1所示，在YOLO v5中，算法首先將圖像轉(zhuǎn)化為608×608像素的三通道RGB圖像，然后，將其分割為S×S個(gè)網(wǎng)格，如果標(biāo)注的樣本中心落入到某個(gè)網(wǎng)格，則該網(wǎng)格負(fù)責(zé)預(yù)測(cè)目標(biāo)對(duì)象。因此，每個(gè)網(wǎng)格需要預(yù)測(cè)一個(gè)矩形錨框來(lái)擬合目標(biāo)對(duì)象的位置，每個(gè)待預(yù)測(cè)的錨框由[w，h，x，y，c]五元組組成，其中錨框長(zhǎng)度（w）、寬度（h）、中心點(diǎn)位置坐標(biāo)x，y值以及預(yù)測(cè)的置信度（c）可以通過(guò)機(jī)器學(xué)習(xí)預(yù)測(cè)。同時(shí)，在這五元組已預(yù)測(cè)的情況下，還需要預(yù)測(cè)該框中的物體屬于某個(gè)類別L的可能性（pL）。若需要預(yù)測(cè)k個(gè)類別，則應(yīng)保存每個(gè)錨框的參數(shù)為（5+k）個(gè)參數(shù)。假設(shè)每個(gè)中心點(diǎn)預(yù)測(cè)三個(gè)錨框，而預(yù)測(cè)類別數(shù)為80，則每個(gè)中心點(diǎn)需要3×（80+5）=255個(gè)參數(shù)。機(jī)器學(xué)習(xí)時(shí)，隨機(jī)生成這些參數(shù)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的迭代，將參數(shù)優(yōu)化到樣本標(biāo)簽擬合的位置，從而完成機(jī)器學(xué)習(xí)的過(guò)程。YOLO v5采用三個(gè)尺度來(lái)預(yù)測(cè)錨框，其推薦尺度分別為76×76、38×38、19×19。

圖1 YOLO v5 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 網(wǎng)絡(luò)的改進(jìn)

為了解決數(shù)據(jù)集的規(guī)模相對(duì)較小和類別相對(duì)不平衡而導(dǎo)致過(guò)擬合問(wèn)題，本文在YOLO v5的Mosaic 數(shù)據(jù)增強(qiáng)方式的基礎(chǔ)上，將四張圖片進(jìn)行隨機(jī)裁剪、縮放后，再隨機(jī)排列拼接形成一張圖片，實(shí)現(xiàn)豐富數(shù)據(jù)集的同時(shí)，增加了小樣本目標(biāo)，提升網(wǎng)絡(luò)的訓(xùn)練速度。

此外，本文還采用復(fù)制、粘貼和混合技術(shù)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。對(duì)于一組四個(gè)訓(xùn)練圖像，首先通過(guò)隨機(jī)選擇幾張圖片對(duì)其進(jìn)行亮度、色調(diào)和飽和度分量來(lái)應(yīng)用顏色抖動(dòng)調(diào)整；再通過(guò)插入操作將其插入其他圖片來(lái)產(chǎn)生更多的輸入圖像；接著采用隨機(jī)馬賽克技術(shù)對(duì)圖像進(jìn)行處理，然后通過(guò)平移、翻轉(zhuǎn)、旋轉(zhuǎn)和縮放等幾何變換技術(shù)，實(shí)現(xiàn)圖像融合。

為了提高網(wǎng)絡(luò)的學(xué)習(xí)精度，本文在Yolo v5的損失函數(shù)基礎(chǔ)上，融合了中心點(diǎn)損失函數(shù)[18]。設(shè)xi為第i個(gè)預(yù)測(cè)框中心點(diǎn)位置，Cyi每個(gè)標(biāo)簽的中心點(diǎn)位置。則中心點(diǎn)損失函數(shù)的定義如公式1所示。

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)集

為了探究日本脊吉丁、楊小舟蛾、柳蘭葉甲和刺蛾四種昆蟲的人工智能識(shí)別機(jī)制，本文基于Baidu圖像從公開(kāi)數(shù)據(jù)集中收集了四種昆蟲在不同的生長(zhǎng)周期中的圖片2 680張，采用數(shù)據(jù)增強(qiáng)的方式對(duì)數(shù)據(jù)進(jìn)行四倍增強(qiáng)。對(duì)增強(qiáng)后的數(shù)據(jù)集按照9：1隨機(jī)劃分為訓(xùn)練集和測(cè)試集，再對(duì)測(cè)試集按照8：2隨機(jī)劃分為過(guò)程訓(xùn)練集和評(píng)估集。

將樣本圖像的尺寸進(jìn)行歸一化處理，處理后的圖像分辨率為608×608。對(duì)歸一化后的數(shù)據(jù)采用Labelme軟件進(jìn)行人工標(biāo)注為JSON格式，通過(guò)Python程序?qū)SON格式轉(zhuǎn)化為VOC格式和YOLO格式。

4.2 實(shí)驗(yàn)環(huán)境與評(píng)估方式

實(shí)驗(yàn)的操作系統(tǒng)為Windows 11，主要軟件為Python-3.9.7和torch-1.10.2 ；顯卡為NVIDIA GeForce RTX 3060，6G顯存。

實(shí)驗(yàn)主要參數(shù)配置為：學(xué)習(xí)率lr為0.01，動(dòng)量系數(shù)為0.937，批尺寸設(shè)置為16，圖像輸入分辨率為608×608，iou閾值為0.2，Anchor閾值為4.0，訓(xùn)練epoch為400。

為了評(píng)估實(shí)驗(yàn)識(shí)別精度，本實(shí)驗(yàn)選用預(yù)測(cè)準(zhǔn)確度、置信度為0.5～0.95的平均精度mAP、混淆矩陣和F1曲線等評(píng)價(jià)指標(biāo)來(lái)進(jìn)行評(píng)價(jià)[19，20]。mAP通常用于衡量目標(biāo)檢測(cè)的精度指標(biāo)；混淆矩陣用于觀察模型在各個(gè)類別上的表現(xiàn)；F1曲線主要用來(lái)觀察定模型精度和最佳置信度。

4.3 實(shí)驗(yàn)結(jié)果

在昆蟲檢測(cè)過(guò)程中，深度神經(jīng)網(wǎng)絡(luò)提取圖像中可能存在的昆蟲，并標(biāo)注昆蟲的類別以及概率即置信度。為了驗(yàn)證算法的性能，本文從測(cè)試集中隨機(jī)選擇4張樣本，并根據(jù)標(biāo)簽標(biāo)注錨框[圖2（上圖）]與算法預(yù)測(cè)結(jié)果[圖2（下圖）]進(jìn)行對(duì)比。從圖中可見(jiàn)，算法能完整的預(yù)測(cè)四種昆蟲，其中脊吉丁、葉甲的置信度達(dá)到1.0，楊小舟蛾和刺蛾的置信度達(dá)到0.8。對(duì)比預(yù)測(cè)結(jié)果的刺蛾，由于標(biāo)簽樣本并沒(méi)有完全標(biāo)注所有的刺蛾，算法通過(guò)推理，找到了所有的刺蛾，并將所有刺蛾進(jìn)行歸并，這說(shuō)明該算法具有一定的遷移能力，能夠找到比標(biāo)簽更合乎實(shí)際情況的昆蟲。

圖2 四種昆蟲樣本標(biāo)簽（上圖）與預(yù)測(cè)結(jié)果對(duì)比圖（下圖）

4.4 準(zhǔn)確性分析

為了驗(yàn)證算法的準(zhǔn)確性，本文采用獨(dú)立的測(cè)試集對(duì)算法進(jìn)行測(cè)試，結(jié)果如表1所示。測(cè)試表明四種昆蟲的平均準(zhǔn)確率達(dá)到96.7%，平均召回率達(dá)到97%，置信度在0.5～0.95區(qū)間的平均精度mAP值為79.1%。從該預(yù)測(cè)結(jié)果可以開(kāi)出，所有昆蟲的召回率都大于92%，其中脊吉丁召回率可以達(dá)到100%，而刺蛾的召回率可以達(dá)到92.3%。但是隨著置信度水平的提升，所有四種昆蟲的準(zhǔn)確率都有不同程度的下降。

表1 四種昆蟲的測(cè)試結(jié)果

在獨(dú)立測(cè)試集上，四種昆蟲的混淆矩陣和F1曲線如圖3所示。從混淆矩陣可以看出，脊吉丁的準(zhǔn)確率和召回率都可以達(dá)到100%，但是楊小舟蛾和刺蛾的準(zhǔn)確率較低，達(dá)到92%，很容易將部分背景圖像認(rèn)為是楊小舟蛾和刺蛾。從F1曲線可以看出，置信度在10%～85%范圍都能有效地區(qū)分四種昆蟲。

圖3 測(cè)試集的混淆矩陣和F1曲線

5 結(jié)語(yǔ)

本文收集公開(kāi)的日本脊吉丁、楊小舟蛾、柳蘭葉甲和刺蛾四種昆蟲，通過(guò)labelme進(jìn)行人工標(biāo)注，采用改進(jìn)的YOLO v5算法對(duì)四種昆蟲進(jìn)行檢測(cè)。通過(guò)對(duì)比實(shí)驗(yàn)和數(shù)值分析，證明可以采用YOLO v5快速檢測(cè)四種有害昆蟲，為農(nóng)業(yè)和林業(yè)生產(chǎn)的害蟲早期發(fā)現(xiàn)提供了科學(xué)依據(jù)。