馬馳 吳華瑞 于會(huì)山
摘要:為實(shí)現(xiàn)穴盤(pán)甘藍(lán)的智能化管理,針對(duì)穴盤(pán)甘藍(lán)病害識(shí)別存在的光照不均勻、對(duì)比度低和待檢測(cè)目標(biāo)小等問(wèn)題,研究了基于深度學(xué)習(xí)的穴盤(pán)甘藍(lán)病害檢測(cè)算法。該算法結(jié)合通道空間注意力機(jī)制模塊,在特征提取模塊對(duì)特征信息進(jìn)行重標(biāo)定,引導(dǎo)模型關(guān)注病害區(qū)域特征,抑制背景噪聲,降低模型漏檢率。并采用自適應(yīng)多尺度特征融合算法提取穴盤(pán)甘藍(lán)病害多尺度特征,充分利用不同尺度特征的語(yǔ)義信息提升小目標(biāo)的檢測(cè)精確率。由于算法的檢測(cè)框定位不準(zhǔn)確,在回歸損失函數(shù)中添加了重疊面積損失、中心點(diǎn)距離損失和寬高損失,對(duì)回歸任務(wù)進(jìn)行了優(yōu)化,提高穴盤(pán)甘藍(lán)病害預(yù)測(cè)框定位精度;同時(shí)引入變焦損失函數(shù)作為分類損失函數(shù),利用權(quán)重縮放因子緩解模型訓(xùn)練過(guò)程中相似病害類間差距小的問(wèn)題。結(jié)果表明,研究算法對(duì)穴盤(pán)甘藍(lán)炭疽病、細(xì)菌性黑斑病、褐斑病、黑腐病的檢測(cè)平均精確率分別為97.59%、99.70%、98.69%和97.64%;其平均精度均值達(dá)到98.41%,與YOLOX、Faster R-CNN、YOLOv3、SSD、CenterNet算法相比,分別提高了4.96、12.86、18.19、4.71、10.69百分點(diǎn)。
關(guān)鍵詞:病害檢測(cè);穴盤(pán)甘藍(lán);多尺度特征融合;注意力機(jī)制;小目標(biāo)檢測(cè)
中圖分類號(hào):S436.35;TP391.41 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1002-1302(2023)08-0193-10
基金項(xiàng)目:科技創(chuàng)新2030——“新一代人工智能”重大項(xiàng)目(編號(hào):2021ZD0113604);國(guó)家現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系項(xiàng)目(編號(hào):CARS-23-D07)。
作者簡(jiǎn)介:馬 馳(1998—),男,陜西寶雞人,碩士研究生,主要從事計(jì)算機(jī)視覺(jué)研究。E-mail:2957899957@qq.com。
通信作者:于會(huì)山,教授,主要從事信息與信號(hào)處理研究。E-mail:13906350692@163.com。
穴盤(pán)育苗由于生產(chǎn)成本低、成活率高便于集約化管理,已成為專業(yè)化商品苗生產(chǎn)的主要方式。在育苗過(guò)程中,細(xì)菌性黑斑病、黑腐病、炭疽病、灰霉病、立枯病等病害會(huì)嚴(yán)重影響穴盤(pán)幼苗存活率和品質(zhì)[1-2]。對(duì)穴盤(pán)幼苗病害進(jìn)行有效檢測(cè)與防治有利于提高種苗產(chǎn)量與質(zhì)量,但穴盤(pán)幼苗的生長(zhǎng)期短、病害部位小,人工檢測(cè)穴盤(pán)幼苗病害效率低,不利于及時(shí)防治。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,可以實(shí)現(xiàn)蔬菜病害的智能分類和病斑定位,為穴盤(pán)幼苗病害檢測(cè)提供技術(shù)支撐。
傳統(tǒng)蔬菜病害檢測(cè)方法是利用機(jī)器學(xué)習(xí)算法分析研究病害圖像等數(shù)據(jù)。黨滿意等通過(guò)融合馬鈴薯晚疫病顏色特征、紋理特征和形狀特征進(jìn)行病害識(shí)別,對(duì)晚疫病中期與后期的識(shí)別率分別達(dá)到90%和92.5%[3]。王獻(xiàn)鋒等將生長(zhǎng)環(huán)境作為特征與圖像表層特征進(jìn)行了聯(lián)合識(shí)別,對(duì)黃瓜的霜霉病、褐斑病和炭疽病3種葉部病害的識(shí)別率高達(dá)90%以上[4]。Rahamathunnisa等對(duì)蔬菜病害進(jìn)行了分割,利用支持向量機(jī)(SVM)對(duì)病害區(qū)域進(jìn)行分類[5]。上述研究通過(guò)數(shù)字圖像處理技術(shù)人工提取蔬菜病害特征,并結(jié)合機(jī)器學(xué)習(xí)模型進(jìn)行病害識(shí)別。但蔬菜病害表觀特征復(fù)雜,人工提取的特征分量較少,蔬菜病害識(shí)別準(zhǔn)確率有限。
近年來(lái),基于深度學(xué)習(xí)的研究提出了許多蔬菜病害檢測(cè)與識(shí)別算法[6-10]。Zhang等利用EfficientNet和先進(jìn)的優(yōu)化器構(gòu)建了黃瓜類似病害的兩分類模型,準(zhǔn)確率為96%[11]。Zhao等提出了一種基于殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),并嵌入了改進(jìn)的卷積塊注意模塊,提高了植物葉病的分類,玉米、馬鈴薯、番茄3種病害的鑒定總體準(zhǔn)確率為99.55%[12]。杜忠康等提出了在卷積神經(jīng)網(wǎng)絡(luò)中引入多尺度特征融合模塊,進(jìn)行植物葉片病害檢測(cè),對(duì)番茄葉片病害檢測(cè)準(zhǔn)確率達(dá)98.7%[13]。以上研究通過(guò)背景簡(jiǎn)單的數(shù)據(jù)集進(jìn)行訓(xùn)練,雖然模型的檢測(cè)精度較高,但模型適用場(chǎng)景有限。
目前蔬菜病害識(shí)別研究主要面向蔬菜生長(zhǎng)過(guò)程中的病害發(fā)生,缺少圍繞蔬菜幼苗的病害檢測(cè)方案。
甘藍(lán)是我國(guó)居民消費(fèi)的重要蔬菜,甘藍(lán)種植面積約90萬(wàn)hm2[14],是大宗蔬菜之一。集約化育種穴盤(pán)甘藍(lán),需要依據(jù)環(huán)境因素及時(shí)管理幼苗,否則甘藍(lán)幼苗會(huì)發(fā)生病害,不及時(shí)醫(yī)治令成株甘藍(lán)的品質(zhì)和產(chǎn)量下降,造成大量經(jīng)濟(jì)損失。為了實(shí)現(xiàn)穴盤(pán)甘藍(lán)的智能化管控,本研究以穴盤(pán)甘藍(lán)為研究對(duì)象,針對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)存在的以下問(wèn)題開(kāi)展研究:(1)蔬菜病害檢測(cè)與識(shí)別模型大多以成熟期的番茄、黃瓜等為研究對(duì)象,對(duì)甘藍(lán)病害檢測(cè)的研究較少;(2)穴盤(pán)甘藍(lán)幼苗葉片病害區(qū)域較小,且葉片中存在多種病害,病害檢測(cè)難度大;(3)不同類別病害癥狀相似,區(qū)分困難。
針對(duì)以上問(wèn)題,本研究設(shè)計(jì)了甘藍(lán)育苗試驗(yàn),在試驗(yàn)期間采集了炭疽病、細(xì)菌性黑斑病、褐斑病、黑腐病4種常見(jiàn)的穴盤(pán)甘藍(lán)病害,構(gòu)建了穴盤(pán)甘藍(lán)病害圖像數(shù)據(jù)集。依據(jù)穴盤(pán)甘藍(lán)病害特點(diǎn),基于YOLOX模型提出了兼顧精度與速度的穴盤(pán)甘藍(lán)病害檢測(cè)算法。由于穴盤(pán)甘藍(lán)病害待檢測(cè)目標(biāo)小,因此該算法在特征提取模塊結(jié)合通道空間注意力機(jī)制模塊,引導(dǎo)模型關(guān)注病害區(qū)域,降低模型漏檢率。同時(shí),為了減少特征提取模塊的計(jì)算量,采用輕量級(jí)EfficientNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò);并利用自適應(yīng)多尺度特征融合算法融合穴盤(pán)甘藍(lán)病害多尺度特征,提升小目標(biāo)的檢測(cè)精確率。回歸任務(wù)中,預(yù)測(cè)框存在定位不準(zhǔn)確問(wèn)題,在回歸損失函數(shù)中添加了重疊面積損失、中心點(diǎn)距離損失和寬高損失,提高穴盤(pán)甘藍(lán)病害預(yù)測(cè)框定位精度;同時(shí),在目標(biāo)分類任務(wù)中,引入焦點(diǎn)損失函數(shù)作為分類損失函數(shù),利用權(quán)重縮放因子緩解模型訓(xùn)練過(guò)程中相似病害類間差距小的問(wèn)題。
1 數(shù)據(jù)集描述
1.1 數(shù)據(jù)采集
于北京市昌平區(qū)小湯山國(guó)家精準(zhǔn)農(nóng)業(yè)研究基地2號(hào)溫室大棚內(nèi)開(kāi)展甘藍(lán)幼苗育種試驗(yàn)。如圖1所示,采用穴盤(pán)育苗方式培育甘藍(lán)幼苗,令其滿足移栽標(biāo)準(zhǔn)。播種甘藍(lán)種子到滿足移栽標(biāo)準(zhǔn)的周期為45 d,試驗(yàn)時(shí)間為2021年11月1日至12月15日,試驗(yàn)數(shù)據(jù)主要采集已經(jīng)生長(zhǎng)2張真葉的甘藍(lán)幼苗病害圖像。采集不同時(shí)間段內(nèi)的穴盤(pán)甘藍(lán)病害圖像,共1 968張。甘藍(lán)幼苗炭疽病葉片發(fā)病葉片上產(chǎn)生水浸狀褐色小斑點(diǎn),中間白色或灰白色;甘藍(lán)幼苗細(xì)菌性黑斑病葉片初生油浸狀密集小斑點(diǎn),擴(kuò)展后呈不規(guī)則形或圓形,褐色或黑褐色,邊緣紫褐色;甘藍(lán)幼苗褐斑病下部老葉先發(fā)病,在葉片正面或背面生圓形或近圓形的密集或者單個(gè)病斑,褐色至黑褐色,斑點(diǎn)可能穿透葉面;甘藍(lán)幼苗黑腐病葉片染病,葉緣出現(xiàn)黃色病變,呈“V”字形病斑,發(fā)展后葉脈變黑。炭疽病、細(xì)菌性黑斑病、褐斑病、黑腐病4種病害典型癥狀如圖2所示。
1.2 數(shù)據(jù)預(yù)處理
本研究數(shù)據(jù)集存儲(chǔ)使用VOC2007格式,利用開(kāi)源軟件LabelImg標(biāo)注1 968張穴盤(pán)甘藍(lán)病害圖像,其中炭疽病和褐斑病發(fā)病范圍較小,發(fā)病面積占總面積的比例小于3%。通過(guò)旋轉(zhuǎn)、鏡像、增加亮度、減少亮度等方式增強(qiáng)病害圖像,提高了穴盤(pán)甘藍(lán)病害檢測(cè)模型的泛化能力。具體過(guò)程如圖3所示。圖像擴(kuò)充后,共計(jì)17 712張RGB病害圖像。穴盤(pán)甘藍(lán)病害數(shù)據(jù)集訓(xùn)練集、測(cè)試集、驗(yàn)證集的數(shù)量比例為8 ∶1 ∶1。各類病害具體樣本數(shù)量如圖4所示。
2 模型設(shè)計(jì)
2.1 基礎(chǔ)模型
YOLOX算法[15-16]是YOLO系列最新的一階段目標(biāo)檢測(cè)算法,其核心思想是將圖像作為檢測(cè)識(shí)別網(wǎng)絡(luò)輸入,直接在輸出層完成目標(biāo)的位置定位和分類。YOLOX算法包括輸入端、特征提取模塊、加強(qiáng)特征提取模塊和輸出端,結(jié)構(gòu)圖如圖5所示。
YOLOX算法通過(guò)構(gòu)建CSP模塊解決了梯度消失問(wèn)題,但在穴盤(pán)甘藍(lán)病害檢測(cè)場(chǎng)景下,仍存在不同尺度特征的語(yǔ)義信息利用不充分、小目標(biāo)檢測(cè)精度低、模型特征提取模塊參數(shù)多等問(wèn)題。
2.2 改進(jìn)的YOLOX算法:AD-ASFF-YOLOX
針對(duì)穴盤(pán)甘藍(lán)病害圖像病害區(qū)域小、不同病害類別之間癥狀相似等問(wèn)題,本研究基于YOLOX算法提出了穴盤(pán)甘藍(lán)病害檢測(cè)模型(AD-ASFF-YOLOX),其結(jié)構(gòu)如圖6所示。與YOLOX不同的是:(1)在特征提取模塊使用了輕量級(jí)EfficientNet網(wǎng)絡(luò),通過(guò)不同卷積方式減少模型參數(shù)的計(jì)算量;(2)特征提取模塊結(jié)合通道空間注意力機(jī)制模塊提取病害特征,引導(dǎo)模型關(guān)注病害,抑制背景,降低模型漏檢率;(3)采用自適應(yīng)多尺度特征融合算法提取穴盤(pán)甘藍(lán)病害多尺度特征,充分利用不同尺度特征的語(yǔ)義信息提升病害檢測(cè)精確率;(4)在回歸任務(wù)的損失函數(shù)中添加了重疊面積損失、中心點(diǎn)距離損失和寬高損失,提高穴盤(pán)甘藍(lán)病害預(yù)測(cè)框定位精度;(5)在分類任務(wù)中,引入變焦損失函數(shù)作為分類損失函數(shù),利用權(quán)重縮放因子緩解模型訓(xùn)練過(guò)程中相似病害類間差距小的問(wèn)題。
2.2.1 輕量級(jí)特征提取網(wǎng)絡(luò)EfficientNet
在特征提取過(guò)程中,為了減少模型參數(shù),引入輕量級(jí)EfficientNet[17-18]為主干特征提取網(wǎng)絡(luò)。EfficientNet特征提取網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)模型的深度(網(wǎng)絡(luò)的層數(shù))、寬度(特征圖的通道數(shù))和圖像分辨率按照固定的縮放系數(shù)進(jìn)行縮放,特征圖利用上采樣將輸入升維,并在多個(gè)輕量翻轉(zhuǎn)瓶頸卷積核模塊中進(jìn)一步實(shí)現(xiàn)高效特征提取,MBConv結(jié)合深度可分離卷積模塊和注意力機(jī)制模塊,移動(dòng)翻轉(zhuǎn)瓶頸卷積結(jié)構(gòu)如圖7所示。EfficientNet網(wǎng)絡(luò)將標(biāo)準(zhǔn)卷積分解成逐通道卷積和逐點(diǎn)卷積減少計(jì)算量,從而提升模型的檢測(cè)速度。
2.2.2 嵌入通道空間注意力機(jī)制模塊
穴盤(pán)甘藍(lán)病害檢測(cè)模型在特征提取過(guò)程中,圖像在經(jīng)過(guò)改變大小和卷積操作之后,待檢測(cè)特征會(huì)變得模糊、形變甚至?xí)G失。因此,本研究在穴盤(pán)甘藍(lán)病害檢測(cè)模型的特征提取模塊中添加了注意力機(jī)制模塊,選擇性地強(qiáng)調(diào)穴盤(pán)甘藍(lán)病害特征并實(shí)現(xiàn)特征精準(zhǔn)定位。
通道空間注意力機(jī)制[19]將輸入的特征圖F∈RC×H×W,分別輸入通道注意力模塊和空間注意力模塊,依次推斷出一維的通道注意力圖MC∈RC×1×1和二維空間注意力圖MS∈R1×H×W,其中C、W和H分別代表特征圖的通道數(shù)、寬和高。通道空間注意力機(jī)制總的實(shí)現(xiàn)過(guò)程可以概括為:
圖9和圖10為通道注意力圖MC和空間注意力圖MS的生成過(guò)程。
通道注意力模塊通過(guò)最大池化(MaxPool)和平均池化(AvgPool)操作獲取豐富的通道注意力特征,通道注意力機(jī)制模塊計(jì)算過(guò)程為:
式中:W0和W1是多層感知機(jī)(multilayer perceptron,MLP)的權(quán)重;σ為sigmoid函數(shù)。
由于穴盤(pán)甘藍(lán)病害圖像存在密集的待檢測(cè)目標(biāo),多個(gè)病害目標(biāo)的位置可能重疊,而空間注意力機(jī)制與通道注意力機(jī)制為互補(bǔ)關(guān)系,可以獲取病害特征的空間位置信息,實(shí)現(xiàn)對(duì)多個(gè)穴盤(pán)甘藍(lán)病害部位準(zhǔn)確定位。
獲得空間位置信息的過(guò)程如下,空間注意力機(jī)制模塊使用最大池化和平均池化方法聚合通道注意力圖MC的通道信息,生成最大池化特征和平均池化特征,然后將2個(gè)特征進(jìn)行拼接并通過(guò)卷積操作生成二維的空間注意力特征圖MS。
式中:σ為sigmoid函數(shù);f7×7為卷積操作。
2.2.3 自適應(yīng)多尺度特征融合算法
YOLOX的加強(qiáng)特征提取網(wǎng)絡(luò)通過(guò)拼接2個(gè)不同尺度特征層實(shí)現(xiàn)多尺度特征融合。但拼接方式很難對(duì)病害區(qū)域較小的褐斑病和炭疽病進(jìn)行不同尺度特征融合,難以充分利用穴盤(pán)甘藍(lán)病害特征語(yǔ)義信息,會(huì)出現(xiàn)多尺度目標(biāo)的檢測(cè)精度低、漏檢率高等問(wèn)題。本研究引入了自適應(yīng)多尺度特征融合模塊[20],自適應(yīng)學(xué)習(xí)每個(gè)尺度特征圖的融合空間權(quán)重,結(jié)構(gòu)如圖11所示。自適應(yīng)多尺度特征融合模塊將特征加強(qiáng)網(wǎng)絡(luò)輸出的3個(gè)不同尺度的有效特征X1、X2、X3作為輸入,對(duì)3個(gè)特征通過(guò)卷積操作進(jìn)行恒等縮放,輸出3個(gè)維度相同的特征X1→3、X2→3、X3→3,3個(gè)特征的深度不同,因此包含了不同層次的語(yǔ)義信息。然后將輸出的3個(gè)特征與自適應(yīng)學(xué)習(xí)的3個(gè)空間權(quán)重結(jié)合,得到新的特征作為輸出,達(dá)到自適應(yīng)融合的效果。對(duì)X3特征進(jìn)行自適應(yīng)多尺度融合的過(guò)程可以概括為:
式中:Y3ij是X3經(jīng)過(guò)ASFF輸出的特征向量;X1→3ij表示將第1層特征的尺度調(diào)整到與第3層特征的尺度相同之后位置為(i,j)的特征向量;α3ij,β3ij,γ3ij分別表示將X1,X2,X3的尺度調(diào)整到與X3尺度相同時(shí)的重要性權(quán)重,由網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí),且滿足α3ij,β3ij,γ3ij∈[0,1]。
2.2.4 焦點(diǎn)損失函數(shù)
YOLOX將二元交叉熵?fù)p失函數(shù)作為分類損失函數(shù),采用類間競(jìng)爭(zhēng)機(jī)制,僅關(guān)心對(duì)正確標(biāo)簽預(yù)測(cè)概率的準(zhǔn)確性,而忽略了其他非正確標(biāo)簽的差異,導(dǎo)致癥狀相似的不同病害檢測(cè)難度大。且當(dāng)病害區(qū)域較小時(shí),背景特征會(huì)占據(jù)損失函數(shù)的主導(dǎo),使模型嚴(yán)重偏向背景,檢測(cè)精度低。本研在分類任務(wù)中引入了焦點(diǎn)損失函數(shù)[21],通過(guò)pλ因子縮放損失,減少模型在訓(xùn)練中背景特征的權(quán)重,但是不會(huì)減少重要的病害特征的權(quán)重,將訓(xùn)練的重點(diǎn)轉(zhuǎn)移到病害特征上,從而提升穴盤(pán)甘藍(lán)類間病害病狀相似檢測(cè)準(zhǔn)確率。焦點(diǎn)損失函數(shù)公式如下:
式中:p為預(yù)測(cè)分類得分;q為目標(biāo)分?jǐn)?shù);α為比例因子;pγ為縮放因子。
2.2.5 EIoU回歸損失函數(shù)
YOLOX算法的回歸損失函數(shù)IoU 損失函數(shù)[22]定義公式如下:
式中:A為真實(shí)框;B為預(yù)測(cè)框。
當(dāng)預(yù)測(cè)框和真實(shí)框不相交時(shí),網(wǎng)絡(luò)不存在梯度回傳,無(wú)法下一步學(xué)習(xí),導(dǎo)致模型收斂速度慢。IoU損失函數(shù)重點(diǎn)關(guān)注真實(shí)框與預(yù)測(cè)框交集和并集的面積,不能反映它們之間的重合度,模型檢測(cè)精度低。EIoU損失函數(shù)[23]在IoU損失函數(shù)基礎(chǔ)上添加了懲罰項(xiàng),解決了預(yù)測(cè)框與真實(shí)框的交并比為0的情況;且EIoU損失函數(shù)在回歸任務(wù)中考慮了重疊面積損失、中心點(diǎn)距離損失和寬高損失,使目標(biāo)框與預(yù)測(cè)框的寬度和高度之差最小、穴盤(pán)甘藍(lán)病害檢測(cè)模型收斂速度更快、預(yù)測(cè)框的定位精度更高。EIoU損失函數(shù)公式如下:
式中:Ldis為距離損失;Lasp為邊長(zhǎng)損失;Cw和Ch是覆蓋2個(gè)最小外接框的寬度和高度;bgt代表預(yù)測(cè)框與真實(shí)框的中心點(diǎn);ρ代表2個(gè)框中心點(diǎn)的歐氏距離;c代表能夠同時(shí)包含預(yù)測(cè)框的框與真實(shí)框的對(duì)角線長(zhǎng)度。
3 試驗(yàn)驗(yàn)證與結(jié)果分析
3.1 評(píng)估指標(biāo)
為了驗(yàn)證AD-ASFF-YOLOX模型的有效性,采用平均精確度(AP)、平均精確度均值(MAP)對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)性能進(jìn)行評(píng)估。指標(biāo)的計(jì)算公式如下:
式中:TP代表識(shí)別甘藍(lán)病害正確的數(shù)量;FP代表背景被錯(cuò)誤識(shí)別為病害的數(shù)量;TPi代表預(yù)測(cè)第i類甘藍(lán)病害正確的數(shù)量;FPi代表預(yù)測(cè)第i類甘藍(lán)病害樣本錯(cuò)誤的數(shù)量;N代表甘藍(lán)病害的種類總數(shù)。AP值和mAP值越接近1,表明模型的性能越好。
3.2 試驗(yàn)環(huán)境
本研究所有的試驗(yàn)環(huán)境都在操作系統(tǒng)Ubuntu 18.0下進(jìn)行,處理器為11th Gen Intel CoreTM i7-11800H,顯卡為NVIDIA GeForce RTX 3050 Ti Laptop,使用pytorch深度學(xué)習(xí)框架,訓(xùn)練過(guò)程中所有模型的批大小設(shè)置為8。所有對(duì)照試驗(yàn)網(wǎng)絡(luò)模型迭代次數(shù)為100輪。
3.3 試驗(yàn)結(jié)果與分析
3.3.1 消融試驗(yàn)性能對(duì)比
為了驗(yàn)證AD-ASFF-YOLOX算法對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)的有效性,以YOLOX算法為基礎(chǔ),為AD-ASFF-YOLOX算法設(shè)計(jì)了消融試驗(yàn)。表1為5組模型對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)的性能數(shù)據(jù)對(duì)比。(1)在YOLOX的特征提取模塊引入注意力機(jī)制模塊,模型對(duì)病害特征信息進(jìn)行重標(biāo)定,更關(guān)注病害信息。改進(jìn)后模型對(duì)炭疽病和褐斑病的檢測(cè)平均精確率分別提升了1.04百分點(diǎn)和1.8百分點(diǎn),平均精確度均值提升了0.4百分點(diǎn)。(2)在此基礎(chǔ)上采用了自適應(yīng)多尺度融合模塊,模型能夠充分利用不同尺度特征的語(yǔ)義信息,較大地提升了病害檢測(cè)模型的平均精確率和平均精確度均值,平均精確度均值比之前提升了1.45百分點(diǎn)。(3)在輸出層,采用了EIoU損失函數(shù)對(duì)回歸任務(wù)進(jìn)行了優(yōu)化,提升了預(yù)測(cè)框的定位準(zhǔn)確率;同時(shí)引入變焦損失函數(shù)作為分類損失函數(shù),模型考慮了不同種類病害之間差距問(wèn)題,提升了類間差距小的檢測(cè)準(zhǔn)確率。平均精確度均值比之前提高了0.2百分點(diǎn)。(4)使用EfficientNet作為特征提取網(wǎng)絡(luò),通過(guò)固定縮放系數(shù)對(duì)網(wǎng)絡(luò)深度、分辨率和通道數(shù)進(jìn)行調(diào)整,結(jié)合通道空間注意力機(jī)制模塊和自適應(yīng)多尺度特征融合模塊,提高了模型的平均檢測(cè)精確率。試驗(yàn)表明,改進(jìn)后的穴盤(pán)甘藍(lán)檢測(cè)算法 AD-ASFF-YOLOX對(duì)炭疽病、細(xì)菌性黑斑病、褐斑病、黑腐病的平均檢測(cè)精確率比之前分別提升了5.39、2.00、3.06和1.18百分點(diǎn),平均精確度均值提高了2.91百分點(diǎn)。說(shuō)明了網(wǎng)絡(luò)模型改進(jìn)后,在學(xué)習(xí)的過(guò)程中,會(huì)區(qū)分穴盤(pán)甘藍(lán)病害區(qū)域與背景區(qū)域、考慮不同種類穴盤(pán)甘藍(lán)病害之間的差別;網(wǎng)絡(luò)模型在不斷的迭代中,使模型對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)具有更好的性能。
3.3.2 檢測(cè)效果對(duì)比試驗(yàn)
為了進(jìn)一步驗(yàn)證AD-ASFF-YOLOX模型的檢測(cè)效果,本研究提出從置信度、小目標(biāo)病害檢測(cè)效果和密集目標(biāo)檢測(cè)效果3個(gè)角度對(duì)穴盤(pán)甘藍(lán)病害的檢測(cè)效果進(jìn)行評(píng)價(jià),并與YOLOX算法進(jìn)行對(duì)比。
3.3.2.1 置信度對(duì)比試驗(yàn)
隨機(jī)在穴盤(pán)甘藍(lán)病害測(cè)試數(shù)據(jù)集中,選取含有少量病害和較多數(shù)量病害圖片,使用YOLOX和AD-ASFF-YOLOX進(jìn)行測(cè)試,結(jié)果如圖12所示。
圖12-a中病害為細(xì)菌性黑斑病;圖12-b中病害為褐斑病,病害數(shù)量較多;圖12-c中AD-ASFF-YOLOX模型檢測(cè)出細(xì)菌性黑斑病的置信度為92%,高于YOLOX模型的86%;圖12-d中 AD-ASFF-YOLOX檢測(cè)出褐斑病的2個(gè)位置的置信度分別為92%和89%,高于YOLOX的89%和87%。置信度越大代表預(yù)測(cè)框中包含物體的概率越大、學(xué)習(xí)穴盤(pán)甘藍(lán)病害特征的語(yǔ)義信息更多。而病害的語(yǔ)義信息需要在檢測(cè)模型的特征提取模塊和多尺度特征融合模塊中獲取,所以AD-ASFF-YOLOX算法能夠獲得更好的檢測(cè)效果。
3.3.2.2 小目標(biāo)病害檢測(cè)試驗(yàn)
YOLO系列算法是一階段目標(biāo)檢測(cè)算法,其對(duì)小目標(biāo)的檢測(cè)效果不佳,而穴盤(pán)甘藍(lán)病害區(qū)域較小,為了驗(yàn)證AD-ASFF-YOLOX對(duì)小目標(biāo)的檢測(cè)效果,在測(cè)試集穴盤(pán)甘藍(lán)病害圖像中挑選病害區(qū)域小的炭疽病、褐斑病和早期的黑腐病。使用YOLOX算法和AD-ASFF-YOLOX分別進(jìn)行檢測(cè),檢測(cè)結(jié)果如圖13所示。
如圖13所示,YOLOX對(duì)小目標(biāo)的甘藍(lán)病害進(jìn)行檢測(cè)時(shí)會(huì)發(fā)生漏檢的情況,是因?yàn)槟P驮趯?duì)圖像特征進(jìn)行提取時(shí),下采樣操作會(huì)導(dǎo)致特征發(fā)生形變或者丟失。通過(guò)引入通道空間注意力機(jī)制和變焦損失函數(shù)可以使模型對(duì)特征信息重標(biāo)定,使病害區(qū)域特征的權(quán)重更高,忽略背景特征,從而改善了模型對(duì)小目標(biāo)檢測(cè)的性能。
3.3.2.3 密集病害檢測(cè)試驗(yàn)
在穴盤(pán)甘藍(lán)病害圖像中,葉片存在多種病害,發(fā)病區(qū)域小且密集,人為檢測(cè)容易漏檢,而利用計(jì)算機(jī)視覺(jué)可以提升穴盤(pán)甘藍(lán)病害檢測(cè)的準(zhǔn)確率,且減少了對(duì)密集病害的漏檢率。隨機(jī)在測(cè)試集中選取密集病害圖像,使用YOLOX和 AD-ASFF-YOLOX進(jìn)行檢測(cè),結(jié)果如圖14所示。
從圖14中觀察到,在幼苗病害圖像分辨率低和病害區(qū)域密集的情況下,YOLOX會(huì)發(fā)生漏檢的情況,未檢測(cè)的區(qū)域在AD-ASFF-YOLOX的檢測(cè)圖已標(biāo)記。AD-ASFF-YOLOX模型通過(guò)通道空間注意力機(jī)制模塊對(duì)融合特征按權(quán)重重新進(jìn)行排列,高權(quán)值特征通道的特征會(huì)更加顯著,密集區(qū)域可能出現(xiàn)部分重疊,但是該區(qū)域特征權(quán)重較高,而不會(huì)被漏檢(表2)。因此通過(guò)對(duì)YOLOX算法的有效改進(jìn),明顯增加了AD-ASFF-YOLOX的密集病害檢測(cè)能力。
3.3.3 對(duì)比試驗(yàn)分析
以炭疽病、細(xì)菌性黑斑病、褐斑病、黑腐病4種類型的穴盤(pán)甘藍(lán)病害作為檢測(cè)的對(duì)象。本研究使用現(xiàn)有成熟的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法(YOLOX、YOLOv3、CenterNet、SSD、Fast R-CNN和AD-ASFF-YOLOX)進(jìn)行甘藍(lán)病檢測(cè),并且比較了這些檢測(cè)模型對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)的平均精確率。模型的驗(yàn)證集準(zhǔn)確率對(duì)比效果如表3所示,從多種模型的檢測(cè)效果來(lái)看,以上檢測(cè)模型都能取得理想效果。
由表3可得,針對(duì)穴盤(pán)甘藍(lán)的病害檢測(cè)任務(wù),基于深度學(xué)習(xí)算法(YOLOv3、SSD、Fast R-CNN、CenterNet、YOLOX) 的檢測(cè)準(zhǔn)確率較高,驗(yàn)證集的平均精確率均值分別為80.22%、93.70%、85.55%、87.72%、93.45%。雖然這些算法檢測(cè)精確率較高,但仍不能針對(duì)性地滿足穴盤(pán)甘藍(lán)病害圖像的高精度檢測(cè)要求。因?yàn)檠ūP(pán)甘藍(lán)的褐斑病和炭疽病待檢測(cè)的病害區(qū)域較小,較難精準(zhǔn)識(shí)別。本研究的AD-ASFF-YOLOX 模型對(duì)病害面積較小的褐斑病和炭疽病的穴盤(pán)甘藍(lán)的誤識(shí)率更低,其中褐斑病、細(xì)菌性黑斑病、炭疽病和黑腐病較原模型YOLOX的平均精確率分別提升了8.03、1.65、8.04、2.12百分點(diǎn),平均精確度均值提升了4.96百分點(diǎn)。因此,AD-ASFF-YOLOX模型能有效區(qū)分不同病害之間細(xì)微差距的小目標(biāo)檢測(cè),對(duì)穴盤(pán)甘藍(lán)病害檢測(cè)有較好的表現(xiàn)。
3.3.4 多模型性能對(duì)比試驗(yàn)
在實(shí)際應(yīng)用中,模型的檢測(cè)效率對(duì)檢測(cè)任務(wù)也有很大的影響。表4為基礎(chǔ)模型YOLOX、改進(jìn)后的模型AD-ASFF-YOLOX模型和未添加EfficientNet模塊的改進(jìn)算法對(duì)甘藍(lán)幼苗病害檢測(cè)任務(wù)的平均測(cè)試耗時(shí)、幀率(f/s)和平均精確率。
AD-ASFF-YOLOX模型與原始的YOLOX 模型的檢測(cè)平均耗時(shí)相比增加了0.002 368 9 s,平均精確率提升了4.96百分點(diǎn)。 AD-ASFF-YOLOX與未使用EfficientNet??斓腁D-ASFF-YOLOX模型相比檢測(cè)平均耗時(shí)降低了0.001 538 87 s,提升了模型的檢測(cè)速度,同時(shí)使模型的平均檢測(cè)精確率提升了2.91百分點(diǎn)。以上可以說(shuō)明模型使用輕量級(jí)特征提取模塊EfficientNet可以較小地提升模型的檢測(cè)速度和平均精確率。
4 結(jié)論
本研究以穴盤(pán)甘藍(lán)病害圖像為研究對(duì)象,在溫室大棚進(jìn)行了數(shù)據(jù)采集。首先,針對(duì)自然環(huán)境條件下病害圖像存在的光照分布不均勻、對(duì)比度低等問(wèn)題,對(duì)病害圖像進(jìn)行了數(shù)據(jù)增強(qiáng),增加模型的魯棒性和泛化能力;針對(duì)病害圖像背景復(fù)雜和待檢測(cè)目標(biāo)小的問(wèn)題,引入了注意力機(jī)制模塊和自適應(yīng)多尺度特征融合模塊。其次,引入了EIoU 損失函數(shù)和變焦損失函數(shù),提升了預(yù)測(cè)框的定位精度。AD-ASFF-YOLOX 相比于其他檢測(cè)算法(Faster R-CNN、YOLOv3、SSD、Centernet)對(duì)穴盤(pán)甘藍(lán)褐斑病、細(xì)菌性黑斑病、炭疽病和黑腐病的平均檢測(cè)精確率均有提升,AD-ASFF-YOLOX的平均精確度均值為98.41%,比原始的YOLOX算法提升了4.96百分點(diǎn),能夠適應(yīng)復(fù)雜自然環(huán)境,為植物類病害檢測(cè)提供了研究基礎(chǔ),具有重要理論價(jià)值和實(shí)際意義。
由于本研究采集的穴盤(pán)甘藍(lán)病害種類較少,在下一步研究過(guò)程中,需要采集更多種類的穴盤(pán)甘藍(lán)病害圖像,擴(kuò)大模型的適用范圍;對(duì)ASFF-AD-YOLOX模型進(jìn)一步改進(jìn),提升模型檢測(cè)與識(shí)別的準(zhǔn)確率和檢測(cè)速度。
參考文獻(xiàn):
[1]陳茂春. 甘藍(lán)類蔬菜常見(jiàn)病害的防治[J]. 農(nóng)村實(shí)用技術(shù),2015(10):36-38.
[2]呂穎華. 3種甘藍(lán)病害的癥狀識(shí)別與防治技術(shù)[J]. 鄉(xiāng)村科技,2018(21):108-109.
[3]黨滿意,孟慶魁,谷 芳,等. 基于機(jī)器視覺(jué)的馬鈴薯晚疫病快速識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2020,36(2):193-200.
[4]王獻(xiàn)鋒,張善文,王 震,等. 基于葉片圖像和環(huán)境信息的黃瓜病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2014,30(14):148-153.
[5]Rahamathunnisa U,Nallakaruppan M K,Anith A,et al. Vegetable disease detection using K-means clustering and SVM[C]//2020 6th International Conference on Advanced Computing and Communication Systems (ICACCS). Coimbatore,India:IEEE,2020:1308-1311.
[6]岳有軍,劉杰瓊,王紅君,等. 基于改進(jìn)YOLOv3模型的蘋(píng)果樹(shù)葉片病斑檢測(cè)[J]. 中國(guó)科技論文,2021,16(11):1202-1208.
[7]Nagaraju M,Chawla P. Systematic review of deep learning techniques in plant disease detection[J]. International Journal of System Assurance Engineering and Management,2020,11(3):547-560.
[8]吳華瑞. 基于深度殘差網(wǎng)絡(luò)的番茄葉片病害識(shí)別方法[J]. 智慧農(nóng)業(yè),2019,1(4):42-49.
[9]樊湘鵬,許 燕,周建平,等. 基于遷移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測(cè)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2021,37(6):151-159.
[10]孟 亮,郭小燕,杜佳舉,等. 一種輕量級(jí)CNN農(nóng)作物病害圖像識(shí)別模型[J]. 江蘇農(nóng)業(yè)學(xué)報(bào),2021,37(5):1143-1150.
[11]Zhang P,Yang L,Li D L. EfficientNet-B4-Ranger:a novel method for greenhouse cucumber disease recognition under natural complex environment[J]. Computers and Electronics in Agriculture,2020,176:105652.
[12]Zhao Y,Sun C D,Xu X,et al. RIC-Net:a plant disease classification model based on the fusion of Inception and residual structure and embedded attention mechanism[J]. Computers and Electronics in Agriculture,2022,193:106644.
[13]杜忠康,房 勝,李 哲,等. 基于卷積神經(jīng)網(wǎng)絡(luò)深度特征融合的番茄葉片病害檢測(cè)[J]. 中國(guó)科技論文,2021,16(7):701-707.
[14]劉亮希,李 金,任 麗,等. 早熟牛心甘藍(lán)新品種瑞光春雷[J]. 長(zhǎng)江蔬菜,2022(11):16-17.
[15]Redmon J,Divvala S,Girshick R,et al. You only look once:unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas,NV,USA:IEEE,2016:779-788.
[16]Ge Z,Liu S T,Wang F,et al. YOLOX:exceeding YOLO series in 2021[EB/OL]. (2021-08-06)[2022-10-01]. https://arxiv.org/abs/2107.08430.
[17]Tan M X,Le Q V. EfficientNet:rethinking model scaling for convolutional neural networks[EB/OL]. (2020-09-11)[2022-10-01]. https://arxiv.org/abs/1905.11946.
[18]Agarwal M,Gupta S K,Biswas K K. Development of efficient CNN model for tomato crop disease identification[J]. Sustainable Computing:Informatics and Systems,2020,28:100407.
[19]Woo S,Park J,Lee J Y,et al. CBAM:convolutional block attention module[M]//Computer Vision-ECCV 2018.Cham:Springer International Publishing,2018:3-19.
[20]Liu S T,Huang D,Wang Y H. Learning spatial fusion for single-shot object detection[EB/OL]. (2019-11-25)[2022-10-01]. https://arxiv.org/abs/1911.09516.
[21]Li C,Cao Y N,Peng Y K. Research on automatic driving target detection based on YOLOv5s[J]. Journal of Physics:Conference Series,2022,2171(1):012047.
[22]Zheng Z H,Wang P,Liu W,et al. Distance-IoU loss:faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):12993-13000.
[23]Yang Z M,Wang X L,Li J G. EIoU:an improved vehicle detection algorithm based on VehicleNet neural network[J]. Journal of Physics:Conference Series,2021,1924(1):012001.