孫 俊，朱偉棟，羅元秋，沈繼鋒，陳義德，周 鑫

基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別

孫 俊，朱偉棟，羅元秋，沈繼鋒，陳義德，周 鑫

（江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013）

農(nóng)作物病害是造成糧食產(chǎn)量下降的重要因素，利用智能化手段準(zhǔn)確地識(shí)別農(nóng)作物病害有利于病害的及時(shí)防治，該研究基于改進(jìn)的MobileNet-V2識(shí)別復(fù)雜背景下的農(nóng)作物病害，對(duì)未來(lái)覆蓋各種作物的智能化病害識(shí)別工作具有重要意義。首先創(chuàng)建含有11類(lèi)病害葉片及4類(lèi)健康葉片的農(nóng)作物數(shù)據(jù)集，采用數(shù)據(jù)增強(qiáng)操作構(gòu)造不同的識(shí)別場(chǎng)景。其次在原始模型MobileNet-V2的基礎(chǔ)上，嵌入輕量型的坐標(biāo)注意力機(jī)制，建立通道注意力與位置信息的依賴(lài)關(guān)系。然后對(duì)網(wǎng)絡(luò)中不同尺寸的特征圖采取上采樣融合操作，構(gòu)建兼具網(wǎng)絡(luò)高、低層信息的新特征圖。此外，采用分組卷積并刪除模型中不必要的分類(lèi)層，減少模型參數(shù)量。試驗(yàn)結(jié)果表明：改進(jìn)模型的參數(shù)量為2.30 ×106，改進(jìn)模型的識(shí)別準(zhǔn)確率在背景復(fù)雜的農(nóng)作物葉片病害數(shù)據(jù)集中達(dá)到了92.20%，較改進(jìn)前提高了2.91個(gè)百分點(diǎn)。相比EfficientNet-b0、ResNet-50、ShuffleNet-V2等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，改進(jìn)模型不僅達(dá)到了更高的識(shí)別準(zhǔn)確率，還具有更平穩(wěn)的收斂過(guò)程以及更少的參數(shù)。該研究改進(jìn)的模型較好地平衡了模型的復(fù)雜度和識(shí)別準(zhǔn)確率，為深度學(xué)習(xí)模型移植至田間移動(dòng)病害檢測(cè)設(shè)備提供了思路。

農(nóng)作物；病害；復(fù)雜背景；輕量型；上采樣；參數(shù)量

0 引 言

中國(guó)農(nóng)業(yè)領(lǐng)域的生產(chǎn)方式正處在由手工向智能化轉(zhuǎn)變的過(guò)渡期[1]，在此期間，農(nóng)業(yè)種植結(jié)構(gòu)不斷地發(fā)生變化，農(nóng)作物受病害侵襲的情況也愈發(fā)嚴(yán)重。病害不僅抑制了農(nóng)作物的健康成長(zhǎng)，還降低了作物質(zhì)量及產(chǎn)量[2]。當(dāng)前農(nóng)作物病害診斷大多仍依賴(lài)于專(zhuān)家的豐富知識(shí)及經(jīng)驗(yàn)[3]，但由于專(zhuān)家人數(shù)有限、病害種類(lèi)繁多、病斑分布不規(guī)律[4]等原因，在某些情況下，即便是專(zhuān)家也無(wú)法對(duì)病害進(jìn)行及時(shí)精準(zhǔn)的甄別[5-6]，因此，如何利用人工智能技術(shù)有效識(shí)別農(nóng)作物病害顯得尤為重要。

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的圖像分類(lèi)[7]、目標(biāo)檢測(cè)[8]等技術(shù)開(kāi)始嶄露頭角，其高效處理海量數(shù)據(jù)并學(xué)習(xí)數(shù)據(jù)特征的能力[9]為農(nóng)作物病害的防治工作提供了一條可行的途徑。孫俊等[10]將批歸一化、全局池化加入到傳統(tǒng)的AlexNet模型中，得到了一種收斂迅速的新模型，該模型在含有14種植物26類(lèi)病害的公共數(shù)據(jù)集Plant Village上獲得了99.56%的平均測(cè)試準(zhǔn)確率。趙立新等[11]利用遷移學(xué)習(xí)并輔以數(shù)據(jù)增強(qiáng)后的棉花病害數(shù)據(jù)集，基于預(yù)訓(xùn)練模型進(jìn)行再訓(xùn)練，緩解了原模型的過(guò)擬合問(wèn)題。Bao等[12]基于Inception模塊和殘差模塊融合的特征提取網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)率、dropout等參數(shù)的選擇及優(yōu)化，得到了一個(gè)性能更穩(wěn)定的模型。Khan等[13]基于相關(guān)系數(shù)的分割方法，將葉片病害感染區(qū)域與背景分離，利用采取了預(yù)訓(xùn)練策略的VGG16和AlexNet提取特征，最后嵌入并行特征融合步驟以進(jìn)行特征融合，分類(lèi)準(zhǔn)確率達(dá)到98.6%。Too等[14]基于Plant Village對(duì)DenseNet、VGG16、ResNet-50等模型進(jìn)行評(píng)估，其中DenseNet達(dá)到了最好的分類(lèi)效果。Rangarajan等[15]對(duì)AlexNet、VGG16采用了微調(diào)及遷移學(xué)習(xí)的策略，提出了兩種能夠快速收斂的模型，并在含有7種病害類(lèi)別的番茄數(shù)據(jù)集上分別獲得了97.29%、97.49%的分類(lèi)準(zhǔn)確率。盡管上述基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病害識(shí)別研究取得了優(yōu)異的成果，但其應(yīng)用場(chǎng)景大多局限于簡(jiǎn)單的實(shí)驗(yàn)室環(huán)境，田間環(huán)境下的病害識(shí)別則需要應(yīng)對(duì)復(fù)雜的背景環(huán)境和匱乏的移動(dòng)端內(nèi)存帶來(lái)的挑戰(zhàn)。因此，為了在保證可移植性的前提下，提升模型在田間環(huán)境下的識(shí)別性能和抗干擾能力，大量學(xué)者展開(kāi)了田間環(huán)境下的葉片病害識(shí)別研究。

Tang等[16]在輕量型神經(jīng)網(wǎng)絡(luò)模型ShuffleNet-V1和ShuffleNet-V2中添加了注意力機(jī)制，通過(guò)提高參數(shù)利用率，實(shí)現(xiàn)了高質(zhì)量的空間編碼，經(jīng)過(guò)改進(jìn)的兩種模型具有較高的實(shí)時(shí)性和識(shí)別性能。Shin等[17]從硬件內(nèi)存和模型推理速度等角度出發(fā)，對(duì)比分析了AlexNet、SqueezeNet、GoogLeNet、SqueezeNet-mod1和SqueezeNet- mod2等模型的性能，為實(shí)現(xiàn)在線作物病害管理提供了理論依據(jù)。王春山等[18]為了提高模型在硬件條件受限情況下的運(yùn)行能力，改變殘差連接方式以及卷積方法，顯著地降低了模型的參數(shù)量及內(nèi)存空間。Ap等[19]針對(duì)復(fù)雜背景下的農(nóng)作物病害數(shù)據(jù)集應(yīng)用3種不同的CNN模型，通過(guò)串聯(lián)融合植物病害的上下文信息，改善了模型的識(shí)別性能。Chen等[20]按病斑面積大小將病害分為易見(jiàn)病害和細(xì)微病害，并進(jìn)一步對(duì)葉片表面上的細(xì)微病害特征進(jìn)行增強(qiáng)，基于改進(jìn)的MobileNet-V2識(shí)別多類(lèi)農(nóng)作物病害。許景輝等[21]利用改進(jìn)的VGG-16模型，對(duì)其收集的田間玉米病害圖像進(jìn)行識(shí)別，獲得了更快的收斂速度及更高的識(shí)別性能。曾偉輝等[22]針對(duì)真實(shí)環(huán)境下模型識(shí)別效果易受各種噪聲影響的問(wèn)題，提出了一種高階殘差卷積神經(jīng)網(wǎng)絡(luò)，獲得了良好的抗干擾性。

上述研究雖然突破了簡(jiǎn)單背景環(huán)境的限制，減少了模型參數(shù)量，但其采用的模型僅僅依賴(lài)于網(wǎng)絡(luò)的高層信息進(jìn)行特征分析、病害識(shí)別等工作，缺少對(duì)網(wǎng)絡(luò)低層細(xì)節(jié)信息的利用，因此上述模型的識(shí)別性能仍有提升空間。綜上，本研究通過(guò)重新分配模型注意力，改變特征連接方式，融合高層特征及低層特征，進(jìn)行分組卷積等設(shè)計(jì)手段，對(duì)復(fù)雜背景下4種農(nóng)作物的11類(lèi)病害葉片及4類(lèi)健康葉片進(jìn)行訓(xùn)練及測(cè)試，改善了原MobileNet-V2中存在的特征提取單一，微小特征提取難等問(wèn)題，為深度學(xué)習(xí)模型移植至田間移動(dòng)病害檢測(cè)設(shè)備提供了思路。

1 試驗(yàn)數(shù)據(jù)

1.1 數(shù)據(jù)采集

簡(jiǎn)單背景下的葉片病害圖像，其背景環(huán)境單一，無(wú)法為田間真實(shí)環(huán)境下的病害識(shí)別工作提供更進(jìn)一步的指導(dǎo)，因此試驗(yàn)應(yīng)用的數(shù)據(jù)集均具有復(fù)雜的背景環(huán)境。如圖1所示，原數(shù)據(jù)集包括4種農(nóng)作物（蘋(píng)果、木薯、玉米、棉花）的11類(lèi)病害葉片圖像（蘋(píng)果混合疾病、蘋(píng)果銹病、蘋(píng)果瘡痂病、木薯細(xì)菌枯萎病、木薯褐條病、木薯綠色斑點(diǎn)、木薯花葉病毒、玉米空葉病、玉米枯萎病、玉米銹病、棉花鈴疫?。┘?種農(nóng)作物健康葉片圖像，共計(jì)3 503張，均獲取于Kaggle官方數(shù)據(jù)網(wǎng)站（https://www.kaggle.com）。原始葉片病害樣本的詳細(xì)數(shù)量情況如表1所示，其中圖像增強(qiáng)前的數(shù)據(jù)集樣本總量過(guò)少，且不同病害類(lèi)別之間的樣本數(shù)量差距較大，數(shù)量分布極不均衡，棉花健康葉片的樣本數(shù)量甚至是蘋(píng)果銹病樣本數(shù)量的4倍之多，采用該類(lèi)型數(shù)據(jù)集會(huì)使樣本量大的類(lèi)別在若干次迭代訓(xùn)練中積累較大的誤差，因此本研究對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理以便后續(xù)的使用。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集中樣本分布失衡的情況會(huì)導(dǎo)致模型出現(xiàn)過(guò)擬合、特征提取困難等負(fù)面效應(yīng)，為了保證模型的學(xué)習(xí)效果，同時(shí)構(gòu)建更多自然條件下的病害識(shí)別場(chǎng)景，使模型能夠更加適應(yīng)惡劣條件下的工作環(huán)境，增強(qiáng)模型的魯棒性，預(yù)處理過(guò)程中使用Python中的工具庫(kù)OpenCV對(duì)原始數(shù)據(jù)集進(jìn)行以下3種增強(qiáng)操作：1）隨機(jī)亮度增強(qiáng)、減弱：模擬真實(shí)田間環(huán)境下不同的光照條件；2）90°、180°、270°旋轉(zhuǎn)：模擬識(shí)別設(shè)備的不同拍攝角度；3）隨機(jī)噪聲：模擬夜間、惡劣天氣等條件下葉片病害圖像含噪的情況。最終獲得樣本數(shù)量充足且分布均衡的農(nóng)作物葉片病害數(shù)據(jù)集，葉片病害圖像共計(jì)10 371張，如表 1所示。

表1 數(shù)據(jù)集詳細(xì)信息

2 模型結(jié)構(gòu)

2.1 MobileNet-V2的優(yōu)點(diǎn)與不足

為了使CNN模型學(xué)習(xí)到更為豐富的特征信息，大量研究者從增加網(wǎng)絡(luò)深度的角度出發(fā)，不斷地堆疊卷積層及池化層，如ResNet系列模型便利用殘差連接方式[23]，將模型層數(shù)從初始的18層擴(kuò)展到了50層、101層，甚至是152層。雖然堆疊層數(shù)的設(shè)計(jì)方式能夠提升模型的性能，但是模型的參數(shù)量以及計(jì)算成本在不斷上升，并且網(wǎng)絡(luò)層數(shù)與精度構(gòu)成的性?xún)r(jià)比曲線也在逐漸趨于飽和，該類(lèi)大模型很難適配當(dāng)今計(jì)算資源受限的移動(dòng)設(shè)備。2019年Sandler等[24]提出的MobileNet-V2則是一款輕量型的模型，其結(jié)構(gòu)參數(shù)如表2所示。首先，它沿用了MobileNet-V1中提出的深度可分離卷積以減少卷積核參數(shù)量，加快模型運(yùn)行速度。其次，針對(duì)傳統(tǒng)瓶頸層（Bottleneck，BN）先降維后升維的設(shè)計(jì)，創(chuàng)新性地提出了倒置殘差模塊（如圖2a所示，先升維，后降維），該結(jié)構(gòu)不僅能夠顯著減少模型推理期間所需的內(nèi)存，還保證了瓶頸層中的逐通道卷積層（Depthwise Convolution，DWConv）能夠接收到豐富的特征信息。最后，為了解決高維特征壓縮至低維特征時(shí)出現(xiàn)的特征損失問(wèn)題，MobileNet-V2將圖2a所示的第二個(gè)1×1逐點(diǎn)卷積（Pointwise Convolution）操作后緊跟的非線性激勵(lì)函數(shù)ReLU6改進(jìn)為線性操作Linear，其余位置的非線性激活函數(shù)保持不變，從而保留了特征信息的多樣性，增強(qiáng)了目標(biāo)特征的表達(dá)能力。

表2 MobileNet-V2的內(nèi)部參數(shù)[24]

注：表示數(shù)據(jù)集的類(lèi)別數(shù)。Conv為卷積操作，Bottleneck是將特征維數(shù)先增后降的結(jié)構(gòu)，Avgpool為全局平均池化。

Note:represents the number of categories in the datasets.Conv is an operation of convolution, Bottleneck is a structure that increases the feature dimension first and then decreases, and Avgpool is a global average pooling operation.

然而，本試驗(yàn)應(yīng)用的農(nóng)作物葉片病害數(shù)據(jù)集具有背景復(fù)雜、病斑面積大小不一、病斑區(qū)域分布廣等特點(diǎn)，面對(duì)該類(lèi)型的數(shù)據(jù)集，MobileNet-V2存在感興趣區(qū)域分散、特征提取尺度單一等不足。因此，本試驗(yàn)針對(duì)MobileNet-V2識(shí)別復(fù)雜背景下農(nóng)作物葉片病害存在的不足，以MobileNet-V2作為基本網(wǎng)絡(luò)骨架，對(duì)其進(jìn)行一系列的改進(jìn)。

2.2 模型改進(jìn)

2.2.1 坐標(biāo)注意力機(jī)制

注意力機(jī)制能夠?qū)⒂邢薜挠?jì)算資源分配給圖像中信息量占比最高的部分，它能夠更好地聚集網(wǎng)絡(luò)模型對(duì)待識(shí)別目標(biāo)的注意力，減少無(wú)關(guān)背景的影響。一般的注意力機(jī)制（如SENet[25]）僅僅考慮建立模型內(nèi)部特征圖中通道信息之間的依賴(lài)關(guān)系，將全局平均池化注入到模型通道中，進(jìn)而對(duì)特征圖的全局信息進(jìn)行編碼，并覆蓋至原特征圖。因此，位置信息在視覺(jué)空間結(jié)構(gòu)中很難被保留下來(lái)，從而導(dǎo)致模型無(wú)法突出圖像中的感興趣區(qū)域。坐標(biāo)注意力（Coordinate Attention，CA）機(jī)制通過(guò)在像素坐標(biāo)系上的有效定位，使模型能集中注意于感興趣區(qū)域，獲取更大區(qū)域內(nèi)的信息，從而更有效地區(qū)分背景與前景，最終達(dá)到更好的目標(biāo)分類(lèi)效果。該機(jī)制首先對(duì)輸入特征圖分別進(jìn)行水平和垂直方向上的平均池化，隨后通過(guò)維度移位、維度拼接、降維等操作實(shí)現(xiàn)空間信息編碼，最后將空間信息與通道特征加權(quán)融合，達(dá)到同時(shí)兼顧通道信息和位置信息的目的，幫助模型更好地定位到感興趣對(duì)象。由于該研究應(yīng)用的數(shù)據(jù)集含有豐富的目標(biāo)與背景信息，基于傳統(tǒng)模型來(lái)區(qū)分二者的差異無(wú)疑是困難的，而在傳統(tǒng)模型中加入CA則能從注意力的分配方面來(lái)改善模型性能。此外，CA是一種輕量型的模塊，避免了過(guò)多的運(yùn)算開(kāi)銷(xiāo)。如圖2b所示，試驗(yàn)中將坐標(biāo)注意力模塊添加進(jìn)MobileNet-V2的倒置殘差模塊中（3～18層的Bottleneck），總計(jì)16層。此外，CA的結(jié)構(gòu)如圖2c所示。

2.2.2 多尺度特征金字塔

神經(jīng)網(wǎng)絡(luò)的低層特征具有較小的感受野，對(duì)圖像中像素占據(jù)較少的小目標(biāo)更加敏感，因而低層特征具有更充分的目標(biāo)細(xì)節(jié)信息以及更準(zhǔn)確的目標(biāo)位置信息，但是低層特征僅僅提供目標(biāo)的輪廓、顏色、紋理等淺層信息，用來(lái)處理復(fù)雜任務(wù)的高級(jí)語(yǔ)義信息很難被網(wǎng)絡(luò)捕捉。與之相反，網(wǎng)絡(luò)的高層特征具有較大的感受野，更多地關(guān)注圖像的全局特征，擁有更豐富、抽象的語(yǔ)義信息。一幅圖像中往往存在一些不同的目標(biāo)，其中簡(jiǎn)單的目標(biāo)通過(guò)低層特征便能被檢測(cè)區(qū)分，而復(fù)雜的目標(biāo)則需要更高層的抽象特征輔助才能更好地被識(shí)別。在實(shí)際環(huán)境中，農(nóng)作物葉片上的病害可能存在面積大小不一、病害區(qū)域分布廣等問(wèn)題。因此，針對(duì)類(lèi)似情況，融合低層特征與高層特征的特征圖能夠提供更多、更精確的目標(biāo)信息，其結(jié)構(gòu)如圖3所示，此處改進(jìn)在圖3中的第2、4、7、14、18層后添加了旁支（Lateral layer，1×1 Conv），并將特征維度調(diào)整成統(tǒng)一的96，隨后將獲得的高層信息（如圖3中7×7×96的特征圖P1）上采樣2倍，并將其與較低一層（如圖3中14×14×96的特征圖P2）的同尺寸特征圖進(jìn)行融合，基于融合后的特征圖進(jìn)行Softmax等分類(lèi)工作，總共進(jìn)行4次上采樣及特征融合操作。然而，在實(shí)際情況中，過(guò)多的上采樣次數(shù)及特征融合分別會(huì)導(dǎo)致特征信息質(zhì)量下降和特征重復(fù)，從而影響最終的識(shí)別準(zhǔn)確率。因此試驗(yàn)另外設(shè)計(jì)了7種跨尺度特征融合的方案與圖3中的方案進(jìn)行對(duì)比探究，方案1～7中的融合手段分別對(duì)應(yīng)P1+P3、P1+P4、P1+P5、P2+P4、P2+P5、P3+P5、P1+P3+P5（“+”表示融合），P1～P5分別可由原特征圖C1～C5經(jīng)過(guò)Lateral及相應(yīng)的融合操作得到，不同方案中特征圖上采樣放大的倍數(shù)有所區(qū)別，其中方案7如圖4所示。

注：Conv和Lateral分別表示卷積核為3×3和1×1的卷積操作；Lateral的作用是引出不同尺寸的特征圖，并調(diào)整維度；BN表示MobileNet-V2中的瓶頸層；Up表示將特征圖尺寸擴(kuò)大2倍，并將其與上一層的特征融合。

2.2.3 優(yōu)化模型參數(shù)量

與此同時(shí)，引入坐標(biāo)注意力機(jī)制和多尺度特征融合策略的新模型僅僅修改了原模型的1～18層，并且改進(jìn)模型將Softmax分類(lèi)層安排在每次特征圖上采樣融合之后，圖像數(shù)據(jù)流無(wú)需經(jīng)過(guò)后續(xù)網(wǎng)絡(luò)層便能得到最終的分類(lèi)結(jié)果，因此刪除19～21層不僅不會(huì)影響最后的分類(lèi)結(jié)果，還能夠減少一定的參數(shù)及內(nèi)存。

2.3 評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)改進(jìn)模型的性能，該研究采用4種分類(lèi)評(píng)價(jià)指標(biāo)[26]進(jìn)行評(píng)估。

1）查全率R表示正確預(yù)測(cè)為第類(lèi)病害的圖像樣本數(shù)量占所有第類(lèi)病害樣本數(shù)量的比例，見(jiàn)式（1）。

式中TP表示第類(lèi)中正確分類(lèi)的葉片病害樣本數(shù)量，F(xiàn)N表示第類(lèi)中錯(cuò)誤分類(lèi)的葉片病害樣本數(shù)量。

注：Lateral表示卷積核為1×1的卷積操作；4× up代表對(duì)特征圖尺寸進(jìn)行4倍擴(kuò)增，擴(kuò)增倍數(shù)可根據(jù)不同方案進(jìn)行修改；可選取P1、P2、P3、P4、P5中的不同組合進(jìn)行上采樣操作，此圖僅選取P1、P3、P5。

Note: Lateral represents convolution operations with kernels of 1×1; 4× up means to enlarge the size of feature maps by 4 times, and the magnification can be modified according to different schemes; Different combinations of P1, P2, P3, P4 and P5 can be selected for up sampling, but only P1, P3 and P5 are selected in this figure.

圖4 跨尺度特征融合方案中的一種結(jié)構(gòu)

Fig.4 A structure in cross scale feature fusion schemes

2）查準(zhǔn)率P表示正確預(yù)測(cè)為第類(lèi)病害的圖像樣本數(shù)量占所有類(lèi)中預(yù)測(cè)為第類(lèi)病害的樣本數(shù)量的比例，見(jiàn)式（2）。

式中FP表示除第類(lèi)之外，其他所有類(lèi)中圖像錯(cuò)分為第類(lèi)病害時(shí)的樣本總量。

3）1加權(quán)分?jǐn)?shù)表示查全率和查準(zhǔn)率的調(diào)和平均數(shù)，取值范圍為0到1，取值越高代表模型的輸出結(jié)果越好，見(jiàn)式（3）。

4）模型參數(shù)量

模型的分類(lèi)準(zhǔn)確率是評(píng)價(jià)該模型總體性能的重要指標(biāo)之一，但對(duì)于一些特定的任務(wù)，模型除了需要滿足一定的精度要求外，也需要滿足模型移植至移動(dòng)端所需的低內(nèi)存消耗等要求。

2.4 模型對(duì)比

本試驗(yàn)以MobileNet-V2作為基礎(chǔ)模型，在此基礎(chǔ)上進(jìn)行了消融試驗(yàn)以驗(yàn)證該研究提出的改進(jìn)方法的有效性。同時(shí)，為了展示改進(jìn)模型具有一定的競(jìng)爭(zhēng)力，從識(shí)別準(zhǔn)確率和模型參數(shù)量等方面出發(fā)，將其與經(jīng)典的CNN架構(gòu)（如EfficientNet-b0、ShuffleNet-V2、ResNet-50）進(jìn)行對(duì)比。

3 試驗(yàn)環(huán)境及參數(shù)配置

3.1 試驗(yàn)環(huán)境

試驗(yàn)均在Ubuntu 18.04 LTS 64位系統(tǒng)環(huán)境下運(yùn)行，采用能夠支持GPU加速和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的Pytorch 1.6版本的深度學(xué)習(xí)開(kāi)源框架，配合CUDA 9.1進(jìn)行訓(xùn)練。計(jì)算機(jī)搭載的處理器為Intel Core i7-10700K @ 3.80GHz 八核，內(nèi)存為32 GB，顯卡為GTX 2080Ti。

3.2 參數(shù)設(shè)置

試驗(yàn)過(guò)程中將數(shù)據(jù)集按4∶1比例劃分為訓(xùn)練集和測(cè)試集兩部分，分別用作模型的訓(xùn)練與測(cè)試。所有模型的全連接層修改為15，代表11類(lèi)病害葉片及4類(lèi)健康葉片。農(nóng)作物病害圖像尺寸均設(shè)置為224×224像素，受硬件條件約束的批處理大?。˙atch-size）則設(shè)置為32，模型迭代次數(shù)共計(jì)100 epoch。為了模型的識(shí)別準(zhǔn)確率能夠更好地收斂，所涉及的試驗(yàn)采用了學(xué)習(xí)率衰減策略，初始學(xué)習(xí)率設(shè)置為0.02，每經(jīng)過(guò)10 epoch，學(xué)習(xí)率便衰減為原來(lái)的80%。所有的訓(xùn)練模型采用Adam優(yōu)化器，其參數(shù)設(shè)置為默認(rèn)。同時(shí)，為避免模型發(fā)生過(guò)擬合，在全連接層前添加了參數(shù)設(shè)置為0.2的Dropout層。

4 結(jié)果與分析

4.1 消融試驗(yàn)結(jié)果分析

對(duì)比2.2.2節(jié)中提出的8種特征融合方法，結(jié)果見(jiàn)表 3?？傮w上看，采用跨尺度特征融合策略的方案1～6與方案8相比存在著模型參數(shù)量減少、準(zhǔn)確率下降的情況。而方案7較方案8在識(shí)別準(zhǔn)確率、模型參數(shù)內(nèi)存等方面展現(xiàn)出了一定的優(yōu)勢(shì)，該結(jié)果說(shuō)明較多的上采樣融合次數(shù)不僅會(huì)影響特征圖的質(zhì)量，還會(huì)造成目標(biāo)特征丟失、模糊等問(wèn)題。同時(shí)，比較方案1、2、3和4、5可知，受信息丟失的影響，融合兩張尺寸跨度越大的特征圖，其識(shí)別效果下降越明顯，這也間接說(shuō)明了每種尺度的特征圖在識(shí)別工作中均具有一定的影響力。方案6和7的對(duì)比結(jié)果表明，融合了P1之后的模型識(shí)別精度提高了1.34個(gè)百分點(diǎn)，進(jìn)一步說(shuō)明了高層特征對(duì)整個(gè)跨尺度特征融合結(jié)構(gòu)的重要性。綜合各方因素后的結(jié)果表明，方案7的應(yīng)用結(jié)果更加優(yōu)秀，在后續(xù)的試驗(yàn)中均采用方案7的特征融合方式。

為了展現(xiàn)CA相比其他注意力機(jī)制的優(yōu)勢(shì)所在，本試驗(yàn)在MobileNet-V2相同的網(wǎng)絡(luò)層之間分別添加了SE注意力模塊、BAM注意力模塊、CA注意力模塊，并應(yīng)用到測(cè)試集上，最終獲得了如圖5所示的混淆矩陣。總體上看，圖5中4種模型在測(cè)試集上獲得的識(shí)別準(zhǔn)確率分別為89.29%、89.35%、89.42%、90.97%。該結(jié)果表明，相比其他3類(lèi)模型，添加了CA的MobileNet-V2能夠更精準(zhǔn)地辨別復(fù)雜環(huán)境下的病害特征，這與表4中編號(hào)2得到的數(shù)據(jù)結(jié)果契合。然而，圖5中的細(xì)節(jié)顯示，相比其他農(nóng)作物病害而言，木薯細(xì)菌枯萎病與木薯褐條病被錯(cuò)誤分類(lèi)的情況較為嚴(yán)重。為解釋產(chǎn)生該現(xiàn)象的原因，對(duì)這2類(lèi)病害的特征進(jìn)行觀察并部分概括。如圖6所示，木薯細(xì)菌枯萎病初期呈現(xiàn)濕色病斑、白色黏液等癥狀，后期葉片顏色轉(zhuǎn)變?yōu)辄S褐色，出現(xiàn)枯萎、腐爛等癥狀，而木薯褐條病的發(fā)病癥狀與木薯細(xì)菌枯萎病的后期癥狀較為類(lèi)似，葉片均產(chǎn)生黃褐色斑紋，并伴隨葉片枯萎。感染了花葉病毒的木薯葉片表現(xiàn)為黃化、卷曲，與前兩類(lèi)病害的特征也極為相似，很難通過(guò)肉眼進(jìn)行直接分辨。因此，圖5中的4種模型對(duì)特征極其相似的木薯類(lèi)病害的分類(lèi)情況并不理想，這不僅暴露出相似病害特征之間的細(xì)小區(qū)別未被模型有效利用的問(wèn)題，還為該研究將上述2種改進(jìn)方法進(jìn)行有效組合提供了思路。

表4中的試驗(yàn)結(jié)果表明：1）在增加可接受的模型參數(shù)量的前提下，融合兩種改進(jìn)策略模型的性能優(yōu)于單獨(dú)采用其中一種策略的模型性能；2）兩種改進(jìn)策略能夠有效地融合，在MobileNet-V2的基礎(chǔ)上，改進(jìn)模型在復(fù)雜背景下的病害識(shí)別準(zhǔn)確率提高了2.91個(gè)百分點(diǎn)。

表3 跨尺度特征融合

注：方案4、5、6刪除了相應(yīng)的Bottleneck，釋放了參數(shù)量及內(nèi)存。P1，P2，P3，P4，P5的大小分別為7×7、14×14、28×28、56×56、112×112。

Note: Plans 4, 5, and 6 remove appropriate Bottlenecks, freeing up the number of parameters and storage. The size of P1, P2, P3, P4 and P5 are 7×7, 14×14, 28×28, 56×56, 112×112, respectively.

表4 基于MobileNet-V2的消融試驗(yàn)結(jié)果

注：基礎(chǔ)網(wǎng)絡(luò)為MobileNet-V2。

Note: Basic network is MobileNet-V2.

4.2 與經(jīng)典CNN架構(gòu)對(duì)比分析

從模型競(jìng)爭(zhēng)力角度出發(fā)，將該研究改進(jìn)的模型與EfficientNet-b0[27]、ResNet-50、ShuffleNet-V2[28]進(jìn)行對(duì)比探究，結(jié)果如圖7所示。EfficientNet系列模型較好地平衡了網(wǎng)絡(luò)寬度、深度與分辨率之間的關(guān)系，其識(shí)別準(zhǔn)確率超過(guò)一般CNN模型4～5個(gè)百分點(diǎn)[27]。從圖中可以觀察到，改進(jìn)模型的識(shí)別準(zhǔn)確率與EfficientNet-b0相比，高出約0.65個(gè)百分點(diǎn)，然而改進(jìn)模型的參數(shù)量卻不足EfficientNet-b0參數(shù)量（5.30×106）的一半[27]。ShuffleNet-V2是一款輕量型的模型，其模型參數(shù)量（3.50×106）大幅低于一般的CNN模型架構(gòu)[28]，在該試驗(yàn)中，它的識(shí)別準(zhǔn)確率相比其他3種模型稍顯遜色，最大差距達(dá)到3.17個(gè)百分點(diǎn)，且收斂過(guò)程起伏較大。ResNet-50是廣泛應(yīng)用于工程領(lǐng)域的模型，具有較好的特征提取能力，在試驗(yàn)中同樣表現(xiàn)出了良好的分類(lèi)性能，但ResNet-50耗費(fèi)的內(nèi)存和計(jì)算資源十分龐大，較難滿足模型的移植條件[23]。

注：Pro代表本文改進(jìn)模型。

綜上所述，該研究改進(jìn)的模型在識(shí)別準(zhǔn)確率和參數(shù)內(nèi)存方面取得了良好的平衡，能夠較好地滿足移動(dòng)端對(duì)復(fù)雜情況下農(nóng)作物葉片病害識(shí)別的要求。

5 結(jié) 論

本研究立足于田間環(huán)境下的農(nóng)作物病害識(shí)別任務(wù)，更加貼近實(shí)際生活中的生產(chǎn)需要。針對(duì)復(fù)雜環(huán)境下農(nóng)作物病害特征具有分布區(qū)域廣、病斑面積大小不一等特點(diǎn)，本研究分析原始模型MobileNet-V2存在的不足，并加以改進(jìn)，改進(jìn)模型在識(shí)別準(zhǔn)確率及參數(shù)內(nèi)存之間取得了良好的平衡。嵌入坐標(biāo)注意力機(jī)制的改進(jìn)方式通過(guò)在像素坐標(biāo)系上的有效定位，使模型能集中注意于大范圍的葉片區(qū)域，從而提高了模型對(duì)病害特征的提取能力；多尺度特征融合解除了一般卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)僅能依靠網(wǎng)絡(luò)高層信息進(jìn)行分類(lèi)的限制，將高層特征和富含細(xì)節(jié)信息的低層特征加以融合，該設(shè)計(jì)提高了模型對(duì)病害特征的全局把控能力。與原始模型MobileNet-V2相比，改進(jìn)模型的病害識(shí)別準(zhǔn)確率提升了2.91個(gè)百分點(diǎn)，與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行對(duì)比，改進(jìn)模型具有更出色的識(shí)別性能、更平穩(wěn)的收斂過(guò)程以及更少的參數(shù)內(nèi)存。綜上，本研究改進(jìn)的模型能夠更出色地識(shí)別田間復(fù)雜背景下的多類(lèi)農(nóng)作物葉片病害，為深度學(xué)習(xí)模型移植至田間移動(dòng)病害檢測(cè)設(shè)備提供了思路。

[1] 高萬(wàn)林，李楨，于麗娜，等. 加快農(nóng)業(yè)信息化建設(shè) 促進(jìn)農(nóng)業(yè)現(xiàn)代化發(fā)展[J]. 農(nóng)業(yè)現(xiàn)代化研究，2010，31(3)：257-261.

[2] 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[3] 鐘昌源，胡澤林，李淼，等. 基于分組注意力模塊的實(shí)時(shí)農(nóng)作物病害葉片語(yǔ)義分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[4] Sun J, Wang L, Wu X, et al. Identification of crop diseases using improved convolutional neural networks[J]. IET Computer Vision, 2020, 14(7): 538-545.

[5] Ub A, Rdc B, Ds C, et al. Comparison of convolution neural networks for smartphone image based real time classification of citrus leaf disease[J]. Computers and Electronics in Agriculture, 2020, 177(4): 105661.

[6] 孫俊，何小飛，譚文軍，等. 空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別作物幼苗與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(11)：159-165.

Sun Jun, He Xiaofei, Tan Wenjun, et al. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 159-165. (in Chinese with English abstract)

[7] Jiang P, Chen Y, Liu B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

[8] 孫俊，譚文軍，武小紅，等. 多通道深度可分離卷積模型實(shí)時(shí)識(shí)別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(12)：184-190.

Sun Jun, Tan Wenjun, Wu Xiaohong, et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese with English abstract)

[9] Abade A, Ferreira P A, Vidal F. Plant diseases recognition on images using convolutional neural networks: A systematic review[J]. Computers and Electronics in Agriculture, 2021, 185: 106125.

[10] 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[11] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲(chóng)害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lü Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[12] Bao Wenxia, Huang Xuefeng, Hu Gensheng, et al. Identification of maize leaf diseases using improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 160-167.

鮑文霞，黃雪峰，胡根生，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的玉米葉部病害識(shí)別(英文稿)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：160-167. (in English with Chinese abstract)

[13] Khan M A, Akram T, Sharif M, et al. CCDF: Automatic system for segmentation and recognition of fruit crops diseases based on correlation coefficient and deep CNN features[J]. Computers and Electronics in Agriculture, 2018, 155: 220-236.

[14] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2018, 161: 272-279.

[15] Rangarajan A K, Purushothaman R, Ramesh A. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040-1047.

[16] Tang Z, Yang J, Li Z, et al. Grape disease image classification based on lightweight convolution neural networks and channelwise attention[J]. Computers and Electronics in Agriculture, 2020, 178(2): 105735.

[17] Shin J, Chang Y K, Heung B, et al. A deep learning approach for RGB image-based powdery mildew disease detection on strawberry leaves[J]. Computers and Electronics in Agriculture, 2021, 183(3): 106042.

[18] 王春山，周冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[19] Ap A, Msc D, Ag A, et al. Crop conditional Convolutional Neural Networks for massive multi-crop plant disease classification over cell phone acquired images taken on real field conditions[J]. Computers and Electronics in Agriculture, 2019, 167: 105093.

[20] Chen J, Zhang D, Nanehkaran Y A. Identifying plant diseases using deep transfer learning and enhanced lightweight network[J]. Multimedia Tools and Applications, 2020, 79(7): 31497-31515.

[21] 許景輝，邵明燁，王一琛，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(2)：230-236.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236. (in Chinese with English abstract)

[22] 曾偉輝，李淼，張健，等．面向農(nóng)作物病害識(shí)別的高階殘差卷積神經(jīng)網(wǎng)絡(luò)研究[J]．中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2019，49(10)：781-791.

Zeng Weihui, Li Miao, Zhang Jian, et al. Research on high-order residual convolution neural network for crop disease recognition application[J]. Journal of University of Science and Technology of China, 2019, 49(10): 781-791. (in Chinese with English abstract)

[23] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 770-778.

[24] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]//IEEE. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 4510- 4520.

[25] Jie H, Li S, Gang S, et al. Squeeze and excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8): 2011-2023.

[26] 劉陽(yáng)，高國(guó)琴. 采用改進(jìn)的SqueezeNet模型識(shí)別多類(lèi)葉片病害[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(2) ：187-195.

Liu Yang, Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 187-195. (in Chinese with English abstract)

[27] Tan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[C]//Proceedings of the 36thInternational Conference on Machine Learning. Long Beach, CA: PMLR, 2019.

[28] Ma N, Zhang X, Zheng H T, et al. ShuffleNet V2: Practical guidelines for efficient cnn architecture design[C]//15th European Conference on Computer Vision (ECCV). Munich: Springer, 2018, 11218: 122-138.

Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2

Sun Jun, Zhu Weidong, Luo Yuanqiu, Shen Jifeng, Chen Yide, Zhou Xin

(,,212013,)

Crop pests and diseases are emerging threats to global food security in recent years. Manual diagnosis has also been a serious constraint to recognizing the crop diseases in modern agriculture. The latest Convolutional Neural Network (CNN) models have opened up a new way to control diseases with the development of deep learning. However, a complex real environment in the field has posed a great challenge on the general model for disease recognition, due to the single background of the leaf disease images taken in the laboratory. In this study, an improved MobileNet-V2 was proposed to recognize the diseases of crop leaves in the fields, thereby optimizing the parameters for higher accuracy under the complex background. The specific procedures were as followed. Firstly, an image dataset was collected in the field for the disease classification, including 11 kinds of diseased leaves and 4 kinds of healthy leaves of four crops. A series of enhancement operations were then performed on the disease images, including random brightness, and noise. Secondly, a coordinate attention mechanism was added in the 3-18 layers of the basic MobileNet-V2 model. The Region of Interest (ROI) was effectively positioned to concentrate on the disease regions in the pixel coordinate system, thereby to better identify the background and foreground information of the targets. Since the areas of disease spots were different, it was easy to miss some details of the diseases only when using the high-level features. Thus, a feature pyramid module was added to the model using a multi-scale feature fusion. As such, the low-level features were combined with the high-level features, providing for more targets information and better recognition. The specific sampling was operated from the 7×7 to 14×14 feature map, where the same size was fused. Finally, the unnecessary classification layer was removed to optimize the parameter memory of the improved model, where the operation of group convolution was adopted. Compared with the original, the classification accuracy of the improved model was enhanced by 2.91 percentage points, with a little increase in the parameter memory, indicating superior performance. The times of up-sampling were significantly reduced to deal with the feature overlap, where all aspects of indicators were improved than before. Additionally, the improved model was used to better distinguish the similar target features and different lesion areas in detail. In contrast, the recognition accuracy was 0.65 percentage points higher than the EfficientNet-b0a CNN model, indicating a fewer half number of parameters. The improved model also presented much fewer parameters suitable for the mobile terminal, compared with the classical ResNet-50 CNN architecture. Consequently, the improved model can be widely expected to better identify the crop leaf diseases under a complex background, indicating more stable convergence with less parameter memory. This finding can provide strong theoretical support to reliably transplant the new CNN model into the mobile terminal for the disease classification.

crops; diseases; complex background; lightweight; up-sample; parameters

10.11975/j.issn.1002-6819.2021.22.018

S126

A

1002-6819(2021)-22-0161-09

孫俊，朱偉棟，羅元秋，等. 基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(22)：161-169.doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

2021-08-04

2021-10-08

江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程（三期）資助項(xiàng)目（PAPD-2018-87）；江蘇大學(xué)大學(xué)生科研立項(xiàng)資助項(xiàng)目（20AB0019）

孫俊，博士，教授，博士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)技術(shù)在農(nóng)業(yè)工程中的應(yīng)用。Email：sun2000jun@ujs.edu.cn

中國(guó)農(nóng)業(yè)工程學(xué)會(huì)會(huì)員：孫?。‥041200652S）