劉擁民，胡 魁，聶佳偉，謝鐵強(qiáng)

(1 中南林業(yè)科技大學(xué) 計算機(jī)與信息工程學(xué)院/智慧林業(yè)云研究中心，湖南長沙 410004；2 華南農(nóng)業(yè)大學(xué) 動物科學(xué)學(xué)院，廣東 廣州 510642)

預(yù)計到2030年世界總?cè)丝趯⒊^85億，而隨著氣候不斷變化和城市急劇擴(kuò)張，全球可用耕地面積一直在萎縮，同時氣候變化帶來的農(nóng)作物病蟲害問題不斷攀升，糧食安全問題無疑成為當(dāng)今世界面臨的緊急性問題，以中國為例，根據(jù)農(nóng)作物病蟲害監(jiān)測網(wǎng)站的報告，長江流域的廣大產(chǎn)糧區(qū)，2017年農(nóng)作物病蟲害發(fā)生面積同比增長26.6%，僅2020年，中國農(nóng)作物重大病蟲害累計發(fā)生面積就高達(dá)3億hm2，病蟲害不單影響糧食產(chǎn)量，還可能帶來重大經(jīng)濟(jì)損失[1-3]。

隨著深度學(xué)習(xí)的不斷發(fā)展，特別是在農(nóng)作物病蟲害識別領(lǐng)域的應(yīng)用研究不斷深入，通過對病害圖像的特征提取、分類識別，能夠做到對農(nóng)作物病蟲害的正確識別和及時預(yù)防，大大節(jié)省人力、物力，有望將經(jīng)濟(jì)損失降到最低[4-5]。基于深度學(xué)習(xí)的農(nóng)作物病蟲害識別流程包括數(shù)據(jù)的采集、訓(xùn)練模型的構(gòu)建以及推理驗證[6-7]。陸健強(qiáng)等[8]提出了一種基于Mixup 算法和卷積神經(jīng)網(wǎng)絡(luò)的柑橘黃龍病識別模型，通過數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)，最終模型的識別準(zhǔn)確率達(dá)到94.29%。黃林生等[9]以ResNet為基礎(chǔ)模型，結(jié)合Inception模塊，對不同尺度病害特征進(jìn)行提取，并引入注意力機(jī)制，提出了在復(fù)雜環(huán)境下的農(nóng)作物葉片病害識別模型，平均識別準(zhǔn)確率達(dá)到了95.62%。駱潤玫等[10]以YOLOv5s為基礎(chǔ)模型，通過引入多尺度特征融合模塊，提出了一種基于YOLOv5-C的廣佛手病蟲害識別方法，在復(fù)雜背景下，識別準(zhǔn)確率達(dá)到93.61%。于合龍等[11]提出一種面向水稻病蟲害的知識圖譜構(gòu)建方法和基于圖像的水稻病蟲害檢索算法，診斷算法正確率達(dá)到86.25%。Chen等[12]以水稻病害為研究對象，利用VGGNet在大型標(biāo)記數(shù)據(jù)集ImageNet上進(jìn)行預(yù)訓(xùn)練來初始化權(quán)值，然后進(jìn)行遷移學(xué)習(xí)，將預(yù)訓(xùn)練得到的初始化權(quán)值轉(zhuǎn)移到目標(biāo)數(shù)據(jù)集上進(jìn)行訓(xùn)練，試驗表明，復(fù)雜的背景條件下，對水稻病害圖像識別平均精度達(dá)到92.00%。袁培森等[13]利用 Inception模塊的特征提取能力，提出了一種基于遷移學(xué)習(xí)結(jié)合ResNet-v2 網(wǎng)絡(luò)的菌菇識別方法，以此來提高對菌菇圖像細(xì)粒度特征提取的能力，對細(xì)粒度菌類表型識別的準(zhǔn)確率達(dá)到93.94%。上述基于深度學(xué)習(xí)的農(nóng)作物病蟲害識別方法，為目前農(nóng)作物病蟲害識別研究提供了重要參考。

但基于深度學(xué)習(xí)的農(nóng)作物病蟲害識別方法依然存在著不足，當(dāng)前農(nóng)作物病蟲害數(shù)據(jù)集大多為室內(nèi)采集圖像，然而在實際應(yīng)用中，自然環(huán)境下的樣本圖像具有復(fù)雜背景，在訓(xùn)練過程中模型容易受到復(fù)雜背景的影響，深度學(xué)習(xí)訓(xùn)練模型容易學(xué)習(xí)到復(fù)雜背景中的無關(guān)特征，忽視對微小病害特征的提取，導(dǎo)致識別準(zhǔn)確率下降。并且在自然環(huán)境條件下，田間作物葉片往往處于強(qiáng)烈光照、運(yùn)動搖曳的狀態(tài)，這會影響到模型對病害特征的提取。同時，在實際場景中拍攝的數(shù)據(jù)集樣本數(shù)太少，在訓(xùn)練中容易產(chǎn)生過擬合現(xiàn)象，在模型驗證過程中會導(dǎo)致識別準(zhǔn)確率急劇下降。針對以上問題，本研究提出一種基于改進(jìn)ResNet的多尺度雙分支(Multi-scale dual-branch，MSDB)結(jié)構(gòu)水稻病蟲害識別模型(MSDB-ResNet)，首先利用隨機(jī)亮度、運(yùn)動模糊等數(shù)據(jù)預(yù)處理方法來模擬復(fù)雜環(huán)境下作物葉片狀態(tài)，讓深度學(xué)習(xí)模型提前訓(xùn)練這類復(fù)雜樣本圖像，加強(qiáng)模型的泛化能力和魯棒性，同時對獲取到的5 932張水稻病蟲害圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理，將數(shù)據(jù)集擴(kuò)充到20 000張，以緩解訓(xùn)練中的過擬合現(xiàn)象。在模型構(gòu)建中，為了更好地提取微小病害特征，同時避免過擬合的發(fā)生、提高識別準(zhǔn)確率，在ResNet模型的基礎(chǔ)上，引入ConvNeXt中的殘差模塊，以優(yōu)化ResNet模型中的殘差塊計算比例，同時構(gòu)建多尺度的雙分支結(jié)構(gòu)，利用不同尺度的卷積核分別提取不同尺度的病害特征，然后進(jìn)行特征融合，最后經(jīng)過Softmax層輸出分類結(jié)果，以解決復(fù)雜背景導(dǎo)致的微小病害難以提取的問題，最終提高模型識別準(zhǔn)確率。

1 數(shù)據(jù)及模型構(gòu)建

1.1 試驗數(shù)據(jù)

1.1.1 試驗數(shù)據(jù)獲取 本數(shù)據(jù)集包含4類水稻葉片病害圖片，共5 932張，其中，水稻白葉枯病1 584張，水稻稻瘟病1 440張，水稻褐斑病1 600張，水稻桐木病1 308張，均拍攝于自然環(huán)境下，保存為JPG格式[14]，圖像大小調(diào)整為224像素×224像素。按照8∶2的數(shù)量比例將該數(shù)據(jù)集劃分為訓(xùn)練集和驗證集，在隨機(jī)打亂的情況下，進(jìn)行訓(xùn)練和驗證。部分樣本圖像如圖1所示。

圖1 水稻病害樣本圖片F(xiàn)ig.1 Sample images of rice diseases

1.1.2 數(shù)據(jù)預(yù)處理 現(xiàn)實場景中，強(qiáng)烈的光照直射會影響模型對病害特征的提取，水稻葉片往往相互交錯，互相遮擋使病害特征更加難以提取，晃動的葉片不容易聚焦，考慮到以上實際因素，本文通過高斯噪聲、隨機(jī)遮擋、隨機(jī)亮度、運(yùn)動模糊等圖像預(yù)處理方法[15]，對原始數(shù)據(jù)集進(jìn)行預(yù)處理。在對原始數(shù)據(jù)集圖像進(jìn)行批量化預(yù)處理后，構(gòu)建新的增強(qiáng)數(shù)據(jù)集。讓模型在訓(xùn)練過程中，能夠?qū)W到更多復(fù)雜環(huán)境下的病害特征，以達(dá)到模擬實際場景的目的，提高模型驗證準(zhǔn)確率。圖2為部分圖像預(yù)處理樣本。

圖2 數(shù)據(jù)預(yù)處理樣本圖片F(xiàn)ig.2 Sample images of pre-processing

1.1.3 數(shù)據(jù)增強(qiáng) 在農(nóng)作物病蟲害識別領(lǐng)域，數(shù)據(jù)增強(qiáng)的方法主要應(yīng)用在小樣本數(shù)據(jù)集或病蟲害類別圖像樣本不平衡數(shù)據(jù)集上，以此來增加樣本數(shù)或讓數(shù)據(jù)集盡量平衡。隨著深度學(xué)習(xí)模型的深入，參數(shù)越來越龐大，為了讓小型數(shù)據(jù)集能夠正常訓(xùn)練，提高準(zhǔn)確率，數(shù)據(jù)增強(qiáng)的方法尤為重要，由于本研究的數(shù)據(jù)集樣本數(shù)量不足，各病害類別數(shù)量存在不平衡的情況，因此通過鏡像、裁剪、縮放、平移和旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方法[16]，在不改變圖像內(nèi)容的前提下，通過空間幾何變換，改變圖像中的像素空間位置，增加樣本數(shù)量，避免過擬合的發(fā)生。本研究使用的水稻病害數(shù)據(jù)集包含4類水稻病害，共5 932張，使用數(shù)據(jù)增強(qiáng)方法，將每類病害樣本擴(kuò)充到5 000張圖片(增強(qiáng)數(shù)據(jù)集)，其中，訓(xùn)練集和驗證集數(shù)量比為1∶4，共計20 000張圖片。

1.2 模型構(gòu)建

1.2.1 卷積神經(jīng)網(wǎng)絡(luò)理論 卷積神經(jīng)網(wǎng)絡(luò)的組成部分主要包括卷積層、池化層和全連接層。卷積層通過卷積核對輸入的圖像樣本進(jìn)行卷積計算，提取圖像中的關(guān)鍵特征，卷積層的輸出是輸入在空間維度上某一級的表征，也叫特征圖(Feature map)[17]，卷積層輸入和輸出之間的關(guān)系可用式(1)表示。

式中，Hi表示第i層的特征圖；Hi-1表示第i-1層的特征，即上一層的特征輸入當(dāng)前卷積層；Wi表示第i層的權(quán)重，為可學(xué)習(xí)參數(shù)；bi為第i層的偏置量；φ()為激活函數(shù)。池化層可緩解卷積層對位置的過度敏感性，分為最大值池化和平均池化，分別取池化窗口中輸入元素的最大值和平均值作為輸出，其輸出通道和輸入通道保持一致。池化層計算公式如式(2)所示。

式中，Xlj代表當(dāng)前池化層的輸出特征，down( )為下采樣函數(shù)，為上一層的特征向量，s為池化窗口大小。經(jīng)過卷積層的卷積運(yùn)算和池化層的池化運(yùn)算之后，將輸出的特征向量輸入全連接層中，對提取的特征進(jìn)行分類。本研究中，采用Softmax分類器進(jìn)行分類計算，具體的計算公式如式(3)所示。

Softmax函數(shù)是0～1之間的映射，由于各類別輸出的概率值之和不等于1，利用ezj對每個類別的輸出概率進(jìn)行e指數(shù)運(yùn)算，然后進(jìn)行求和最后得出的結(jié)果Softmax(Z)j為0～1。由于Sigmoid極容易導(dǎo)致梯度消失問題，為解決該問題，本研究中采用非飽和激活函數(shù)ReLU作為本試驗的激活函數(shù)[18]。

考慮到本研究為多分類試驗，采用隨機(jī)梯度下降(Stochastic gradient descent，SGD)作為優(yōu)化器[19]。具體的計算如式(4)所示。式中，α代表步長，hθ(x(i))代表假設(shè)函數(shù)(Hypotheses function)，θj的初始值可為任意值，按照梯度下降的方向不斷迭代、更新參數(shù)。

1.2.2 ResNet殘差理論 為解決梯度消失問題，2016年He等[20]提出了ResNet，其核心思想是上一層輸出的X，在經(jīng)過本層的卷積計算得到F(X)后，將X與F(X)相加得到H(X)，這樣做的目的是在進(jìn)行反向傳播求導(dǎo)時，即使F(X)梯度趨近0，梯度消失時，X這一項還會留下1，巧妙的避免了在反向傳播時梯度消失的問題。ResNet中核心的殘差結(jié)構(gòu)如圖3所示。

圖3 ResNet 殘差塊結(jié)構(gòu)Fig.3 ResNet residual block structure

盡管ResNet網(wǎng)絡(luò)良好地避免了過擬合的問題，但還存在可改進(jìn)的地方，ResNet模型在設(shè)計之初，模型主要由含有不同數(shù)量瓶頸模塊的4個階段組成，每個階段中的瓶頸模塊數(shù)量比例很大程度上是根據(jù)經(jīng)驗提出來的，其中ResNet50的比例為3∶4∶6∶3，ResNet101的比例為3∶4∶23∶3，ResNet152的比例為3∶8∶36∶3?？梢?，每個階段中的瓶頸模塊數(shù)量比例還存在更加優(yōu)異的比例，優(yōu)化模型性能。

1.2.3 ConvNeXt殘差模塊 2022年Facebook人工智能研究院提出ConvNeXt卷積神經(jīng)網(wǎng)絡(luò)[21-22]，在ImageNet top-1數(shù)據(jù)集上實現(xiàn)了87.8%的精度，超過了此前Swin transformer取得的最高準(zhǔn)確率(81.3%)[23-24]，其中ConvNeXt網(wǎng)絡(luò)中的殘差塊計算比例借鑒Transformer的設(shè)計比例(1∶1∶3∶1)，ConvNext網(wǎng)絡(luò)中的殘差塊比例為3∶3∶9∶3，將模型的精度從78.8%提高到79.4%。ConvNeXt模型中殘差塊的提出，優(yōu)化了每個階段中的瓶頸模塊的數(shù)量比例。本研究以ResNet50為基礎(chǔ)模型，將ConvNext中的殘差塊引入ResNet50，通過優(yōu)化殘差塊的數(shù)量比例，在原有基礎(chǔ)上提高原始ResNet50的模型精度。具體模型參數(shù)如表1所示，模型整體架構(gòu)由2個分支構(gòu)成，每個分支主要由1個根莖層和4個階段組成，根莖層由一個7×7的卷積層和一個3×3的最大值池化層組成，以保持輸出特征分辨率不變。4個階段包含不同數(shù)量的瓶頸模塊，其比例為3∶3∶9∶3。

表1 模型計算參數(shù)Table 1 Model computation parameter

1.2.4 多尺度雙分支結(jié)構(gòu) 模型中常見的卷積核大小為1×1、3×3、5×5和7×7，由于卷積核的大小各異，模型在訓(xùn)練中容易出現(xiàn)丟失小特征，或是容易學(xué)習(xí)到復(fù)雜背景中的特征的現(xiàn)象，導(dǎo)致識別準(zhǔn)確率不高[25]。針對該問題，本文提出基于改進(jìn)ResNet的多尺度雙分支結(jié)構(gòu)，以ResNet-50為基礎(chǔ)架構(gòu)，構(gòu)建雙分支的ResNet模型，將大卷積核和小卷積核分別放在不同的2條支路中，分別用來提取不同大小的病害特征，同時降低復(fù)雜背景的影響。模型框架如圖4所示，輸入圖像經(jīng)過數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)后，分別輸入2條不同的分支中，在每條分支前經(jīng)過含有1個由7×7的卷積層、ReLu激活層以及1個3×3的最大值池化層組成的基莖層。之后進(jìn)入4個不同的階段中，其中第1個、第2個和第4個階段中含有3個瓶頸模塊結(jié)構(gòu)，第4個階段中含有9個瓶頸模塊結(jié)構(gòu)。瓶頸模塊結(jié)構(gòu)如圖4所示，先經(jīng)過1個帶有1×1卷積層的殘差連接1個2個恒等映射X的殘差連接，以避免模型訓(xùn)練中過擬合的發(fā)生。分支1中的瓶頸模塊結(jié)構(gòu)，其卷積層構(gòu)成主要為1×1、3×3卷積核，分支2中的瓶頸模塊結(jié)構(gòu)，其卷積層主要由5×5卷積核構(gòu)成，通過不同大小的卷積核算子，提取不同尺度的特征，避免細(xì)微病害特征被復(fù)雜背景影響，導(dǎo)致關(guān)鍵病害沒有提取到。經(jīng)過2條不同尺度的網(wǎng)絡(luò)分支提取特征后，進(jìn)行ReLu激活連接和全局均值池化，輸入Concat層進(jìn)行特征融合，最后輸入全連接層和Softmax層，輸出分類結(jié)果。

圖4 MSDB-ResNet 框架Fig.4 MSDB-ResNet architecture

2 試驗結(jié)果與分析

2.1 試驗環(huán)境

試驗軟件環(huán)境為 Windows 10 64位系統(tǒng)，采用Pytorch深度學(xué)習(xí)開源框架，選用 Python作為編程語言。計算機(jī)內(nèi)存為 16 GB，搭載AMD Ryzen 7 5800H with Radeon Graphics處理器，并采用NVIDIA GeForce RTX 3 070 Laptop 顯卡。

2.2 試驗參數(shù)

本研究采用SGD優(yōu)化算法、CrossEntropyLoss損失函數(shù)，每批次訓(xùn)練樣本數(shù)(Batch size)設(shè)置為32，訓(xùn)練輪數(shù)為20，初始學(xué)習(xí)率設(shè)置為0.01，并設(shè)置動量為0.9，權(quán)重衰減(Weight decay)設(shè)置為1×10-4。

2.3 模型評價指標(biāo)

本文采用平均識別準(zhǔn)確率(Accuracy)作為模型的評價指標(biāo)：

式中，c表示類別數(shù)，nj表示第j類數(shù)量，njj表示第j類預(yù)測正確數(shù)量。

2.4 數(shù)據(jù)預(yù)處理與增強(qiáng)試驗

為驗證本研究所提出的模型性能，對數(shù)據(jù)預(yù)處理、數(shù)據(jù)增強(qiáng)方法以及模型改進(jìn)方法分別進(jìn)行了多次試驗。其中，對數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)方法分別在基礎(chǔ)模型ResNet-50和MSDB-ResNet模型上進(jìn)行對比試驗。對模型改進(jìn)方法分別在原始數(shù)據(jù)集、數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集上進(jìn)行試驗。試驗結(jié)果如圖5所示。

圖5 準(zhǔn)確率曲線Fig.5 Accuracy curves

ResNet-50模型對原始數(shù)據(jù)集識別準(zhǔn)確率為96.68%，對增強(qiáng)數(shù)據(jù)集的識別準(zhǔn)確率為98.26%，提升了1.58個百分點?？梢?，利用高斯噪聲、運(yùn)動模糊、隨機(jī)亮度、隨機(jī)遮擋等數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)方法，能夠提升模型識別準(zhǔn)確率。ResNet-50模型對原始數(shù)據(jù)集的識別準(zhǔn)確率為96.68%；引入ConvNet殘差模塊，同時構(gòu)建雙分支的MSDBResNet模型對原始數(shù)據(jù)集的識別準(zhǔn)確率為99.06%，較ResNet-50提升了2.38個百分點。可見，MSDB-ResNet具有良好的性能，能夠顯著提升模型識別準(zhǔn)確率。MSDB-ResNet對增強(qiáng)數(shù)據(jù)集的識別準(zhǔn)確率為99.10%，相比于原始的ResNet50未進(jìn)行數(shù)據(jù)增強(qiáng)所取得的準(zhǔn)確率，顯著提升了2.42個百分點。可見，MSDB-ResNet能夠提升水稻病蟲害識別準(zhǔn)確率。

2.5 模型改進(jìn)試驗

為驗證模型的魯棒性和泛化能力，在使用相同的增強(qiáng)數(shù)據(jù)集的情況下，將MSDB-ResNet與AlexNet、VGG、DenseNet和ResNet進(jìn)行對比試驗，結(jié)果見圖6，在使用相同增強(qiáng)數(shù)據(jù)集的情況下，AlexNet和VGG-16對驗證集識別的準(zhǔn)確率分別為95.07%和95.79%，遠(yuǎn)低于MSDB-ResNet的99.10%，說明在復(fù)雜環(huán)境背景下，不斷增加網(wǎng)絡(luò)層數(shù)不一定會提高模型識別準(zhǔn)確率，甚至可能會受復(fù)雜背景所影響，從而導(dǎo)致模型識別準(zhǔn)確率降低，而MSDB-ResNet模型對農(nóng)作物的病蟲害識別具有良好的性能。DenseNet-121與ResNet-50對驗證集識別的準(zhǔn)確率分別為96.53%和96.25%，同樣低于MSDB-ResNet所取得的99.10%，可見，含有相同殘差連接的DenseNet-121與ResNet-50在相同數(shù)據(jù)集上取得的識別準(zhǔn)確率遠(yuǎn)低于MSDB-ResNet，模型改進(jìn)方法具有一定的可行性。

圖6 模型對增強(qiáng)數(shù)據(jù)集的準(zhǔn)確率與損失值曲線Fig.6 Accuracies and loss curves of models to augument dataset

如圖6所示，在準(zhǔn)確率高于其他模型的情況下，MSDB-ResNet模型訓(xùn)練收斂速度同樣遠(yuǎn)高于模型AlexNet、VGG、DenseNet和ResNet。以上結(jié)果表明，本研究所提出的MSDB-ResNet水稻病蟲害識別模型，在復(fù)雜背景環(huán)境下，具有良好的魯棒性和泛化能力。圖7為模型的卷積核與特征圖可視化圖。

圖7 卷積核與特征圖可視化Fig.7 Visualization of the convolutional kernel and feature map

3 結(jié)論

農(nóng)作物病蟲害一直是影響世界糧食產(chǎn)量的重要因素，由于優(yōu)異的分類識別性能，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于農(nóng)作物病蟲害識別領(lǐng)域。本研究以水稻白葉枯病、水稻稻瘟病、水稻褐斑病、水稻桐木病作為研究對象，提出了1種新的卷積神經(jīng)網(wǎng)絡(luò)模型MSDB-ResNet，用于水稻病害的識別。利用高斯噪聲、隨機(jī)亮度、隨機(jī)遮擋、運(yùn)動模糊等數(shù)據(jù)預(yù)處理方法對水稻病害數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理、數(shù)據(jù)增強(qiáng)和數(shù)據(jù)平衡，將5 932張原始數(shù)據(jù)集擴(kuò)充到20 000張。以ResNet-50為基礎(chǔ)框架，在此基礎(chǔ)上引入ConvNeXt中殘差模塊，將ResNet-50中4個階段中的瓶頸模塊比例由3:4:6:3調(diào)整為3:3:9:3，以此為基礎(chǔ)，構(gòu)建雙分支結(jié)構(gòu)，將輸入的病害圖片分別輸入2條分支之中，以提取不同大小的病害特征，經(jīng)Concat層進(jìn)行特征融合，最后使用Softmax輸出結(jié)果。試驗結(jié)果表明，該模型在水稻病蟲害數(shù)據(jù)集上具有良好的識別性能，在經(jīng)過數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)的水稻病害數(shù)據(jù)集上，實現(xiàn)了99.10%的病害識別驗證精度，相比于ResNet-50 96.68%的識別準(zhǔn)確率提高了2.42個百分點 ，并明顯高于AlexNet、VGG-16、DenseNet-121等經(jīng)典深度學(xué)習(xí)模型，具有良好的魯棒性和泛化能力。后續(xù)計劃進(jìn)行模型輕量化研究，減少訓(xùn)練所需的數(shù)據(jù)集樣本，并打算將其部署在移動設(shè)備上，應(yīng)用在實際環(huán)境中，進(jìn)行農(nóng)作物病蟲害識別。