戴久竣　馬肄恒　吳堅　班兆軍

摘要：葡萄病害是導致葡萄嚴重減產(chǎn)的主要因素，大多數(shù)病害癥狀都反映在葡萄的葉片上，但是人工針對葉片的識別費時且效率低。本研究提出了一種基于改進殘差網(wǎng)絡的葡萄葉片病害識別模型。該研究在ResNet50的基礎上采用金字塔卷積網(wǎng)絡，通過其包含不同大小和不同深度的卷積核來處理輸入，然后以特征融合來獲得不同程度的病害特征細節(jié)。在金字塔網(wǎng)絡結構上采用深度超參數(shù)化卷積層代替?zhèn)鹘y(tǒng)的卷積層，能夠加快模型收斂速度，有效提升模型精度。結果表明，改進后的殘差網(wǎng)絡模型與AlexNet、MobileNetV2、ResNet50/101、VGG16模型相比，在準確性方面具有顯著優(yōu)勢。與原模型相比較，識別準確率提高3.18百分比，改進模型對病害識別準確率高達98.20%?？梢詾樽R別葡萄葉片病害提供參考。

關鍵詞：葡萄病害；殘差網(wǎng)絡；金字塔卷積；深度超參數(shù)化卷積層

中圖分類號：TP391.41文獻標志碼：A

文章編號：1002-1302（2023）05-0208-08

葡萄是我國最常見的水果之一，它含有多種維生素、類胡蘿卜素和多酚，對人類健康有許多益處，如抗癌、抗氧化和光保護［1］。根據(jù)聯(lián)合國糧食及農(nóng)業(yè)組織的調(diào)查數(shù)據(jù)，2021年我國葡萄產(chǎn)量達到 1 443.9萬t，但是每年有多達40%的葡萄因病害而壞死，所以葡萄病害是全球葡萄產(chǎn)量下降的主要原因。因此，建立一種高準確率的葡萄葉片病害識別方法，將有助于提高葡萄生產(chǎn)管理水平，提供良好的生長環(huán)境使其產(chǎn)量有效提升。

隨著計算機視覺［2-4］、機器學習［5-7］和深度學習［8-10］等技術的發(fā)展，這些技術已被廣泛應用于作物病害檢測［11-13］。傳統(tǒng)的機器學習方法主要集中在色調(diào)、形狀、紋路等低層圖像特征以及支持向量機等傳統(tǒng)機器學習算法上。多位學者基于全局閾值算法來分割葡萄葉片的病害部分，并將其輸入機器學習分類器［14-16］。但是，傳統(tǒng)的機器學習算法不能有效地處理圖像的空間信息。與傳統(tǒng)的機器學習方法相比，深度學習方法在特征提取方面表現(xiàn)更好，通?？梢垣@得更好的性能。卷積神經(jīng)網(wǎng)絡是一種高性能的深度學習網(wǎng)絡，它提供端到端的通道，自動學習在圖像中的表達層次特征［17-20］?；谏疃染W(wǎng)絡的病害識別不僅更加有效，而且避免了繁瑣的特征選擇過程。

目前，基于卷積神經(jīng)網(wǎng)絡的模型已被廣泛應用于作物的早期病害檢測和后續(xù)病害管理。Tahir等采用InceptionV3模型結合遷移學習方法對蘋果葉片病害識別進行研究，在PlantVillage數(shù)據(jù)集上的平均準確率達到97%［21］。Zhang等提出了一個改進的殘差模型，用于對醫(yī)學X射線圖像中的多種病癥進行圖像分類，最后多次試驗評估表明，所提出模型的準確率在不同的數(shù)據(jù)集上分別達到了87.71%和81.8%［22］。Zu等提出了一種基于改進的ResNeXt-50模型與遷移學習相結合的香菇感染枝條識別方法，試驗結果表明，改進模型識別準確率可以達到94.27%［23］。龍滿生等將AlexNet和GoogleNet網(wǎng)絡與遷移學習策略相結合，對油茶病害進行了識別［24］。余小東等采用遷移學習方式并結合深度學習提出了一種基于ResNet50的模型，獲得病蟲害分類模型，最終其識別率達到91.51%［25］。Liu等基于VGG16和Inception-ResNetv2的遷移學習網(wǎng)絡設計了害蟲圖像識別模型。最終識別準確率為97.71%［26］。Krishnamoorthy等將一個預訓練的深度卷積神經(jīng)網(wǎng)絡Inception-ResNetv2和遷移學習方法結合用于識別水稻葉片病害，該模型的參數(shù)針對分類任務進行了優(yōu)化，最終獲得了95.67%的準確率［27］。許景輝等提出基于遷移學習的卷積神經(jīng)網(wǎng)絡的玉米病害圖像識別模型，最終識別準確率達到95.33%［28］。

根據(jù)以上研究，卷積神經(jīng)網(wǎng)絡在病害識別方面取得了較好的結果，但是大多數(shù)面向應用的圖像識別算法都基于流行的遷移學習方法來進行試驗，對于算法的改進很少，導致模型有局限性。因此，本研究提出一種基于改進殘差網(wǎng)絡的葡萄葉片病害識別模型。以ResNet50為基礎模型引入金字塔卷積網(wǎng)絡，再此結構上使用深度超參數(shù)化卷積層代替?zhèn)鹘y(tǒng)卷積層，進而確保了多尺度特征的高效提取和額外參數(shù)增加，使模型的收斂速度和識別性能得到提升。

1 試驗數(shù)據(jù)

1.1 圖像數(shù)據(jù)

本研究從2個不同的數(shù)據(jù)集中收集各類病害和健康類葡萄的不同圖像。本研究中用于評估性能的第1個數(shù)據(jù)集是來源于浙江農(nóng)業(yè)科學研究院的葡萄體系研究平臺，其包含白粉病、霉霜病2類病害，部分病害圖像是研究員在養(yǎng)殖基地拍攝后上傳到平臺的。第2個數(shù)據(jù)集是在Plant Village數(shù)據(jù)庫和Digipathos網(wǎng)站上挑選合適的黑腐病、葉斑病和健康葉3類葉片，每1幅圖像都只有1種病害，葉片如圖1部分示例所示。將源于2個數(shù)據(jù)集的葡萄葉片圖像整合共同構成數(shù)量為1 205幅的數(shù)據(jù)集。

1.2 圖像數(shù)據(jù)預處理與增強

深度學習模型的性能取決于所用數(shù)據(jù)的數(shù)量和質(zhì)量。本研究準備的葡萄葉片病害數(shù)據(jù)集與訓練模型所需的數(shù)據(jù)量相比很小，這可能會導致過擬合；在這種情況下，1個模型對訓練數(shù)據(jù)表現(xiàn)良好，但在用未見過的數(shù)據(jù)進行測試時卻不能泛化。為了解決該問題，需要將原始數(shù)據(jù)進行預處理操作，處理方法包括數(shù)據(jù)增強、局部裁剪等。如圖2所示，數(shù)據(jù)增強采用多種圖像增強技術（旋轉(zhuǎn)、翻轉(zhuǎn)、平移、亮度變化和增加噪聲等）。圖像局部裁剪是將原始數(shù)據(jù)圖像的較小病害區(qū)域進行裁剪，這樣可以讓模型訓練時更好地進行特征提取，如圖3所示。

通過以上方法，最終將原始數(shù)據(jù)擴充為原來的6倍，最終數(shù)據(jù)集為7 230幅。

2 葡萄葉片病害識別模型

2.1 卷積神經(jīng)網(wǎng)絡選取

卷積神經(jīng)網(wǎng)絡是一種用于計算機視覺應用程序的當代技術，其中神經(jīng)網(wǎng)絡通過學習內(nèi)部特征表示并泛化常見圖像問題中的特征來保持層次結構。卷積神經(jīng)網(wǎng)絡的核心是卷積，它學習用于視覺識別的濾波器。本研究選取4類常見病害和1類健康葉片圖像為樣本，由于每類病害的病斑紋理、形狀和色彩在葉片不同的位置等特點，區(qū)分難度很大。選取淺層卷積神經(jīng)網(wǎng)絡可能小范圍的葡萄病斑特征很難輸入到模型的深層。這種特征的損失嚴重影響了模型的識別精度。選取層數(shù)過多的卷積神經(jīng)網(wǎng)絡，雖然隨著網(wǎng)絡層數(shù)的增加，提取的病斑能力逐漸加強，但是在訓練過程中，隨著網(wǎng)絡層數(shù)的逐漸增加，可能會導致梯度爆炸和網(wǎng)絡退化等問題。所以本研究選取深度合適的ResNet50為基礎模型，在此基礎上修改了原來瓶頸層的主分支的卷積核和改進傳統(tǒng)卷積層。使用新的卷積方式能夠更高效地提取病斑特征并能加快收斂速度，提高模型性能。

2.2 改進模型的設計

在本研究中提出了一種基于改進殘差網(wǎng)絡的識別模型，顯示ResNet50的具體結構（圖4），顯示殘差塊結構（圖5）。ResNet50分為6個階段，其中，Stage1的結構相對簡單，可以看作是圖像輸入的預處理。Stage2～Stage5分別由3、4、6、3個瓶頸層組成，它們的結構原理相對相似。Stage1的輸入為（3×224×224），分別表示輸入的通道數(shù)、高度和寬度。Stage1的第1層包括3個順序操作：（1）卷積，其中卷積核的大小為7×7，卷積核的數(shù)量為64；（2）批量標準化；（3）ReLU激活功能。Stage1中的第2層是最大池化層。Stage2～Stage5中的每個Stage的第1個瓶頸層都采取下采樣。Stage6全連接層將高維特征進行分類輸出。

本研究對Resnet50進行如下改進：

（1）修改Stage2～Stage4的瓶頸層結構，采用金字塔卷積網(wǎng)絡方式，將Stage2中3個瓶頸層的Conv2的64個3×3的卷積核采用金字塔卷積方式，替換成16個3×3的卷積核（Padding=1），16個5×5的卷積核（Padding=2），16個7×7的卷積核（Padding=3），16個9×9的卷積核（Padding=4），共4組，卷積核的深度在每個級別上都有所不同，最后特征融合再進行輸出，如圖6所示。剩余的Stage3～4也都要采用相同金字塔卷積方式，分別分為3組、2組的組合方式，改進后的瓶頸層結構如圖7所示。采用多組多卷積核處理，擴大卷積核的感受野，可以并行應用不同類型的卷積核，來改善不同特征級別尺度間的相關性，可以恢復更多細節(jié)。網(wǎng)絡可以從連通性較低的大感受野連接到連通性較高的小感受野。這些不同大小的卷積核帶來了互補信息，有助于提高網(wǎng)絡的識別性能。感受野較小的卷積核可以更好地捕捉關于較小病斑的信息，而感受野較大的卷積核可以提供背景信息。

（2）在改進后瓶頸層的金字塔結構里使用深度超參數(shù)化卷積層（DO-Conv）代替?zhèn)鹘y(tǒng)卷積層。深度卷積層將輸入特征區(qū)域P的Cin個通道中的每個通道提取出來，然后分別單一與單通道卷積核進行點積運算，得到的輸出特征圖區(qū)域與輸入特征圖區(qū)域的通道數(shù)相同。具體操作如圖8所示，公式為

O=W·p

式中：W為卷積核的權重張量，P為輸入特征區(qū)域，O為卷積的輸出。

每個輸入特征區(qū)域P（一個M×N維特征）被轉(zhuǎn)換為一個Dmul維特征?？捎柧毜纳疃染矸e核可以表示為3D張量W∈ R（M×N）×Dmul×Cin。由于每個輸入通道都轉(zhuǎn)換為Dmul維度特征，因此深度卷積操作輸出的是一個Dmul×Cin維的特征O=W·P，具體運算可以用公式（2）來表示：

式中：M和N為2個空間的大小；Cin為輸入維度，其中M×N=4，Dmul=2，Cin=3。

如公式（2）所示，在深度卷積層中，具有不同立方體框架顏色的不同輸入通道，O的每個元素由卷積核W的每個垂直列向量與輸入?yún)^(qū)域P的相應通道中的元素（具有相同顏色的元素）之間的點積計算，得到輸出特征O的一個融合元素，最后將每個通道組合成整體的輸出特征。深度超參數(shù)化卷積層（DO-Conv）是將傳統(tǒng)卷積層與深度卷積層結合成整體，從而對輸入特征圖區(qū)域進行操作的新型卷積操作形式。與傳統(tǒng)卷積層相比較，深度卷積層因為不需要與特征圖區(qū)域的整體作多次卷積計算，但是深度卷積層相對于傳統(tǒng)卷積層的輸出結果改變了輸出特征圖的尺寸，所以二者之間并不能完全等效。深度超參數(shù)化的主要優(yōu)點之一是深度超參數(shù)化使用的多層復合線性運算可以在訓練階段后收縮成緊密的單層表示，然后只需要使用單層來進行推理，將參數(shù)計算量減少到與傳統(tǒng)卷積層完全等效并且能夠加快模型收斂速度，有效提升模型精度。

2.3 改進模型整體結構

本研究所改進的深度卷積神經(jīng)網(wǎng)絡由ResNet50為基礎，采用金字塔卷積結構方式，并在其方式下采用深度超參數(shù)化卷積層代替?zhèn)鹘y(tǒng)卷積層，得到改進的殘差網(wǎng)絡模型。整體結構如圖9所示。

3 結果與分析

3.1 試驗測試平臺

本試驗的測試平臺是 Intel CoreTM i7-8750 CPU@2.20 GHz處理器，試驗環(huán)境操作系統(tǒng)是Windows 10，配置8 GB顯卡NVIDIA GeForce [JP+2]RTX2080，64位操作系統(tǒng)。訓練環(huán)境由Anaconda3創(chuàng)建，環(huán)境配置為Python3.7.10、開源深度學習框架Pytorch1.6。試驗批次為32，訓練輪數(shù)為50，采用自適應估計優(yōu)化器（Adam）來實現(xiàn)模型優(yōu)化。

在試驗中，數(shù)據(jù)集被分成2個部分：80%用于訓練，10%用于驗證，10%用于測試。將圖像裁剪成規(guī)定尺寸作為輸入圖像，并評估其分類精度。所有模型均采用相同的設置進行訓練和測試。

3.2 試驗設計及分析

3.2.1 研究學習率對模型的影響

為了探究不同學習率對改進模型的影響，分別設置了0.1、0.01、0.001共3個學習率進行試驗對比，準確率見表1，模型訓練過程如圖10所示。最后根據(jù)收斂速度和識別準確率選擇學習率為0.001來進行以下的對比試驗。

3.2.2 研究不同分類模型的性能

改進的ResNet50與其他分類模型（ResNet50、ResNet101、VGG16、AlexNet、MobileNetV2）都是從0開始訓練的，共有50個訓練輪數(shù)，并且采用了相同的訓練方式（學習率設置為0.001）。

Adam算法被用作模型訓練的優(yōu)化器。由于每個訓練輪次都會有較大的噪聲，容易陷入局部最優(yōu)解，因此使用Adam優(yōu)化器。利用帶有動量的梯度下降來解決局部最優(yōu)解的情況。此外，Adam優(yōu)化算法是一種自適應優(yōu)化方案，可以調(diào)整每個參數(shù)的學習速率。對比結果如表2所示。

為了能夠更直觀地觀察各個模型在訓練的準確率變化曲線。圖11展示不同模型在訓練集和驗證集的準確率，改進的ResNet50模型具有最高的識別率，達98.20%，主要是因為采用金字塔卷積的方式和使用深度超參數(shù)化卷積層，模型通過并行增加卷積核大小來處理輸入，然后通過特征融合來獲得不同程度的病害特征細節(jié)和增加額外的參數(shù)，使上下層語義信息更加緊密，有效加快模型收斂速度和提升模型精度。

3.2.3 研究數(shù)據(jù)增強對識別性能的影響

在本研究中，數(shù)據(jù)增強被用來防止過度擬合。本研究采用旋轉(zhuǎn)、翻轉(zhuǎn)、縮放和顏色變化、增加噪聲等方法來增加數(shù)據(jù)集。本研究將數(shù)據(jù)集劃分為原始數(shù)據(jù)、原始數(shù)據(jù)增強2種數(shù)據(jù)類型。改進模型與2種數(shù)據(jù)進行試驗對比，結果見表3?？梢郧逦乜吹綌?shù)據(jù)集的增強，準確率得到有效提升。

3.3 評估指標分析

在本節(jié)中，基于混淆矩陣，通過精確率、召回率和F1分數(shù)評估了每種葡萄葉片病害的識別性能?；煜仃囎鳛楸硎揪仍u估的標準格式，用n行n列的矩陣形式表示。準確率、召回率和F1分數(shù)來自TP、FP、TN和FN結果的數(shù)量。由于對不同類別之間的不平衡更為敏感，因此也計算了整體精度。精確率（P）、召回率（R）和F1分數(shù)，公式為將改進的ResNet50模型對測試集進行識別分類，得到葡萄病害葉片的混淆矩陣如圖12所示，可清晰地看到白粉病和霉霜病有相互識別錯誤的情況，葉斑病被識別成黑腐病。主要是由于不同病害在外界的干擾下病害特質(zhì)比較相似。所以會導致模型識別錯誤。

根據(jù)混淆矩陣，計算出5種類別的準確率，召回率和F1分數(shù)作為模型的評估指標。如表4所示，通過計算所得改進的模型平均精確率為98.29%，平均召回率為98.19%，平均F1分數(shù)為98.23%，由此得出，改進的模型具有較好的識別準確率。

4 結論

本研究提出了一種基于改進的殘差網(wǎng)絡的深度卷積網(wǎng)絡模型。在主通道中加入金字塔卷積方式，并使用深度超參數(shù)化卷積層代替?zhèn)鹘y(tǒng)的卷積層。通過試驗，發(fā)現(xiàn)改進的模型在提取病害特征方面具有更好的性能。在學習率為0.001，使用Adam優(yōu)化器下改進模型ResNet50識別準確率達到98.20%。相比于原模型提升了3.18百分比。表明本研究方法在葡萄病害葉片識別上能獲得較好的效果，并且可以為農(nóng)戶高效識別葡萄病害提供有效的工具，還可以應用于其他農(nóng)作物葉片和果實病害的評價。

參考文獻：

［1］Sellitto V M，Zara S，F(xiàn)racchetti F，et al. Microbial biocontrol as an alternative to synthetic fungicides：boundaries between pre-and postharvest applications on vegetables and fruits［J］. Fermentation，2021，7（2）：60.

［2］陳之射，陽 威. 計算機視覺及網(wǎng)絡領域中人工智能的運用［J］. 華東科技，2022（1）：108-110.

［3］馮 碩，李 旗. 奇異果采摘機器人機械臂控制系統(tǒng)研究：基于計算機視覺和卷積神經(jīng)網(wǎng)絡［J］. 農(nóng)機化研究，2022，44（10）：25-29.

［4］安鶴峰. 計算機視覺在作物根系識別與分析中的應用［J］. 農(nóng)業(yè)科技與裝備，2021（4）：45-46.

［5］孫仕亮，趙 靜. 模式識別與機器學習［J］. 計算機教育，2020（11）：2.

［6］陳 榮，李 旺，周文玉. 基于形狀特征和支持向量機（SVM）的茶葉病害識別方法［J］. 貴州農(nóng)業(yè)科學，2021，49（4）：53-59.

［7］王 聃，柴秀娟. 機器學習在植物病害識別研究中的應用［J］. 中國農(nóng)機化學報，2019，40（9）：171-180.

［8］周惠汝，吳波明. 深度學習在作物病害圖像識別方面應用的研究進展［J］. 中國農(nóng)業(yè)科技導報，2021，23（5）：61-68.

［9］孫 紅，李 松，李民贊，等. 農(nóng)業(yè)信息成像感知與深度學習應用研究進展［J］. 農(nóng)業(yè)機械學報，2020，51（5）：1-17.

［10］劉慧力，賈洪雷，王 剛，等. 基于深度學習與圖像處理的玉米莖稈識別方法與試驗［J］. 農(nóng)業(yè)機械學報，2020，51（4）：207-215.

［11］Boulent J，F(xiàn)oucher S，Théau J，et al. Convolutional neural networks for the automatic identification of plant diseases［J］. Frontiers in Plant Science，2019，10：941.

［12］馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經(jīng)網(wǎng)絡的溫室黃瓜病害識別系統(tǒng)［J］. 農(nóng)業(yè)工程學報，2018，34（12）：186-192.

［13］牛學德，高丙朋，南新元，等. 基于改進DenseNet卷積神經(jīng)網(wǎng)絡的番茄葉片病害檢測［J］. 江蘇農(nóng)業(yè)學報，2022，38（1）：129-134.

［14］Jaisakthi S M，Mirunalini P，Thenmozhi D，et al. Grape leaf disease identification using machine learning techniques［C］//2019 International Conference on Computational Intelligence in Data Science （ICCIDS）.Chennai，India：IEEE，2019：1-6.

［15］劉 峻，孫美艷，焦中元，等. 基于全局閾值迭代的蘋果圖像分割計數(shù)方法［J］. 安徽農(nóng)業(yè)科學，2018，46（29）：180-182，186.

［16］Singh U，Srivastava A，Chauhan D，et al. Computer vision technique for detection of grape esca （black measles） disease from grape leaf samples［C］//2020 International Conference on Contemporary Computing and Applications （IC3A）.Lucknow，India：IEEE，2020：110-115.

［17］Arya S，Singh R. A comparative study of CNN and AlexNet for detection of disease in potato and mango leaf［C］//2019 International Conference on Issues and Challenges in Intelligent Computing Techniques （ICICT）.Ghaziabad，India：IEEE，2019：1-6.

［18］Chao X F，Sun G Y，Zhao H K，et al. Identification of apple tree leaf diseases based on deep learning models［J］. Symmetry，2020，12（7）：1065.

［19］Kaur M，Bhatia R.Development of an improved tomato leaf disease detection and classification method［C］//2019 IEEE Conference on Information and Communication Technology.Allahabad，India：IEEE，2019：1-5.

［20］李 彧，余心杰，郭俊先. 基于全卷積神經(jīng)網(wǎng)絡方法的玉米田間雜草識別［J］. 江蘇農(nóng)業(yè)科學，2022，50（6）：93-100.

［21］Tahir M B，Khan M A，Javed K，et al. WITHDRAWN：recognition of apple leaf diseases using deep learning and variances-controlled features reduction［J］. Microprocessors and Microsystems，2021：104027.

［22］Zhang Q C，Bai C C，Liu Z，et al. A GPU-based residual network for medical image classification in smart medicine［J］. Information Sciences，2020，536：91-100.

［23］Zu D W，Zhang F，Wu Q L，et al. Disease identification of Lentinus edodes sticks based on deep learning model［J］. Complexity，2022，2022：9504055.[HJ2mm]

［24］龍滿生，歐陽春娟，劉 歡，等. 基于卷積神經(jīng)網(wǎng)絡與遷移學習的油茶病害圖像識別［J］. 農(nóng)業(yè)工程學報，2018，34（18）：194-201.

［25］余小東，楊孟輯，張海清，等. 基于遷移學習的農(nóng)作物病蟲害檢測方法研究與應用［J］. 農(nóng)業(yè)機械學報，2020，51（10）：252-258.

［26］Liu Y W，Zhang X，Gao Y X，et al. Improved CNN method for crop pest identification based on transfer learning［J］. Computational Intelligence and Neuroscience，2022，2022：9709648.

［27］Krishnamoorthy N，Prasad L，Kumar C et al. Rice leaf diseases prediction using deep neural networks with transfer learning［J］. Environmental Research，2021，198：111275.

［28］許景輝，邵明燁，王一琛，等. 基于遷移學習的卷積神經(jīng)網(wǎng)絡玉米病害圖像識別［J］. 農(nóng)業(yè)機械學報，2020，51（2）：230-236，253.

收稿日期：2022-04-19

基金項目：“十三五”國家重點研發(fā)計劃（編號：2017YFD0401304）；浙江省重點研發(fā)計劃（編號：2022C04039）。

作者簡介：戴久竣（1996—），男，浙江臺州人，碩士研究生，研究方向為圖像處理。E-mail：15968860545@163.com。

通信作者：吳 堅，碩士，教授，碩士生導師，研究方向為農(nóng)業(yè)信息學。E-mail：wujian@zust.edu.cn。