蔣清健 姚勇 王亞玲 蘇鈺杰

摘要：為提高卷積神經(jīng)網(wǎng)絡識別番茄葉片病害準確率，提出多尺度卷積神經(jīng)網(wǎng)絡算法。首先番茄葉片圖像分離為RGB通道，設計３個并行卷積層對番茄葉片圖像進行卷積，不同通道使用不同的卷積核，增加了感受野以及提取不同層次的特征，小尺度卷積核主要是提取病斑區(qū)域，大尺度卷積核主要是增強特征多樣性；接著混合池化方法即局部重要性池化和隨機池化，局部重要性池化判別特征信息，丟棄冗余信息，極大地保存了病害區(qū)域的局部細節(jié)，隨機池化增強了網(wǎng)絡的泛化能力；然后番茄葉片圖像通過中值濾波消噪，二維伽馬自適應算法進行亮度矯正；最后損失函數(shù)采用多類別交叉熵，構(gòu)建最小化目標損失函數(shù)。試驗仿真結(jié)果顯示本研究算法泛化能力比較強，對番茄葉片病害晚疫病、斑枯病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率分別為95.8%、95.9%、96.3%、94.2%、94.8%、94.1%，優(yōu)于其他算法。

關鍵詞：番茄；病害多尺度；卷積核；混合池化；矯正

中圖分類號：TP391.41 文獻標志碼：A

文章編號：1002-1302（2023）15-0211-05

基金項目：國家自然科學基金青年科學基金（編號：52203310）；河南省高等職業(yè)學校青年骨干教師培養(yǎng)計劃（編號：2019GZGG021）。

作者簡介：蔣清?。?981—），男，河南永城人，碩士，副教授，主要從事圖像處理、模式識別、農(nóng)業(yè)物聯(lián)網(wǎng)和農(nóng)業(yè)大數(shù)據(jù)挖掘等研究。E-mail：jqj946@qq.com。

番茄受到外界病害侵害后，大多數(shù)情況下會在葉片上表現(xiàn)出特征，如干枯、菌斑等，因此只有對病害種類及早檢測識別，才能夠提前采取防治措施、阻止病害傳播［1］。在生產(chǎn)過程中，番茄葉片病害識別主要依靠人工的實際經(jīng)驗積累，時效性和準確性比較差。卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）能夠最大程度上對番茄葉片上各種病害特征進行提?。?］，目前研究方法主要有注意力結(jié)合卷積神經(jīng)網(wǎng)絡（attention convolutional neural network，ACNN）算法，對病害信息增強表達同時抑制無關信息干擾，同時引入遷移學習，防止樣本數(shù)據(jù)量較少時出現(xiàn)過擬合的情況［3］。Inception-v3結(jié)合遷移學習算法（inception-V3 and migration learning，Inception-V3-ML）通過遷移學習把神經(jīng)網(wǎng)絡進行細微的改造訓練，最終能夠快速、有效識別健康、患病番茄［4］。輕量級卷積神經(jīng)網(wǎng)絡（lightweight convolutional neural network，ICNN）通過全局模塊提取番茄病害葉片的全局特征，計算特征圖各通道的重要程度，該算法穩(wěn)定性強且占用內(nèi)存小［5］。AlexNet卷積神經(jīng)網(wǎng)絡通過遷移學習（AlexNet and migration learning，AlexNet-ML）對模型參數(shù)優(yōu)化，縮短了訓練時間，對10種番茄葉片病害圖像進行識別，提高了平均準確率［6］。重影空間金字塔模型（ghost spatial pyramid pooling，GSPP）用Ghost模塊替換卷積層，空間金字塔算法對提取病害特征池化，通過合并卷積運算和歸一化提高識別準確率［7］。三通道注意力卷積神經(jīng)網(wǎng)絡（three channel attention CNN，TCACNN）并行提取目標的通道特征，注意力嵌入殘差網(wǎng)絡，訓練階段設計雙損失函數(shù)和數(shù)據(jù)增強提升識別準確度［8］。

為了提高番茄葉片病害識別準確度，本研究提出多尺度卷積神經(jīng)網(wǎng)絡（multi scale convolution neural network，MSCNN）算法對番茄葉片病害進行識別，３個并行卷積層對番茄葉片圖像分離的RGB通道進行卷積，每個層使用不同尺度的卷積核，通過局部重要性池化、隨機池化進行增強局部細節(jié)識別和網(wǎng)絡泛化能力，并驗證該算法的有效性。

1 多尺度卷積神經(jīng)網(wǎng)絡

1.1 卷積層設計

在番茄葉片病害識別過程中，不同病害的特征在葉片上所占的面積與位置具有隨機性，因此病害特征存在復雜性［9-10］。為減少卷積神經(jīng)網(wǎng)絡的深度，增加同一層級的通道數(shù)，每個通道使用不同尺度的卷積核，這樣增加了網(wǎng)絡寬度，能夠?qū)Ψ讶~片病害特征進行多尺度提取。把輸入番茄葉片圖像分離為RGB通道，對不同通道卷積，因此設計３個并行卷積層對番茄葉片圖像進行卷積，每個層使用不同尺度的卷積核，為避免卷積過程中邊緣信息丟失將邊界進行填零補充；R通道對應的第１個卷積層的卷積核大小為3×3，步長為1，卷積核數(shù)量為60；G通道對應的第2個卷積層的卷積核大小為 5×5，步長為1，卷積核數(shù)量為40；B通道對應的第3個卷積層的卷積核大小為7×7，步長為2，卷積核數(shù)量為30，這樣通過不同尺寸的卷積核提取番茄葉片病害的特征，不但能夠增加特征圖數(shù)量，而且提取的葉片病害細節(jié)信息更加豐富，提高網(wǎng)絡計算效率，降低圖像的識別時間，不同卷積層提取圖像特征信息結(jié)果如圖1所示。每個卷積層設置激活函數(shù)層，激活函數(shù)統(tǒng)一選擇Leaky ReLU。不同卷積層的特征值直接連接它們很容易導致更小的值被更大的價值主導，因此通過歸一化操作進行連接，從而能有效地將不同卷積層的特征值最終保持在同一尺度上，使用級聯(lián)操作對得到的特征圖結(jié)果進行特征融合，最后3×3的卷積層將特征子圖輸出合并為同一個張量繼續(xù)向下傳遞，用Softmax函數(shù)對番茄葉片病害進行識別。

從圖1可以看出，不同層的卷積結(jié)果增加了感受野以及提取不同層次的特征，小尺度卷積核主要是提取病斑區(qū)域，大尺度卷積核主要是增強特征多樣性，這樣使網(wǎng)絡更適應圖像中目標的尺度，可以有效避免由于網(wǎng)絡太深而導致的過擬合現(xiàn)象。

1.2 混合池化操作

池化層主要目的降低數(shù)據(jù)維數(shù)、壓縮數(shù)據(jù)量，一般采用最大或者平均池化操作方法，最大池化能保留圖像的紋理信息，平均池化能保留圖像的背景信息，但是易發(fā)生過度擬合、降低分類精度現(xiàn)象［11-12］。為了提高網(wǎng)絡的性能，采用混合池化方法即局部重要性池化和隨機池化，局部重要性池化判別特征信息，丟棄冗余信息，極大地保存病害區(qū)域的局部細節(jié)，隨機池化增強網(wǎng)絡的泛化能力。

局部重要性池化為

式中：I為輸入像素點的特征信息；（Δx，Δy）為滑動池化窗口相對采樣位置；（x，y）為采樣位置；（x′，y′）為采樣形成的新位置；Ω為索引集合；g（I）為局部重要性函數(shù)。

局部重要性特征由較小的全卷積網(wǎng)絡實現(xiàn)，通過3×3卷積窗口在以步長為2的移動過程中生成，g（I）為

式中：al為第l個像素的特征數(shù)值，為局部區(qū)域。

隨機池化在最大池化的基礎上計算像素灰度值（D），灰度值越大的像素隨機選取的概率（U）越大：

為防止過擬合現(xiàn)象發(fā)生，將局部重要性池化和隨機池化進行混合池化操作：

式中：φ為混合池化分配因子；O為局部重要性池化結(jié)果；Q為隨機池化結(jié)果；t為迭代函數(shù)；tmax為最大迭代次數(shù)。

在迭代的初始階段，φ較小，此時主要進行局部重要性池化，以便獲得番茄葉片病害區(qū)域的局部細節(jié)；迭代的后期，此時主要進行隨機池化，以便提高網(wǎng)絡的泛化能力。

1.3 最小化分類損失函數(shù)

由于番茄葉片病害識別屬于多類別劃分問題，因此損失函數(shù)采用多類別交叉熵函數(shù)（L1）［13-14］。

式中：N為樣本總量；C為分類數(shù)量；i為第i個訓練樣本；j為訓練樣本的類別；Fij為第i個訓練樣本標注的真實病害類別；yij為輸出的第i個訓練樣本為第j個類別的概率值；ζ1為平衡參數(shù)；ε1為調(diào)節(jié)參數(shù)。當ζ1=0.25、ε1=2時分類效果最好。

番茄葉片存在各種噪聲，同時圖像亮度較暗將使圖像特征丟失，通過中值濾波對番茄葉片消噪，用二維伽馬自適應算法對圖像亮度進行矯正：

式中：F（x，y）是輸入圖像亮度值；H（x，y）是矯正后圖像的亮度值；γ是亮度調(diào)節(jié)指數(shù)；I（x，y）是光照分量；h是亮度均值。

經(jīng)過消噪、亮度矯正后，番茄葉片只包括病害和背景2類，因此把圖像轉(zhuǎn)化為二值圖像，若像素灰度值大于圖像像素均值，則該像素設置為1，否則設置為0，通過二分類交叉熵函數(shù)（L2）計算損失：

式中：M為樣本總量；P為番茄葉片像素數(shù)量；m為第m個訓練樣本；p為像素點；Hmp=1時為第i個訓練樣本的第j個像素點的屬于病害像素；Hmp=0則為背景像素；hmp為第i個訓練樣本經(jīng)過神經(jīng)網(wǎng)絡輸出第p個像素的值；ζ2為平衡參數(shù)；ε2為調(diào)節(jié)參數(shù)。當ζ2=0.25、ε2=2時分類效果最好。

訓練時為減少數(shù)據(jù)量提高訓練精度，只對部分圖像的病害區(qū)域進行標注，最小化目標損失函數(shù)為

在算法運行初始階段λ取較大值，這時L1起主導性作用，在算法運行后期λ取較小值，L2起主導性作用，這樣便于番茄葉片病害識別。

1.4 識別算法流程

識別算法流程詳見圖2。

2 試驗仿真

硬件配置CPU：英特爾i5-12490F，內(nèi)存：16 GB，圖形處理器NVDIA：GTX 1650，Python語言、PyTorch平臺搭建試驗仿真環(huán)境。番茄病害主要使用Plant Village數(shù)據(jù)集的7種病害圖像：晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病，為了使模型的學習權(quán)重平均化，在每種病害類型圖像數(shù)量為300幅的基礎上，同時進行圖片垂直、水平翻轉(zhuǎn)、30°～90°范圍隨機旋轉(zhuǎn)將基礎數(shù)據(jù)集數(shù)量增加，這樣每種類型圖像擴充共計1 200幅，病害典型圖像如表1所示，圖像裁剪成統(tǒng)一大小為224×224像素，訓練集、測試集、驗證集圖像數(shù)量之比為 8 ∶1 ∶1。

2.1 訓練過程識別準確率和損失值

對訓練集進行訓練，每次訓練輪數(shù)（Epoch）首先使用訓練集訓練模型初始權(quán)值，再使用驗證集測試模型的識別率，最后保存模型的權(quán)值，并開始下一次Epoch，循環(huán)直至完成最大50次Epoch，訓練過程對比使用方法主要有CNN、ACNN、ICNN、GSPP、TCACNN、MSCNN，結(jié)果如圖3所示。

從圖3中結(jié)果可以看出，MSCNN算法只需要較少的訓練次數(shù)就能達到最優(yōu)狀態(tài)，早于其他算法獲得較穩(wěn)定的識別準確率、損失值，MSCNN算法訓練過程識別準確率平均值高于其他算法，損失值低于其他算法。

2.2 算法泛化能力分析

泛化能力分析主要對圖片垂直、水平翻轉(zhuǎn)、30°～90°范圍隨機旋轉(zhuǎn)進行測試，各種病害的識別準確率、損失值結(jié)果如圖4所示。

從圖4可以看出測試過程中MSCNN算法的識別準確率、損失值優(yōu)于其他算法，因此MSCNN算法的泛化能力比較強。

2.3 各種算法對番茄葉片病害識別的準確率

對病害圖像驗證集進行驗證，每種算法通過50次蒙特卡羅試驗取平均值，各種算法對番茄葉片病害識別準確率如表2所示。

從表2中結(jié)果可以看出，MSCNN算法對各種病害的識別準確率高于其他算法，平均值為95.6%，它對晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率分別為95.8%、95.9%、97.8%、96.3%、94.2%、94.8%、94.1%，這是因為MSCNN算法將病害圖像分離為不同的通道，同時不同通道使用不同的卷積核，能夠獲得圖像的細節(jié)和邊緣信息，便于番茄葉片病害識別。

3 總結(jié)

本研究算法對卷積神經(jīng)網(wǎng)絡進行改進，把番茄葉片病害圖像進行分離后再使用不同的卷積層，不同層的卷積核增加了感受野以及提取了不同層次的特征，為防止過擬合現(xiàn)象發(fā)生，將局部重要性池化和隨機池化進行混合池化操作，試驗仿真結(jié)果顯示本研究算法對晚疫病、斑枯病、花葉病、蜘蛛螨、早疫病、葉霉病、褐斑病的識別準確率高于其他算法，因此為番茄葉片病害識別提供了一種新的方法。

參考文獻：

［1］趙廣猛，王衛(wèi)兵. 基于U-Net模型和FCM算法的番茄穴盤苗重疊幼葉分割方法［J］. 江蘇農(nóng)業(yè)科學，2022，50（2）：206-212.

［2］朱幸輝，周 勇. 基于卷積神經(jīng)網(wǎng)絡的番茄葉片病斑識別仿真［J］. 計算機仿真，2021，38（7）：481-485.

［3］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機制的番茄病害識別方法［J］. 浙江農(nóng)業(yè)學報，2021，33（7）：1329-1338.

［4］孔德鋒. 一種遷移學習算法在番茄病害檢測上的應用［J］. 湖北農(nóng)業(yè)科學，2020，59（7）：199-203.

［5］胡玲艷，周 婷，劉 艷，等. 基于輕量級網(wǎng)絡自適應特征提取的番茄病害識別［J］. 江蘇農(nóng)業(yè)學報，2022，38（3）：696-705.

［6］王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類［J］. 中國農(nóng)業(yè)大學學報，2019，24（6）：124-130.

［7］冀常鵬，陳浩楠，代 巍，等. 基于GSNet的番茄葉面病害識別研究［J］. 沈陽農(nóng)業(yè)大學學報，2021，52（6）：751-757.

［8］馬 宇，單玉剛，袁 杰. 基于三通道注意力網(wǎng)絡的番茄葉部病害識別［J］. 科學技術與工程，2021，21（25）：10789-10795.

［9］卞景藝，劉秀麗，徐小力，等. 基于多尺度深度卷積神經(jīng)網(wǎng)絡的故障診斷方法［J］. 振動與沖擊，2021，40（18）：204-211.

［10］胡勤偉，陶 慶，王妮妮，等. 用于穩(wěn)態(tài)視覺誘發(fā)電位目標識別的多尺度特征融合卷積神經(jīng)網(wǎng)絡方法［J］. 西安交通大學學報，2022，56（4）：185-193，202.

［11］Gao Z T，Wang L M，Wu G S. LIP：local importance-based pooling［C］//IEEE International Conference on Computer Vision （ICCV19）. Seoul，Korea，2019：3353-3364.

［12］周巧黎，馬 麗，曹麗英，等. 基于改進輕量級卷積神經(jīng)網(wǎng)絡Mobile NetV3的番茄葉片病害識別［J］. 智慧農(nóng)業(yè)（中英文），2022，4（1）：47-56.

［13］任守綱，賈馥瑋，顧興健，等. 反卷積引導的番茄葉部病害識別及病斑分割模型［J］. 農(nóng)業(yè)工程學報，2020，36（12）：186-195.

［14］湯文亮，黃梓鋒. 基于知識蒸餾的輕量級番茄葉部病害識別模型［J］. 江蘇農(nóng)業(yè)學報，2021，37（3）：570-578.