楊明欣, 張耀光, 劉 濤

基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害小樣本識別研究*

楊明欣, 張耀光, 劉 濤**

(河北科技大學(xué)經(jīng)濟管理學(xué)院 石家莊 050018)

農(nóng)作物病害治理對于農(nóng)作物的產(chǎn)量和品質(zhì)有著非常重要的影響。本文針對玉米病害人工識別困難、識別過程耗費大量的人力成本和病害數(shù)據(jù)樣本小且分布不均的問題, 提出了一種改進(jìn)的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Neural Network)的病害識別方法。首先, 采用旋轉(zhuǎn)、翻轉(zhuǎn)等方法對樣本圖像集進(jìn)行數(shù)據(jù)增強; 其次, 通過遷移的MobileNetV2模型在玉米病害圖像數(shù)據(jù)集上訓(xùn)練, 利用Focal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù); 最后, 通過Softmax分類方法實現(xiàn)玉米病害圖像識別。另外通過試驗對比AlexNet、GooleNet、Vgg16、RestNet34、MobileNetV2和遷移的MobileNetV2這6種模型的訓(xùn)練集準(zhǔn)確率、驗證集準(zhǔn)確率、權(quán)重、參數(shù)數(shù)量和運行時間。結(jié)果顯示, 6種模型驗證集的準(zhǔn)確率分別為93.88%、95.48%、91.69%、97.67%、96.21%和97.23%, 遷移的MobileNetV2的準(zhǔn)確率最高, 且權(quán)重僅有8.69 MB。進(jìn)一步通過混淆矩陣對比了MobileNetV2和遷移的MobileNetV2兩種模型, 遷移的MobileNetV2模型識別正確率提升1.02%, 訓(xùn)練速度減少6 350 s。本文提出遷移的MobileNetV2模型對玉米病害小樣本的識別效果最佳, 具備更好的收斂速度與識別能力, 同時能夠降低模型的運算量并大幅度縮短識別時間。

玉米病害; 遷移學(xué)習(xí); 小樣本; 卷積神經(jīng)網(wǎng)絡(luò); Focal Loss; 混淆矩陣

近年來, 隨著物聯(lián)網(wǎng)、遙感技術(shù)、圖像識別、云計算等技術(shù)在我國農(nóng)業(yè)領(lǐng)域的應(yīng)用, “智慧農(nóng)業(yè)”[1]應(yīng)運而生, 為解決農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)經(jīng)營網(wǎng)絡(luò)化、農(nóng)業(yè)管理數(shù)字化、農(nóng)業(yè)服務(wù)精準(zhǔn)化提供了技術(shù)支撐。智慧農(nóng)業(yè)在農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)資源的細(xì)分和數(shù)據(jù)挖掘方面尚未有效的開展, 在農(nóng)業(yè)生產(chǎn)過程中產(chǎn)生的大量圖片、聲音等信息未能有效利用, 深度學(xué)習(xí)能夠有效地利用這些信息為農(nóng)業(yè)生產(chǎn)過程中病蟲害的識別提供理論和技術(shù)支持。

傳統(tǒng)的機器視覺技術(shù)對病蟲害識別與預(yù)測主要基于紋理顏色等特征, 或者基于專家的判斷, 需要大量的專業(yè)知識。在病害種類少、數(shù)據(jù)樣本小的情況下, 李冠林等[2]提出了一種基于傳統(tǒng)機器學(xué)習(xí)方法——K-means聚類算法, 實現(xiàn)病斑分割, 提取病斑區(qū)域的形狀、顏色和紋理特征空間的50個特征參數(shù), 設(shè)計支持向量機分類器進(jìn)行分類識別, 對小麥條銹病和葉銹病進(jìn)行分類識別, 訓(xùn)練樣本識別率均為96.67%。針對柑橘紅蜘蛛蟲害, 李震等[3]提出基于Lab顏色模型的K-means識別, 通過5個聚類中心的K-means聚類法, 識別柑橘紅蜘蛛蟲害的準(zhǔn)確率達(dá)100%, 識別清晰度低的樣本時準(zhǔn)確率為80%。許良鳳等[4]在大田開放環(huán)境下采集包含圓斑病、小斑病、銹病、褐斑病、紅葉病、彎孢霉葉斑病和紋枯病共7類玉米葉部病害圖像, 提取顏色、顏色共生矩陣和顏色完全局部二值模式3種特征, 并構(gòu)建相應(yīng)的支持向量機分類器, 提出了各分類器自適應(yīng)動態(tài)權(quán)值, 分類結(jié)果平均識別率為94.71%, 極大地提高了單分類器的識別率; 但是也因此加長了識別時間, 且這種識別精度也未考慮復(fù)雜環(huán)境對數(shù)據(jù)集的影響; 該試驗的訓(xùn)練樣本270幅, 測試樣本為246幅。傳統(tǒng)的識別方法都是通過將植物葉片從復(fù)雜的田間環(huán)境分割, 再進(jìn)行小樣本訓(xùn)練, 容易出現(xiàn)過擬合現(xiàn)象。Turko?lu等[5]通過尼康7200d相機在土耳其的Malatya、Bing?l和Elaz?? 3個地區(qū)采集了1 965張病蟲害照, 使用AlexNet、VGG16、VGG19、GoogleNet、ResNet50、ResNet101、InceptionV3、InceptionResNetV2和SqueezeNet共9種強大的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法檢測植物病害, 利用預(yù)訓(xùn)練的深度模型進(jìn)行特征提取和進(jìn)一步微調(diào), 用傳統(tǒng)的支持向量機(SVM)、極限學(xué)習(xí)機(ELM)、鄰近算法(KNN)進(jìn)行分類, 通過準(zhǔn)確率、敏感性、特異性和F1評分進(jìn)行性能評估, 結(jié)果發(fā)現(xiàn)通過ResNet50模型和SVM分類器的精度得分最高, 準(zhǔn)確率達(dá)97.86%。

相對于傳統(tǒng)的識別方法, 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的出現(xiàn)有效地提高了識別效率和準(zhǔn)確性。卷積神經(jīng)網(wǎng)絡(luò)從20世紀(jì)90年代的LeNet[6]開始, 經(jīng)歷了AlexNet[7]、VGG[8]、GoogLeNet[9]和ResNet[10]等不斷升級的模型, 網(wǎng)絡(luò)模型越來越深, 越來越復(fù)雜, 解決了反向傳播的梯度消失和爆炸。為提高病蟲害識別精度, Mohanty等[11]對PlantVillage項目公開數(shù)據(jù)的54 306幅圖片通過AlexNet和GoogLeNet 2種框架, 采用遷移學(xué)習(xí)的方法對RGB圖片、灰白圖像和葉片分割后圖像進(jìn)行試驗對比, 發(fā)現(xiàn)遷移學(xué)習(xí)的方法優(yōu)于從頭訓(xùn)練, 彩色圖像優(yōu)于分割后的圖像; 但遷移學(xué)習(xí)的方法在不同訓(xùn)練集條件下, 測試準(zhǔn)確率會降低。Wang等[12]通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到基于圖像的植物疾病嚴(yán)重程度的自動評估系統(tǒng), 圖像是來自PlantVillage數(shù)據(jù)集中的蘋果黑腐病圖像集, 對比了VGG16、VGG19、Inception-V3和RestNet50模型的訓(xùn)練精度, 得到VGG16模型在測試集上的精度達(dá)90.4%。Oppenheim等[13]通過卷積神經(jīng)網(wǎng)絡(luò)在不受控制的光照條件下, 通過使用標(biāo)準(zhǔn)的低成本RGB(紅色、綠色和藍(lán)色)傳感器拍攝的圖像數(shù)據(jù)集進(jìn)行測試, 并由農(nóng)業(yè)專家[14]進(jìn)行采集、分類和手工標(biāo)記選取2 465張馬鈴薯病變斑塊圖片, 將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于農(nóng)作物病害的識別, 用足夠的數(shù)據(jù)集和顯示病害的分類, 對馬鈴薯塊莖病害基因進(jìn)行鑒定, 挖掘了卷積神經(jīng)網(wǎng)絡(luò)在解決農(nóng)業(yè)病蟲害的巨大潛力。

傳統(tǒng)的支持向量機等方法魯棒性不強, 在復(fù)雜的大田環(huán)境下應(yīng)用效果不佳, 而使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行病蟲害識別是一種有監(jiān)督學(xué)習(xí), 需要海量的標(biāo)簽, 受限于訓(xùn)練數(shù)據(jù)集數(shù)量少、種類不均勻[15-16]、標(biāo)簽數(shù)據(jù)匱乏等?；谝陨涎芯砍晒? 本研究設(shè)計了一種改進(jìn)的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò), 通過數(shù)據(jù)增強的圖像數(shù)據(jù)集進(jìn)行微調(diào), 再將微調(diào)所得模型遷移到玉米病害圖像數(shù)據(jù)集繼續(xù)訓(xùn)練, 利用Focal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), 解決了小樣本分布不均帶來的誤差。通過改進(jìn)的遷移的MobileNetV2模型與常規(guī)經(jīng)典模型進(jìn)行對比實驗, 進(jìn)一步驗證改進(jìn)的MobileNetV2模型的各種性能。

1 模型基礎(chǔ)知識

1.1 MobileNetV2

MobileNetV2是一種輕量型網(wǎng)絡(luò), 由Google團(tuán)隊在2018年為移動和嵌入式設(shè)備提出的高效模型, 它利用一種深度可分離卷積(depthwise separable convolutions, 即Xception變體結(jié)構(gòu))來構(gòu)建輕量級深度神經(jīng)網(wǎng)絡(luò)。與MobileNetV1相比, MobileNetV2準(zhǔn)確率更高、模型更小。MobileNetV1中Depthwise部分的卷積核的大部分參數(shù)為0, MobileNetV2提出了倒殘差來代替Depthwise的卷積核。相比于RestNet中的殘差結(jié)構(gòu), 倒殘差只有當(dāng)步長等于1, 輸入矩陣與輸出矩陣的形狀相同時才能進(jìn)行捷徑連接。圖1所示的是倒殘差結(jié)構(gòu), 圖1a表示RestNet中的殘差結(jié)構(gòu), 首先1×1卷積核對輸入的特征矩陣進(jìn)行降維, 再通過3×3的卷積核進(jìn)行卷積處理, 最后通過1×1的卷積核進(jìn)行升維; 圖1b表示MobileNetV2中的倒殘差結(jié)構(gòu), 首先1×1卷積核對輸入的特征矩陣進(jìn)行升維, 再通過3×3卷積核進(jìn)行DW卷積, 最后進(jìn)行1×1卷積核降維。

圖1 殘差網(wǎng)絡(luò)(a)和倒殘差網(wǎng)絡(luò)(b)結(jié)構(gòu)圖

1.2 MobileNetV2卷積原理

隨機選取一張健康玉米RGB圖片經(jīng)過預(yù)處理成224×224大小圖片, 通過MobileNetV2網(wǎng)絡(luò)第1層卷積通道為32。輸出的大小如公式(1), 其中為輸入圖片大小,為3×3卷積核,

為填充像素1,為步長2。輸出feature map大小為112。

1.3 卷積與倒殘差對比

選取的健康玉米RGB圖片通過第1層卷積由3個通道變成32個通道, 每個通道對應(yīng)的特征圖大小通過公式(1)計算是112像素, 特征圖如圖2a所示, 橫縱坐標(biāo)表示像素大小, 每個通道的圖片通過Batch Normalization進(jìn)行歸一化, 再通過ReLU6非線性激活函數(shù)進(jìn)行激活。圖中亮度越高表示圖片特征越顯著。圖片通過第2層卷積, 采用的是倒殘差的卷積方式, 通過公式(1)計算圖像大小為112像素, 通道由32個變成16個, 每個通道對應(yīng)的特征圖如圖2b所示。

圖2a是原始圖片通過第1層普通卷積后顯示的特征圖, 特征圖再經(jīng)過第1次倒殘差處理后顯示的卷積圖如圖2b, 二者對比通過倒殘差處理后圖片的亮度更高, 處理后的特征趨于明顯。

1.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)[18]是將ImageNet數(shù)據(jù)集上的120萬張圖片進(jìn)行訓(xùn)練, 獲得的權(quán)重參數(shù), 應(yīng)用到玉米病害識別中。通過遷移學(xué)習(xí)的方法能夠快速訓(xùn)練出一個理想的結(jié)果, 在數(shù)據(jù)集小樣本標(biāo)簽不夠的情況下也能訓(xùn)練出理想的效果。

本試驗在遷移ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù),在原網(wǎng)絡(luò)的基礎(chǔ)上再添加一層全連接層, 僅訓(xùn)練最后一層。采用自適應(yīng)池化(adaptive pooling)取代了平均池化(average pooling), 自適應(yīng)池化能夠根據(jù)輸入的參數(shù)控制輸出。為防止過擬合, 通過Dropout[19]方法隨機失活, 修改分類個數(shù)為5。自適應(yīng)池化后的神經(jīng)元通過Dropout公式(7), 對Corn數(shù)據(jù)集進(jìn)行訓(xùn)練測試, 通過表1進(jìn)行對比, 結(jié)果顯示選擇概率為0.2,測試集準(zhǔn)確率最高。

1.5 Focal Loss函數(shù)

分類任務(wù)中通常使用Cross Entropy Loss交叉熵?fù)p失函數(shù)(又稱為對數(shù)似然損失), 在多分類任務(wù)中, 經(jīng)常采用soft max激活函數(shù)與交叉熵?fù)p失函數(shù)結(jié)合, 交叉熵表示的是實際輸出與期望輸出的距離, 交叉熵越小二者的概率分布越近。假設(shè)概率分布為期望輸出, 概率分布為實際輸出,(,)為交叉熵, 計算公式為:

式中:為分類類別數(shù)。

2 研究方法

2.1 構(gòu)建玉米病害數(shù)據(jù)集

本文從AI Challenger 2018 (https://challenger.ai/ competition/pdr2018)中選取玉米病害圖像作為數(shù)據(jù)集, 對選取的圖像進(jìn)行數(shù)據(jù)增強形成Corn數(shù)據(jù)集。該數(shù)據(jù)集包含健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病5個種類的圖像。由于每個種類圖片的數(shù)量差異大, 訓(xùn)練起來準(zhǔn)確率低, 對樣本少的數(shù)據(jù)進(jìn)行90°、180°和270°翻轉(zhuǎn)對圖像擴容。對圖片進(jìn)行隨機裁剪成256×256大小, 再通過中心裁剪成224×224大小的圖片, 把形狀是高度×寬度×通道的像素值范圍為[0, 255]的PIL庫中的Image轉(zhuǎn)換成形狀是通道×寬度×高度的像素值范圍為[0, 1], 進(jìn)行標(biāo)準(zhǔn)化處理, 效果如圖3。處理后每張圖為224像素, 5張圖并列展示, 橫坐標(biāo)是[0, 1 120], 縱坐標(biāo)是[0, 224]。

2.2 Corn數(shù)據(jù)集

數(shù)據(jù)增強后的玉米病害數(shù)據(jù)集如表2所示。對玉米病害數(shù)據(jù)集種類設(shè)置標(biāo)簽依次為0、1、2、3、4。標(biāo)簽為0的健康玉米訓(xùn)練集數(shù)量320, 標(biāo)簽1的玉米灰斑病訓(xùn)練集數(shù)量358, 標(biāo)簽0、1的訓(xùn)練集數(shù)量遠(yuǎn)小于其他訓(xùn)練集的數(shù)據(jù), 造成了訓(xùn)練集不平衡, 影響訓(xùn)練的準(zhǔn)確率。增強后的數(shù)據(jù)集樣本的數(shù)量也是不均勻的, 采用改進(jìn)的遷移學(xué)習(xí)方法用Facal Loss損失函數(shù)代替Cross Entropy Loss交叉熵?fù)p失函數(shù), 能夠解決樣本的不平衡性, 從而有效提升準(zhǔn)確率, 使模型具有更強的魯棒性。

如表3所示, 把原始的訓(xùn)練集和增強后的數(shù)據(jù)集通過改進(jìn)遷移學(xué)習(xí)的MobileNetV2網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果對比發(fā)現(xiàn)增強后的標(biāo)簽為0的健康玉米的識別準(zhǔn)確率從98.42%提升到99.38%, 標(biāo)簽為1的玉米灰斑病的識別率從84.56%提升到89.19%, 訓(xùn)練集整體識別的準(zhǔn)確率從92.77%提升到94.62%, 通過數(shù)據(jù)增強的方法有效提升了玉米病害訓(xùn)練集識別準(zhǔn)確率。

3 結(jié)果與分析

采用Pytorch框架, GPU為GeForce MX110(2GB),在Windows 10環(huán)境下配置CUDA10.2、Python3.6, 構(gòu)成以Pytorch為核心、GPU加速的卷積神經(jīng)網(wǎng)絡(luò)框架。受限于硬件, batch_size設(shè)置為16, epoch設(shè)置為10。

試驗采用玉米病害小樣本Corn數(shù)據(jù)集作為訓(xùn)練集, AlexNet、GooleNet、Vgg16、RestNet34、MobileNetV2、遷移的MobileNetV2為對比模型, 用測試集合進(jìn)行測試并保存權(quán)重文件和參數(shù), 測試結(jié)果如表4所示。結(jié)果顯示改進(jìn)的遷移學(xué)習(xí)的MobileNetV2模型比其他模型準(zhǔn)確率高, 參數(shù)數(shù)量最小, 適用于玉米病害識別, 遷移的MobileNetV2權(quán)重只有8.69 MB, 而準(zhǔn)確率高達(dá)97.23%, 訓(xùn)練時間僅有2 700 s。

圖2 第1次卷積后形成的32個子圖(a)和第1次殘差網(wǎng)絡(luò)后形成的16個子圖(b)

表1 Dropout方法中概率p選擇

3.1 訓(xùn)練集的混淆矩陣

混淆矩陣用來觀察分類結(jié)果, 是一個×的方陣,表示類別數(shù)。混淆矩陣的行表示真實的類別, 列表示預(yù)測的類別。

圖3 預(yù)處理后5種玉米病害類型的效果圖(從左向右依次為玉米矮花葉病毒病、玉米灰斑病、玉米銹病、健康玉米、玉米葉斑病)

表2 數(shù)據(jù)增強后的玉米病害數(shù)據(jù)集

標(biāo)簽0-4的意義見表2。The meaning of the lable 0-4 is shown in the table 2.

表3 5種玉米病害類型訓(xùn)練集準(zhǔn)確率

標(biāo)簽0-4的意義見表2。The meaning of the lable 0-4 is shown in the table 2.

通過遷移的MobileNetV2對玉米病害Corn數(shù)據(jù)集中的訓(xùn)練集進(jìn)行訓(xùn)練, 對訓(xùn)練集的訓(xùn)練結(jié)果制作混淆矩陣, 對健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病, 5個種類設(shè)置標(biāo)簽對應(yīng)0、1、2、3、4。橫縱坐標(biāo)對應(yīng)玉米病害的標(biāo)簽, 橫坐標(biāo)表示預(yù)測種類的標(biāo)簽, 縱坐標(biāo)表示真實種類的標(biāo)簽。圖4所示的是MobileNetV2和遷移學(xué)習(xí)的MobileNetV2的訓(xùn)練集識別的混淆矩陣。從圖中可以看出, MobileNetV2對標(biāo)簽為1的玉米灰斑病和標(biāo)簽為3的玉米葉斑病識別出錯的圖片數(shù)量多(圖4a); 而示遷移學(xué)習(xí)的MobileNetV2大大減少了對標(biāo)簽1和標(biāo)簽3的錯誤識別, 因為標(biāo)簽1和標(biāo)簽3的玉米病害特征相似, 通過改進(jìn)的遷移學(xué)習(xí)的方法極大地改善了標(biāo)簽間互相混淆的情況, 通過該方法標(biāo)簽1從出錯59張降低到39張, 標(biāo)簽3從出錯93張降低到40張, 有效提高了對玉米病害訓(xùn)練集的準(zhǔn)確率。

表4 6種模型進(jìn)行玉米病害識別的測試結(jié)果

圖4 MobileNetV2訓(xùn)練集(a)和遷移的MobileNetV2訓(xùn)練集(b)的混淆矩陣

標(biāo)簽0、1、2、3、4和5分別對應(yīng)健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病。Label 0, 1, 2, 3, 4 and 5 correspond to healthy maize, maize gray leaf spots, maize rust, maize leaf spots and maize dwarf mosaic disease, respectively.

3.2 驗證集的混淆矩陣

使用MobileNetV2和遷移的MobileNetV2方法對玉米病害Corn數(shù)據(jù)集中的測試集進(jìn)行識別、制作混淆矩陣, 如圖5所示。從圖中可以看出, 遷移的MobileNetV2對玉米病害Corn數(shù)據(jù)集中的測試集識別準(zhǔn)確率大大提升, 圖5a中標(biāo)簽3的玉米葉斑病的識別較差的出錯張數(shù)從17張降低到10張(圖5b)。

3.3 玉米病害訓(xùn)練集的損失曲線

遷移的MobileNetV2方法, 通過Facal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2這5種模型使用的Cross Entropy Loss交叉熵?fù)p失函數(shù), 訓(xùn)練迭代50次。通過圖6發(fā)現(xiàn)遷移的MobileNetV2曲線比其他模型的損失率低, 經(jīng)過第10次迭代損失趨于穩(wěn)定。用Facal Loss函數(shù)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)對不均勻小樣本訓(xùn)練效果更好, 具有更強的抗干擾性和魯棒性。

3.4 玉米病害驗證集的準(zhǔn)確率曲線

從圖7可以看出, 遷移的MobileNetV2對玉米病害Corn數(shù)據(jù)集驗證集識別的準(zhǔn)確率高, 對玉米病害的驗證集的50次迭代準(zhǔn)確率處于穩(wěn)定狀態(tài)。由于玉米病害樣本小, AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2模型不能充分訓(xùn)練, 卷積神經(jīng)網(wǎng)絡(luò)對驗證集的識別準(zhǔn)確率不穩(wěn)定。遷移的MobileNetV2通過在ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù), 遷移到玉米病害Corn數(shù)據(jù)集進(jìn)行訓(xùn)練微調(diào), 對驗證集的識別準(zhǔn)確率穩(wěn)定。由此可以說明, 對模型進(jìn)行訓(xùn)練時參數(shù)遷移的方法比參數(shù)初始化的效果好。在ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù), 數(shù)據(jù)集種類多, 因此遷移學(xué)習(xí)的方法泛化能力強。

圖5 MobileNetV2驗證集的混淆矩陣(a)和遷移的MobileNetV2的混淆矩陣(b)

標(biāo)簽0、1、2、3、4和5分別對應(yīng)健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病。Label 0, 1, 2, 3, 4 and 5 correspond to healty maize, maize gray leaf spots, maize rust, maize leaf spots and maize dwarf mosaic disease, respectively.

圖6 6種模型訓(xùn)練集進(jìn)行50次迭代的損失曲線

圖7 6種模型驗證集進(jìn)行50次迭代的損失曲線

4 結(jié)論

作物病蟲害防治是農(nóng)業(yè)生產(chǎn)的重要組成部分。為了克服小樣本玉米病害識別的困難, 本文引入遷移學(xué)習(xí)方法, 提高了識別準(zhǔn)確度。選取基于Corn的玉米病害數(shù)據(jù)集作為研究對象, 進(jìn)行了一系列試驗和探索, 得出以下結(jié)論:

1) Corn數(shù)據(jù)集樣本數(shù)據(jù)分布不均勻, 運用了旋轉(zhuǎn)、翻轉(zhuǎn)、中心裁剪等方法進(jìn)行數(shù)據(jù)增強處理, 得到強化后的玉米病害數(shù)據(jù)集, 通過數(shù)據(jù)增強弱化背景, 使得病害特征明顯。

2)針對增強后數(shù)據(jù)集標(biāo)簽0的健康玉米和標(biāo)簽1的玉米灰斑病訓(xùn)練集樣本過少的問題, 進(jìn)行了翻轉(zhuǎn)擴容處理, 通過Facal Loss損失函數(shù)解決5種玉米病害標(biāo)簽樣本數(shù)量不均勻的問題, 訓(xùn)練集的準(zhǔn)確率從92.77%提升到94.62%, 該方法能夠有效提升玉米病害訓(xùn)練集識別準(zhǔn)確率。

3)采用Pytorch框架作為試驗環(huán)境, 通過對6種模型進(jìn)行試驗, 結(jié)果顯示遷移的MobileNetV2方法對玉米病害驗證集的識別率高達(dá)97.23%, 參數(shù)模型僅有8.69 MB, 樣本訓(xùn)練時間僅有2 700 s, 對于此次采用的小樣本玉米病害數(shù)據(jù)集遷移的MobileNetV2方法最有效, 具有權(quán)重小、準(zhǔn)確率高、魯棒性強的特點, 能夠避免過擬合的現(xiàn)象, 可以應(yīng)用到小樣本的玉米病害識別。

4)將本文采用的遷移的MobileNetV2方法與MobileNetV2在玉米病害驗證集上進(jìn)行測試, 通過建立混淆矩陣發(fā)現(xiàn)標(biāo)簽1的玉米灰斑病和標(biāo)簽3的玉米葉斑病錯誤識別張數(shù)較多, 而遷移的MobileNetV2方法標(biāo)簽1從出錯59張降低到39張, 標(biāo)簽3從出錯93張降低到40張, 有效地提高了對玉米病害訓(xùn)練集的準(zhǔn)確率。

5)遷移的MobileNetV2方法通過Facal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2這5種模型使用的Cross Entropy Loss交叉熵?fù)p失函數(shù), 訓(xùn)練迭代50次。繪制玉米病害訓(xùn)練集的損失曲線和玉米病害驗證集的準(zhǔn)確率曲線, 發(fā)現(xiàn)遷移的MobileNetV2曲線比其他模型的損失率低, 對玉米病害Corn數(shù)據(jù)集驗證集識別的準(zhǔn)確率高并且穩(wěn)定, 改進(jìn)遷移的MobileNetV2模型具有更好的魯棒性和抗干擾性。

本文不足之處是標(biāo)簽為1的玉米灰斑病和標(biāo)簽為3的玉米葉斑病, 兩種玉米病害的有效特征存在局部區(qū)域中, 遷移的MobileNetV2模型的識別正確率偏低。下一步的研究工作是怎樣提高兩種玉米病害相似特征的細(xì)粒度分類, 通過玉米病害的有效識別在病害發(fā)生初期遏制病害的蔓延。

[1] 李道亮. 智慧農(nóng)業(yè): 中國的機遇和挑戰(zhàn)[J]. 高科技與產(chǎn)業(yè)化, 2015, 11(5): 42–45 LI D L. Smart agriculture: Opportunities and challenge for China[J]. High-Technology and Industrialization, 2015, 11(5): 42–45

[2] 李冠林, 馬占鴻, 王海光. 基于支持向量機的小麥條銹病和葉銹病圖像識別[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報, 2012, 17(2): 72–79 LI G L, MA Z H, WANG H G. Image recognition of wheat stripe rust and wheat leaf rust based on support vector machine[J]. Journal of China Agricultural University, 2012, 17(2): 72–79

[3] 李震, 洪添勝, 曾祥業(yè), 等. 基于K-means聚類的柑橘紅蜘蛛圖像目標(biāo)識別[J]. 農(nóng)業(yè)工程學(xué)報, 2012, 28(23): 147–153 LI Z, HONG T S, ZENG X Y, et al. Citrus red mite image target identification based on K-means clustering[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(23): 147–153

[4] 許良鳳, 徐小兵, 胡敏, 等. 基于多分類器融合的玉米葉部病害識別[J]. 農(nóng)業(yè)工程學(xué)報, 2015, 31(14): 194–201 XU L F, XU X B, HU M, et al. Corn leaf disease identification based on multiple classifiers fusion[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(14): 194–201

[5] Turko?lu M, Hanbay D. Plant disease and pest detection using deep learning-based features[J]. Turkish Journal of Electrical Engineering and Computer Sciences, 2019, 27(3): 1636-1651

[6] Lecun Y, Bottou L. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[7] KRIZHEVSKY A, SUTSKEVE R I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. La Jolla, CA: Neural Information Processing Systems Foundation, 2012: 1097–1105

[8] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-02-10]. https://arxiv.org/pdf/1409.1556.pdf.

[9] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015: 1–9

[10] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016: 770–778

[11] MOHANTY S P, HUGHES D P, SALATHé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419

[12] WANG G, SUN Y, WANG J X. Automatic image-based plant disease severity estimation using deep learning[J]. Computational Intelligence and Neuroscience, 2017, 2017: 2917536

[13] Oppenheim D, Shani G, Erlich O, et al. Using deep learning for image-based potato tuber disease detection[J]. Phytopathology, 2019, 109 (6): 1083–1087

[14] SLADOJEVIC S, ARSENOVIC M, ANDERLA A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016, 2016: 3289801

[15] 李勇, 劉戰(zhàn)東, 張海軍. 不平衡數(shù)據(jù)的集成分類算法綜述[J]. 計算機應(yīng)用研究, 2014, 31(5): 1287–1291LI Y, LIU Z D, ZHANG H J. Review on ensemble algorithms for imbalanced data classification[J]. Application Research of Computers, 2014, 31(5): 1287–1291

[16] 劉悅婷, 孫偉剛, 張發(fā)菊. 一種新的近鄰密度SVM不平衡數(shù)據(jù)集分類算法[J]. 貴州大學(xué)學(xué)報: 自然科學(xué)版, 2019, 36(3): 75–80 LIU Y T, SUN W G, ZHANG F J. Imbalanced dataset classification algorithm based on NNDSVM[J]. Journal of Guizhou University: Natural Sciences, 2019, 36(3): 75–80

[17] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning (ICML). Lille: ACM, 2015: 448–456

[18] PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359

[19] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computerence, 2012, 3(4): 212–223

[20] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 2999–3007

Corn disease recognition based on the Convolutional Neural Network with a small sampling size*

YANG Mingxin, ZHANG Yaoguang, LIU Tao**

(School of Economics and Management, Hebei University of Science and Technology, Shijiazhuang 050018, China)

Crop disease management influences yield and quality, yet identifying corn diseases is still difficult. High labor costs, small number of sample, and uneven disease distributions contribute to the difficulty. We propose an improved Convolutional Neural Network (CNN) model based on the transfer learning method for disease identification. The sample image set was enhanced by rotation and roll-over, then the migrated MobileNetV2 model was used to train the image data set for corn diseases. The Focal Loss function was used to improve the neural network loss function, and the Softmax classification method was used for corn disease image recognition. The training set accuracy, validation set accuracy, weight, run time, and the number of parameter in six models were experimentally compared. The verification set accuracy rates were 93.88% (AlexNet), 95.48% (GoogleNet), 91.69% (Vgg16), 97.67% (RestNet34), 96.21% (MobileNetV2), and 97.23% (migrated MobileNetV2). The migrated MobileNetV2 was 97.23% accurate and weighed 8.69 MB. Confounding the MobileNetV2 model improved the recognition accuracy by 1.02% and reduced the training speed by 6 350 seconds compared to the unconfounded model. The migrated MobileNetV2 model had the best corn disease recognition ability with a small sampling size; improved convergence speed, reduced model calculations, and greatly improved the recognition time.

Corn diseases and insect pests; Transfer learning; Small sample; Convolutional Neural Network; Focal Loss; Confusion matrix

TP183

10.13930/j.cnki.cjea.200375

楊明欣, 張耀光, 劉濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害小樣本識別研究[J]. 中國生態(tài)農(nóng)業(yè)學(xué)報(中英文), 2020, 28(12): 1924-1931

YANG M X, ZHANG Y G, LIU T. Corn disease recognition based on the Convolutional Neural Network with a small sampling sizeJ]. Chinese Journal of Eco-Agriculture, 2020, 28(12): 1924-1931

* 河北省重點研發(fā)計劃項目(19226417D)和河北省高等學(xué)?？茖W(xué)技術(shù)重點項目(ZD2019083)資助

劉濤, 主要研究方向為信息資源管理和大數(shù)據(jù)分析建模。E-mail: liutaolunwen@163.com

楊明欣, 主要從事信息管理、信息安全方面的研究。E-mail: ymxspj@163.com

2020-05-20

2020-09-26

* This study was supported by the Key R&D Program of Hebei Province of China (19226417D) and the Key Science and Technology Project of Higher School of Hebei Province of China (ZD2019083).

, E-mail: liutaolunwen@163.com

May 20, 2020;

Sep. 26, 2020