王國偉，劉嘉欣

(吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春市，130000)

0 引言

我國三大農(nóng)作物之一的玉米是重要的糧食作物及產(chǎn)業(yè)原料，玉米產(chǎn)業(yè)的穩(wěn)定健康發(fā)展，在糧食安全、農(nóng)民收入增加及國家經(jīng)濟(jì)中起著重要作用[1]。伴隨著玉米產(chǎn)量的增加，玉米病害種類的繁雜，怎樣迅速正確的判斷出玉米病害，并且選取對應(yīng)的控制措施，對玉米生產(chǎn)至關(guān)重要。根據(jù)肉眼觀察和經(jīng)驗判斷很容易導(dǎo)致誤診，容易花費很多時間，并且無法在一定時間內(nèi)診斷和治療玉米病害，從而使玉米生產(chǎn)效率降低。隨著計算機技術(shù)的發(fā)展,利用圖像識別技術(shù)診斷和檢測病害已成為診斷研究的一個重要領(lǐng)域[2]。在植物病害識別中，機器學(xué)習(xí)技術(shù)與圖像處理相結(jié)合的應(yīng)用越來越廣泛。針對玉米常見的病害，毛彥棟等[3]提出一種SVM和DS證據(jù)理論融合方法、陳麗等采用遺傳算法、張開興等[4]采用圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)算法、張善文等[5]基于局部判別映射(LDP)算法和朱景福等[6]應(yīng)用局部線性嵌入(LLE)算法對提取的病害特征進(jìn)行約簡，識別率依次為93.3% 、90.0%、93.4%、94.4%、99.5%。這些研究盡管已經(jīng)獲得了良好的效果，但是很難提取特征，也存在適應(yīng)性低和魯棒性差等問題。

近幾年，深度學(xué)習(xí)在圖像分割和圖像識別方面取得了良好的效果，并且在特征提取中起著重要作用，它能夠自動提取圖像特征，所以在各個領(lǐng)域都有廣泛的應(yīng)用 (如人臉識別[7-8]、語音識別[9]和行人檢測[10]等)。顧博等[11]利用GrabCut自動分割算法并融合基于顯著性的SLIC算法對玉米3種病害進(jìn)行識別和分割、許景輝等[12]利用遷移學(xué)習(xí)方法對玉米大斑病和銹病進(jìn)行識別。在對其他植物病蟲害的識別中也有很多研究學(xué)者將深度學(xué)習(xí)技術(shù)運用其中，并且獲得了較好的效果。馬浚誠等[13]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在溫室黃瓜病害識別方法研究中，對黃瓜病害進(jìn)行識別。王艷玲等[14]將遷移學(xué)習(xí)應(yīng)用到AlexNet卷積神經(jīng)網(wǎng)絡(luò)中對10類番茄葉片病害圖像識別。蔣豐千等[15]提出了一種基于caffe框架下的卷積神經(jīng)網(wǎng)絡(luò)識別方法來識別生姜病害。楊晉丹等[16]選取一種基于混合池化的CNN-9模型對草莓葉部白粉病病害進(jìn)行識別以及蒲秀夫等[17]建立了一種二值化卷積神經(jīng)網(wǎng)絡(luò)模型對多種植物病蟲害進(jìn)行識別。

因此，本文基于經(jīng)典CNN的深度學(xué)習(xí)網(wǎng)絡(luò)模型-LeNet，根據(jù)玉米病害圖像數(shù)據(jù)本身的特點，進(jìn)行改進(jìn)和完善，構(gòu)建了一個多層 CNN 網(wǎng)絡(luò)結(jié)構(gòu)玉米病害圖像識別模型，以期提高模型的魯棒性和泛化能力，實現(xiàn)對玉米病害準(zhǔn)確、快速的識別。

1 材料與方法

1.1 玉米圖像數(shù)據(jù)集

本研究所用到的數(shù)據(jù)集，是由 5 種不同玉米圖像組成，包括玉米花葉病、灰斑病、銹病、葉斑病4種病害圖像和玉米健康圖像。5類玉米試驗樣本圖像共采集1 967張，均在自然環(huán)境下。其中玉米花葉病600張，灰斑病265張，銹病350張，葉斑病400張，玉米健康352張。本文試驗將玉米圖像分為2組：訓(xùn)練數(shù)據(jù)1 574張，測試數(shù)據(jù)393張。將樣本集進(jìn)行編號分類并制作標(biāo)簽，分別用 0、1、2、3、4 表示對應(yīng)的類別標(biāo)簽，標(biāo)簽0為玉米花葉病、1為灰斑病、2為銹病、3為葉斑病、4為玉米健康。圖片大小尺寸統(tǒng)一修改為256像素×256像素，表1列出了具體的數(shù)據(jù)集數(shù)量。4類玉米病害示例及玉米健康圖像見圖1。

表1 5種玉米圖像數(shù)據(jù)集Tab. 1 5 kinds of corn image data sets

(a) 花葉病(b) 灰斑病(c) 銹病

(d) 葉斑病(e) 玉米健康

1.2 試驗方法

1.2.1 程序運行環(huán)境

本試驗所有代碼均是在框架:PaddlePaddle 1.6.0(python 3.7)框架下完成的。框架環(huán)境：GPU：Tesla V100.Video Mem:16GB；硬件環(huán)境：Intel(R) Core(TM)i3-4005U CPU @1.70G。Windows 7 64bit 操作系統(tǒng)。

1.2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，簡稱 CNN)[18-19]作為深度學(xué)習(xí)技術(shù)的一個代表,近年來取得了飛速的發(fā)展。該結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。其中卷積層和池化層是用于提取圖像特征的模型核心部分,全連接層可以在高層次特征域中以圖像分類為主實現(xiàn)圖像映射。

其中，卷積層包括大量卷積核, 經(jīng)過計算卷積可獲得輸入圖像的特征圖,其公式[20]如式(1)所示。

(1)

池化層(也稱為下采樣層), 它實質(zhì)上是通過圖像處理來提取原始特征信息, 并且減小數(shù)據(jù)的空間大小和特征維數(shù)，其公式如式(2)所示。

(2)

式中:down(·)——下采樣函數(shù)；

1.3 玉米病害識別模型結(jié)構(gòu)與訓(xùn)練

1.3.1 模型結(jié)構(gòu)

本文模型是在經(jīng)典的LeNet模型基礎(chǔ)上進(jìn)行改進(jìn)。LeNet這個網(wǎng)絡(luò)雖然很小，但它的整體結(jié)構(gòu)模型非常完整，傳統(tǒng)的卷積、池化等操作都有涉及[21]。LeNet[22]網(wǎng)絡(luò)原有3 層卷積、2 層池化、1 層全連接層。改進(jìn)之后，本文CNN玉米病害識別模型網(wǎng)絡(luò)結(jié)構(gòu)見圖 2,共有10個網(wǎng)絡(luò)層，包含輸入層、3個卷積層、3個池化層、2個全連接層和輸出層。

圖2 CNN玉米病害識別模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 2 CNN corn disease identification model network structure diagram

另外，在第一層卷積和第二層卷積當(dāng)中，加入局部響應(yīng)歸一化層(Local Response Normalization,LRN)，能夠提高模型結(jié)構(gòu)的準(zhǔn)確性和泛化能力,全連接模塊都包含了dropout 層，并且在訓(xùn)練期間一些連接會被隨機丟棄，丟棄概率設(shè)置為0.5。另外本文采用修正線性單元(ReLU)[23]作為激勵函數(shù)，添加在卷積層之后，進(jìn)行數(shù)據(jù)的訓(xùn)練。本文池化方式采用的是最大池化法(Max pooling)，最后采用Softmax分類器，作為最后的分類輸出層，輸出類別為5。

因此，按照試驗的具體要求，在本研究中提出的玉米病害識別模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表2所示。

表2 本研究模型參數(shù)設(shè)置Tab. 2 Parameter settings of this research model

1.3.2 模型優(yōu)化

模型結(jié)構(gòu)優(yōu)化的實質(zhì)是最大程度地減少損失函數(shù)的迭代次數(shù)。通過將自適應(yīng)矩估計(Adam)(Adaptive moment estimation)替換傳統(tǒng)的隨機梯度下降(SGD)(Stochastic Gradient Descent)方法來進(jìn)行模型的優(yōu)化。Adam算法的實質(zhì)是按照損失函數(shù)動態(tài)調(diào)整每個參數(shù)梯度的一階矩估計和二階矩估計。其特點是計算效率高，占用內(nèi)存小，適用于解決大樣本量和優(yōu)化參數(shù)問題。

選擇指數(shù)衰減法作為學(xué)習(xí)率更新方法。首先將網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率設(shè)定為較大的值，使訓(xùn)練達(dá)到最優(yōu)解的鄰域，然后學(xué)習(xí)率逐漸降低。指數(shù)衰減法學(xué)習(xí)率的更新見公式(3)。

lr=lro·dr∧(?gs/ds」)

(3)

式中:lr——衰減后的學(xué)習(xí)率；

lro——最初學(xué)習(xí)率；

dr——衰減系數(shù)；

gs——目前的迭代次數(shù)；

ds——衰減步長(也就是說，學(xué)習(xí)率在每次指定的迭代次數(shù)后都會更新)。

采用交叉熵?fù)p失函數(shù)計算分類損失,添加L2正則化懲罰模型內(nèi)部加權(quán)參數(shù)，避免模型的過擬合。函數(shù)如公式(4)所示。

(4)

式中:J——訓(xùn)練損失率；

θ——模型加權(quán)系數(shù)；

λ——正則項系數(shù)；

x——批量訓(xùn)練樣本數(shù)；

p——預(yù)期分類概率；

q——預(yù)測分類概率。

此外，本文中的第一和第二全連接層添加了Dropout策略層，以防止過度擬合。Softmax函數(shù)用作最后一個全連接層中的最終輸出。Softmax函數(shù)通常用作神經(jīng)網(wǎng)絡(luò)模型的分類器。通過函數(shù)運算，計算出輸入樣本被識別為特定類別的概率。經(jīng)過一系列參數(shù)調(diào)整后，將獲得對應(yīng)于正確類別的最大概率值。

1.3.3 模型訓(xùn)練過程

本研究模型訓(xùn)練過程主要分為如下3個階段： (1)創(chuàng)建數(shù)據(jù)集，建立與此研究訓(xùn)練相適應(yīng)的玉米病害圖像數(shù)據(jù)庫，使用玉米病害圖像作為模型訓(xùn)練下一階段的數(shù)據(jù)源。(2)根據(jù)圖2所示的模型思路，進(jìn)行編譯和模型參數(shù)設(shè)定。最大訓(xùn)練數(shù)設(shè)置為200輪，batch_size=50。(3)訓(xùn)練并且保存模型，執(zhí)行器接收傳入的程序。最后，采用反向傳播算法逐層求導(dǎo)，在連續(xù)迭代訓(xùn)練過程中調(diào)整模型參數(shù)，得到最小收斂值當(dāng)作最終輸出。

2 結(jié)果與分析

2.1 不同激勵函數(shù)對模型性能的影響

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，這里的激勵函數(shù)是為了保障網(wǎng)絡(luò)輸出是非線性函數(shù)而添加的。這里一般使用的幾種激勵函數(shù)是Tanh函數(shù)、Sigmoid函數(shù)和ReLU函數(shù)。與前兩個函數(shù)相比，ReLU函數(shù)具有計算簡單，收斂速度快的特點，函數(shù)如式(5)所示。

ReLU(x)=max(0,x)

(5)

圖3顯示了不同激活函數(shù)對識別準(zhǔn)確率影響的試驗結(jié)果?？梢钥闯?，當(dāng)使用ReLU函數(shù)時，識別準(zhǔn)確率最高。ReLU激勵函數(shù)[24]由于采用了分段形式，所以它的前、后、導(dǎo)數(shù)形式都是分段的，使得優(yōu)化學(xué)習(xí)和求解模型收斂問題更加容易。

圖3 不同激活函數(shù)對試驗產(chǎn)生的結(jié)果Fig. 3 Results of different activation functions on the experiment

2.2 有無Dropout層對模型性能的影響

訓(xùn)練模型的過程中，通常會發(fā)生過擬合現(xiàn)象。所謂的過擬合，具體顯示為模型準(zhǔn)確率在訓(xùn)練集上的表現(xiàn)良好，在測試集上的表現(xiàn)不佳，這意味著模型的泛化能力較弱，進(jìn)而影響準(zhǔn)確率。為避免訓(xùn)練過擬合，除了在數(shù)據(jù)處理過程中添加數(shù)據(jù)集之外，本研究還將Dropout層添加到模型中。在網(wǎng)絡(luò)的每個訓(xùn)練期間，Dropout層會依據(jù)一定的概率將有些神經(jīng)元權(quán)重臨時置為0，減少神經(jīng)元之間的依存關(guān)系，避免網(wǎng)絡(luò)的過度擬合。在測試中，該程序共執(zhí)行3次。測試結(jié)果如表3所示。

表3 Dropout層對試驗的影響Tab. 3 Influence of Dropout layer on the experiment

2.3 網(wǎng)絡(luò)層數(shù),正則項系數(shù)及學(xué)習(xí)率對準(zhǔn)確率的影響

為了確定最佳參數(shù)，得到最佳模型，對試驗結(jié)果進(jìn)行比較，包括網(wǎng)絡(luò)層數(shù)的設(shè)置(卷積層、全連接層)、初始學(xué)習(xí)率的設(shè)置、正則項系數(shù)的設(shè)置等。其中，3 種全連接層設(shè)置(1 層、2 層、3 層)，3 種卷積層設(shè)置(2層、3 層、4 層)，3 組正則項系數(shù)設(shè)置(0、0.000 1、0.001)，3 組初始化學(xué)習(xí)率設(shè)置(0.000 1、0.001、0.01)。試驗測試結(jié)果見表4。根據(jù)表4中內(nèi)容可以看出，在B2組實驗中，當(dāng)設(shè)置 2 個全連接層、3 個卷積層，正則項系數(shù)為0.000 1，學(xué)習(xí)率為0.001時最小訓(xùn)練損失率和最大訓(xùn)練準(zhǔn)確率分為達(dá)到0.103 77和0.964 3，模型性能最優(yōu)。

表4 參數(shù)設(shè)置與訓(xùn)練結(jié)果Tab. 4 Parameter settings and training results

2.4 Adam算法SGD算法比較

本文運用Adam算法代替?zhèn)鹘y(tǒng)的SGD算法。SGD算法通過保持單一的學(xué)習(xí)率(即alpha)來更新所有的權(quán)值，并且學(xué)習(xí)率在訓(xùn)練過程期間不會發(fā)生改變。而Adam算法通過計算梯度的一階矩估計和二階矩估計來設(shè)計針對不同參數(shù)的獨立自適應(yīng)學(xué)習(xí)率。在3個卷積層、2個全連接層、正則項系數(shù)為0.000 1、初始化學(xué)習(xí)率為0.001的總條件下，通過試驗，來對比兩種方法的差別。圖4顯示了在相同條件下Adam算法和SGD算法試驗的訓(xùn)練準(zhǔn)確率變化趨勢。結(jié)果表明，當(dāng)采用Adam算法時，模型的準(zhǔn)確率更高。

圖4 Adam算法和SGD算法訓(xùn)練準(zhǔn)確率Fig. 4 Training accuracy of Adam algorithm and SGD algorithm

圖5顯示了在相同條件下Adam算法和SGD算法試驗的訓(xùn)練損失率變化趨勢。損失率越小代表著曲線越收斂，模型學(xué)習(xí)效果越好。根據(jù)圖5能夠看出，當(dāng)使用Adam算法時，曲線收斂效果比使用SGD算法時更好，并且損失率更小。試驗表明，當(dāng)使用Adam算法優(yōu)化模型時，模型效果更好，更為理想。

圖5 Adam算法和SGD算法訓(xùn)練損失率Fig. 5 Adam algorithm and SGD algorithm training loss rate

2.5 驗證結(jié)果分析

如上所述，在玉米圖像中選取了120幅玉米花葉病圖像、53幅灰斑病圖像、70幅銹病圖像、80幅葉斑病圖像和70幅玉米健康圖像作為固定的檢測數(shù)據(jù)集。數(shù)據(jù)集中的所有圖像均未參與模型的訓(xùn)練和識別。因此，通過識別準(zhǔn)確性來檢驗本文模型的泛化能力，即模型對未參與訓(xùn)練的新圖像是否同樣具有高的識別準(zhǔn)確率。試驗結(jié)果表明，用未參與模型訓(xùn)練的新圖像來檢驗?zāi)Ｐ偷淖R別能力，仍然取得了理想的識別率。其中，由于銹病和玉米健康圖像與其他玉米病害具有明顯不同的特征，因此識別率達(dá)到了100%；葉斑病玉米病害圖像在某些細(xì)節(jié)特征上與灰斑病有相似的細(xì)節(jié)特征，出現(xiàn)誤判現(xiàn)象，識別準(zhǔn)確率為93.75%?；ㄈ~病的玉米病害圖像識別準(zhǔn)確率為95.83%；灰斑病的玉米病害圖像識別準(zhǔn)確率略低，但也達(dá)到了90.57%。由于測試集圖像與訓(xùn)練集圖像具有相同的背景等因素，因此5類玉米圖像識別的平均準(zhǔn)確率達(dá)到96%，接近于訓(xùn)練準(zhǔn)確率。

表6為測試集玉米圖像識別后統(tǒng)計的混淆矩陣。其中，葉斑病和灰斑病在形狀、顏色、紋理及局部細(xì)節(jié)上有相似之處，因此2類玉米病害均存在誤判現(xiàn)象；花葉病和玉米健康雖不屬于同一種，但也存在相似之處，因此花葉病圖像有 5張被誤判為玉米健康。

表6 測試集玉米圖像識別后統(tǒng)計的混淆矩陣Tab. 6 Confusion matrix of the statistics of the corn image recognition in the test set

3 不同方法比較

為驗證本文研究方法的可行性，將其與傳統(tǒng)的CNN模型和基于CNN的VGG網(wǎng)絡(luò)模型進(jìn)行4種玉米病害和玉米健康圖像識別的對比試驗。試驗主要從識別率、損失率和單幅玉米病害圖像識別時間三個方面對模型性能進(jìn)行評估，對比結(jié)果如表7所示。從中可看出，VGG模型的平均識別率為49.75%，平均識別時間為6.20 s，在對比的三種模型中識別率最低且識別時間最長；傳統(tǒng)CNN模型的平均識別率為80.66%，平均識別時間為3.10 s，識別效果相對較好；本文提出的方法平均識別率為96.43%，平均識別時間為0.15 s，識別率最高，識別時間最短，識別效果最好。

表7 提取方法比較Tab. 7 Comparison of extraction methods

4 結(jié)論

本文基于經(jīng)典CNN模型LeNet的基礎(chǔ)上，構(gòu)建了一個10層的玉米病害識別模型，完成對玉米花葉病，灰斑病，銹病，葉斑病，4類不同玉米病害圖像和玉米健康圖像的識別分類。在訓(xùn)練集和測試集上達(dá)到了一定的識別效果。

1) 基于深度學(xué)習(xí)的玉米病害圖像識別模型可以自動提取出玉米病害特征，可以較好的對玉米病害圖像進(jìn)行分類，對玉米花葉病、灰斑病、葉斑病識別準(zhǔn)確率分別為95.83%、90.57%、93.75%,對銹病和玉米健康識別準(zhǔn)確率均為100%，平均識別準(zhǔn)確率在96%以上，平均識別時間為0.15 s,無需人工的對輸入圖像進(jìn)行特征提取，只需簡單地標(biāo)記類別即可，節(jié)省了大量人力和時間，提高了識別效率和精度。

2) 在模型優(yōu)化方面，提出了用Adam算法代替?zhèn)鹘y(tǒng)的SGD算法，提高了識別率。 除此之外，使用指數(shù)衰減法調(diào)整學(xué)習(xí)率，并且將L2正則項添加到交叉熵函數(shù)中。為了防止訓(xùn)練過程中過擬合情況的發(fā)生，在網(wǎng)絡(luò)層中使用Dropout策略和ReLU激勵函數(shù)。

3) 與其他模型的圖像識別率相比，該模型具有更強的識別性能和較好的實用性?？设b別4種玉米病害和玉米健康圖像。該模型提高了模型的泛化能力和魯棒性，為接下來的植物病害研究提供了基礎(chǔ)和理論依據(jù)。

因為本研究只是研究和分析了4種常見的玉米病害，所以必然存在一些限定性，為了進(jìn)一步推廣模型，并提高玉米病害圖像識別的準(zhǔn)確性和實用性，下一階段將收集更多高質(zhì)量的玉米病害圖像，調(diào)整和優(yōu)化模型。