龍滿(mǎn)生，歐陽(yáng)春娟，劉 歡，付 青

?

基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別

龍滿(mǎn)生，歐陽(yáng)春娟，劉 歡，付 青

（1. 井岡山大學(xué)電子與信息工程學(xué)院, 吉安 343009；2. 流域生態(tài)與地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，吉安343009）

傳統(tǒng)的植物病害圖像識(shí)別準(zhǔn)確率嚴(yán)重依賴(lài)于耗時(shí)費(fèi)力的人工特征設(shè)計(jì)。該文利用深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力來(lái)自動(dòng)學(xué)習(xí)油茶病害特征，并借助遷移學(xué)習(xí)方法將AlexNet模型在ImageNet圖像數(shù)據(jù)集上學(xué)習(xí)得到的知識(shí)遷移到油茶病害識(shí)別任務(wù)。對(duì)油茶葉片圖像進(jìn)行閾值分割、旋轉(zhuǎn)對(duì)齊、尺度縮放等預(yù)處理后，按照病害特征由人工分為藻斑病、軟腐病、煤污病、黃化病和健康葉5個(gè)類(lèi)別。每個(gè)類(lèi)別各選取750幅圖像組成樣本集，從樣本集中隨機(jī)選擇80%的樣本用作訓(xùn)練集，剩余20%用作測(cè)試集。利用隨機(jī)裁剪、旋轉(zhuǎn)變換和透視變換對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)充，以模擬圖像采集的不同視角和減少網(wǎng)絡(luò)模型的過(guò)擬合。在TensorFlow深度學(xué)習(xí)框架下，基于數(shù)據(jù)擴(kuò)充前后的樣本集，對(duì)AlexNet進(jìn)行全新學(xué)習(xí)和遷移學(xué)習(xí)。試驗(yàn)結(jié)果表明，遷移學(xué)習(xí)能夠明顯提高模型的收斂速度和分類(lèi)性能；數(shù)據(jù)擴(kuò)充有助于增加數(shù)據(jù)的多樣性，避免出現(xiàn)過(guò)擬合現(xiàn)象；在遷移學(xué)習(xí)和數(shù)據(jù)擴(kuò)充方式下的分類(lèi)準(zhǔn)確率高達(dá)96.53%，對(duì)藻斑病、軟腐病、煤污病、黃化病、健康葉5類(lèi)病害的F1得分分別達(dá)到94.28%、94.67%、97.31%、98.34%和98.03%。該方法具有較高的識(shí)別準(zhǔn)確率，對(duì)平移、旋轉(zhuǎn)具有較強(qiáng)的魯棒性，可為植物葉片病害智能診斷提供參考。

病害；分類(lèi)；作物；油茶病害；圖像識(shí)別；深度學(xué)習(xí)；遷移學(xué)習(xí)

0 引 言

油茶是四大木本油料植物之一，主要產(chǎn)品為茶油，副產(chǎn)品包括茶枯、茶殼和茶粕，具有較高的綜合利用價(jià)值，在保健、醫(yī)療、生物農(nóng)藥、生物飼料、殺菌消毒及化學(xué)工業(yè)等方面都有廣泛的應(yīng)用[1]。在國(guó)家政策的大力扶持下，油茶種植面積不斷擴(kuò)大，但由于粗放經(jīng)營(yíng)導(dǎo)致油茶病害頻發(fā)，嚴(yán)重影響了油茶的產(chǎn)量和品質(zhì)。危害油茶的病害多達(dá)50余種，主要有炭疽病、軟腐病、煤污病和藻斑病等[2]。油茶病害的發(fā)生受到油茶品種、栽培環(huán)境、氣候條件和經(jīng)營(yíng)管理水平等多種因子綜合作用的影響，及時(shí)準(zhǔn)確識(shí)別病害類(lèi)型是有效防治的關(guān)鍵。大多數(shù)植物病害在可見(jiàn)光波段會(huì)產(chǎn)生某些可見(jiàn)癥狀，為人工識(shí)別診斷提供了可行性。由于植物病害癥狀復(fù)雜多變，往往需要經(jīng)過(guò)專(zhuān)業(yè)訓(xùn)練的植保專(zhuān)家才能準(zhǔn)確識(shí)別診斷，而對(duì)于業(yè)余人員則容易出現(xiàn)診斷錯(cuò)誤。此外，人工識(shí)別診斷植物病害耗時(shí)費(fèi)力并且具有一定的主觀(guān)性，因此亟需研究植物病害智能診斷系統(tǒng)，提高病害識(shí)別準(zhǔn)確率。

為了提高病害識(shí)別的準(zhǔn)確率與效率，研究人員嘗試?yán)脠D像處理、機(jī)器學(xué)習(xí)等方法自動(dòng)識(shí)別水稻[3-4]、玉米[5]、小麥[6]、棉花[7]、番茄[8]、黃瓜[9-12]、甘蔗[13]等作物病害[5-13]。利用圖像處理技術(shù)[14]獲取目標(biāo)的顏色[15]、形狀[16]、紋理[17]等特征[14-17]后，再利用人工神經(jīng)網(wǎng)絡(luò)[18]、支持向量機(jī)[19]等方法對(duì)病害特征向量進(jìn)行分類(lèi)[18-19]。為了減少環(huán)境光照對(duì)病害檢測(cè)的影響，常將病害圖像由RGB變換到Lab、HSI、YCbCr等顏色空間進(jìn)行病斑分割。常用的顏色特征主要有顏色均值、方差、峰值、偏度、能量、熵等，形狀特征主要有矩形度、偏心率、致密度等，紋理特征主要有基于灰度共生矩陣的對(duì)比度、相關(guān)性、能量、慣性矩等。

傳統(tǒng)的基于機(jī)器學(xué)習(xí)的植物病害識(shí)別方法，需要針對(duì)病害類(lèi)型精心設(shè)計(jì)病害特征。由于植物類(lèi)型、生長(zhǎng)階段、病害種類(lèi)、環(huán)境光照等因素的影響，導(dǎo)致植物病害癥狀復(fù)雜，特征提取相當(dāng)困難。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）通過(guò)引入局部連接、權(quán)值共享、池化操作、非線(xiàn)性激活等方法，允許網(wǎng)絡(luò)從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，比傳統(tǒng)機(jī)器學(xué)習(xí)方法具有更強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力。CNN在圖像分類(lèi)、語(yǔ)音識(shí)別等方面取得了突破，AlexNet[20]和GoogleNet[21]在ILSVRC[22]（imageNet large scale visual recognition challenge）圖像分類(lèi)比賽中將分類(lèi)錯(cuò)誤率分別降低到了16.4%和6.7%，VGG[23]和ResNet[24]都取得了較好效果。Mohanty等[25]收集了5萬(wàn)多幅病害圖像，涉及14類(lèi)作物、26種病害，利用CNN將其分為38類(lèi)的準(zhǔn)確率高達(dá)99.35%。Sladojevic等[26]在網(wǎng)絡(luò)上收集了4千多幅病害圖像，數(shù)據(jù)擴(kuò)充后得到3萬(wàn)多幅圖像樣本，基于CaffeNet將其分為15類(lèi)，分類(lèi)準(zhǔn)確率達(dá)91%~98%。Brahimi等[27]收集了約1.5萬(wàn)幅西紅柿葉片病害圖像，基于AlexNet將其分為9類(lèi)病害，獲得了較好的識(shí)別效果。孫俊等[28]在PlantVillage植物葉片病害圖像數(shù)據(jù)集的基礎(chǔ)上，將AlexNet的全連接層改為全局池化層，并改用批規(guī)范化進(jìn)行訓(xùn)練，降低了模型參數(shù)量并提高了模型識(shí)別率。Lu等[29]收集了500幅水稻病害圖像，構(gòu)建了一個(gè)包含3個(gè)卷積層的卷積神經(jīng)網(wǎng)絡(luò)，用于識(shí)別稻瘟病、稻曲病、稻斑病、稻紋枯病等10種常見(jiàn)的水稻病害，正確識(shí)別率達(dá)到95.48%。上述研究為利用CNN進(jìn)行植物葉片病害識(shí)別提供了參考和可行性，但CNN的特征學(xué)習(xí)與分類(lèi)性能依賴(lài)于大型數(shù)據(jù)驅(qū)動(dòng)，且全新訓(xùn)練非常耗時(shí)。2017年11月Google發(fā)布了將TensorFlow用于移動(dòng)和嵌入式設(shè)備的輕量級(jí)解決方案——TensorFlow Lite，允許快速部署基于預(yù)訓(xùn)練模型的智能應(yīng)用，為基于移動(dòng)終端的植物葉片病害智能識(shí)別提供了可行性。

針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練耗時(shí)問(wèn)題，本文基于經(jīng)典的AlexNet模型建立了油茶葉片病害圖像識(shí)別模型，利用遷移學(xué)習(xí)方法將AlexNet在大型圖像數(shù)據(jù)集上學(xué)習(xí)得到的圖像分類(lèi)的共性知識(shí)遷移到油茶葉片病害識(shí)別模型，經(jīng)過(guò)組合試驗(yàn)與對(duì)比分析優(yōu)選模型的超參數(shù)，以期提高模型訓(xùn)練效率與識(shí)別準(zhǔn)確率，為進(jìn)一步開(kāi)發(fā)基于智能手機(jī)等移動(dòng)終端的油茶病害智能診斷系統(tǒng)提供模型支持，對(duì)于輔助油茶病蟲(chóng)害防治決策具有重要意義。

1 試驗(yàn)數(shù)據(jù)

1.1 病害圖像數(shù)據(jù)集

在江西省永豐縣瑤田鎮(zhèn)的人工油茶林地采集了藻斑病、軟腐病、煤污病、黃化病和健康葉等油茶葉片樣本。7-9月為藻斑病的發(fā)病盛期，軟腐病在15~25℃下發(fā)病率最高，煤污病盛行于3-5月和9-11月，黃化病則全年表現(xiàn)黃化癥狀。根據(jù)各種典型病害的發(fā)病規(guī)律，在為害癥狀較為顯著時(shí)從油茶樹(shù)上采集病害葉片樣本。為保持葉片樣本新鮮，將采集的葉片樣本裝入自封袋后帶回實(shí)驗(yàn)室。在明亮的室內(nèi)環(huán)境（自然光+日光燈）下，將葉片樣本展平于白色背景上，利用安卓手機(jī)（華為NEM-TL00H，主攝像頭1 300萬(wàn)像素）垂直拍攝葉片樣本，拍攝距離約20~30 cm。

為了規(guī)范化數(shù)據(jù)集，利用OpenCV編寫(xiě)了圖像預(yù)處理程序，對(duì)葉片圖像依次進(jìn)行如下預(yù)處理：

1）將葉片圖像由RGB顏色空間轉(zhuǎn)換為HSI顏色空間，基于色度、飽和度信息對(duì)病害圖像進(jìn)行閾值分割，去除背景；

2）對(duì)分割結(jié)果進(jìn)行半徑為3像素的形態(tài)學(xué)開(kāi)閉運(yùn)算，去除毛刺、孔洞等噪聲；

3）填充目標(biāo)區(qū)域孔洞，形成目標(biāo)掩模，并計(jì)算油茶葉片目標(biāo)的二階矩和主軸角；

4）目標(biāo)掩模與原始圖像進(jìn)行乘法運(yùn)算得到彩色的葉片目標(biāo)，再根據(jù)主軸角旋轉(zhuǎn)葉片目標(biāo)，使其主軸沿水平對(duì)齊；

5）以長(zhǎng)邊為基準(zhǔn)，葉片目標(biāo)按比例縮放為256×256像素。

根據(jù)油茶病害癥狀，將預(yù)處理后的葉片圖像人工分為藻斑病、健康葉、軟腐病、煤污病和黃化病5種類(lèi)別，分別用0、1、2、3、4表示對(duì)應(yīng)的類(lèi)別標(biāo)簽，選取每類(lèi)各750個(gè)樣本組成數(shù)據(jù)集，病害示例樣本如圖1所示。從每類(lèi)樣本圖像中隨機(jī)選擇80%（即每類(lèi)600個(gè)樣本，共3 000個(gè)）用于訓(xùn)練，其余20%（即每類(lèi)150個(gè)樣本，共750個(gè)）用于測(cè)試，分別制作成TFRecord格式的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。

圖1 油茶病害葉片圖像示例

1.2 圖像數(shù)據(jù)擴(kuò)充

為了提高分類(lèi)準(zhǔn)確率，深度卷積神經(jīng)網(wǎng)絡(luò)需要大量訓(xùn)練樣本。然而，由于病害樣本采集比較困難，目前還缺乏大型的病害圖像數(shù)據(jù)集。通過(guò)對(duì)圖像樣本進(jìn)行仿射變換、透視變換、顏色抖動(dòng)、對(duì)比度增強(qiáng)、疊加噪聲等操作引入輕微的擾動(dòng)而實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充，可以減少訓(xùn)練階段的過(guò)度擬合，從而提升網(wǎng)絡(luò)的泛化性能。仿射變換包括平移、旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、錯(cuò)切等基本變換，具有平直性和平行性，即變換后直線(xiàn)依然為直線(xiàn)、平行線(xiàn)依然為平行線(xiàn)。通過(guò)透視變換可以模擬實(shí)際場(chǎng)景的不同視角。

利用OpenCV實(shí)現(xiàn)仿射變換的方法如下：

1）指定源圖像和目標(biāo)圖像中的3組對(duì)應(yīng)點(diǎn)；

2）利用OpenCV的getAffineTransform函數(shù)計(jì)算仿射變換矩陣；

3）利用OpenCV的warpAffine函數(shù)對(duì)源圖像應(yīng)用剛才的仿射變換。

利用OpenCV實(shí)現(xiàn)透視變換的方法如下：

1）指定源圖像和目標(biāo)圖像中的4組對(duì)應(yīng)點(diǎn)；

2）利用OpenCV的getPerspectiveTransform函數(shù)計(jì)算透視變換矩陣；

3）利用OpenCV的warpPerspective函數(shù)應(yīng)用剛才的透視變換。

試驗(yàn)中，對(duì)訓(xùn)練圖像樣本應(yīng)用隨機(jī)裁剪、隨機(jī)旋轉(zhuǎn)變換（0°、90°、180°、270°）、隨機(jī)透視變換（上、下、左、右4個(gè)方向）來(lái)擴(kuò)充訓(xùn)練數(shù)據(jù)集。對(duì)于AlexNet模型，將256×256像素的圖像隨機(jī)裁剪成227×227像素，相當(dāng)于數(shù)據(jù)集擴(kuò)充了29×29=841倍。加上隨機(jī)旋轉(zhuǎn)和隨機(jī)透視變換，極大擴(kuò)充了訓(xùn)練數(shù)據(jù)集的多樣性。為了避免變換后的圖像嚴(yán)重失真，將透視變換中對(duì)應(yīng)點(diǎn)的位移限制在圖像邊長(zhǎng)的10%以?xún)?nèi)，目標(biāo)圖像的畫(huà)布尺寸與源圖像保持一致。

2 試驗(yàn)方法

2.1 遷移學(xué)習(xí)

AlexNet和GoogleNet等深度卷積神經(jīng)網(wǎng)絡(luò)模型在圖像分類(lèi)中取得巨大成功，在大型圖像數(shù)據(jù)集ImageNet上獲得了充分訓(xùn)練，學(xué)習(xí)到了圖像分類(lèi)識(shí)別所需的大量特征。因此，可以運(yùn)用遷移學(xué)習(xí)思想[30]，充分利用AlexNet、GoogleNet等預(yù)訓(xùn)練模型在ImageNet數(shù)據(jù)集上學(xué)習(xí)到的大量知識(shí)，將其用于優(yōu)化油茶病害圖像分類(lèi)識(shí)別問(wèn)題。一種常用的遷移學(xué)習(xí)方法是特征遷移，去掉預(yù)訓(xùn)練網(wǎng)絡(luò)的最后一層，將其之前的激活值（可看作是特征向量）送入支持向量機(jī)等分類(lèi)器進(jìn)行分類(lèi)訓(xùn)練；另一種是參數(shù)遷移，只需重新初始化網(wǎng)絡(luò)的少數(shù)幾層（如最后一層），其余層直接使用預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)重參數(shù)，再利用新的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行精調(diào)。本文采用參數(shù)精調(diào)的遷移學(xué)習(xí)方式，將AlexNet修改為用于油茶病害識(shí)別的AlexNet_Camellia（AC）。相比于全新學(xué)習(xí)（即隨機(jī)初始化網(wǎng)絡(luò)所有層的權(quán)重參數(shù)，利用訓(xùn)練數(shù)據(jù)集對(duì)網(wǎng)絡(luò)從頭開(kāi)始全新訓(xùn)練），精調(diào)有助于網(wǎng)絡(luò)快速收斂。

2.2 模型結(jié)構(gòu)

AC模型采用AlexNet模型結(jié)構(gòu)，由5個(gè)卷積模塊和3個(gè)全連接模塊堆疊而成，最后1個(gè)全連接層的輸出數(shù)為5，對(duì)應(yīng)目標(biāo)類(lèi)別數(shù)，采用SoftMax計(jì)算損失，如圖2所示。卷積模塊conv1和conv2均是由卷積層、局部響應(yīng)歸一化層（local response normalization, LRN）、最大池化層組成，卷積模塊conv5由卷積層和最大池化層組成。全連接模塊fc6和fc7均包含了dropout層，在訓(xùn)練時(shí)隨機(jī)丟棄一些連接，參照AlexNet，丟棄概率設(shè)為0.5。池化降采樣保持了一定的平移不變性，重疊池化、dropout減輕了過(guò)擬合[20]。神經(jīng)元的激活函數(shù)采用線(xiàn)性整流函數(shù)（rectified linear unit, ReLU），其單側(cè)抑制特性使得神經(jīng)元具有稀疏激活性，可以有效解決梯度彌散，有助于加速網(wǎng)絡(luò)收斂。

2.3 模型優(yōu)化

網(wǎng)絡(luò)模型優(yōu)化的實(shí)質(zhì)是迭代最小化損失函數(shù)的過(guò)程。本文采用隨機(jī)梯度下降法（stochastic gradient descent, SGD）來(lái)實(shí)現(xiàn)模型優(yōu)化，學(xué)習(xí)率更新策略采用指數(shù)衰減法。訓(xùn)練初始階段設(shè)置較大的學(xué)習(xí)率，以期快速到達(dá)最優(yōu)解附近，隨后逐步降低學(xué)習(xí)率，避免因?qū)W習(xí)率較大而產(chǎn)生激烈振蕩。指數(shù)衰減法的學(xué)習(xí)率更新見(jiàn)式（1）：

式中為衰減后的學(xué)習(xí)率，0為初始學(xué)習(xí)率，d為衰減系數(shù)，為當(dāng)前的迭代次數(shù)，d為衰減步長(zhǎng)（即每迭代指定次數(shù)更新一次學(xué)習(xí)率），??表示向下取整。

采用交叉熵計(jì)算分類(lèi)損失，附加L2正則化對(duì)權(quán)重參數(shù)進(jìn)行懲罰，以減輕過(guò)擬合現(xiàn)象。損失函數(shù)見(jiàn)式（2）：

式中為訓(xùn)練損失，為權(quán)重參數(shù)，為正則項(xiàng)系數(shù)，為批次訓(xùn)練樣本，為期望的類(lèi)別概率，為模型預(yù)測(cè)的類(lèi)別概率，類(lèi)別概率由Softmax計(jì)算。

注：輸入層的圖像尺度為227×227像素；卷積層conv1~conv5的卷積核數(shù)目分別為96、256、384、384、256，卷積核大小分別為11×11、5×5、3×3、3×3、3×3像素，滑動(dòng)步長(zhǎng)分別為4、1、1、1、1，填充類(lèi)型分別為VALID、SAME、SAME、SAME、SAME；池化層pool1、pool2、pool5的池化類(lèi)型均為最大池化，核大小均為3×3像素，滑動(dòng)步長(zhǎng)均為2，填充類(lèi)型均為VALID；全連接層fc6、fc7、fc8的輸出單元數(shù)分別為4 096、4 096、5；卷積層、全連接層的激活函數(shù)均為ReLU。

Note: Image shape of input layer is 227×227 pixels; For conv1, conv2, conv3, conv4, and conv5 layers, the number of convolution kernels are 96, 256, 384, 384, and 256 repectively, convolution kernel size are 1×11, 5×5, 3×3, 3×3, and 3×3 pixels respectively, strides are 4, 1, 1, 1, and 1 respectively, and padding type are VALID, SAME, SAME, SAME, and SAME respectively; For pool1, pool2 and pool5 layers, pooling type is max, kernel size are 3×3 pixels, strides are 2, padding type are VALID; Output units of fc6, fc7 and fc8 layers are 4 096, 4 096 and 5; Activation fuctions of all convolution and fully connected layers are all ReLU.

圖2 油茶葉片病害識(shí)別模型

Fig.2 Recognition model forleaf disease

3 結(jié)果與分析

3.1 模型訓(xùn)練與測(cè)試結(jié)果

模型訓(xùn)練與測(cè)試均是在TensorFlow框架下完成的。硬件環(huán)境：Intel Xeon E5-2643v3 @3.40GHz CPU， 64GB內(nèi)存；Nvidia Quadro M4000 GPU，8GB顯存。軟件環(huán)境：CUDA Toolkit 9.0，CUDNN V7.0；Python 3.5.2；Tensorflow-GPU 1.8.0；Windows 7 64bit操作系統(tǒng)。

模型訓(xùn)練與測(cè)試均通過(guò)GPU加速。綜合考慮硬件性能和訓(xùn)練時(shí)間，測(cè)試和訓(xùn)練的批次樣本數(shù)均設(shè)置為50。測(cè)試間隔和顯示間隔均設(shè)為1個(gè)epoch（執(zhí)行完1次全部訓(xùn)練樣本，稱(chēng)之為1輪），快照保存間隔設(shè)為50個(gè)epoch，最大訓(xùn)練輪數(shù)設(shè)為300個(gè)epoch。參照經(jīng)典AlexNet模型[20]的參數(shù)設(shè)置，綜合考慮試驗(yàn)復(fù)雜度，組合2種學(xué)習(xí)方式（全新學(xué)習(xí)、遷移學(xué)習(xí)），3種數(shù)據(jù)擴(kuò)充方式（無(wú)擴(kuò)充、隨機(jī)裁剪、隨機(jī)裁剪+隨機(jī)透視+隨機(jī)旋轉(zhuǎn)），3組正則項(xiàng)系數(shù)（0、0.000 5、0.001），3組初始學(xué)習(xí)率（0.001、0.005、0.01），共進(jìn)行54組組合試驗(yàn)。

全新學(xué)習(xí)時(shí)，網(wǎng)絡(luò)模型的權(quán)值參數(shù)初值用均值為0、標(biāo)準(zhǔn)偏差為0.01的截?cái)嗾龖B(tài)分布隨機(jī)生成，在(-2,+2)區(qū)間內(nèi)取值，保證了其值在均值附近，偏置參數(shù)則初始化0。

遷移學(xué)習(xí)時(shí)，fc8層的權(quán)值參數(shù)與偏置參數(shù)按上面的方式隨機(jī)初始化，其他各層的與則從在ImageNet圖像數(shù)據(jù)集訓(xùn)練得到的AlexNet模型中加載。AC模型經(jīng)過(guò)300輪訓(xùn)練后，各組試驗(yàn)的訓(xùn)練與測(cè)試結(jié)果如表1所示。

表1 模型訓(xùn)練與測(cè)試的損失及準(zhǔn)確率

注：A、B、C為數(shù)據(jù)擴(kuò)充方式，A—無(wú)擴(kuò)充，直接將輸入圖像由256×256像素居中裁剪為227×227像素；B—將輸入圖像由256×256像素隨機(jī)裁剪為227 ×227像素；C—先隨機(jī)裁剪為227×227像素，再進(jìn)行隨機(jī)透視變換，最后隨機(jī)旋轉(zhuǎn)0°、90°、180°或270°。NaN表示因訓(xùn)練發(fā)散導(dǎo)致?lián)p失無(wú)窮大。訓(xùn)練輪數(shù)為300。

Note: A denotes no data augmentation, where input images are centrally cropped from 256×256 pixels to 227×227 pixels; B denotes that input images are randomly cropped to 227×227 pixels; C denotes that input images are fist randomly cropped to 227×227 pixels, then random perpective transformation is performed, and images are finally randomly rotated 0°, 90°, 180°, or 270°. NaN indicates training divergence resulted in infinite loss. Training epochs are 300.

3.2 模型性能的影響因素分析

3.2.1 學(xué)習(xí)率對(duì)模型性能的影響

訓(xùn)練過(guò)程中，學(xué)習(xí)率按照公式（1）呈階梯式指數(shù)衰減。參照TensorFlow的默認(rèn)值，結(jié)合試驗(yàn)經(jīng)驗(yàn)，衰減系數(shù)設(shè)為0.9，衰減步長(zhǎng)設(shè)為10輪，即訓(xùn)練過(guò)程中每10個(gè)epoch調(diào)整一次學(xué)習(xí)率。在遷移學(xué)習(xí)方式下，與fc8層相比，其他層均已得到充分訓(xùn)練，訓(xùn)練時(shí)只需微調(diào)，因此根據(jù)經(jīng)驗(yàn)將fc8層的初始學(xué)習(xí)率設(shè)置為其他層的10倍。

由表1可知，學(xué)習(xí)率對(duì)訓(xùn)練與測(cè)試結(jié)果影響較大。在全新學(xué)習(xí)方式下，由于所有層的參數(shù)均是隨機(jī)初始化，較大的學(xué)習(xí)率可以使得訓(xùn)練快速接近最優(yōu)解，因而在相同的訓(xùn)練輪數(shù)下可以獲得更高的訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率。例如，第9組試驗(yàn)，初始學(xué)習(xí)率為0.01，經(jīng)過(guò)300輪訓(xùn)練后，訓(xùn)練與測(cè)試準(zhǔn)確率分別達(dá)到99.43%和91.25%，比相同條件下的其他學(xué)習(xí)率試驗(yàn)高出約20~30個(gè)百分點(diǎn)。然而，如果初始學(xué)習(xí)率設(shè)置不當(dāng)，將導(dǎo)致訓(xùn)練振蕩甚至發(fā)散，如圖3。全新學(xué)習(xí)方式下，初始學(xué)習(xí)率為0.005的幾組試驗(yàn)（試驗(yàn)編號(hào)為2、5、8、11、14、17、20、23、26）均出現(xiàn)了如圖3a所示的振蕩。

圖3 學(xué)習(xí)率設(shè)置不當(dāng)情形下的損失及準(zhǔn)確率曲線(xiàn)

在遷移學(xué)習(xí)方式下，由于網(wǎng)絡(luò)前端各層均已獲得良好訓(xùn)練，訓(xùn)練初始時(shí)刻已接近最優(yōu)解，使用較大的學(xué)習(xí)率容易導(dǎo)致跳過(guò)最優(yōu)解，從而產(chǎn)生較大的損失、較低的準(zhǔn)確率或劇烈振蕩。學(xué)習(xí)率為0.01的各組試驗(yàn)（試驗(yàn)編號(hào)為30、33、36、39、42、45、48、51、54）以及學(xué)習(xí)率為0.005的2組試驗(yàn)（試驗(yàn)編號(hào)為38、41）均產(chǎn)生了劇烈的周期性波動(dòng)，訓(xùn)練與測(cè)試準(zhǔn)確率均只達(dá)到隨機(jī)猜測(cè)水平，部分試驗(yàn)因訓(xùn)練過(guò)程發(fā)散而導(dǎo)致訓(xùn)練損失無(wú)窮大（NaN值），如圖3b所示。學(xué)習(xí)率為0.001的各組試驗(yàn)（試驗(yàn)編號(hào)為28、31、34、37、40、43、46、49、52）則表現(xiàn)出了良好性能，訓(xùn)練300個(gè)epoch后的測(cè)試準(zhǔn)確率高達(dá)96.63%。經(jīng)驗(yàn)表明，遷移學(xué)習(xí)方式的初始學(xué)習(xí)率取為全新學(xué)習(xí)方式的1/10或1/100，一般能取得比較好的訓(xùn)練效果。

3.2.2 正則化對(duì)模型性能的影響

本文采用L2正則化，通過(guò)在損失函數(shù)中添加對(duì)權(quán)重參數(shù)的懲罰項(xiàng)（公式（2））來(lái)降低權(quán)重參數(shù)引起的過(guò)擬合。試驗(yàn)中，通過(guò)設(shè)置3組正則項(xiàng)系數(shù)（0、0.0005、0.001）來(lái)依次強(qiáng)化對(duì)權(quán)重參數(shù)的懲罰。由表1可知，在全新學(xué)習(xí)方式下，當(dāng)進(jìn)行數(shù)據(jù)擴(kuò)充和以低學(xué)習(xí)率訓(xùn)練時(shí)，正則化可以提高測(cè)試準(zhǔn)確率約4~10個(gè)百分點(diǎn)（如編號(hào)為10、13、16與19、22、25的試驗(yàn)）；而其他情形下則表現(xiàn)不穩(wěn)定（如編號(hào)為12、15、18的試驗(yàn)），原因在于正則化無(wú)法克服高學(xué)習(xí)率下訓(xùn)練波動(dòng)的影響。在遷移學(xué)習(xí)方式下，正則化的影響則很微弱，原因在于預(yù)訓(xùn)練模型的權(quán)重參數(shù)已獲得良好訓(xùn)練而降低了因較大權(quán)重參數(shù)而產(chǎn)生過(guò)擬合的風(fēng)險(xiǎn)。

3.2.3 數(shù)據(jù)擴(kuò)充對(duì)模型性能的影響

在其他參數(shù)相同的條件下，分別針對(duì)3種數(shù)據(jù)擴(kuò)充方式（A-無(wú)擴(kuò)充，居中裁剪為227×227；B-隨機(jī)裁剪為227×227；C-先隨機(jī)裁剪為227×227，再隨機(jī)透視，最后隨機(jī)旋轉(zhuǎn)0°、90°、180°或270°）進(jìn)行訓(xùn)練與測(cè)試，準(zhǔn)確率曲線(xiàn)示例如圖4所示。

圖4 不同數(shù)據(jù)擴(kuò)充方式下的訓(xùn)練與測(cè)試準(zhǔn)確率曲線(xiàn)

圖4a是在相同的學(xué)習(xí)方式（全新學(xué)習(xí)）、初始學(xué)習(xí)率（0.01）和正則項(xiàng)系數(shù)（0.001）以及不同的數(shù)據(jù)擴(kuò)充方式（A、B、C）下的3組試驗(yàn)（試驗(yàn)編號(hào)為9、18、27）的訓(xùn)練與測(cè)試準(zhǔn)確率曲線(xiàn)。圖4b是在相同的學(xué)習(xí)方式（遷移學(xué)習(xí)）、初始學(xué)習(xí)率（0.001）和正則項(xiàng)系數(shù)（0.001）以及不同的數(shù)據(jù)擴(kuò)充方式（A、B、C）下的3組試驗(yàn)（試驗(yàn)編號(hào)為34、43、52）的訓(xùn)練與測(cè)試準(zhǔn)確率曲線(xiàn)。

由圖4可知，在全新學(xué)習(xí)模式下，數(shù)據(jù)擴(kuò)充對(duì)于增加數(shù)據(jù)的多樣性，避免出現(xiàn)過(guò)擬合現(xiàn)象有較大的促進(jìn)作用；在遷移學(xué)習(xí)模式下，數(shù)據(jù)擴(kuò)充對(duì)于提升模型分類(lèi)性能的促進(jìn)作用較弱，是由于預(yù)訓(xùn)練模型在大型圖像數(shù)據(jù)集上學(xué)習(xí)到了大量知識(shí)，弱化了數(shù)據(jù)擴(kuò)充作用。在數(shù)據(jù)擴(kuò)充方式下，測(cè)試準(zhǔn)確率曲線(xiàn)表現(xiàn)出較大的波動(dòng)，如圖4a，A、B、C擴(kuò)充方式下的測(cè)試準(zhǔn)確率的波動(dòng)率分別為0.0919、0.1481、0.0818。準(zhǔn)確率的波動(dòng)性可以用鄰點(diǎn)準(zhǔn)確率差值的均方根來(lái)度量，見(jiàn)式（3）。

式中f為準(zhǔn)確率的波動(dòng)率，y為第點(diǎn)的準(zhǔn)確率，為準(zhǔn)確率點(diǎn)數(shù)。

準(zhǔn)確率波動(dòng)性大主要是因?yàn)樵囼?yàn)中為了節(jié)省擴(kuò)充數(shù)據(jù)集所需的巨大存儲(chǔ)空間而采用了在線(xiàn)動(dòng)態(tài)的數(shù)據(jù)擴(kuò)充方式，即訓(xùn)練過(guò)程中，對(duì)從訓(xùn)練數(shù)據(jù)集獲取的樣本順序疊加隨機(jī)裁剪、隨機(jī)透視、隨機(jī)旋轉(zhuǎn)等擾動(dòng)，一定程度上破壞了原數(shù)據(jù)集的樣本分布，但隨著訓(xùn)練輪數(shù)的增加，參與訓(xùn)練的原樣本和隨機(jī)樣本增多，將逐漸聚集在原樣本分布的中心，因而波動(dòng)幅度逐漸縮小，模型的魯棒性也會(huì)逐漸提高。

3.2.4 遷移學(xué)習(xí)對(duì)模型性能的影響

由圖4可見(jiàn)，遷移學(xué)習(xí)對(duì)于加速網(wǎng)絡(luò)收斂和提高訓(xùn)練與測(cè)試準(zhǔn)確率具有明顯的促進(jìn)作用。在全新學(xué)習(xí)模式下，訓(xùn)練初始階段的測(cè)試準(zhǔn)確率為0.2，僅達(dá)到隨機(jī)猜測(cè)水平，經(jīng)過(guò)300個(gè)epoch后，模型的測(cè)試準(zhǔn)確率才逐漸趨于穩(wěn)定。在遷移學(xué)習(xí)模式下，訓(xùn)練初始階段的測(cè)試準(zhǔn)確 率便達(dá)到0.4以上，之后網(wǎng)絡(luò)迅速收斂，經(jīng)過(guò)約10個(gè)epoch便達(dá)到訓(xùn)練準(zhǔn)確率峰值，經(jīng)過(guò)約100個(gè)epoch后接近測(cè)試準(zhǔn)確率峰值，節(jié)省了約2/3的訓(xùn)練時(shí)間。由表1可知，全新學(xué)習(xí)方式下，初始學(xué)習(xí)率為0.01的各組試驗(yàn)的模型性能相對(duì)較好，而在遷移學(xué)習(xí)方式下，初始學(xué)習(xí)率為0.001的各組試驗(yàn)的模型性能相對(duì)較好。將初始學(xué)習(xí)率0.001、遷移學(xué)習(xí)方式下的各組試驗(yàn)與初始學(xué)習(xí)率0.01、全新學(xué)習(xí)方式下的各組試驗(yàn)對(duì)應(yīng)相比，容易發(fā)現(xiàn)遷移學(xué)習(xí)的各組試驗(yàn)的模型測(cè)試準(zhǔn)確率高出全新學(xué)習(xí)的各組試驗(yàn)約5~54個(gè)百分點(diǎn)。

對(duì)性能較優(yōu)的第43組試驗(yàn)（學(xué)習(xí)方法為遷移學(xué)習(xí)，初始學(xué)習(xí)率為0.001，正則項(xiàng)系數(shù)為0.001，數(shù)據(jù)擴(kuò)充方式為隨機(jī)裁剪）中經(jīng)過(guò)300個(gè)epoch訓(xùn)練獲得的模型進(jìn)行測(cè)試，計(jì)算得到的混淆矩陣、查準(zhǔn)率、查全率、F1得分如表2所示。由表2的混淆矩陣可知，模型的平均分類(lèi)準(zhǔn)確率為96.53%，分類(lèi)性能（按F1得分）從高到低依次是黃化病、健康葉、煤污病、軟腐病、藻斑病。由混淆矩陣可以看出，分類(lèi)錯(cuò)誤主要為將藻斑病錯(cuò)分為軟腐病,主要是因?yàn)樵灏卟⊥砥诘纳珴膳c軟腐病類(lèi)似，病斑紋路不清晰，在低分辨率圖像下較難區(qū)分。

表2 模型的混淆矩陣與分類(lèi)性能

4 結(jié) 論

針對(duì)傳統(tǒng)識(shí)別方法存在特征提取耗時(shí)費(fèi)力的問(wèn)題，本文利用遷移學(xué)習(xí)方法和深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)油茶病害葉片圖像進(jìn)行了分類(lèi)試驗(yàn)，并對(duì)學(xué)習(xí)方法、數(shù)據(jù)擴(kuò)充方式、學(xué)習(xí)率、正則項(xiàng)系數(shù)等因素對(duì)模型性能的影響進(jìn)行了對(duì)比分析，得到如下結(jié)論：

1）深度卷積神經(jīng)網(wǎng)絡(luò)可以較好地自動(dòng)提取油茶病害特征，具有較高的分類(lèi)性能，平均識(shí)別準(zhǔn)確率達(dá)到96.53%以上；

2）相對(duì)于全新學(xué)習(xí)而言，遷移學(xué)習(xí)可以充分利用在大型數(shù)據(jù)集上學(xué)習(xí)得到的知識(shí)，可以顯著加速網(wǎng)絡(luò)收斂和提高分類(lèi)性能，可以節(jié)省約2/3的訓(xùn)練時(shí)間。在各自較優(yōu)的初始學(xué)習(xí)速率下，遷移學(xué)習(xí)的測(cè)試準(zhǔn)確率高出全新學(xué)習(xí)約5~54個(gè)百分點(diǎn)；

3）相對(duì)于正則項(xiàng)系數(shù)和數(shù)據(jù)擴(kuò)充方式，學(xué)習(xí)率對(duì)模型的穩(wěn)定性與分類(lèi)準(zhǔn)確率有較大影響，遷移學(xué)習(xí)的初始學(xué)習(xí)率一般取為全新學(xué)習(xí)的1/10可以取得比較好的訓(xùn)練效果；

4）數(shù)據(jù)擴(kuò)充對(duì)全新學(xué)習(xí)的影響大于遷移學(xué)習(xí)。在線(xiàn)動(dòng)態(tài)的數(shù)據(jù)擴(kuò)充方式節(jié)省了存儲(chǔ)擴(kuò)充數(shù)據(jù)所需的巨大空間，豐富了數(shù)據(jù)的多樣性，可以減輕模型的過(guò)擬合現(xiàn)象，但一定程度上破壞了原數(shù)據(jù)集的樣本分布，增加了訓(xùn)練的波動(dòng)性。

目前的模型局限于背景簡(jiǎn)單、病害單一的油茶病害葉片圖像。實(shí)際應(yīng)用可能需要直接在林地現(xiàn)場(chǎng)識(shí)別，同一葉片可能會(huì)有多種病害類(lèi)型的癥狀特征。今后應(yīng)進(jìn)一步豐富油茶病害圖像數(shù)據(jù)集，充分利用病害癥狀的多尺度特征，建立端到端的病斑分割與識(shí)別模型，以進(jìn)一步提升模型的識(shí)別率與實(shí)用性。

[1] 趙丹陽(yáng)，秦長(zhǎng)生. 油茶病蟲(chóng)害診斷與防治原色生態(tài)圖譜[M]. 廣州：廣東科技出版社，2015.

[2] 黃敦元，王森. 油茶病蟲(chóng)害防治[M]. 北京：中國(guó)林業(yè)出版社，2010.

[3] 劉濤，仲曉春，孫成明，等. 基于計(jì)算機(jī)視覺(jué)的水稻葉部病害識(shí)別研究[J]. 中國(guó)農(nóng)業(yè)科學(xué)，2014，47(4)：664－674. Liu Tao, Zhong Xiaochun, Sun Chengming, et al. Recognition of rice leaf diseases based on computer vision[J]. Scientia Agricultura Sinica, 2014, 47(4): 664－674. (in Chinese with English abstract)

[4] Phadikar S, Sil J. Rice disease identification using pattern recognition techniques[C]// International Conference on Computer and Information Technology. IEEE, 2008: 420－423.

[5] 張善文，張傳雷. 基于局部判別映射算法的玉米病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(11)：167－172. Zhang Shanwen, Zhang Chuanlei. Maize disease recognition based on local discriminant algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 167－172. (in Chinese with English abstract)

[6] 李冠林，馬占鴻，王海光. 基于支持向量機(jī)的小麥條銹病和葉銹病圖像識(shí)別[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2012，17(2)：72－79. Li Guanlin, Ma Zhanhong, Wang Haiguang. Image recognition of wheat stripe rust and wheat leaf rust based on support vector machine[J]. Journal of China Agricultural University, 2012, 17(2): 72－79. (in Chinese with English abstract)

[7] 毛罕平，張艷誠(chéng)，胡波. 基于模糊C均值聚類(lèi)的作物病害葉片圖像分割方法研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2008，24(9)：136－140. Mao Hanping, Zhang Yancheng, Hu Bo. Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(9): 136－140. (in Chinese with English abstract)

[8] 柴阿麗，李寶聚，石延霞，等. 基于計(jì)算機(jī)視覺(jué)技術(shù)的番茄葉部病害識(shí)別[J]. 園藝學(xué)報(bào)，2010，37(9)：1423－1430. Chai Ali, Li Baoju, Shi Yanxia, et al. Recognition of tomato foliage disease based on computer vision technology[J]. Acta Horticulturae Sinica, 2010, 37(9): 1423－1430. (in Chinese with English abstract)

[9] 張芳，王璐，付立思，等. 復(fù)雜背景下黃瓜病害葉片的分割方法研究[J]. 浙江農(nóng)業(yè)學(xué)報(bào)，2014，26(5)：1346－1355. Zhang Fang, Wang Lu, Fu Lisi, et al. Segmentation method for cucumber disease leaf images under complex background[J]. Acta Agriculturae Zhejiangensis, 2014, 26(5): 1346－1355. (in Chinese with English abstract)

[10] 江海洋，張建，袁媛，等. 基于MDMP-LSM算法的黃瓜葉片病斑分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(21)：142－148. Jiang Haiyang, Zhang Jian, Yuan Yuan, et al. Segmentation of cucumber disease leaf image based on MDMP-LSM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 142－148. (in Chinese with English abstract)

[11] 王樹(shù)文，張長(zhǎng)利. 基于圖像處理技術(shù)的黃瓜葉片病害識(shí)別診斷系統(tǒng)研究[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2012，43(5)：69－73. Wang Shuwen, Zhang Changli. Study on identification of cucumber leaf disease based on image processing[J]. Journal of Northeast Agricultural University, 2012, 43(5): 69－73. (in Chinese with English abstract)

[12] 王獻(xiàn)鋒，張善文，王震，等. 基于葉片圖像和環(huán)境信息的黃瓜病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(14)：148－153. Wang Xianfeng, Zhang Shanwen, Wang Zhen, et al. Recognition of cucumber diseases based on leaf image and environmental information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 148－153. (in Chinese with English abstract)

[13] 趙進(jìn)輝，羅錫文，周志艷. 基于顏色與形狀特征的甘蔗病害圖像分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39(9)：100－103. Zhao Jinhui, Luo Xiwen, Zhou Zhiyan. Image segmentation method for sugarcane diseases based on color and shape features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(9): 100－103.

[14] Arnal Barbedo J G. Digital image processing techniques for detecting, quantifying and classifying plant diseases[J]. SpringerPlus, 2013, 2(1): 1－12.

[15] Chaudhary P, Chaudhari A K, Cheeran A N, et al. Color transform based approach for disease spot detection on plant leaf[J]. International Journal of Computer Science and Telecommunications, 2012, 3(6): 65－70.

[16] 賈建楠，吉海彥. 基于病斑形狀和神經(jīng)網(wǎng)絡(luò)的黃瓜病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(增刊1)：115－121. Jia Jiannan, Ji Haiyan. Recognition for cucumber disease based on leaf spot shape and neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(Supp.1): 115－121. (in Chinese with English abstract)

[17] Patil J K, Kumar R. Feature extraction of diseased leaf images[J]. Journal of Signal and Image Processing, 2012, 3(1): 60－63.

[18] Hiary H A, Ahmad S B, Reyalat M, et al. Fast and accurate detection and classification of plant diseases[J]. International Journal of Computer Applications, 2011, 17(1): 31－38.

[19] Jian Z, Wei Z. Support vector machine for recognition of cucumber leaf diseases[C]// International Conference on Advanced Computer Control. IEEE, 2010: 264－266.

[20] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. 2012: 1097－1105.

[21] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//IEEE Computer Society. IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1－9.

[22] Deng J, Berg A, Satheesh S, Su H, et al. Imagenet large scale visual recognition competition 2012[EB/OL]. [2017-11-03]. http://image-net.org/challenges/LSVRC/2012.

[23] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]// International Conference on Learning Representations (ICLR), 2014，arxiv: abs/1409.1556.

[24] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770－778.

[25] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7:1－10.

[26] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J/OL]. Computational Intelligence andNeuroscience, 2016, 2016: 1－11. DOI: 10.1155 /2016 /3289801.

[27] Brahimi M, Boukhalfa K, Moussaoui A. Deep learning for tomato diseases: classification and symptoms visualization[J]. Applied Artificial Intelligence, 2017, 31(4): 299－315.

[28] 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209－215. Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209－215. (in Chinese with English abstract)

[29] Lu Y, Yi S, Zeng N, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocompu -ting,2017, 267: 378－384.

[30] Pan S, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345－1359.

Image recognition ofdiseases based on convolutional neural network & transfer learning

Long Mansheng, Ouyang Chunjuan, Liu Huan, Fu Qing

(1,,343009,;2,343009,)

Leaf diseases are a serious problem inproduction. The occurrence ofdisease is affected by various factors, such as variety, cultivation environment, climate condition and management level. The key to effective prevention and cure ofdisease is to identify the disease type timely and accurately. Traditional computer vision methods for plant leaf disease recognition depend heavily on time-consuming and elaborate feature design. To solve this problem, a recognition model ofleaf diseases based on convolutional neural network was proposed and transfer learning was used to improve model’s performance. Deep convolutional neural network has powerful capacities of feature learning and feature expression, which was used to learn features of diseasedleaves. Transfer learning method was used to transfer the knowledge learned from ImageNet dataset by AlexNet to the identification task ofdiseases. The proposed model was implemented with Python programming language under the deep learning framework of Tensorflow by modifying the output number of the last fully connected layers in AlexNet to 5. We collectedleaves in artificialland and took photos by mobile phone in bright indoor environment after flattening leaves. Leaf images were first converted from RGB (red, green, blue) color space to HSI (hue, saturation, intensity) color space, and then background was removed by threshold segmentation on hue and saturation channels. After segmentation, morphological open and close operations with a radius of 3 pixels were performed to remove burrs, holes and other noises, and thus the leaf mask was obtained by filling holes. Leaf mask was multiplied with the original image to obtain the colored leaf region. The colored leaf region was then rotated according to its principal axis angle and aligned horizontally. Based on the long edge, leaf image was scaled to 256×256 pixels. After these pretreatments,leaf images were manually identified as algal spot, soft rot, sooty mould, yellows and healthy leaf. A total of 750 images for each disease category were selected to form data set, 80% of samples were randomly selected for train set, and the remaining 20% for test set. To simulate different views of image acquisition and reduce over-fitting of network models, image datasets of diseasedleaf were augmented by random crop, random rotation and random perspective transformation. To save space for huge amount of augmented images, data augmentation was executed online when training. In random crop mode, image is randomly cropped from 256×256 to 227×227 pixels. In random rotation mode, image is randomly rotated by 0, 90, 180, or 270 degrees. In order to avoid serious distortion of the transformed image, the displacement of the corresponding point in perspective transformation is limited to 10% of the image width and height. A total of 54 experiments were performed on Nvidia GPU with a combination of 2 learning methods (training from scratch, transfer learning), 3 data augmentation modes (no augmentation, random cropping, sequential execution of random cropping, perspective transformation and rotation), 3 regularization coefficients (0.0, 0.0005, 0.0001), and 3 initial learning rates (0.001, 0.005, 0.01). When training from scratch, weights are randomly initialized with truncated normal distribution and biases are initialized with zero constant. In transfer learning, only the last fully connected layers’ weights and biases are reinitialized with random values, and those of other layers are assigned by the values from pre-trained AlexNet model. Experimental results show that transfer learning can significantly improve models’ convergence speed and classification performance, and data augmentation can enrich data diversity and avoid over fitting especially when training from scratch. The classification accuracy was as high as 96.53% in transfer learning, and the1 scores of algal spot, soft rot, sooty mould, yellows and healthy leaf achieved 94.28%, 94.67%, 97.31%, 98.34% and 98.03% respectively. This method has high recognition accuracy, and strong robustness to translation and rotation, and can provide references for intelligent diagnosis of plant leaf diseases.

disease; classification; crop;disease; image recognition; deep learning; transfer learning

10.11975/j.issn.1002-6819.2018.18.024

TP391.4; S431.9

A

1002-6819(2018)-18-0194-08

2017-07-20

2018-08-03

國(guó)家自然科學(xué)基金項(xiàng)目（41561065）；流域生態(tài)與地理環(huán)境監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金課題（WE2015002）；江西省自然科學(xué)基金項(xiàng)目（20151BAB203038，20161BAB204172）。

龍滿(mǎn)生，副教授，博士，主要從事圖像分析、虛擬仿真研究。Email：longmansheng@126.com

龍滿(mǎn)生，歐陽(yáng)春娟，劉 歡，付 青. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害識(shí)圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：194－201. doi：10.11975/j.issn.1002-6819.2018.18.024 http://www.tcsae.org

Long Mansheng, Ouyang Chunjuan, Liu Huan, Fu Qing. Image recognition ofdiseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194－201 (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.18.024 http://www.tcsae.org