蘇 鴻,溫國(guó)泉,謝 瑋,韋 冪,王筱東
(1.數(shù)字廣西集團(tuán)有限公司,廣西 南寧 530028;2.廣西農(nóng)業(yè)科學(xué)院農(nóng)業(yè)科技信息研究所,廣西 南寧 530007;3.廣西財(cái)經(jīng)學(xué)院,廣西 南寧 530003;4.廣西慧云信息技術(shù)有限公司,廣西 南寧 530007)
【研究意義】廣西作為柑橘(Citrus)的原產(chǎn)地之一,具有天然的生產(chǎn)地域優(yōu)勢(shì),柑、橘、橙和柚等柑橘品種種植面積均較大,其中2018年種植面積超過40萬hm2,產(chǎn)量近700萬t,在全國(guó)省(區(qū))中排名第一[1],形成了產(chǎn)前產(chǎn)中產(chǎn)后的全產(chǎn)業(yè)鏈。廣西柑橘種植主要分布于桂北、桂中、桂南及桂西南的石灰?guī)r旱坡地區(qū),季節(jié)性干旱及病蟲害制約著其產(chǎn)業(yè)規(guī)模的發(fā)展,尤其是黃龍病、紅蜘蛛和潰瘍病等的為害,導(dǎo)致柑橘生產(chǎn)成本居高不下,果品質(zhì)量下降,嚴(yán)重影響柑橘種植的經(jīng)濟(jì)效益[2]。雖然植物提取物作為一種新型植物源殺菌劑可為柑橘病蟲害的高效、綠色、環(huán)保防治提供無公害新選擇[3],但柑橘病蟲害種類繁多,技術(shù)人員匱乏,難以全部準(zhǔn)確診斷,無法滿足防治需求。而采用攝像設(shè)備對(duì)柑橘枝葉和果實(shí)進(jìn)行監(jiān)控,通過機(jī)器學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行識(shí)別,實(shí)現(xiàn)病癥自動(dòng)分類和預(yù)警,改變傳統(tǒng)病蟲害防治方式,可更好地滿足廣大果農(nóng)對(duì)柑橘病蟲害診斷與防治的需求。因此,研究基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)模型的廣西柑橘病蟲害識(shí)別方法,對(duì)提高柑橘重要病癥分類和病理檢測(cè)效率具有重要意義?!厩叭搜芯窟M(jìn)展】基于調(diào)制熒光檢測(cè)、高光譜成像技術(shù)的柑橘黃龍病傳統(tǒng)診斷方法過程復(fù)雜,需要儀器對(duì)生物樣本進(jìn)行檢測(cè)才能得出結(jié)果[4-5],耗費(fèi)大量人力和時(shí)間,且對(duì)不同分類樹葉的識(shí)別準(zhǔn)確率浮動(dòng)較大。卞云超等[6]基于MapReduce的新聚類算法對(duì)柑橘紅蜘蛛圖像進(jìn)行了單一目標(biāo)病害識(shí)別;而后雖開始興起用機(jī)器學(xué)習(xí)方法如支持向量機(jī)算法(SVM)和神經(jīng)網(wǎng)絡(luò)等開展識(shí)別研究,但僅以較初級(jí)的卷積神經(jīng)網(wǎng)絡(luò)(最高為8層)對(duì)潰瘍病進(jìn)行比較分析,識(shí)別效果有限[7]。國(guó)內(nèi)外圖像處理和機(jī)器學(xué)習(xí)算法在農(nóng)作物識(shí)別方面已有不少研究報(bào)道[4,8],但多數(shù)是基于通過圖像物體特征向量抽取,采用反向傳播(BP)網(wǎng)絡(luò)、SVM分類和k均值聚類(k-mean)算法開展研究[9-11]。BP和k-mean算法的應(yīng)用效果一般,而SVM屬于二分類算法,是對(duì)多維度特征向量數(shù)據(jù)從高維度映射到低維度空間進(jìn)行分類,通過對(duì)超平面線性方程的參數(shù)進(jìn)行樣本訓(xùn)練而求得最優(yōu)分割超平面[12]。隨著近年來神經(jīng)網(wǎng)絡(luò)的興起,通過R-CNN來識(shí)別和分類物體獲得了更高的準(zhǔn)確率和精度[13]。【本研究切入點(diǎn)】目前,針對(duì)基于R-CNN模型的柑橘病蟲害識(shí)別方法提高廣西柑橘重要病癥分類和病理檢測(cè)效率的研究鮮見報(bào)道?!緮M解決的關(guān)鍵問題】采用多層神經(jīng)網(wǎng)絡(luò)對(duì)廣西不同種類柑橘病蟲害特征進(jìn)行識(shí)別,分析其準(zhǔn)確率和空間復(fù)雜度,為提高廣西柑橘重要病癥分類和病理檢測(cè)效率提供參考依據(jù)。
對(duì)目標(biāo)進(jìn)行分類和識(shí)別的傳統(tǒng)做法是對(duì)圖片進(jìn)行預(yù)處理,例如轉(zhuǎn)化成灰度值圖片及進(jìn)行濾波等。本研究為了更好地識(shí)別圖片中植物的病癥,未對(duì)圖片進(jìn)行過多預(yù)處理,仍然保留圖片原來的像素顏色3通道,統(tǒng)一將圖片縮放至1000像素×1000像素,采樣圖像縮小后樹葉和柑橘果實(shí)的像素值一般在300×300~800×800,病癥的像素值(長(zhǎng)×寬的像素矩陣)也盡量保持在合理范圍內(nèi)。
由于果園里監(jiān)控?cái)z像機(jī)拍攝的照片會(huì)不同程度受到背景噪音影響,因此本研究在對(duì)病蟲害進(jìn)行分辨分類時(shí),首先對(duì)照片中的物體進(jìn)行有效識(shí)別,以驗(yàn)證可視的病理特征是否在相應(yīng)的物體上。如果不是目標(biāo)物體(果實(shí)和葉片),則將鑒別結(jié)果摒棄,以減少錯(cuò)誤識(shí)別率。而采用SVM方法每次只能對(duì)單個(gè)物體進(jìn)行識(shí)別和分類,無法將待識(shí)別目標(biāo)與背景有效區(qū)分開,其他的卷積網(wǎng)絡(luò)模型或分類神經(jīng)網(wǎng)絡(luò)模型如VGG(視覺幾何組網(wǎng)絡(luò))模型[14]在分類識(shí)別上的平均準(zhǔn)確率也不高,因此參考Ross等[15]的方法選擇R-CNN模型進(jìn)行柑橘病蟲害特征分類和識(shí)別。
1.2.1 R-CNN模型結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)選用R-CNN模型結(jié)構(gòu),其中主干網(wǎng)絡(luò)采用殘差神經(jīng)網(wǎng)絡(luò)(ResNet),在主干網(wǎng)絡(luò)輸出特征圖后經(jīng)過區(qū)域預(yù)測(cè)網(wǎng)絡(luò)(RPN),再經(jīng)過全鏈接層網(wǎng)絡(luò)(FCN)得到輸出的預(yù)測(cè)、物體框選及分類結(jié)果[16-17]。本研究側(cè)重于檢測(cè)照片中果實(shí)和枝葉的病理特征,已將背景和其他物體過濾掉,不需要太多的神經(jīng)網(wǎng)絡(luò)深度層級(jí),以減少空間復(fù)雜度,因此主干網(wǎng)選用了33層ResNet網(wǎng)絡(luò)結(jié)構(gòu)。
在ResNet主干網(wǎng)絡(luò)里,選用特征金字塔網(wǎng)絡(luò)(FPN)方法,將所有卷積層按先后順序分割成5塊向金字塔層級(jí)上面輸出的特征圖,然后與升維采樣(Upsample)中向下的金字塔鏈接,輸出每個(gè)層級(jí)不同尺度上特征值以預(yù)測(cè)物體。ResNet有2種卷積層(Block塊),一種是恒等映射塊(Identity block),輸入和輸出數(shù)據(jù)的維度一致,主要用來保證數(shù)據(jù)不會(huì)因?yàn)樘荻缺ǘд?,以增?qiáng)梯度的反向傳播;另一種是基本的卷積塊(Conv block),主要用來調(diào)整特征圖的大小并增加深度。一個(gè)ResNet的Identity block包含3個(gè)卷積層,每個(gè)卷積層均使用3×3卷積核(Filter conv)掃描(圖1),輸出向量維度和輸入向量維度一致,每個(gè)卷積層跟隨批量歸一化(BN)和激活函數(shù)(Relu)處理及一個(gè)跳躍連接(Shortcut),通過殘差函數(shù)加上跳躍連接(Shortcut)路徑上的值來保證F(x)殘差函數(shù)能根據(jù)輸入輸出相同向量,以不斷調(diào)整Identity block里的權(quán)值學(xué)習(xí)和偏移量參數(shù)。
圖1 卷積層恒等映射塊的層級(jí)網(wǎng)絡(luò)Fig.1 Convolution layer identity mapping block
圖2 柑橘病蟲害識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network structure for citrus disease and pest identification
本研究的R-CNN模型主干網(wǎng)共有33層ResNet結(jié)構(gòu)卷積層(圖2)。其中,普通卷積層(Conv)采用3層,Identity block采用10個(gè)塊(每個(gè)Identity block 有3個(gè)相同輸出維度的卷積層)。在Identity block里的第1個(gè)Conv用來調(diào)整主干網(wǎng)初始輸入向量維度,其他Conv插在Identity block中的層級(jí)之間用于控制輸出向量維度。R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)與普通的Fast R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)一致,從主干輸出再以FCN全卷積網(wǎng)絡(luò)代替全鏈接層,以減少輸出的通道和參數(shù),比一般的ResNet101和ResNet50網(wǎng)絡(luò)結(jié)構(gòu)少了很多層級(jí),極大減少了計(jì)算復(fù)雜度。然后采用通用的9種比例錨選擇框(Anchor boxes)對(duì)主干網(wǎng)輸出的特征圖進(jìn)行RPN[18]。假設(shè)有k種(k為自定義數(shù)量,對(duì)應(yīng)不同長(zhǎng)寬的錨選擇框,一般選擇k值為9,即9種錨選擇框,數(shù)值越大可檢測(cè)的精度越高)錨選擇框?qū)?yīng)每個(gè)輸出特征圖的像素,最后在主干網(wǎng)絡(luò)后面FCN對(duì)應(yīng)RPN里輸出的每個(gè)像素點(diǎn),則有需要回歸的邊框包圍盒(使用邊框包圍盒的目的是進(jìn)行回歸預(yù)測(cè)分類計(jì)算)4k和2k個(gè)。
1.2.2 網(wǎng)絡(luò)訓(xùn)練損失函數(shù)計(jì)算 通過對(duì)目標(biāo)物體位置檢測(cè),在RPN層后的FCN層使用歸一化指數(shù)函數(shù)(Softmax)(Pi)分類器篩選后,用交叉熵來表示分類的損失函數(shù)。物體位置檢測(cè)的損失函數(shù)可用L2算法來回歸并計(jì)算RPN的物體檢測(cè)候選框回歸損失函數(shù)。為防止梯度爆炸,同時(shí)設(shè)置較小的學(xué)習(xí)率(Learning rate)或使用Adam算法來控制學(xué)習(xí)率[19],采用log函數(shù)來防止過快的梯度爆炸。
以網(wǎng)絡(luò)輸出預(yù)測(cè)值和物體真實(shí)值(Ground truth)進(jìn)行以上損失函數(shù)計(jì)算,通過大量樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,最后得到能精確預(yù)測(cè)目標(biāo)分類的網(wǎng)絡(luò)模型。
1.3.1 主干網(wǎng)模型復(fù)雜度分析和預(yù)測(cè)平均準(zhǔn)確率比較 主干網(wǎng)選用33層ResNet網(wǎng)絡(luò)結(jié)構(gòu),通過計(jì)算處理,分別與ResNet101、VGG-19及非主干網(wǎng)模型SVM等其他機(jī)器學(xué)習(xí)方法作比較,分析各模型的復(fù)雜度;進(jìn)一步計(jì)算分析各模型對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病識(shí)別的預(yù)測(cè)準(zhǔn)確率。
1.3.2 柑橘病蟲害的R-CNN模型識(shí)別率比較 取分辨率在1280像素以上的柑橘果實(shí)和葉片樣本數(shù)據(jù)500張,分別采用R-CNN模型與線性SVM和VGG-19模型進(jìn)行訓(xùn)練和標(biāo)簽,進(jìn)行柑橘黃龍病、紅蜘蛛感染和潰瘍病的識(shí)別率比較,找出對(duì)廣西柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法。
在以往的神經(jīng)網(wǎng)絡(luò)分類中,較大的樣本分布差異會(huì)影響類別分類,因此本研究主要對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行識(shí)別。本研究采用的ResNet類型網(wǎng)絡(luò)只有33層卷積,相比ResNet101少了2/3的卷積層計(jì)算量,預(yù)測(cè)的平均準(zhǔn)確率僅比其低3.10 %(絕對(duì)值,下同),而比VGG-19模型的準(zhǔn)確度高8.60 %(表1)。ResNet101的神經(jīng)網(wǎng)絡(luò)層級(jí)雖然較多,但其耗費(fèi)的計(jì)算量也隨之增大,在相同計(jì)算處理能力下耗時(shí)更長(zhǎng),對(duì)長(zhǎng)期監(jiān)控野外的設(shè)備是個(gè)不小的負(fù)擔(dān);而33層的ResNet作為主干網(wǎng)絡(luò),雖然識(shí)別準(zhǔn)確率降低3.10 %,但卷積層級(jí)計(jì)算量減少2/3;VGG-19模型對(duì)很多小型網(wǎng)絡(luò)有效,但是針對(duì)移動(dòng)低功耗端設(shè)備的應(yīng)用,33層ResNet的卷積層結(jié)構(gòu)在柑橘病癥識(shí)別方面的準(zhǔn)確率更高。
表1 主干網(wǎng)和非主干網(wǎng)模型的復(fù)雜度和預(yù)測(cè)平均準(zhǔn)確率對(duì)比
訓(xùn)練樣本數(shù)據(jù)有500張分辨率在1280像素以上的柑橘果實(shí)和葉片背景圖,每張圖片均能標(biāo)簽10個(gè)以上需預(yù)測(cè)和分類的物體(圖3)。其中80 %用于神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練,20 %用于神經(jīng)網(wǎng)絡(luò)模型評(píng)估。本研究設(shè)計(jì)的模型在循環(huán)訓(xùn)練時(shí)對(duì)樣本隨機(jī)抽取訓(xùn)練樣本,盡量做到樣本分布能覆蓋所有情況(包括背景、光線和角度等),以避免同一階段重復(fù)取樣導(dǎo)致模型輸出過擬合。為了驗(yàn)證神經(jīng)網(wǎng)絡(luò)模型的性能,本研究選取其中500個(gè)樣本對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行SVM分析,進(jìn)行100次樣本循環(huán)訓(xùn)練可得到93.10 %的平均準(zhǔn)確率(表1),而使用R-CNN模型分析對(duì)黃龍病的識(shí)別平均準(zhǔn)確率達(dá)95.20 %(表1)。
用線性SVM分別對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病進(jìn)行訓(xùn)練和識(shí)別,損失函數(shù)用平方鉸鏈損失(Square hinge loss)測(cè)試識(shí)別結(jié)果與R-CNN模型識(shí)別結(jié)果進(jìn)行比較,其正樣本率受試特征者(ROC)分別如圖4~圖6所示。從ROC圖可看出,R-CNN模型對(duì)黃龍病的識(shí)別真正率(識(shí)別準(zhǔn)確率)為95.30 %,高于對(duì)紅蜘蛛感染的識(shí)別準(zhǔn)確率(90.30 %),低于對(duì)潰瘍病的識(shí)別準(zhǔn)確率(99.10 %),但均相應(yīng)優(yōu)于SVM對(duì)黃龍病、紅蜘蛛感染和潰瘍病的識(shí)別準(zhǔn)確率(分別為93.20 %、88.20 %和95.20 %)??梢?,在樣本一致和數(shù)量下同的條件下,33層ResNet的R-CNN模型對(duì)柑橘樣本病癥的識(shí)別準(zhǔn)確率優(yōu)于SVM。
在分類測(cè)試方面,以柑橘黃龍病、紅蜘蛛感染和潰瘍病病癥特征和背景的500個(gè)樣本圖片使用VGG-19模型和R-CNN模型的ResNet骨干網(wǎng)進(jìn)行訓(xùn)練和標(biāo)簽,結(jié)果(表2)表明,R-CNN模型對(duì)各類別病癥的識(shí)別率均高于VGG-19模型相應(yīng)病癥的識(shí)別率。
圖3 柑橘黃龍病、紅蜘蛛感染和潰瘍病的檢測(cè)Fig.3 Detection effect of citrus Huanglongbing,red spider mite infection and canker
圖4 R-CNN模型與線性SVM對(duì)柑橘黃龍病的識(shí)別檢測(cè)結(jié)果對(duì)比Fig.4 Comparison of R-CNN model and linear SVM for citrus Huanglongbing recognition and detection
圖5 R-CNN模型與線性SVM對(duì)柑橘紅蜘蛛感染的識(shí)別檢測(cè)結(jié)果對(duì)比Fig.5 Comparison of R-CNN model and linear SVM for citrus red spider mite infection recognition and detection
由表2可知,對(duì)R-CNN模型進(jìn)行訓(xùn)練后,對(duì)柑橘潰瘍病的平均識(shí)別準(zhǔn)確率達(dá)99.12 %,比VGG-19模型提高4.25 %;柑橘黃龍病的病理特征比較明顯,因而比較好區(qū)分,R-CNN模型對(duì)黃龍病的平均識(shí)別準(zhǔn)確率達(dá)95.31 %,比VGG-19模型提高2.55 %;對(duì)紅蜘蛛感染的預(yù)測(cè),由于其葉片正面病理特征不明顯,在取樣時(shí)較難與正常的葉片區(qū)分,但其平均識(shí)別準(zhǔn)確率仍達(dá)90.23 %,且比VGG-19模型提高4.62 %。說明本研究的R-CNN模型在較少神經(jīng)元參數(shù)的情況下,可減少空間復(fù)雜度,對(duì)設(shè)備的利用成本較低,但能獲得較理想的柑橘葉片黃龍病、紅蜘蛛感染和潰瘍病識(shí)別效果,可實(shí)現(xiàn)在廣西柑橘果園大量部署和識(shí)別應(yīng)用。
圖6 R-CNN模型與線性SVM對(duì)柑橘潰瘍病的識(shí)別檢測(cè)結(jié)果對(duì)比Fig.6 Comparison of R-CNN model and linear SVM for citrus canker recognition and detection
表2 主干網(wǎng)分類預(yù)測(cè)柑橘黃龍病、紅蜘蛛感染和潰瘍病的平均準(zhǔn)確率和Top-1錯(cuò)誤率對(duì)比(n=500)
Table 2 Comparisons of backbone network predicted average accuracy for citrus Huanglongbing,red spider mite infection and canker and top-1 error
模型Model分類Classification平均準(zhǔn)確率(%)Average accuracy rateTop-1錯(cuò)誤率(%)Top-1 error rateVGG-19黃龍病92.769.12紅蜘蛛感染85.61潰瘍病 94.87R-CNN黃龍病 95.316.85紅蜘蛛感染90.23潰瘍病 99.12
本研究使用R-CNN模型、設(shè)計(jì)主干33層卷積網(wǎng)絡(luò)對(duì)柑橘病蟲害進(jìn)行識(shí)別分析,適宜南方柑橘果園環(huán)境和當(dāng)?shù)卦O(shè)備條件應(yīng)用。比起其他研究中使用簡(jiǎn)單卷積和使用傳統(tǒng)的圖像處理(濾波和圖像預(yù)處理),R-CNN模型能區(qū)分更多的柑橘葉片病理特征,且測(cè)試儀成本較低。與線性SVM相比,R-CNN模型對(duì)柑橘潰瘍病的平均識(shí)別準(zhǔn)確率達(dá)99.10 %,對(duì)柑橘黃龍病的平均識(shí)別準(zhǔn)確率達(dá)95.30 %,對(duì)柑橘紅蜘蛛感染的平均識(shí)別準(zhǔn)確率達(dá)90.30 %;在分類測(cè)試方面,分類效果也優(yōu)于VGG-19模型,對(duì)柑橘黃龍病的平均識(shí)別準(zhǔn)確率達(dá)95.31 %,對(duì)柑橘紅蜘蛛感染的平均識(shí)別準(zhǔn)確率達(dá)90.23 %,對(duì)柑橘潰瘍病的平均識(shí)別準(zhǔn)確率達(dá)99.12 %,分別提高4.25 %、4.62 %和2.55 %。因此,本研究使用基于33層ResNet為主干網(wǎng)絡(luò)的R-CNN模型雖然選用的卷積層網(wǎng)絡(luò)較少,但獲得較高的平均識(shí)別準(zhǔn)確率,是一種對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法,可在廣西柑橘果園大量部署應(yīng)用。
近年來,CNN模型在作物病害防治領(lǐng)域的應(yīng)用已逐漸興起。本研究中基于33層ResNet主干網(wǎng)的專用R-CNN模型對(duì)柑橘黃龍病、紅蜘蛛感染及潰瘍病的平均識(shí)別準(zhǔn)確率分別達(dá)95.31 %、90.23 %和99.12 %,而徐冬[20]采用CNN的特征學(xué)習(xí)方法對(duì)大豆病害特征進(jìn)行自動(dòng)提取學(xué)習(xí),并通過模型改進(jìn),使識(shí)別準(zhǔn)確率迅速收斂至94.6 %,孫俊等[21]對(duì)傳統(tǒng)CNN模型進(jìn)行改進(jìn)得到8種模型,通過對(duì)14種不同植物的26類病害進(jìn)行識(shí)別訓(xùn)練篩選出最優(yōu)模型,其測(cè)試平均識(shí)別準(zhǔn)確率達(dá)99.56 %,表明基于CNN改進(jìn)模型的病害識(shí)別準(zhǔn)確率較理想,具有良好的應(yīng)用潛力。
本研究發(fā)現(xiàn),受紅蜘蛛感染的葉片由于病理特征不明顯,因此識(shí)別準(zhǔn)確率相對(duì)較低,表明葉片病理特征是影響識(shí)別準(zhǔn)確率的重要因素,與邱靖等[22]對(duì)水稻病害紋理特征的研究結(jié)果相似。值得注意的是,影響識(shí)別準(zhǔn)確率的原因除圖像及網(wǎng)絡(luò)本身外還有樣本噪聲,因?yàn)樵趫D像監(jiān)督式學(xué)習(xí)中,設(shè)置的圖像樣本實(shí)際標(biāo)簽值與理論值相比不可能做到完全準(zhǔn)確,致使訓(xùn)練出現(xiàn)一定誤差。林中琦[23]研究認(rèn)為,高質(zhì)量、大數(shù)量、多類別的標(biāo)簽數(shù)據(jù)集對(duì)于CNN性能提升意義重大,因此,在進(jìn)一步的研究中還可將對(duì)抗性網(wǎng)絡(luò)模型或記憶類網(wǎng)絡(luò)模型融入進(jìn)行半監(jiān)督式訓(xùn)練,以提升對(duì)柑橘病理特征的平均識(shí)別準(zhǔn)確率,并擴(kuò)展到對(duì)柑橘其他病癥如鋅和錳等微量元素缺失特征的共同識(shí)別,以極大減少訓(xùn)練計(jì)算成本,提高柑橘生產(chǎn)的經(jīng)濟(jì)效益。
R-CNN模型識(shí)別是一種對(duì)柑橘黃龍病、紅蜘蛛感染和潰瘍病行之有效的鑒別方法,可在廣西柑橘果園大量部署和應(yīng)用。