陳家政，朱立學(xué)，張世昂，黃偉鋒

（仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣東 廣州 510225）

0 引言

我國是世界第二大香蕉生產(chǎn)國，產(chǎn)量僅次于巴西[1]。同時，據(jù)世界糧農(nóng)組織2017 年數(shù)據(jù)顯示，全球有130 多個國家種植香蕉，年種植面積超過500萬hm2，年產(chǎn)量超過1 億t，是世界第二大水果作物，也是世界貿(mào)易量最大的水果[2]。在非洲和中南美洲等地，超過4 億人將香蕉作為主食，香蕉已成為繼水稻、小麥和玉米后的第四大糧食作物[3]。氮素是植物生命的基礎(chǔ)，是植物葉綠素的重要組成部分。香蕉植株缺少氮素時，葉片失去綠色，植株表現(xiàn)為生長發(fā)育延緩、生長量不足、植株莖葉矮小、果實產(chǎn)量和品質(zhì)下降[4]，氮素是影響香蕉植株生長的重要元素之一。因此，對香蕉植株缺氮葉片的檢測識別，可初步判斷植株的生長狀況，有利于在香蕉缺氮早期及時采取相應(yīng)措施。

多光譜圖像在農(nóng)業(yè)中已得到廣泛應(yīng)用。LUXON等[5]利用多光譜遙感圖像，評估南非Limpopo 省Venda-Gazankulu 地區(qū)的灌溉農(nóng)業(yè)的地下水使用情況，有助于優(yōu)化地下水管理以及提供干旱地區(qū)在缺水時的恢復(fù)速度。XIAYAO 等[6]利用無人機(jī)搭載多光譜傳感器，測量小麥的葉面積指數(shù)，建立葉面積指數(shù)模型的相對均方根誤差（RRMSE）為24%，為優(yōu)化氮肥提供潛在的技術(shù)支持。OSCAR 等[7]將RGB圖像與多光譜圖像融合，分析稻田內(nèi)的標(biāo)準(zhǔn)化綠色紅差指數(shù)（NGRDI），并用二階Haar 波變換的方法對稻田內(nèi)的雜草進(jìn)行檢測。HECTOR 等[8]使用多光譜和RGB 圖像，通過計算植被指數(shù)、植物密度、樹冠覆蓋率的方法，利用神經(jīng)網(wǎng)絡(luò)對玉米谷物的產(chǎn)量進(jìn)行預(yù)估，模型估計的產(chǎn)量與實際觀測得到的產(chǎn)量數(shù)據(jù)具有較高的相關(guān)系數(shù)，可用于玉米種植規(guī)劃。

深度學(xué)習(xí)在目標(biāo)檢測、圖像識別上比傳統(tǒng)圖像識別技術(shù)有了巨大的進(jìn)步。在農(nóng)作物病害識別上，近年來也有相關(guān)的進(jìn)展。熊方康等[9]基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks），對農(nóng)作物的病害葉片進(jìn)行識別分類，提出將現(xiàn)有的數(shù)據(jù)集訓(xùn)練GAN 模型，再利用該模型生成數(shù)據(jù)集進(jìn)行識別，使模型具有很強(qiáng)的通用性。樊湘鵬等[10]針對田間環(huán)境復(fù)雜的問題，提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)對復(fù)雜背景下的玉米病害進(jìn)行識別，比未優(yōu)化的網(wǎng)絡(luò)識別精度提高了9.02%。MOHIT 等[11]利用VGG16 網(wǎng)絡(luò)模型在包含39 種不同農(nóng)作物的數(shù)據(jù)集中，識別10 種番茄的病害，最佳準(zhǔn)確性達(dá)到93.5%。SALEEM 等[12]基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-based Convolutional Neural Network）對26 種不同類型的病害葉片以及12 種健康葉片進(jìn)行識別，經(jīng)過Adam 優(yōu)化器訓(xùn)練的SSD 模型得出73.07%的最高平均精度，所產(chǎn)生的權(quán)重可以重新用于受控或非受控環(huán)境中的植物病害實時檢測。深度學(xué)習(xí)在病害檢測方面具有良好的表現(xiàn)效果。WU 等[13]為解決蘋果樹自動疏花問題，基于YOLO v4 算法進(jìn)行改進(jìn)，對蘋果樹的花蕊進(jìn)行識別，識別準(zhǔn)確率為97.31%。

為分析深度學(xué)習(xí)算法借助多光譜圖像對香蕉植株缺氮葉片識別的可行性，本文以健康蕉葉與缺氮蕉葉為研究對象，利用RGB 相機(jī)與多光譜相機(jī)獲取兩種葉片在田間光照充足以及陰天環(huán)境下的圖像數(shù)據(jù)，利用多個目標(biāo)檢測網(wǎng)絡(luò)對比評估兩種圖像的識別效果。

1 材料與方法

1.1 敏感波段預(yù)試驗

研究區(qū)域位于廣東省廣州市岑村，該香蕉林內(nèi)的部分香蕉植株缺少氮素，導(dǎo)致葉片泛黃、干枯以及植株莖葉矮小，如圖1 所示。根據(jù)研究區(qū)域香蕉植株的生長情況，對部分健康蕉葉以及缺少氮素的蕉葉裁剪并進(jìn)行光譜波段分析。其中，缺少氮素的葉分為3類，分別是從綠葉過渡至黃葉期間的綠黃色葉片、泛黃色葉片以及邊緣已經(jīng)干枯的褐色葉片。

圖1 香蕉植株缺氮生長情況Fig.1 Growth of banana under nitrogen deficiency

采用四川雙利合譜公司生產(chǎn)的GaiaSky-mini 高光譜儀，在暗箱環(huán)境下對健康葉片以及缺乏氮素的3類葉片進(jìn)行光譜數(shù)據(jù)采集。暗箱內(nèi)的采集樣本如圖2所示。

圖2 暗箱下高光譜數(shù)據(jù)獲取Fig.2 Hyperspectral data acquisition under dark box

采集高光譜數(shù)據(jù)后，使用ENVI5.3 軟件在高光譜圖像上根據(jù)4 種分類選取感興趣的區(qū)域ROI（region of interest），對4 種分類所選取的ROI 區(qū)域以均值的方式計算其平均光譜曲線如圖3a 所示，并把綠黃色葉片、黃色葉片以及褐色葉片的光譜曲線與健康光譜曲線作差并求絕對值，以此獲得不同階段缺氮葉片與健康葉片的光譜差異曲線，如圖3b 所示。

圖3 高光譜曲線Fig.3 Hyperspectral curve

由圖3a 可以看出，藍(lán)色曲線的健康葉片在690 nm 的波段范圍內(nèi)，光譜曲線出現(xiàn)局部最小值，其反射率遠(yuǎn)低于另外3 種異常葉片，之后反射率不斷增加，直至大約740 nm 附近到達(dá)頂峰。綠色曲線為健康綠葉與黃葉過渡間的綠黃色葉片，其曲線樣貌與健康葉片類似，都在690 nm 與740 nm 的波段上有谷底與谷峰，但在500 nm 的波段開始至740 nm 結(jié)束，其反射率要高于健康葉片的光譜曲線，差異在560～690 nm 范圍內(nèi)尤為明顯，其原因為香蕉植株缺少氮元素后，葉片內(nèi)葉綠素的含量降低，葉綠素含量降低導(dǎo)致葉片對紅光附近波段的吸收能力變?nèi)?，使得該范圍附近波段的反射增?qiáng)，從而導(dǎo)致560～760 nm 間綠黃色葉片光譜曲線的反射率比健康葉片的反射率要高。因此，可選用該范圍作為特征波段區(qū)分兩種葉片。相較于健康葉片與綠黃色葉片，黃色葉片與褐色葉片的光譜曲線整體呈現(xiàn)為單山峰狀，缺少了690 nm 波段的峰谷，其原因是這兩種葉片的葉綠素含量過少，使得葉片沒有吸收紅光附近波段的能力，進(jìn)而在560～760 nm 波段的光線幾乎全部反射，由此曲線失去了峰谷形狀。

從圖3b 的光譜差異曲線反映了3 種異常葉片與健康葉片在光譜上的差異，從橙色的綠黃葉與健康葉的差異曲線分析得知，差異波段為500～760 nm，最大差值在710 nm 波段附近，但該波段與其它兩種葉片重合，因此，要區(qū)分出綠黃色葉片可選擇630～700 nm 范圍內(nèi)的某個窄帶波段作為特征值。黃色葉片與褐色葉片與健康葉片的光譜差異曲線基本相同，但褐色葉片在760～1 000 nm 的不可見光波段內(nèi)與健康葉片有區(qū)別，而其它兩種葉片沒有區(qū)別。因此，可嘗試使用不可見光波段內(nèi)的某個窄帶波段作為特征值，用于區(qū)分健康葉片與缺氮葉片。

1.2 圖像采集與處理

根據(jù)敏感波段預(yù)實驗得出的光譜特征波段范圍，本研究采用美國MAPIR 公司生產(chǎn)的Survey3 多光譜相機(jī)，該相機(jī)拍攝照片的像素分辨率為4 000×3 000，可采集550±20、660±20、850±30 nm 波段的光譜數(shù)據(jù)。RGB 圖片采用深圳鷹眼航拍科技有限公司生產(chǎn)的飛螢8 運動相機(jī)，使用索尼IMX17 1/2.3 英寸傳感器，拍攝照片的像素分辨率為4 032×3 024。

數(shù)據(jù)采集時，為了防止相機(jī)自動曝光的影響，兩款相機(jī)拍攝時曝光補(bǔ)償均為0，ISO 均設(shè)置為100。篩選出背景干擾較小的圖片用于模型訓(xùn)練，4 種類型的圖片各篩選250 張。數(shù)據(jù)采集結(jié)果如表1 所示。

表1 數(shù)據(jù)采集結(jié)果Tab.1 Data acquisition results

為了解決同一區(qū)域所采集的數(shù)據(jù)比較單一，泛化能力不強(qiáng)等問題，本文采用圖像增強(qiáng)技術(shù)，將加噪聲、調(diào)整圖像亮度、隨機(jī)改變像素點值、平移以及鏡像的方法隨機(jī)組合運用在原始圖像上，進(jìn)一步擴(kuò)充圖像數(shù)據(jù)，以此達(dá)到增加訓(xùn)練樣本，減少模型過擬合的目的。最終對每張原始圖像增強(qiáng)10 倍，使晴天與陰天的RGB 與多光譜圖像樣本數(shù)均達(dá)到2 500 張。

1.3 目標(biāo)檢測算法

目標(biāo)檢測是對輸入圖像中的所有目標(biāo)進(jìn)行分類，并定位其在圖像中的位置和范圍[14]。目標(biāo)檢測方法可以分為兩類，two-stage 和one-stage 目標(biāo)檢測方法。one-stage 的特點是一步到位、速度較快，最典型的算法是YOLO 系列算法。two-stage 的特點是準(zhǔn)確率高，但速度較one-stage 慢，其代表算法有Faster R-CNN。針對不同目標(biāo)檢測算法對同一目標(biāo)的識別率存在差異的問題，本研究采用YOLO v4、Efficientdet 以及Faster R-CNN3 種不同算法做對比研究，用于對比多光譜圖片與RGB 圖片對病害葉片的識別效果。

2 結(jié)果與討論

本文的模型訓(xùn)練配置環(huán)境如下：Windows 10 64 位系統(tǒng)，AMD Ryzen 7 3800X（3.9 GHz）處理器，16 GB 內(nèi)存，Nvidia RTX 2080 顯卡，Python3.6，采用Keras2.1.5 深度學(xué)習(xí)框架（Tensorflow 后端）。RGB 圖片與多光譜圖片的數(shù)據(jù)集按照8∶1∶1 的比例劃分為訓(xùn)練集、驗證集和測試集。模型的初始學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)為300 次，各個模型最終選取其迭代過程中性能最優(yōu)的模型參數(shù)作為對比研究。

2.1 評價指標(biāo)

為了對比RGB 圖像與多光譜圖像對算法模型檢測模型的影響，本研究采用F1 score 指標(biāo)，對兩種模型的性能進(jìn)行評估。F1 score 被稱為F1 平衡分?jǐn)?shù)，其定義是精確率和召回率的調(diào)和平均分。精確率和召回率的計算公式如式（1）和式（2）所示，F(xiàn)1 score 的計算公式如式（3）所示。

式中TP為被正確分類的正樣本數(shù)量，個；FP為被錯誤分類的正樣本數(shù)量，個；FN為被錯誤分類的負(fù)樣本數(shù)量，個。

2.2 RGB模型與多光譜模型性能對比

對比表2 和表3 的模型性能結(jié)果可以看出，同一光照環(huán)境下，3 種算法對病害葉片的檢測性能大小分別為YOLO v4 >Efficientdet >Faster-RCNN。不管在光照強(qiáng)烈的環(huán)境，還是陰天環(huán)境下，同一種算法使用多光譜圖片訓(xùn)練的模型性能，均比使用RGB 圖片訓(xùn)練的模型性能更佳。對比不同光照條件下同一算法的識別效果可以看出，3 種算法使用陰天環(huán)境下拍攝數(shù)據(jù)所訓(xùn)練的模型性能，均比使用光照強(qiáng)烈環(huán)境下拍攝數(shù)據(jù)所訓(xùn)練的模型性能更好，根據(jù)算法的不同，其F1 score 的差距為7%～14%，其中最大差距為多光譜圖片使用Faster-RCNN 算法對比，差距為13.89%，最小差距為多光譜圖片使用Efficientdet算法對比，差距為7.46%，說明不同光照下采集的RGB 圖片以及多光譜圖片，對模型的性能有重要影響。

表2 光照強(qiáng)烈環(huán)境Tab.2 Strong light environment

表3 陰天環(huán)境Tab.3 Cloudy environment

2.3 不同光照環(huán)境下RGB和多光譜圖片的成像效果分析

為了確定光照對RGB 以及多光譜圖片的成像影響，使用統(tǒng)計曲線圖分別對光照強(qiáng)烈環(huán)境下順光拍攝和逆光拍攝，以及陰天下的RGB、多光譜圖片各個波段的像素值分布進(jìn)行分析。使用Photoshop 軟件提取目標(biāo)作物，并統(tǒng)一使用白色背景代替。得到目標(biāo)作物的提取圖后，利用Python 編程軟件分別繪制陰天環(huán)境、光照強(qiáng)烈環(huán)境下逆光、光照環(huán)境下順光的RGB 和多光譜提取圖的統(tǒng)計曲線圖。其中，每幅曲線圖均使用10 張不同作物提取圖的數(shù)據(jù)取均值，以降低不同照片的拍攝誤差。由于白色背景與分析無關(guān)，因此其像素值的數(shù)據(jù)已在程序中去除。各種條件下的原圖、作物提取圖以及平均統(tǒng)計曲線圖效果如圖4 所示。

圖4 不同環(huán)境下的原圖、作物提取圖、平均統(tǒng)計曲線圖Fig.4 Original image,crop extraction image and average statistical histogram in different environments

統(tǒng)計曲線圖的橫坐標(biāo)為像素值，范圍在0～255，其中255 為白色背景，在程序中將其去除。縱坐標(biāo)為像素值在各個圖層中所包含的數(shù)量。

分析圖4a 和圖4b，在陰天環(huán)境下，多光譜圖片統(tǒng)計曲線圖內(nèi)3 種波段的曲線呈尖峰狀，且?guī)挶容^窄，550 nm 的曲線帶寬在70～110 nm 范圍、660 nm的曲線帶寬在80 nm～110 nm 范圍、850 nm 的曲線帶寬在115～140 nm 范圍。表明多光譜圖片的像素值分布更加集中，而且像素值大量位于中間，說明多光譜圖片在陰天拍攝的作物明暗度適中。RGB 圖片的像素值分布比較分散，而且紅色和藍(lán)色波段曲線的波峰偏左，說明這兩種波段記錄的像素值偏低，其原因為RGB 圖片的紅色、藍(lán)色波段不是敏感波段，綠色波段較為敏感，但RGB 相機(jī)沒有窄帶濾光，導(dǎo)致綠色波段的帶寬較寬，而擁有窄帶濾光的多光譜相機(jī)拍攝的多光譜圖片，其3 個波段的統(tǒng)計曲線圖峰值更大，帶寬較窄，說明像素分布更加集中，沒有向高像素值或低像素值發(fā)散，使圖片的整體明暗更均勻，易于分辨正常葉片與缺氮。因此在陰天環(huán)境下算法使用多光譜圖片對目標(biāo)的識別效果比RGB圖片要好。

圖4c 和圖4d 是光照強(qiáng)烈的環(huán)境下對RGB 圖片和多光譜圖片拍攝逆光作物的直方圖。對比圖4c 和圖4a 可以看出，RGB 圖片逆光下的曲線圖和陰天下的曲線圖十分相似，只是紅色波段在105 nm 附近出現(xiàn)了小尖峰，是強(qiáng)光下個別部位反光所造成。但多光譜圖片的3 個波段明顯比圖4b 圖靠左，說明3 個波段所捕獲的像素值偏小，作物整體亮度較暗，從圖4d 的多光譜原圖中可以看出來。因此，在光照強(qiáng)烈且拍攝作物逆光的情況下，算法對RGB 圖片的識別效果優(yōu)于多光譜圖片。

從圖4e 可以看出曲線比圖4a 和圖4c 整體靠右，說明順光下RGB 圖片的亮度比陰天和逆光時要高，而且在統(tǒng)計曲線圖180～240 像素值的位置，紅色波段和綠色波段出現(xiàn)尖峰，說明目標(biāo)作物的部分位置亮度較高，出現(xiàn)過曝光現(xiàn)象，而其余5 張曲線圖都沒有出現(xiàn)過曝現(xiàn)象，說明順光下RGB 相機(jī)比其它5種情況下拍攝的圖片更容易產(chǎn)生過曝現(xiàn)象。圖4f 曲線的波峰帶寬比圖4b 和圖4d 要寬，說明順光下拍攝的多光譜照片像素值分布比陰天分散。

2.4 結(jié)論

對比3 種環(huán)境下的RGB 圖片和多光譜圖片的統(tǒng)計曲線圖可以看出，多光譜的波峰帶寬無論在陰天還是在光照強(qiáng)烈的環(huán)境下都要比RGB 圖片要窄，這是由于多光譜相機(jī)與RGB 相機(jī)在圖像捕獲原理上的濾光差異造成的。多光譜相機(jī)只能對光的個別波段實行窄帶導(dǎo)通，其余絕大部分波段都不能通過，而RGB 相機(jī)則是使用寬帶濾光的方式，大部分光波透過鏡頭被CMOS 傳感器捕獲，只有波長超過760 nm的不可見光部分被濾光片濾除。

多光譜相機(jī)更適合運用在無強(qiáng)光影響的環(huán)境下獲取目標(biāo)作物的光譜圖片，而RGB 相機(jī)在逆光的環(huán)境下拍攝目標(biāo)作物優(yōu)于多光譜相機(jī)。這是因為逆光拍攝時被拍攝的作物位于太陽光源與相機(jī)之間，造成所拍攝圖片的背景亮度比作物更亮，導(dǎo)致作物的曝光不充分致使圖片內(nèi)作物主體的拍攝效果偏暗。加上多光譜相機(jī)光波的導(dǎo)通帶寬十分小，因而出現(xiàn)逆光拍攝時所捕獲的像素值偏小、作物呈現(xiàn)十分暗淡。但RGB 相機(jī)的截止濾光帶位于不可見光波段，對于可見光范圍內(nèi)的光波是全通透性，因此其在逆光時拍攝的效果優(yōu)于多光譜相機(jī)。

順光條件下，RGB 與多光譜圖片的像素值分布比陰天更加分散，但多光譜圖片比RGB 圖片集中，而且RGB 圖片內(nèi)作物的部分位置像素值過高，反映其發(fā)生過曝現(xiàn)象，而多光譜圖片則沒有這種情況出現(xiàn)。因而使得順光條件下算法對多光譜圖片的識別效果要好于RGB 圖片。

3 結(jié)語

本文采用3 種目標(biāo)檢測算法，對比RGB 圖像與多光譜圖像在兩種戶外光照條件下對缺氮蕉葉的識別效果，并分析光照因素對兩種圖片的成像影響。試驗結(jié)果表明，不管在陰天還是在光照強(qiáng)烈的環(huán)境下，算法使用多光譜圖片的識別效果均優(yōu)于RGB 圖片。但光照強(qiáng)烈的環(huán)境下，逆光拍攝容易讓多光譜圖片上目標(biāo)作物的亮度遠(yuǎn)低于背景亮度，作物整體偏暗使算法難以識別。而順光拍攝的RGB 圖片容易出現(xiàn)過曝光，多光譜圖片則沒有過曝的情況。因而光照強(qiáng)烈的環(huán)境下，兩種算法對兩種圖片的識別效果還要取決于圖片的拍攝時順光與逆光的情況。接下來，將開展自主補(bǔ)氮施肥的工作，對識別出的缺氮香蕉植株進(jìn)行定位并設(shè)計機(jī)械自動前往施肥，實現(xiàn)香蕉種植耕種管收中的自動管理工作。